怎么发现程序有问题，当括号为[([)]]，则输出的为不匹配
这当然是不匹配的。你仔细想想现实中可能出现这样的括号组合吗？括号的作用是包裹内容，区分级别，你这个小括号和中括号都交叉了，还如何包裹内容？
从程序执行的角度来说也是不正确的，当检索到第二个左中括号的时候，它急需的是右中括号，这时，下一个检索出来的括号必定要是某个左括号或者它需要的右中括号，否则会直接打印不匹配。
ziom 答得很好，我的补充是，如果你给出的例子要匹配，应该是[ [ ( ) ] ] 或者 [ ( [ ] ) ]