岳飞在被罢兵权，任了枢密副使之后，就和张俊一起去处理韩世忠的部队。期间他们又一起去了楚州，就是现在的淮安市，当时州又为山阳县。岳飞见军民在修建破损的城墙，就说了“山阳不可守”的话，人们理解的意思是，修建城墙没有什么用处，因为这里没有据守的价值，建了也白建。故引起了张俊的极度反感，这事传到了秦桧和高宗那里，后来就成了岳飞的罪状之一。为什么岳飞要说这样的话，楚州真的是不可守吗，岳飞的动机是什么呢，他说的对还是错呢？。这是需要好好分析和思考的了。
  先看楚州的地理位置，此地位于江苏中部，江淮平原东部，地处京杭大运河与苏北灌溉总渠交汇处，西南距建康三百多里，南距扬州三百里，素来扼南下北上、东出西进水陆交通之要冲。自古又属兵家重地、商贸重埠。那么一般人都能看出来了，这里能不守吗。
  从用兵的角度看，楚州境内水网密布，大小沟渠纵横交错，如今全区现有运河道13条，大沟226条（当年可能更为密布、纵横），京杭大运河、里运河、废黄河（淮河故道）、苏北灌溉总渠和淮河入海水道在境内总长三百里。其交通枢纽地位和区位凸显。如果在这里与金军交战，宋军是有地利优势的。
  岳飞没有来过楚州，建炎四年，岳飞曾经接到命令，要他前往楚州救援在那里坚守抗金的大将赵立，岳飞没有及时赶到，导致赵立战死。人们把责任归到了统领淮西军的刘光世头上，没有算岳飞的账，但他的心里应该是有愧的。可能是人家提到了这件事，岳飞心里不高兴，认为这里本来就不该守，可是赵立偏要守，战死了，又怪别人，真不像话。
  岳飞是不喜欢据守的人，早先东京他不守，后来马家渡守不住，后来泰州他不守，再后来占了一些伪齐的地方他也不守，如商、虢地区。另外他在绍兴十一年放弃了所有占据的河南地方，他才不守呢，等着让人家打吗，这不是岳飞的一贯作风。所以他援淮西总是很不积极，恐怕他还想，你们说是要守，到时候还是要我来救援，反正守不住，干脆倒不如不守算了。
  当时在南宋的东线有两道防线，一是淮河，过了淮河就是敌境；再就是长江，长江后面有建康、常州、苏州和杭州，当年金军就是突破岳飞防守的长江天险，然后直扑建康和杭州的。如果第一道防线不守，整个淮西、苏北就是人家的了，国土残破不说，死人亦多，岳飞的意思就是你们守长江吧，淮河就放弃好了。表面上看岳飞是这个意思，其实岳飞还有另一层意思，就是告诉张俊等东线诸将，你们没用、无能，你们守不住楚州的，到头来还是有求于我，这就等于是在侮辱张俊他们了。
  如果张俊这样认为，岳飞就太得罪人了，不是小瞧张俊他们吗。如果往深里说，也小瞧了秦桧的抗金指挥。岳飞被罢了宣抚使，心里正憋着气呢，羞辱张俊是有可能的，这样就埋下了仇恨的种子。如果岳飞脱了衣服，和楚州的将士一起干活，会是个什么情景，会是个什么形象，可是岳飞不做这个秀。
  据说南宋有个浙江人去了湖北岳飞曾经待过的地方，发现父老能道岳公事，至有垂泪者。说要不是岳公，我们早就是异国之民了。这里的人这么说，那么苏北的人会怎么说，岳飞主张放弃，又不守河南，那里的人会感激岳飞吗。如果金兵杀过来了，楚州为不设防城市，他们惨遭屠戮了，这个账应该算在岳飞头上吧。所以这件事岳飞是错了，他是的的确确的错了。