不久，他收到官家的手詔，言辭溫柔又無情：
「淮西合軍，頗有曲折。前所降王德等親筆，須得朝廷指揮，許卿節制淮西之兵，方可給付。仍具知稟奏來。」
他當時是那樣的失望，無法理解，比去年被十二道金牌強令班師時更加難過和傷心，他憤然上奏辭職，不等官家回復，就將軍務委託給王貴、張憲，回到廬山，為亡母持余服。
張浚得知他上了廬山，也許是正中其下懷，他屢次奏陳於官家，說：「岳飛積慮，專在併兵，奏牘求去，意在要君。」還命兵部侍郎兼都督府參議軍事張宗元權湖北、京西宣撫判官，實際上是來岳家軍監軍的。那段時間軍中人心浮動，杯弓蛇影，岳雲那時才十九歲，留在軍中，不知那些時日他是如何自處的呢？
那一年開始，他對官家依然有絕對的忠誠，但官家在他眼中不再如同君父。張浚其實很想就此解除他的兵權，官家權衡得失後，仍強令他復職：
如此這般官家三次封還他的辭職奏，朝廷札下他的宣撫司參議官李若虛、統制王貴，同去敦請他回來管軍，如違，則若虛等並行軍法。
他只能上章引過自劾，還軍待罪，官家親自批答：「卿前日奏陳輕率，朕實不怒卿。若怒卿，則必有行遣。太祖所謂犯吾法者，惟有劍耳！所以復令卿典軍，任卿以恢復之事者，可以知朕無怒卿之意也。」
那一年的天道似乎也令人疑惑，淮西併兵不成的曲折，最終的結局竟然是王德未能撫慰酈瓊，酈瓊聯名上告王德。呂祉被派去監軍，酈瓊又不服呂祉。呂祉得知酈瓊陰蓄異志，請朝廷派大將進駐淮西。朝廷甫一發表張俊為淮西宣撫使，楊沂中為淮西制置使，消息傳到行營左護軍中，酈瓊就發動兵變，殺呂祉等人，裹脅全軍四萬餘人投降偽齊。前沿四大軍區之一的淮南西路，頓時空虛，震驚朝野！
消息傳來時，他心痛不已，可他卻還在想，官家是不是也一樣心痛不已。靖康國難後的十一年，從臥薪嘗膽，振武揚威到內耗至極，貽笑敵國。國家將如何？官家將如何？自己又將如何？
他在周遭無人的時候不知道流過多少眼淚，舊年在瘴癘之地行軍征戰時得的眼疾，在前一年母親去世時因哭泣過度而復發，從此每一年到了特定的季節都會出來折磨他一番。
官家竟然還真給自己遞發了手詔，內容卻是說「聞（酈）瓊與卿同鄉里，又素服卿之威望」，命他給酈瓊寫信，爭取他歸宋，「不特已前罪犯一切不問，當優授官爵，更加於前」。他自然是照辦了，酈瓊卻並沒有回心轉意。
鄂州軍離開定遠縣，返回舒州待命。岳雲整理這段時間內新收到的御札和省札：
二月二十一日有省札：「檢坐張俊渡江，與賊見陣獲捷」，是指二月十八日的柘皋之勝。
三月一日御札命令前往壽春（治下蔡，今安徽省鳳台縣）。
三月五日省札照會，說韓世忠三月三日提兵前往壽春。
三月六日御札，言韓世忠軍已過招信（位於今江蘇盱眙縣東北），命前往壽春。
三月九日省札亦言韓世忠已到招信縣界，言三月四日宗弼軍窺濠之警訊，命其餘諸大將齊赴壽春府與韓世忠夾擊宗弼。
三月十一日御札言宗弼窺濠州之警訊，命徑赴廬州，再圖壽春。同日，因收到岳飛「只在舒州聽候朝廷指揮」之奏，又賜御札，褒獎岳飛「小心恭慎，不敢專輒進退，深為得體，朕所嘉嘆」，說明廬州有漕臣應付大軍錢糧，那時岳飛已先詔出師，急行軍到濠州的定遠縣了。
三月十二日省札重申十一日御札的內容。
岳雲自己心裡嘆道，即使是皇帝專用的金字牌急遞，由行在到鄂州，或由行在到舒、廬，命令到達之日都已時過境遷，無助於前線戰事的指揮。他父親三月四日夜發舒州救援濠州，決策的依據完全是鄂州軍自己掌握的諜報和父親自己的判斷，若要等御札到達時再做計較，再是如何正確之方略也只能是昨日黃花。
可恨的卻是張俊從中作梗，說什麼「前途乏糧，不可行師」，若當時鄂州大軍徑去了廬州，而不是留在舒州待命，則宗弼復窺濠州的警訊傳來時，以背嵬馬軍從廬州疾馳赴援，還來得及。憾哉！憾哉！
等鄂州軍悶悶不樂地從定遠返回到舒州後，才收到皇帝十二日的御札，是得知鄂州軍當時已起發前往廬州，褒獎岳飛一軍「遵陸勤勞，轉餉艱阻，卿不復顧問，必遄其行。非一意許國，誰肯如此」，但尚未得知濠州失陷，仍指示岳飛率軍去濠州合軍，並讚賞「卿之此行，適中機會」。
三月二十三日，大軍仍在舒州。收到皇帝十七日的御札：
「累得卿奏，往來廬、舒間，想極勞勩。一行將士日夜暴露之苦，道路登涉之勤，朕心念之不忘。比以韓世忠尚在濠州，與賊相拒，獨力恐難支梧，累奏告急。卿智略有餘，可為朕籌度，擇利提師，一出濠、壽間，牽制賊勢，以援世忠。」
不僅濠州之敗的消息還未傳到朝廷，皇帝亦不知韓世忠軍已從濠州撤走。御札中除了慰勞之語，仍在督促岳飛進援濠州。
三月二十九日，收到三月二十一日省札：
「三省、樞密院同奉聖旨，令岳飛先次遣發軍馬回歸，量帶親兵，於舒州權暫駐紮，聽候指揮，起發前來奏事，具知稟聞奏。
右札送湖北、京西路宣撫使、兼河南、北諸路招討使岳少保疾速施行。
紹興十一年三月二十一日。」
朝廷這時才得知濠州之敗，也已得到了宗弼渡淮水北撤的消息。岳飛命張憲、董先等先將大軍帶回鄂州，只留王剛統二百騎兵，跟隨自己與朱芾、高穎、岳雲等幾位宣撫司屬官，暫留舒州。
四月初，收到省札命岳飛赴行在，朝廷因柘皋之捷要論功行賞。岳飛和屬官一行，並二百名背嵬親兵於是動身前往臨安。