一名為首的舉人向岳飛叩頭後，有條有理地道：「吾輩淪落胡塵已逾十二載。久聞宣相整兵北征，志在光復，鄉民日夜翹首企盼王師，度日如年。今宣相聲威所至，故疆漸復，虜寇倉皇奔逃。百姓焚香慶賀，都以為自此之後，便得以免於辮髮左衽。而相公於此進擊得利之際遽然引兵班師，某等實難揣度深意。縱使宣相不以中原赤子為意，難道便忍於輕棄垂成之功麼？」舉人說完之後，與他一同進入廳內的百姓代表都紛紛附和。
岳飛聽完難過之至，半響才愧疚地道：「今日之事，豈是當職所願！」。他命人取出十三道班師詔平置於案上。讀書人、僧道、百姓中各有識字的便都一一登階引頸細看，竟都大哭起來。
「這如何是好？」眾人在堂下哭泣哀求不已，一時間沒個計較。岳飛於心不忍，只得自作主張道：「若是你們不願隨虜，只得離鄉背井，隨本軍南下，我自當以大軍護送。襄漢一帶另有閒田，足以供你們耕墾度日。」
眾人雖難以割捨鄉土，隨軍南下卻是無奈中唯一的選擇，便都說願意。於是岳飛宣布在蔡州留軍五日，等待願意隨軍南下的百姓們收拾行李細軟，拖家帶口地一起南下。【1】
因為大軍在蔡州停下來休整，岳雲的傷情得到了大大的緩解，三四日之後外面看起來便與受傷前就沒有很大差別了。岳飛依舊讓他稟宣撫司機宜之責，處理一些緊切公函的文字。
岳雲將一份獎諭詔、兩份省札擺到岳飛的書案上，道：「朝廷降詔獎諭郾城大捷，並犒賞戰士。三份公文都為此事。」岳飛接了過來，先打開了獎諭詔，詔書寫道：
敕：「自羯胡入寇，今十五年，我師臨陣，何啻百戰。曾未聞遠以孤軍，當茲巨孽，抗犬羊並集之眾，於平原曠野之中，如今日之用命者也。蓋卿忠義貫於神明，威惠孚於士卒，暨爾在行之旅，咸懷克敵之心，陷陣摧堅，計不反顧，鏖斗屢合，醜類敗犇。念茲鋒鏑之交，重有傷夷之苦，俾爾至此，時予之辜。惟虜勢之已窮，而吾軍之方振，尚效功名之志，亟聞殄滅之期。載想忠勤，彌深嘉嘆，降關子錢二十萬貫，犒賞戰士。故茲獎諭，想宜知悉。」【2】
岳飛嘲諷地念道：「惟虜勢之已窮，而吾軍之方振，尚效功名之志，亟聞殄滅之期？唉！」他重重嘆了一口氣，將詔書合上。
「這犒賞錢來得還算及時，多少也能撫慰將士，挽救些軍心吧。」岳飛說完，便吩咐親兵去召集各軍統制宣布獎諭詔的內容，令他們分等第支犒將士。
到了晚上，岳飛回到臥室，岳雲點著油燈還沒有睡。他欲如往常一樣服侍岳飛洗漱，岳飛道：「你身體還沒恢復好，白天也費了不少精神，我自己可以，你快歇著吧。」
岳雲依言先去睡了，哪知半夜卻被噩夢驚醒，夢裡他見到幽暗的深宮中有一人冷惻惻地笑著，猶如十殿閻羅，拿著一支蘸血的毛筆在冊子上圈掉一個又一個的名字，圈完之後，吩咐左右道：「也不好教他們白白辛勞，給他們二十萬貫，每人可買兩頂上好的青紗帽戴戴。」
岳雲憤慨道：「他們哪裡還有頭可以戴！」
那人向他看來：「你是何人，可是活得不耐煩了？」說著就向他伸出一隻巨大的利爪來。
岳雲拔劍怒道：「我殺了你！」
岳雲在夢中拼命一動，牽動了傷口，立時就疼醒了。醒後發現自己呼吸沉重，眼睛裡濕濕的。岳飛走了過來：「你做夢了麼？」
岳雲從床上坐起來，道：「爹爹，你還沒睡麼？」
岳飛伸手將他額前的碎發撥開，見他額上有些冷汗，便問道：「做噩夢了？」
岳雲搖搖頭，道：「沒有。」
岳飛突然道：「我在想，官家知道『虜勢已窮，吾軍方振』卻態度堅決地急命班師，會不會是議和那個方向又有進展了。」
岳雲想起剛才的夢，不禁不寒而慄，輕輕地咳嗽了兩聲。岳飛將一件外袍給他披上，自言自語道：「官家為什麼就那麼想議和呢？」
「難道爹爹自己不明白嗎？我朝與唐朝大不相同，自太宗皇帝以來，便以『將從中御』為要，就算是迭遭覆軍敗將，也不願改弦更張。無非是怕大將權重而功高，重演陳橋往事。」
岳飛忙將手指放到嘬起的唇上，令他噤聲。岳飛接著道：
「收到班師詔後，我已寫奏疏給官家，請求告老還鄉。這樣的奏疏我也寫過不止一回兩回了，官家應該明白我並不留戀兵柄。」
岳雲卻突然道：「官家，大概非常愛他的母親吧。」
岳飛詫異地看向岳雲，對他這個突如其來的解釋感到不解。
岳雲道：「官家每次議和，都會說『不難屈己，徒以為親』、『朕以梓宮未還，母后在遠』云云，而『欲屈己就和』，不是嗎？」可是他說這話時卻不敢看著岳飛的眼睛。
岳飛若有所思地看著岳雲，心想，如果這個理由能讓他現下的心頭稍微好過一些，就讓他們這麼想吧。
「嗯。三省、樞密院同奉聖旨要我開具立功將士名單申奏，爹爹這次會為你報功的。」岳飛準備站起來身來。
「不！父親這次就不要為我報功了」，岳雲拉住了他的袖子。
「嗯？」岳飛不解道，「以前，爹爹常常隱匿你的戰功不報，但這次連官家都說了『曾未聞遠以孤軍，當茲巨孽』，這次的戰功是你拿命換的。」
岳雲搖搖頭，「用兵動眾，本是為了恢復疆土。可今日得之，明日棄之，養寇殘民，無補國事。我又何功之有？既然爹爹已上疏力請解兵柄，我也不要這功勞。爹爹若硬要為我報功，我如何對得起我那些死難的背嵬兄弟？」
岳飛沉默了一會兒，道：「好，就依你。」
岳雲突然又像想起來什麼，自言自語又像是在問他父親，「還有那幾十萬北方義軍弟兄們呢？他們怎麼辦？」
這個問題的答案其實他也很清楚，他們懷著各自的鄉土之情還是會抵抗金國軍隊的殘暴，劫奪他們的糧草和財物，與他們糾纏、游擊，他們也會為了生存下去落草為寇，打家劫舍，殺人越貨。已有本朝官身的，也許會想盡辦法突圍渡過黃河，率部眾回歸，但也有可能就此失去聯絡，永不再見面。
而對於他父親岳飛連結河朔的大戰略而言，岳飛自己已經說過了：十年之功，廢於一旦。
翌日，岳飛不得不跟大軍分開。因為在第一道班師詔上已明確要求他將大軍發回鄂州，而岳飛本人必須速往行在奏事。岳飛率二千騎兵，隨行的幕僚有孫革和張節夫，於七月十二七日取道順昌府【3】，前往臨安。岳雲隨大軍繼續南下，經由信陽軍（（軍，宋代路之下的地方一級行政管理單位為州或府、軍、監。軍與州、府平級，而實際地位次於州、府、高於監。地勢衝要，戶口少而不成州者，則設軍。信陽軍，治信陽，今河南信陽市），返回了鄂州。
岳家軍的主力，在岳飛及幕僚們的嚴密措置下，將退師的行軍道路、後勤配置、斷後應急種種事務進行了儘量合理的安排，藉憑各級將帥堅韌的精神，全軍一貫的紀律嚴明，以及訓練有素的戰術協同力，終於保全了自身，安全撤回到京西南路。