七月二十三日，朝廷發布了張俊的升遷，少師、樞密使、濟國公張俊為太傅，進封廣國公，賜玉帶。此後，張俊便返回鎮江樞密行府，岳飛卻留在了臨安。
八月八日，高穎被放外任，添差福建路安撫大使司參議官，且限他三日赴任，令湖廣總領館林大聲「優與津發」。
八月九日，皇帝按慣例兩下「不允詔」後，終於下令讓岳飛罷官，岳飛還兩鎮節度使，充萬壽觀使。
自廢罷宣撫司之後，岳雲本已不任實職，朝廷這回倒沒忘記將他改任，讓他保留左武大夫、忠州防禦使的遙郡官階，提舉醴泉觀。同一天，岳飛的幕僚們共十一人也都「奉祠」。
所謂「奉祠」，跟岳飛那個「萬壽觀使」，岳雲的「提舉醴泉觀」相類，都屬於閒職，名義上提舉、提點某某道觀、某某岳廟，實際上不需要赴任。
國朝早期因真宗皇帝崇尚道教，常用祠祿官優待宰相、執政、從官、內侍及武臣，後來漸漸地又用來優待戚里、勛臣「養賢優老」。神宗時開始用來安排持不同政見者和與當軸者不合的官員。祠祿官雖然有貶黜之意，又略含優禮，除享受祠祿官待遇之外，仍有起用、甚至重用之可能。
然而岳飛收到的罷官制詞卻是寓斧鉞之威於文採風流：
門下：聯樞筦而贊廟謨，式重股肱之寄；擁節旄而奉朝請，益隆體貌之恩。乃睠勛臣，方居密席，遽瀝退身之懇，盍推從欲之仁。爰告大廷，用孚爾眾。少保、樞密副使、武昌郡開國公、食邑六千一百戶、食實封貳阡陸伯戶岳飛稟資肅毅，挺質沉雄，方略得古良將之風，忠勇有烈丈夫之操。奮身許國，彯趙士之曼纓；勵志圖功，撫臧宮之鳴劍。自總干方之任，久專制閫之權，惟績用之殊尤，亦恩褒之備至。戎騂導節，既疊組於大邦；孤棘位朝，遂進班於亞保。茲圖茂閥，俾翊洪樞，庶資籌幄之奇，以輯平戎之略。歘煩言之薦至，摘深釁以交攻，有駭予聞，良乖眾望。朕方記功掩過，事將抑而不揚；爾乃引咎自言，章既卻而復上。諒忱誠之已確，雖敦諭而莫回，是用崇使范於殊庭，畀齋壇於舊服。留以自近，示不遐遣，以全終始之宜，以盡君臣之契。於戲！寵以寬科全祿，光武所以保功臣之終；曾無貳色猜情，鄧公所以得君子之致。朕方監此以御下，爾尚念茲而事君。往哉惟欽，服我明訓。可特授武勝、定國軍節度使，依前少保，充萬壽觀使，仍奉朝請。主者施行。【1】
制詞前半部分盛讚了一通岳飛作為武臣的資質精神以及他的忠勤功勳。筆鋒一轉，便說他自登用樞府以來怨憤之言漸生，嫌隙交攻之事日增，實在有負眾望，讓朕吃驚不小。接著官家又表態說我將對你記功掩過，將事情壓下來不曾宣揚。既然你已經引咎辭職，便讓你在行朝任個萬壽觀使，仍領武勝、定國軍兩鎮節度使虛銜，並未將你遠遣，以全我們的君臣相知之情，以盡善始善終之義。
重點來了，官家自比光武帝劉秀有寬宏大量，以高官厚祿保全功臣，同時對岳飛提出希望，希望他仿效鄧禹以至誠侍奉君上，「無貳色猜情」。
岳飛與幕僚及李夫人、岳雲傳看這份制詞，是個明白人看到「無貳色猜情」，都能感到官家內心的猜忌疑慮和言辭中的警告含義。然而，官家至少還表明了保全功臣之心，這讓大家都稍微松下了一口氣，岳飛對在京宮觀及仍「奉朝請」這份榮譽也沒有興趣（像他這樣的在京宮觀官帶奉朝請者，每月逢一、五日赴朝會立班，共六次，稱為「六參」），按規矩上謝表的同時，也上了辭免兩鎮節度使和在京宮觀的札子，請求皇帝另授一在外的宮觀官。
請求在外宮觀的札子上了兩道，最後的答覆是「不允」。李夫人和岳雲的內心又揪起來，總覺得官家是不放心岳飛離開自己的視線的。
八月十四日，岳飛奉了宮祠，但依舊居住在臨安府。圍繞在岳飛周圍的幕僚，則被全部出了外任，並且朝廷不停地發省札催他們離開臨安府赴任。於鵬去做廣南東路安撫司參議官，黨尚友去做廣南西路安撫司參議官，孔戊去做江南西路安撫司參議官，孫革通判興化軍，張節夫通判南劍州。
如今，臨安成了岳飛一天都不想多待的地方，岳飛真想回江州舊宅住上一陣。那裡有峻秀幽靜的山水，有他摯愛母親的墳塋，有讓他能感到平靜和治癒的廬山西麓的東林寺，那裡本來就是他預備退休後歸養的勝境。
然而，皇帝竟然不允許他告假。八月二十四日，還有省札送至府中，「三省同奉聖旨，岳飛所居屋宇不足，令臨安府應付添造。右札送萬壽觀使岳少保。」【2】
岳飛自己不得隨心所欲，尤其心疼岳雲，他自十二歲從軍，以流血換取真實的軍功，以幕職砥礪將門的謀略，今年虛歲二十三歲，正是充滿了生機和希望的年紀，一個眾望所歸的未來將星突然之間被命運的巨手奪去了他的疆場，任是誰見了都覺得不甘吧。
然而岳雲除了留在溶溶月色中的背影偶爾流露出些迷惘和失望外，他日夜讀書，偶爾出遊，待家人和顏悅色，倒不見得多頹廢，顯然是以向前看的勇氣和實際的行動力在治癒他自己，岳飛看在眼裡，卻又感到欣慰。他自己雖然你遍體鱗傷，倒也沒那麼痛了。
轉眼到了初秋的九月，岳飛原先的屬官一個個都被催促著赴了新任，岳飛在家閒著，夜則輾轉於廊廡間看雲賞月，日則於書齋焚香研墨，閱讀書寫，旁觀著妻子、孩子們的日常生活，心中也多了些與往日不同的溫柔心緒。他停止了跟鄂州軍中將領的一切聯繫，朝會時也不與其他人深交，只從邸報了解朝堂的決策和文武官員的論奏。
九月十九日，此前被扣押在涿州的宋使莫將和韓恕被金人放了回來，還攜帶了一封來自金國越國王都元帥完顏宗弼的言辭不善的嫚書。在書信中僅將趙宋的官家稱為康王，揚言將要「薦降天威，問罪江表，已會諸道大軍，水陸並進，師行之期，近在朝夕，義當先事以告」。【3】
朝野對此猜測不定，議論紛紛，擔憂兀朮怕是又要興兵入侵，可官家卻似乎能見微知著，僅從宗弼放還使者這一點上便認定金人有議和的意向。他在朝堂上告諭大臣們：「此大致是上天悔禍，虜人有休兵之意了。朕料所以致此者有二：今春兀朮提兵南來欺我，卻懲淮西、濠梁之敗，此其一。金人也知我國將帥以往各自為家，莫相統一，如今聽說諸軍軍人盡歸朝廷，紀綱既立，軍政必修，他們這是怕了，此其二。」【4】
朝堂上除了秦檜及時地奉上了一句「每恨虜情難保，未能仰副陛下憫亂之意」外，其餘人的反應，不是默不作聲，裝聾作啞，便是厚著臉皮上前提醒淮西、淮東邊境還需早做防備。
四天之後，朝廷便另派出了劉光遠、曹勛為使者，持大宋的答書前去，坊間傳聞國書的內容極盡卑辭，有「今聞興問罪之師，先事以告，仰見愛念至厚」之語。【5】
十月二日，樞密都承旨鄭剛中被任命為川陝宣諭使。官家和秦檜打算停止一切軍事行動，命鄭剛中前往川蜀，曉諭西軍諸將【6】。十日之後，川陝沿邊九月里的捷報才傳到行朝，右護軍都統制吳璘收復了秦州（治成紀，今甘肅天水市），接著又在剡家灣大敗金軍，斬首三千六百人，生擒七百人【7】。可惜吳璘受朝廷之命，已在九月二十八日從臘家城（今甘肅秦安縣東）班師了【8】，退入臘家城中的金國統軍胡盞想來是逃過一劫了。此後，川陝宣撫使都統制楊政又敗金人於寶雞，亦不過是又一枚鏡中月罷了。
十月三日的樞密院鎮江行府，卻是另一副光景。在此辦公的樞密使張俊心潮翻湧，以至於扣不好頸側領襟上的金屬紐扣。這種心情很難形容，有點兒像第一次上戰場，不敢殺人，卻終於殺了一個人以後的那種激動和後怕。他已向朝廷上了札子，「張憲供通，為收岳飛處文字後謀反，行府已有供到文狀。」今日便要將張憲押赴行在的大理寺了。
這是他和秦檜的合謀，他們精心挑選了三個人，來做一個局：
鄂州御前前軍統制、權副都統張憲。
御前前軍副統制王俊。
鄂州御前都統制王貴。
這三人都是岳飛曾經的部將，只要讓他們彼此攻訐告發，早晚會累及岳飛，而且不容易讓別人生疑。
軍旅中人都知道張憲是岳飛的愛將，用張憲牽連岳飛最為合適。王俊為張憲的副手，但長年與張憲不睦，因其從戰無功，歲久不遷，頗有怨言。張俊特意翻閱了鄂州大軍的兵籍，明確王俊自紹興二年至十一年，僅由遙郡刺史升到遙郡防禦使，官品自正七品升到正六品而已。且他還因屢犯奸貪為張憲所裁製，與張憲有隙是必然的了。
王貴在鄂州軍中，地位僅次於岳飛，又是岳飛的原從將領兼同鄉，本不好下手，但秦檜告訴他已訪求得王貴家的私事拿捏，張俊只需放手去干便了。張俊想想也是，王貴當時已是鄂州大軍的提舉一行事務，卻在潁昌戰場上被岳飛的那兒子當眾折責，岳飛後來得知王貴怯戰還差點將他推出去斬了，想來他也必是懷恨在心的吧。