他一生立足的基礎，就是手中的兵權，如果一旦接受了入朝輔政這一請求，就意味著要將手裡的兵權交出去。
雖然說現在桓家還有桓豁、桓沖可以居方鎮之任，第二代也有如桓石虔、桓石秀、桓石民等頗具將才的後繼之人，但他卻仍然放心不下，怕這支「桓家軍」一旦失去了他的掌控，就會分崩離析。
所以，他思慮再三，還是拒絕了司馬昱加封他為丞相，請他入朝輔政的這一請求。
他再次表達了強烈的還鎮姑孰的願望。
對此，司馬昱自然不會強求，對桓溫的請求及時作了「批准」。
畢竟他根本不想留桓溫在他的身邊，讓他時刻有著一種喘不過氣來的壓力。
在接到司馬昱聖旨的第二天，桓溫就從白石動身，僅僅一天的時間，就回到了姑孰。
重新做回了他掌控天下兵權的大司馬，遙控著建康城的朝政。
……
對於謝文來說，令人擔心的天下大勢，總算是塵埃落定了。
他終於可以開始自己的謀劃了。
桓溫離開的第四天，十一月二十九日，天空下著小雪，地上和房簷上雖然沒有積雪，但遠方的山頭上，已經是白茫茫的一片了。
仲冬將去，深冬將來，再不和張家小妹見面，恐怕他就只能看著佳人嫁入他人府中了。
這天一早，他踏雪入宮，走在半路，便遇到了同樣前往秘書省的張羽。
他靠過去道：「真可謂是『忽如一夜春風來，千樹萬樹梨花開』，如今大司馬已離開建康，張兄心中可無掛念了？」
張羽聞言，不禁頓時愣在當場，嘴裡喃喃道：「忽如一夜春風來，千樹萬樹梨花開……」
呢喃片刻，他忽然一臉吃驚地讚嘆道：「謝兄這一句詩，真可謂是千古絕句，妙極妙極！」
謝文見狀，不由得暗覺好笑，他最開始看到張羽的反應，還以為他說的話惹張羽不高興了，但後來聽到張羽的讚嘆，不禁暗笑：「雖然我是引用了一句好詩，但也不至於抓重點抓得這麼偏吧！」
他故意打趣道：「那不知憑這一句詩，可不可以見得令妹芳容？」
「嗯……」
張羽暗自沉思片刻，正色道：「詩的確是好詩，但要見小妹，還得按之前說好的找一處景色怡人之地，匯集三五好友，以詩會友才是。」
「若說景色怡人之地，山水之間，倒風景別致，只不過現如今天寒地凍，不宜外出！我想不如就在建康城中，找一處樓閣，咱們圍爐話詩，賞天地間一片銀裝素裹之景，也別有風味，不知張兄意下如何？」謝文連忙提議道。
「聽謝兄的意思，想必已找好了地方，不知是何處？」
張羽倒沒有急著否決，打聽了起來。
「張兄可知道廷尉署旁的一座佛塔？」謝文以問作答道
「那如何不知，現今廷尉署所在之地在孫吳時就是一座寺廟，名為棲玄寺，後因戰亂被毀，唯獨佛塔尚存，當時稱為奇事。後來永康元年重建寺廟，也將那佛塔修葺一新，香火頗為旺盛。直到中原遭永嘉之亂，中宗皇帝於江左再造晉室，未免大興土木，便將棲玄寺闢為廷尉署，只將那佛塔留給信徒拜佛，但因寺廟僧侶被逐，佛像遷移，廷尉署又是尋常百姓畏懼之所在，去那佛塔拜佛的人逐漸見少，倒還算是清淨所在！「張羽侃侃而談道。
「既然張兄如此清楚，那不知可願在那佛塔中聚會？」謝文追問道。
「這事我說了不算，還得問問小妹。」張羽微笑道。
「既然如此，那還望張兄早日去問，我也好早做準備。」謝文有些著急道。
他知道，對於這種事，只有他表現得越著急，作為二大舅子的張羽才會得到更多的心理滿足，才會用心用情及時為他傳話。
「謝兄放心，就憑你我如此親密無間的關係，我怎會有所遷延！明日一早，我就給你回話。」張羽正色道。
「那我就靜候張兄佳音了！」
謝文大笑一聲，同張羽一起加快了腳步，走進了秘書省。
……
午後，司馬昱剛用過午膳，就將領著侍中之職的謝安單獨叫到了身邊，陪他一起漫步皇宮之中。
這還是桓溫廢立之後，他倆第一次單獨相處。
走在後花園之中，司馬昱忽然命令太監不准跟來，帶著謝安走到無人之處。
只見他滿心好奇地望向謝安道：「此前大司馬入京，愛卿請朕一定讓他見廢帝一面，可是早就知道了大司馬有廢立之心？」
謝安神情淡定地道：「當時建康城中流言蜂起，臣已有所察覺，故而暗中逮捕了一名散布流言的流人，審問數日都一無所獲，但恰巧家僕有荊州人士，識得那流人說話的口音乃荊州人士所獨有，臣便有猜度，後來用計一詐，他竟招認說是從姑孰受命而來！雖然沒有明說是受大司馬指使，但已可確認無疑！所以臣猜測大司馬散布流言，必然有『圖上之舉』，故而請陛下出面阻攔。」
「既然愛卿早有判斷，當時為何不明說？」司馬昱懊悔道。
他的腦海里不禁回想起了當時桓溫入城時的景象，心裡想著，要是他當時不那麼好面子，能夠再主動一點，是不是就可以攔住桓溫，讓桓溫廢立的計劃難以實施！
「當是之時，群情疑惑，就連臣請陛下去迎接大司馬，都曾為陛下所疑，若是真的說出那樣大膽的猜測，陛下果真能信嗎？」謝安眉頭微皺，神情嚴肅道。
「這……」
司馬昱登時愣住，心中不由得暗嘆：「是啊！若非事實已經發生，當時的我又怎麼會信桓溫會有廢立之舉呢？」
他感嘆道：「過往之事，有如雲煙，不堪再提。但未來之事，轉機何在？愛卿當為朕思之。」
聞言，謝安正色道：「既然陛下相問，那臣便斗膽進言。所言若有觸怒龍顏之處，還望陛下恕罪。」
他要說的，是犯禁之語，還是要謹慎小心，先取得司馬昱的保證才行。