眼瞅著其他課題組都去找企業了，戴教授來到了清大智能技術與系統國家重點實驗室。
他戴某人好歹是清大的博士，真要低頭去跟企業談產學研，跟那幫985的課題組擠一個獨木橋，他這張老臉往哪兒擱？
再說了，母校有的是資源，有的是人才，何必捨近求遠。
「戴師兄！」
一個中年人從實驗室里快步迎出來，打了招呼。
過來的人是朱教授，計算機系新晉副教授，海歸，他現在正是新官上任三把火燒得最旺的時候，所以一聽戴教授找他合作，立刻放下手頭的工作出來了。
「老朱，可算見著你了，回來也不說一聲，我還是聽系裡老周說的。」
「哪兒敢驚動您啊。」朱教授把人往辦公室里讓。
「剛回來，一攤子事，實驗室要建，學生要招，經費要跑，忙得腳不沾地。」
兩人寒暄了一陣，戴教授把話頭引到了正事上。
他把自己國基落榜，整個圈子被洗牌的事說了一遍，然後說：「老朱，我琢磨著，傳統那套幾何方法的路，怕是快走到頭了。」
「你之前在國外做機器學習研究經驗豐富，現在QInet這麼火，深度網絡眼瞅著就是下一個風口，我想跟你合作。」 「用深度網絡把視覺感知模塊整個改造一遍，你出模型，我出場景和數據，咱們聯手，說不定能殺出一條路。」
按理說，朱教授正是需要成果的時候，師兄送上門來的合作，還蹭著QInet和機器學習的熱度，怎麼看都是白撿的便宜。
可朱教授臉上的笑掛不住了。
「師兄，您這想法，跟我幾個月前一模一樣。」
戴教授一臉驚喜。
「我剛回來的時候，也是這麼想的，QInet橫空出世，深度網絡一戰封神，這時候不上車什麼時候上車？」
「但是最近看來，前景不樂觀啊。」
「怎麼說？」
「深度網絡這東西，理論上，網絡越深，表達能力越強，準確率越高，QInet八層，效果驚人，那我堆十六層，堆三十二層，是不是應該更厲害？」
戴教授點頭。
「我們也是這麼想的。」
「參數從幾百萬堆到幾千萬，訓練集上的準確率，百分之九十，漂亮吧？」 「但實際上，測試集上，準確率只有百分之六十。」
戴教授不是搞機器學習的，但也清楚這情況意味著什麼：「過擬合？」
「對，過擬合，這個老朋友又來了。」
「我們發現只要參數一多，網絡就開始背答案，訓練集裡的題它全背下來了，考得那叫一個漂亮，換一套沒見過的題，當場原形畢露。」
「那加數據呢？」
戴教授試探著問：「參數多，數據少，那就把數據堆上去，總能壓住吧？」
「師兄，您知道現在最大的圖像數據集有多少張圖嗎？」
「多少？」
「一千四百萬張，聽著挺多。」
「但這也是李飛飛教授，花了三年，用了來自一百六十七個國家，五萬名標註工人，在眾包平台上搞人海戰術，才標出這一千四百萬張圖。」
「可我們要是把網絡堆到一億參數呢？一億個參數，一千四百萬張圖，平均下來，每個參數分到零點一四張圖的信息量。」
】】首】發】更】新！ 「這就好比你要養一億頭豬，結果飼料只夠餵一千四百萬頭，剩下那些豬餓瘋了，見什麼啃什麼。」
戴教授被這個比喻噎了一下。
你要不要這麼接地氣？
我又不是你學生，我能懂好嗎！
「那再拿些圖片去標唄？」
「誰去標？錢誰出？三年之後黃花菜都涼了。」
「增加數據，此路不通。」
「那就減參數，把網絡砍淺一點？」
「砍淺了，表達能力又不夠了，那還搞什麼深度學習，直接回去用支持向量機得了。」
「師兄，您看明白了吧？加數據不行，減參數也不行，我們現在就卡在這兒，進退兩難，上下不能。」
戴教授慢慢消化著這些信息，忽然想起一件事：「哎，QInet不就是燕大那個漆昊搞出來的嗎？他既然能把八層網絡訓出來，說不定這事他能想到辦法，你們沒想過去請教請教？」
這話一出，朱教授的表情更精彩了。 「想過，怎麼沒想過。「
「實不相瞞，張院士前陣子就動過這個念頭，想親自帶隊去燕大，跟那位漆神當面聊聊。」
「然後方案報上去，卡住了。」
朱教授苦笑：「師兄，您又不是不知道，咱們清大某位院士和燕大那點梁子，隔著一條馬路能吵出一條馬里亞納海溝，張院士要是帶隊過去登門求教，回頭傳出去，清大院士率隊赴燕大取經，這標題往新聞上一掛，咱們學校的臉往哪兒擱？」
「咳咳，那位院士和他老師陳省身先生關係也走過下坡路。」
「他和誰的關係走過上坡路？」
「田院士吧，畢竟也沒辦法再壞了。」
兩人說完，苦笑了起來。
「所以上頭的意思是，先自行研究，實在不行，再通過基金委組個聯合項目，把人繞進來，面子上好看點。」
戴教授聽得直搖頭。
都什麼時候了，還擱這兒講究面子。
可他轉念一想，自己不也是因為拉不下臉去找大飛，才來找師弟的嗎？ 五十步笑百步，誰也別說誰。
「老朱，你們好歹是有方向的，知道問題出在過擬合上，知道該往哪個方向想辦法，實在不行，隔壁還有個發明QInet的活菩薩，臉皮一豁出去，總歸有人可以請教。」
「我呢？」
「我那個方向想追趕，連追趕的方向都找不著，想請教，連該請教誰都不知道。」
朱教授默然，隨後說道：「師兄，要不您也轉深度學習吧，反正這坑我已經踩了幾個月了，踩過的坑給您畫個圖，您沿著邊兒走。」
「免了，你們那深淵巨坑，還是你自己待著吧。」
……
燕京大學，理科一號樓。
李教授辦公室里，漆昊正跟李教授討論一個矩陣分解的優化問題，傳來了一陣敲門聲。
門打開後，走進來一個頭髮有點亂的中年人。
「老李，忙著呢？」
李教授有些驚訝：「林教授？你怎麼親自跑過來了，打個電話不就完了。」 來人叫林晨，是信息科學技術學院智能科學系的教授，主攻機器學習。
這位之前在微軟亞洲研究院待了好些年，是國內機器學習圈裡排得上號的人物，當初聽說漆昊來了燕大，又遇上燕大向他跑來了橄欖枝，他二話不說，從微軟亞洲研究院辭職，回了燕大，牽頭負責機器學習訓練相關的項目。
「打電話說不清楚。」
林晨進了門，目光第一時間落在漆昊身上：「漆老師也在？太好了，我正準備去找你！」
林晨和漆昊打了招呼後，從包里掏出一沓列印的實驗記錄，放在桌上：「漆老師我們遇到麻煩了，大麻煩。」
他的組這段時間一直在做深度網絡的訓練實驗，想沿著QInet的路子繼續往深了做。
結果網絡一深，參數一多，過擬合壓不住了，訓練集上準確率高得嚇人，測試集上直接崩了，各種正則化手段都試過了，權重衰減，提前停止，能加的全加上了，收效都很小。
「卡了快兩個月了，這麼說吧，我帶的幾個博士生，頭髮掉得比模型收斂還快。」
漆昊接過實驗記錄，一頁一頁翻著，過了一會兒說：「這是協同適應的問題。」
「過擬合的表象是參數多，數據少，但深層原因，出在神經元的工作方式上，因為訓練的時候，所有神經元都在場。」
「這麼說吧，就是神經元1的輸出，依賴神經元2、3、4的輸出，它們是綁在一起更新的，一榮俱榮，一損俱損，時間長了，它們就學會了一起作弊。」
「就是通過互相配合，把訓練集背下來。」 這就像是讓陳元、王俊、李暉三個人一起做一套考題，允許他們商量，為了拿高分，三個人一合計，最好的辦法是什麼？
當然是背答案啊！
一人背一部分，陳元背前三十題，王俊背中間三十題，李暉背最後三十題，湊一起，就能拿滿分。
那怎麼打破這種情況？
漆昊想了想，認為可以在考試的時候，隨機拉走一個人。
這次讓王俊在旁邊待著，陳元和李暉兩個人做題，中間三十題沒人背過，正確率永遠到不了百分之百。
下一次，換陳元出去，王俊和李暉做前三十題就不行了。
所以只有一種辦法，每個人，都老老實實把全部知識學會。
誰也別指望隊友，誰也別搞分工背答案。
到那時候，隨便拉走誰，剩下的人照樣能考好。
林教授當然理解到了漆昊的意思：「你是說，訓練的時候，隨機讓一部分神經元不參與？」
漆昊點頭，說：「理論上是這樣，林教授，要不我們去實驗室測試一下？」 林教授當然願意漆昊跟他去實驗，兩人說走就走，當即就去了實驗室。
智能科學系，機器學習實驗室。
漆昊到的時候，實驗室里研究生們都圍著幾台機器忙活。
當林晨領著漆昊推門而入時，大家都看向了那個比他們還要年輕幾歲的青年。
是漆昊！
在如今的學術界，這個名字幾乎就是天才的代名詞。
他一手在數學領域上不斷取得突破，一手還創造了QInet，在這些研究深度學習的學生眼裡，漆昊就是活著的傳奇。
「都愣著幹嘛？把15層QInet變體網絡的訓練日誌和神經元激活圖調出來，給漆老師看。」林晨低聲喝道。
「好！馬上！」一名博士生如夢初醒，手忙腳亂地在主控電腦上操作起來，將代碼，損失曲線以及五顏六色的神經元特徵圖都調了出來。
漆昊倒是沒什麼架子，跟眾人打了招呼後，走到主實驗機前，查看了起來。
看著看著，他的動作慢了下來。
林晨抬起手，做了個都別動的手勢。 眾人心領神會，集體進入木頭人模式。
傳說中，QInet的核心結構，就是這位在某個下午想出來的，誰知道現在這沉默的時間裡，大佬的腦子裡面會在想什麼？
時間一點點過去，漆昊的腦子裡，正在進行一場高速推演。
研發QInet那段時間，他啃過海量的文獻，其中有一篇預印本，提到辛頓的團隊做過類似的嘗試。
訓練時，以某個概率隨機地把一部分隱層神經元的輸出置零，每一次前向傳播，都只有一部分神經元參與。
當時他掃了一眼，記了下來。
他發現這模式是好的，但現在要用的話，需要優化。
漆昊把這個想法放到數學上來看，開始推導了起來。
設保留概率為p，每個神經元以概率p被保留，以概率1-p被臨時屏蔽。
一個有n個隱層神經元的網絡，每次隨機屏蔽一部分，等價於從2的n次方個不同結構的子網絡里，隨機抽一個出來訓練，這些子網絡共享同一套權重。
再往深挖一層。
對一個線性回歸模型做同樣的隨機屏蔽，把期望損失展開。 期望損失=原始損失+一個附加項，附加項正比於p(1-p)乘以權重平方與輸入平方的加權……
過了一會兒漆昊推導完成。
「林教授。」
「怎麼了？」林晨趕緊出聲。
「這裡要改一下訓練流程。」
「每一次前向傳播，對隱層神經元做一次隨機採樣，以百分之五十的概率臨時屏蔽，被屏蔽的神經元這一輪不參與前向也不參與反向，每個批次重新採樣一次，測試的時候所有神經元都保留，但輸出權重乘以零點五。」
「隨機屏蔽一半神經元的話，網絡每次都是殘缺的，信息會大量丟失，訓練能收斂嗎？會不會更差？」有研究員問道。
這話問出來，好幾個人都下意識地點了頭。
是啊，本來網絡就學不明白，你還給它砍一半？
這不是雪上加霜嗎？
就好比一個學生本來就考不及格，你還蒙上他一隻眼睛讓他做卷子，這能好？
漆昊解釋道：「你的擔心有道理，但方向反了。」 「信息丟失，恰恰是我們要的東西。」
他在紙上畫了三個小圈，標上1、2、3。
「現在的網絡為什麼過擬合？因為神經元之間在合謀，神經元1發現，只要神經元2和3都在，它就可以偷懶，2和3把某個特徵拼出了一半，它隨手補個尾巴，訓練誤差就下去了，它就不需要真的理解這個特徵了。」
「整個網絡里，全是這種神經元，每個神經元學到的都是殘缺的、依附於隊友的碎片知識，這些碎片在訓練集上拼得嚴絲合縫，一換數據，拼圖散架。「
「現在，我隨機屏蔽一半，神經元1突然發現，它的老搭檔沒了，這一輪它想把誤差降下去，就只能靠自己，學一點真正獨立有用的東西，下一輪，換神經元3消失，它又得頂上另一塊。」
「幾十萬輪疊代下來，每個神經元都被逼著成了六邊形戰士，誰也不敢指望誰，因為誰都可能隨時消失。」
說完漆昊在草稿上寫下了相關的數學推導，林晨知道對方是數學天才，數學專業上沒得說，所以簡單看了下就拍了板：「所有人立刻調整代碼！」