說完，成文飛重新看向白板。
白板左側寫著「語音識別」，右側則是何愷明剛剛畫出的網絡結構。
十幾層卷積模塊一層層往上疊，訓練曲線卻在十五層以後開始下滑。
成文飛指著曲線：「我的模型加深到十五層以後，訓練集準確率不升反降。ReLU、BN、Dropout都用上了，還是解決不了。」
「深度網絡不是越深越好。」何愷明說。
「這話已經聽過很多次了。」
「但是問題不一定出在深度本身。」
何愷明拿起筆，在白板上寫下一個H。
「傳統網絡每一組卷積層，都在學習完整變換H(x)。輸入是x，輸出目標是H(x)。如果網絡繼續加深，後面的層就必須重新學習一套完整特徵。」
成文飛看著公式，沒有打斷。
何愷明又在旁邊寫下：
F(x)=H(x)-x
「那我們換一個目標，不讓這幾層直接學習H(x)，只學習殘差F(x)，最後輸出F(x)+x。」
「加一條捷徑。」成文飛說。
「對。」何愷明在圖上畫了一條從輸入繞到輸出的線，「原始輸入x不再被迫經過所有卷積層，而是直接跨過去，和卷積模塊的輸出相加。」
成文飛盯著那條線：「這會破壞特徵提取鏈路。」
「成教授，我們做個思想實驗。」何愷明轉過身，「一個二十層網絡已經能工作，我在後面再加三十六層。如果這三十六層什麼都不做，只把輸入原樣傳下去，那麼五十六層網絡至少不應該比二十層更差。」
「但是直接堆疊以後，它反而會變差。」
「這說明網絡很難學會恆等映射。殘差結構把最簡單的答案直接留給它。如果新增層沒有價值，就把F(x)學成零，原始信號直接通過。新增層有價值，就只補充需要修正的特徵。」
成文飛看著白板，許久沒有說話。
他過去的認知很明確，神經網絡每一層都應當完成一次特徵提取，信息必須經過連續變換才能逐層抽象。
讓輸入跨過中間層，在他看來像是給網絡偷懶。
「這在前向傳播上說得通。」成文飛拿起筆，「但反向傳播呢？梯度經過加法結構，會不會出現新的不穩定？」
「我也在算這個。」
何愷明把白板擦出一塊空白，寫下損失函數和輸出表達式。
「假設y=F(x)+x，反向傳播時，損失對x的梯度不只經過F這一條路徑，還會多一條直接傳遞的路徑。只要加法結構沒有被破壞，梯度就能沿著捷徑回到淺層。」
成文飛接過筆，在公式旁邊補了一行。
兩個人很快投入推導。
實驗室里只剩下筆尖划過白板的聲音，旁邊的研究員也圍了過來。
成文飛不斷提出問題，何愷明不斷修改表達式。
一個小時後，成文飛放下筆。
「成教授，先別判斷它是不是普適，跑一次數據會回答。」
成文飛看著白板上的結構圖，「那好，準備實驗。」
「現在？」
「現在。」
「語料還沒完全標註。」
「先用現有數據做對照。普通堆疊網絡和殘差結構各訓練一版，層數從十層開始，逐步加到二十六層。」
「行。」
成文飛轉身看向伺服器區，「如果這個結構能把深度網絡的問題解決，語音識別的進度會快很多。」
何愷明沒有接話，他知道，成文飛真正關心的不是一篇論文，也不是誰先提出一個結構，倒是自己，這個想法完全可以整理出一篇論文來。
如果這條路能讓深層模型繼續訓練，神經網絡的上限就會被重新打開。
倒是馬樂離開人工智慧實驗室後，直奔杜文的系統工程部門辦公區，在他看來陳總最關注的項目有三個，一個是半導體，一個是汽車，還有一個就是人工智慧。
如果更準確一點的說，那連汽車都不能算。
只有半導體和人工智慧才是最重要的東西。
沒和成文飛他們接觸之前，在馬樂的設想中人工智慧就像電影裡的那樣，但真正和這些專家大牛接觸以後，特別是從陳總口中聽到一星半點的話語之後，馬樂知道，人工智慧絕對不是電影裡那樣。
至於真正的AI是什麼，馬樂也不知道，或許只有陳總見過？
走到系統工程部門，馬樂一進來就大喊，「杜文，杜文，杜總。」
辦公室里傳來回應：「誰在喊我？」
「你馬哥。」
杜文從辦公室走出來，看到馬樂，笑著迎上去，「喲，這不是馬樂嗎？你怎麼跑到我這裡來了？」
這倆人可以說是紅星的元老一點都不為過，紅星電子的時候就在一塊工作，屬於是熟悉的不能再熟悉了。
只不過杜文做系統一般在幕後，不像馬樂一樣經常拋頭露面的。
有時候杜文也在感慨，自己當年因為家裡的事情沒有去校招的公司，看紅星電子給的工資高就加入了紅星電子，怎麼一不小心紅星就發展成這樣了呢？
自己也一不小心就搞了一個字研作業系統，更一不小心成了紅星的一個副總裁。
嘖嘖，命運吶，誰說得准，要是當年自己畢業直接去工作，沒去華強北，估計還在某公司當小職員呢。
「杜文，有點事情。」馬樂進到杜文的辦公室里拉開椅子坐下，掏出手機調出一份文檔，「成教授那邊需要大量語音標註和採集，我和成教授商量過了，想在系統里加個任務中心，讓用戶幫咱們做。」
馬樂把成文飛提出的需求從頭到尾講了一遍。
通用口語、環境噪聲、不同年齡的發音、家庭場景里的對話，都可以拆成普通用戶能看懂的小任務。
完成多少條，準確率達到標準，就發紅星音樂會員、紅星雲服務會員、現金紅包，或者兌換實體獎品。
杜文接過手機看了看：「讓用戶做標註？這思路可以啊。」
「就是需要你們系統端配合。」馬樂說，「任務分發、質量審核、獎勵發放，這些都得從系統層面打通。」
杜文點點頭，拿起筆在紙上寫著什麼：「技術上沒問題，就是佣金這塊得注意一下，不能直接說佣金，要用現金紅包、代金券、虛擬會員或者實體獎品來替代，避免法律風險。」
「對對對，杜文你想得周到。」馬樂豎起大拇指，「另外，我覺得可以在系統里單獨做個入口，叫『任務中心』或者『紅星眾包』之類的，用戶點進去就能看到所有任務。」
杜文在紙上畫了個簡單的流程圖：「用戶接任務→完成標註或採集→提交審核→對比不同樣本→外部審查核准→發放獎勵，流程大概就是這麼個流程，哦，反作弊也得加上。」
「必須做。」
杜文看了他一眼，「有人會重複提交，甚至用軟體批量點選。還有人為了拿會員，隨便亂標。」
「設置帳號等級，同一設備每天有上限。答案質量低於標準，暫停任務資格。」
「我這邊等下直接去和成教授他們對接，你這邊最好去找一下揚總和王經理溝通一下，產品獎勵、運營預算和發布會口徑，不能只靠系統部門決定。」
馬樂看了看時間，四月份有閃耀的發布會，到時候讓王藤那小子，在發布會上簡單說一嘴，應該問題不大。
說著對杜文撂下一句：「你先想著，我去找王藤和揚拓。」