漆昊想明白那群美國佬的小伎倆後，心想現在幸好不是在冷戰時期。
要不然，老蘇花了九牛二虎之力，給對方來了個物理消除套餐，再費勁的把資料運回蘇聯，到時候，蘇聯人看著這份千辛萬苦運回來的頂級機密，怕是要氣得當場噴出一口伏特加。
漆昊想明白後，開始繼續他的工作。
雖說他現在優化了吉洪諾夫的理論，但傳統的路子，是等誤差冒出來，再拿正則化去解決，但這解決不了誤差越滾越大的毛病。
傳統的深度網絡，就是一條超長的流水線。
數據從第一層輸入，一層層加工，修改，打磨，每一層都會對上一層的結果做一些調整。
層數少的時候沒問題，加工步驟有限，誤差很小，模型精度完全夠用，可一旦堆到四五十層，問題就出現了。
就跟流水線上的工人一樣，每一層加工都會帶進去一丟丟無關緊要的小誤差，單層看可以忽略不計，但五十層疊加，就是滾雪球式的災難，最後正確的特徵被誤差掩蓋。
之前所有人的優化思路，都從加工力度下手，也就是調整正則化參數，管住每一層的修改幅度，別讓它跑偏太狠。
斯坦福的方案，無非就是精細化管控，每層力度單獨調，比全局統一約束聰明一點，但依舊沒跳出事後補救的死循環。
為什麼一定要讓每一層都強行學習全新的特徵、反覆修改全部數據？
好的特徵、正確的數據，本該直接保留傳遞，根本不需要層層重複加工，模型只需要專注學習輸入和正確結果之間的差值就夠了。 他在紙上畫了最簡單的示意圖，一條直線直通首尾，代表原始數據的直接傳遞路徑，旁邊再搭一條分支路徑，專門用來計算，修正誤差。
這種方式就像是爬山，以前每一步都要重新找路，重新定位，爬一百步就會積累一百次偏差，最後大概率偏離山頂或者墜入山谷。
而他這套全新的疊代技術，相當於給爬山裝了一條直達山頂的索道。
理論上來說，哪怕堆一千層，基礎數據永遠精準，誤差沒有放大的機會。
從帶權索伯列夫空間的求解域替換，到分層殘差單元的結構搭建，再到疊代的動態修正公式，一整套從未出現在這個時代的全新理論體系，在他的筆下快速成型。
現在的深度學習領域，所有人都在往正則化，優化梯度下降，調整權重參數等方向卷。
沒人敢想，也沒人能想，原來困住整個行業數年的深層網絡退化難題，解法居然如此簡單！
漆昊把關鍵公式列好後，睡了一會兒，凌晨五點左右，睡醒的他直奔林晨的實驗室。
實驗室裡面有零星的幾個人在睡覺，漆昊沒有打擾他們，找了一台工作站就開始工作了。
他敲代碼的速度快得有點嚇人，幾乎是想到哪寫到哪，中間幾乎不帶停頓，搭網絡結構，寫那條直通首尾的傳遞路徑，再掛上旁邊那條專門算修正量的分支……
寫完第一版，他盯著屏幕看了一會兒，又皺眉改了改學習率，回車，繼續跑起來。
日誌刷刷往下跑。 漆昊觀察著那個loss曲線。
第一個epoch，下降。
第二個epoch，還在下降。
到第十個epoch的時候，他嘴角已經比AK還難壓了。
按照傳統那條路子，網絡堆到五十層，這曲線要麼原地躺平不動，要麼直接上升，跟抽風一樣，可現在這條曲線，一路平平穩穩往下走，該收斂收斂，該穩住穩住。
他的想法沒錯！
就在這個時候，有人醒了。
「我去？這誰啊？卷王附體了？」
「居然還有人沒睡嗎？我以為就咱們夠拼了，沒想到還有高手！」
幾個人小聲嘀咕，等他們看清工位上的人時，瞳孔地震了。
居然是漆昊！
】】首】發】更】新！ 誰都知道他強，但沒人見過他這麼拼的。
他們導師呢？
那傢伙，得好好來學學漆神！
一研究生平時被人叫做小胖，他主動過去詢問漆昊：「漆老師，您這是通宵了？需要我幫忙做什麼嗎？」
「剛來沒多久，你們不用拘謹，正常工作就行了。」
漆昊隨口說了一句，結果發現旁邊沒動靜，一扭頭，看見了兩張好奇的臉。
漆昊樂了，乾脆站起來，把鍵盤往小胖那邊一推:「你們來了，那就你們自己跑一遍。」
小胖緊張了起來:「我?我跑?老師這是你的東西，我們萬一搞壞了怎麼辦？」
「搞不壞。」
漆昊把椅子讓出來：「我在旁邊看著，你們自己上手跑一遍，比我講十遍都管用，這東西沒那麼脆弱。」
「就算你們搞壞了，修復就行了，多大點事。」
小胖和旁邊的研究生們眼睛發亮。 跟著天才做實驗就是不一樣。
以前他們總聽說會有導師因為學生實驗做不好而批評學生，有的甚至看見儀器被碰出一點劃痕就大發雷霆，恨不得把出錯的學生數落半天。
這讓不少人在做實驗時縮手縮腳，生怕一不小心闖禍挨罵，做起操作束手束腳，很多想法壓根不敢嘗試。
可漆昊完全是另一種模樣，非但不畏懼試錯，反倒主動推著他們動手實操，包容度高得超乎想像。
機會難得，小胖立刻坐上了座位，按照漆昊所說的，把工程複製了一份，照著漆昊寫的結構重新搭了一遍。
搭到一半他就有點懵了:「老師你這網絡，數據從頭到尾好像有一條道是直接通的?中間那些層好像沒怎麼改它?」
漆昊沒直接回答：「我問你們個事，你們平時寫作業，是不是每道題都從頭算到尾?」
小胖點頭。
「那要是有一道題，答案你已經知道了，只是抄的時候手一抖，寫錯了個數字，你是把整道題重新推一遍，還是直接把那個錯的數字改過來?」
「那當然是改數字啊，重新推一遍太費時間了。」
「這就對了。「
漆昊指著那條直線：「以前的深度網絡，就是個強迫症，它不管你上一層算得對不對，每一層都非要把整道題從頭到尾重新推一遍，推一次錯一點，推一次錯一點。」 「五十層，就是重新推五十遍，你們想想，一個人抄五十遍答案，他能不抄錯?第一遍抄錯一個字，第二遍照著錯的再抄，越抄越離譜，最後交上去的東西跟原題答案八竿子打不著。」
小胖瞪大眼睛，他突然明白了漆昊的意思。
「所以我幹了什麼呢?」
漆昊拿筆在那條直線上重重一划：「我告訴這個網絡，你別推了，原來對的答案你原封不動往下傳就行，別瞎改。」
他又指旁邊那條彎線:「那這條道是幹嘛的?這條道專門干一件事，就是算你差了多少。」
「它不管整道題，它只算差值，你原來答案是對的，那這條道算出來就是零，啥都不改，直接過，你要是真差了點，它就補一個修正量上去，把你拉回正道。」
「所以這裡有一個關鍵的數學公式。」
「F（x）=H(x)-x」
小胖立刻說道：「這不是小學生都能看懂嗎？」
「對，所以整個問題，其實是一道簡單的數學題！」
小胖和其他研究生懵了。
在他們看來，神經網絡的模型誤差偏移，智能疊代優化，是深度學習領域裡的複雜難題，牽扯到海量參數運算，非線性擬合，誤差反向傳播，是無數論文和科研項目深耕的難點，怎麼可能被一句簡單的小學數學道破核心？ 「老師，請問這麼一改，好處在哪?」有研究生問道。
「好處在於，就算你這一層啥都沒學會，啥修正量都算不出來，那條彎線給你輸出個零，數據順著直線過去，一點沒耽誤，最差最差，這一層就當摸魚了，但它不會把前面的結果給你破壞掉。」
「以前是啥情況?以前是每一層都得幹活，你不幹活模型就崩，你幹得不好模型也崩，壓力全給到中間層了，層層都是打工人，層層都想撂挑子，最後集體擺爛，模型直接出問題。」
小胖一臉嚮往地問:「那理論上能堆到100層嗎?」
漆昊鬱悶。
不是，我都講了這麼多了，你能不能大膽一點猜，100層看不起誰啊！
漆昊想了想，吐出一個數:「理論上來說一千層。」
「一千層？！」
「老師，現在業界谷歌那邊才堆到五十二層，我們可以堆一千層?」
漆昊聳肩：「其實一千層是受到了算力的限制，如果算力更好，層數可能會更大。」
幾個研究生倒吸一口涼氣。
他們搞深度學習的，誰不知道深層網絡退化多讓人頭疼? 整個業界論文一篇接一篇，一個個卷得頭髮都快薅禿了，天花板都沒有抬上去。
結果漆神輕描淡寫就說這問題解決了?
小胖腦子裡嗡嗡的，一個念頭怎麼都壓不住，困住整個行業的難題，解法這麼簡單?
那他怎麼沒想到？
此時實驗室門被推開。
林晨端著一杯咖啡進來，還沒睡醒似的，一抬眼看見工位上的漆昊，手一抖，咖啡差點潑出來。
「漆昊?!」
林晨眼睛瞪得溜圓：「你幾點來的?」
「六點之前。」幾個研究生異口同聲。
林晨走過去，把咖啡放下，說:「我說你能不能別這麼拼?你這才多大，身體是革命的本錢知不知道?搞學術是長跑，不是讓你這麼熬的，你昨晚沒睡好?」
「睡了一會兒，靈感來了，躺不住。」
林晨坐到旁邊，猶豫了一下，還是開口了:「有個事得跟你說，你別激動，斯坦福那邊的論文，已經掛到預印本平台上了。」 「通訊作者是斯坦福人深度學習實驗室的老牌教授，圈內不少高校，科技公司的研究員已經蹲在預印本頁面刷新，不少人在郵件群里說，斯坦福找到了深層網絡的破局路徑。」
林晨語速飛快，伸手點開自己筆記本的瀏覽器，調出arxiv官網頁面，找到了論文的頁面，然後把它放在了漆昊面前。
漆昊湊過去仔細查看。
頁面上，論文標題寫著通過局部流形正則化實現深層網絡穩定。
再往下看，摘要里寫得天花亂墜，聲稱他們利用了一種全新的局部權重約束機制，成功將網絡層數穩定推進到了五十二層，梯度既沒有爆炸也沒有消失，各項指標表現優異。
漆昊滑動滑鼠輪，一行行往下掃。
看著看著，他突然笑了起來。
這一笑，可把旁邊的林晨嚇得夠嗆。
「漆老師，你沒事吧？」
林晨急忙安慰：「你不要想太多了，這很正常，學術界就是這樣，你剛有個idea，地球另一端指不定就有幾十個團隊在用更充足的算力和經費在做同類方向，他們現在先做出來，我們可以適當調整目前的研究方向……」
「林教授，我笑，是因為他們這篇論文，剛好證明了我的推斷是對的。」
「另外，我想到一種方法，可以把訓練網絡層數推到1000層。」 林晨：？？？
……
與此同時，莫斯科國立大學，計算數學與控制系。
在這裡一直流傳著一個說法。
人們會習慣將系裡的教研室分為三流：一流的教研室，研究的是純粹的數學，在那些老教授眼裡，只有拓撲空間，泛函分析和代數幾何等等才配被稱為真理。
二流的教研室，則是數學與計算機的結合部。
至於三流的教研室，很遺憾，就是純粹研究計算機工程的。
而此時，在一流教研室中雅戈拉教授坐在電腦前，皺起了眉頭。
雅戈拉今年已經六十多歲了，滿頭銀髮，他是偉大的蘇聯數學家吉洪諾夫的嫡系傳人。
在計算數學這一領域，吉洪諾夫這個名字就是一座無法逾越的豐碑，雅戈拉作為他的學生自然驕傲無比。
「哼，這幫美國人真是不可理喻，引用論文居然都不帶上老師的！」
一旁的副教授尤里無奈勸道：「別生那麼大氣，雅戈拉，這又不是第一次了。」 「美國人這些年明里暗裡貶低我們，忽視我們的學術成果，難道還少嗎？在好萊塢電影裡，我們的人不是渾身文身的黑幫，就是帶著可笑口音的非法移民。」
「現在在學術界，他們不引用我們的論文，不是很符合他們的邏輯嗎？」