「哼，他們在這篇論文的公式里，為了解決權重矩陣不穩定的問題，引入了L2正則化，然後呢？他們在參考文獻里寫了什麼？他們寫的是Hoerl & Kennard 1970提出的 L2嶺回歸！」
「該死的，1970年？！吉洪諾夫導師在1963年的《蘇聯科學院匯報》上發表那篇奠定正則化基礎的論文時，這兩個美國佬還在泥地里玩泥巴呢！」
「在數學上，嶺回歸和吉洪諾夫正則化在特定條件下是完全等價的，這一點任何一個合格的大學生都該知道，但他們寧願去引用一個1970年的文獻，也不願意提到1963年吉洪諾夫的名字。」
「怎麼，承認現代深度學習的數學基石有一部分來自我們，會讓他們的股票下跌嗎？」
尤里嘆了口氣。
「雅戈拉，我們沒辦法去和他們對抗，斯坦福這篇論文一出，那些科技媒體已經開始瘋狂吹捧了，說什麼深度學習的黎明。資本已經湧進去了。」
「黎明？我看是瞎子摸黑！」
雅戈拉冷哼一聲：「吉洪諾夫正則化可不是那麼好用的，在高維非線性空間裡，盲目套用線性的懲罰項，會導致邊界發生嚴重問題，他們這篇論文在五十二層就停下了，說明他們自己也發現了這個問題，只是在刻意隱瞞。」
雖然心裡不舒服，但雅戈拉畢竟是一位頂尖的數學家。
他不會一直抱怨，在學術界，最有力的反擊永遠是數學公式和可重複的實驗。
「幫我把伊萬和德米特里給我叫進來！」雅戈拉轉頭對尤里說道。
不一會兒，兩個穿著套頭衛衣的莫大研究生走進了辦公室。 「教授，您找我們？」
「你們兩個，今天不用去跑那個該死的數據清洗腳本了。」
雅戈拉指著屏幕上的斯坦福論文：「把這篇論文列印出來，把他們的核心代碼和數學推導給我復現一遍，特別注意他們提到的邊界收斂證明，用吉洪諾夫算子去檢驗它。」
伊萬和德米特里對視了一眼，一下興奮了起來。
拆美國同行的台？
他們可太喜歡了！
人嘛，搞科研可能沒有那麼積極，但如果是幹壞事，那就嘿嘿。
一周後，美國，加利福尼亞州。
帕羅奧圖，史丹福大學深度學習研究中心。
清晨的陽光透過高大明亮的落地玻璃窗，灑在了一間實驗室內。
「恭喜你，克里斯多夫教授，論文掛上去才一周，我們的下載量和引用申請就已經創下了今年實驗室的新高。」
副教授布蘭登手裡拿著一個平板電腦，滿臉興奮：「谷歌AI部門的幾個老朋友已經在推特上轉發了我們的工作，稱這是今年最令人興奮的理論突破之一。」 「矽谷的幾個投資人都打來電話，詢問我們有沒有基於這項技術成立新公司的計劃。」
克里斯多夫聽著這些，滿意極了，他笑著說：「這很正常，布蘭登。」
「那些工業界的巨頭們手裡的算力太多，腦子太少，他們只知道用成百上千個GPU去強行堆砌參數，遇到退化問題就束手無策。」
「而我們就是他們的救命稻草。」
「您說得對，不過，我們為什麼不等同行評審結束，直接發刊，而是急著掛在 arxiv上呢？」一個博士生有些不解地問。
克里斯多夫看了他一眼，說：「孩子，這就是學術上的技巧。」
布蘭登在旁邊笑著解釋道，「現在的機器學習領域疊代太快了，如果我們老老實實等六個月的審稿期，指不定哪天有團隊就會誤打誤撞做出類似的東西，然後搶在我們前面發布。」
「只要我們的預印本掛上arxiv，全世界就必須承認這個成果屬於我們。」
「更重要的是，這篇論文能幫我們拖延競爭對手至少三個月的時間。」
「谷歌在看到這篇論文後，第一反應絕對是暫停他們現有的部分實驗，調集人手來復現我們的論文，等他們花了幾百萬美元的算力，終於搞清楚我們的邊界條件和局限性時，我們早就把第二階段，也就是基於這個理論的改進架構給做出來了，專利也早就申請完畢了。」
「簡單一點來講，這麼做之後，我們將永遠在深度領域占有重要的位置。」
】】首】發】更】新！ 博士生恍然大悟。
他原本以為搞科研自己做自己的就行了，沒想到，這裡面有如此多的門道。
難怪說，找到一個好的導師，可以少走五年彎路，如今看來，他跟對人了。
就在他們討論著今晚去哪家高檔米其林餐廳慶祝時，一個戴著黑框眼鏡的博士生神色匆忙地推開門走了進來。
「教授，arxiv頁面下面，剛剛冒出了幾條關於論文的comment。」
克里斯多夫喝了一口咖啡，沒當回事：「哦？這不是很正常嗎？我們的論文這麼有話題度，那些被戳中痛點或者想蹭熱度的同行，當然會迫不及待地跳出來。」
「讓我想想，是不是又有一些大學的研究員，在下面留言說讓我們引用他們的論文？」
實驗室里爆發出一陣鬨笑。
在預印本平台上，這種comment簡直不要太多，由於arxiv的的留言機制是公開的，很多渴望引用量的二三流學者，會想方設法在爆款論文下面留言，試圖把自己那些無人問津的陳年舊作和熱點強行綁定。
「確實有一條是這樣的，希臘的一個副教授，希望我們能把他的圖神經網絡論文加進參考文獻。」
「但還有幾條比較棘手，比如莫斯科國立大學那邊，有一位叫雅戈拉的教授，在arxiv的討論區發了一篇很長的comment。」
「雅戈拉？」 克里斯多夫挑了挑眉：「那個守著蘇聯時代數學遺產不放的老頭子？他說了什麼？」
「他提了一些問題。」
「他指出，我們的模型超過五十二層，扭曲的邊界會破壞梯度下降的收斂唯一性，訓練誤差會斷崖式反彈，權重矩陣出現系統性偽秩退化，模型完全失效，我們的收斂證明，僅在淺層有限區間成立，刻意隱瞞了深層失效的拓撲缺陷。」
克里斯多夫冷哼了一聲。
刻意隱瞞又如何？
他們完全有時間去修改這個問題。
不過問題是，這老傢伙的話，一定會引起同行的注意。
布蘭登像是知道克里斯多夫在擔心什麼，他安慰說：「教授，不用擔心，現在大部分comment都是認可我們的，雅戈拉的comment不用放在心上。」
「畢竟，雅戈拉名氣現在可沒有您的大，影響不了我們的論文發表計劃。」
克里斯多夫聽到後，心裡這才放心下來。
「還有別的嗎？」
「教授，大部分評論確實都在誇獎我們的工作，或者提出一些不痛不癢的格式問題，但有一條comment，非常特別。」 「特別？」
布蘭登教授有些好笑地湊過來：「能有多特別？難道有人在裡面寫了一首十四行詩來讚美我們的局部流形正則化嗎？」
「不，教授，這個comment沒有任何廢話，只有一份五頁的數學推導。」
「它的作者是Qi Hao（漆昊）。」
「你說誰？！」
「漆昊，就是發明了QInet技術，還在數學領域取得了重大成果的那位。」
在當下，機器學習領域沒有人不會知道漆昊的名字。
這個年輕人在計算機工程上表現的像個妖孽，如果不是他，機器學習這個領域早就快涼了，現在哪有那麼多高校實驗室和企業進場押注？
漆昊不是去搞純數研究了嗎？
為什麼還要看他們的論文？
「快！把他的comment調出來！」克里斯多夫聽到這個名字，身體緊張的跟1993年俄聯邦的財政預算一樣。
他意識到了情況不妙，立刻命令道。 博士生連忙在鍵盤上敲擊，將那篇comment投影到了實驗室的大屏幕上。
原本有些聲音的實驗室在這一瞬間安靜了下來，所有人都看向了投影。
開篇第一段，漆昊就說了：「我很欣慰能看到斯坦福團隊在 L2正則化與流形穩定化方面所做的嘗試，這無疑是一次不錯的工程探索，然而，你們在論文第四章試圖用一個各向同性的局部約束來證明 52層網絡收斂性的做法，在數學邏輯上是不成立的。
「不成立？！」布蘭登咬了咬牙，急切地看了下去。
「在非齊次噪聲和高維梯度的雙重作用下，你們所設計的流形會不可避免發生問題。」
「實際上，要解決這一缺陷並不困難。」
接下來的四頁，全是數學推導。
克里斯多夫立即組織人開始驗證。
此時，不光是克里斯多夫課題組在驗證漆昊的推導，其他課題組在看到漆昊的comment後也加入了進來。
與此同時，莫大。
「教授您快看！大家都在討論那篇論文下的comment！」伊萬把筆記本電腦放在了雅戈拉面前。
雅戈拉湊近屏幕一看：「這是漆昊寫的?」 伊萬點頭，說：「現在大家都在傳漆昊的comment，聽說不少實驗室已經開始驗證漆昊的論證了。」
「您還記得漆昊嗎？」
雅戈拉當然記得漆昊了。
那個憑一己之力把這個領域從要進入寒冬的悲觀預期里拽回來的年輕人，那個搞出QInet，又轉頭在純數領域裡攪風攪雨的華國天才。
整個機器學習圈子，誰會忘記這個名字?
伊萬激動得臉都紅了:「教授，他跟咱們說的是一個問題，他也發現了!」
雅戈拉沒有搭理伊萬，他嚴肅地看起了漆昊的推導，越看，臉上的表情越複雜。
他和學生忙活了一整個星期，靠著吉洪諾夫正則化那套老辦法，才勉強證明了斯坦福的證明是有漏洞的。
注意，是有漏洞，他能指出漏洞在哪，卻給不出一個解決方案。
因為吉洪諾夫那套框架，在這種高維非線性的場景下，有點力不從心了。
而漆昊呢?
這個年輕人光明正大引用了老師的理論，但跳過了找漏洞這個環節，他直接把問題重新參數化，引入了一個雅戈拉從沒見過的動態約束算子，然後推導出了一個在任意層數下都收斂的充分條件！ 雅戈拉讓伊萬拿來紙筆，他快速驗證了起來。
他驗算了一個下午，一遍又一遍，每驗一遍都想罵人，每次罵完又想接著看。
這倒不是因為算子本身有多複雜，恰恰相反，他就是因為看明白了漆昊的推導才想罵人。
那種天賦之間的差距，讓他坐立難安。
雅戈拉這輩子見過聰明人，見過勤奮的人，見過又聰明又勤奮還運氣奇好的人，但這種感覺，他記得只在第一次讀吉洪諾夫老師的手稿時才有。
這個漆昊，他到底是如何想到那個算子的？
技術步驟問題雅戈拉可以反推，他花幾個月，肯定能把那條路從頭走一遍。
雅戈拉想知道的是，那個重新參數化的初始切入角度，是怎麼來的？
這問題絕對不是一句漆昊很努力就能回答的。
這就像是雅戈拉能弄明白如何解決問題，但這個年輕人，好像生來就會看見其它解決方法一樣。
到了晚上，雅戈拉看著驗證出來的結果發出了一聲嘆息：「看來我們從一開始，就被吉洪諾夫老師的框架框死了。」
「漆昊是對的。」 雅戈拉一輩子都紮根蘇聯經典數學體系，畢生所學所研所用，全部建立在吉洪諾夫正則化的基石之上。
他始終堅信，老師1963年的成果，是整個正則化領域的源頭，可直到今天，他才認清一個的事實，經典永遠是經典，但經典終究有時代的邊界。
漆昊沒有局限于吉洪諾夫老師的理論，而是在原有基礎上，做了優化。
雅戈拉不得不承認，漆昊比他更像是吉洪諾夫的學生。
而他就像是個冒牌貨。
「去把咱們這一周的草稿都拿來。」
伊萬愣了一下：「教授您要……」
「我要把它們和這個算子對著看。」
「我想知道，我離這步，差了多少。」
伊萬走後，雅戈拉再去看漆昊的comment，發現他遺漏了末尾的一句話。
「上述優化後的吉洪諾夫理論依然無法解決深度網絡化問題，所以需要引入新的技術，完整理論和實驗驗證，後續將在新論文中公開。」
雅戈拉愣在了原地。