JMLR官網的首頁,二十多年來長得都一樣。
感覺就像是一個大學生學了幾節網頁設計課隨便設計出來的一樣。
有人在論壇上開玩笑說,JMLR的網頁設計水平和它的學術水平,構成了機器學習領域最著名的反差。
不過今天,他們的網站首頁發生了變化。
最先發現異常的是一位北美在讀的機器學習博士。
他原本只是習慣性刷一遍JMLR的最新收錄列表,想蹲幾篇頂刊新作充實自己的文獻綜述,刷新頁面的瞬間,他下意識以為自己網卡出bug了。
首頁最醒目的位置,破天荒地掛出了一篇全新的長文,直接擠掉了原本霸占置頂位的幾篇老牌名校團隊的重磅綜述。
要知道,JMLR向來佛系至極,從來都是按照投稿收錄時間順序靜默更新,極少刻意置頂單篇論文,更別說把一篇新作直接抬到首頁。
他掃了一眼作者欄,想看看是哪位大佬的新作,結果看到了一個簡短的名字。
Hao Qi。
漆昊?!
他看到名字後,再掃了一眼論文的論文,很快就反應了過來。 漆昊居然把那篇優化吉洪諾夫的理論發到了JMLR!
他把這驚人的消息和JMLR連結順手發到了工作群聊。
消息發到群里的那一刻,原本安安靜靜的博士生工作群,立刻有人回應了。
「我的上帝啊,這是真的?」
「謝特,JMLR得到了漆的論文?」
「看來JMLR的影響因子要漲了!」
有人本來要跟女朋友視頻,看到消息後,直接跟女朋友說了:「對不起寶貝我有更重要的東西要看。」然後忽視了女朋友的詢問,順著連結打開了JMLR的官網。
還有個哥們兒本來困得眼皮打架,看完這條消息之後,立刻跑去灌了半瓶紅牛,坐到了電腦面前。
很快訪問JMLR的官網的人數越來越多了。
論文加載出來的瞬間,大多數人都沒說話,他們都認真地看著漆昊的論文。
此時查看漆昊論文的每一個人,幾乎都被吉洪諾夫正則化這套東西折磨過。
這玩意兒的老理論,說白了就是機器學習里對付過擬合的一件祖傳法寶,年頭比在座所有人加起來的博士學齡都長。 從蘇聯數學家安德烈·吉洪諾夫上世紀四五十年代開始琢磨不適定問題算起,這套正則化的思想在數學和工程界摸爬滾打了大半個世紀,到了機器學習時代搖身一變,成了嶺回歸、權重衰減這些東西的理論祖宗。
誰做深度學習不用它?
誰調參不往損失函數裡加個L2懲罰項?
可問題就在於大家都在用,但沒幾個人真正說得清它為什麼好使,好使到什麼邊界為止。
尤其是在小樣本,高維稀疏,噪聲擾動這三座大山面前,老理論就跟中年男人的髮際線一樣,說崩就崩,說退就退,退得你毫無還手之力。
你按著教科書上的公式推,推到一半發現前提假設根本不成立,要想找篇綜述參考,翻遍全網發現所有人都含糊其辭,最難的部分大家都有意去忽視它。
而現在,漆昊這篇長文,把理論解釋得非常清晰。
北美博士因為最先看到漆昊的完整版論文,所以開始給群里沒來得及細看的人做導讀:「我大概翻了一遍邏輯結構,你們感受一下,漆先補齊了整套理論的前置公理,就是把老理論那些默認成立的東西,全部拎出來一條條論證,該證明的證明,該加約束的加約束。」
「然後針對小樣本場景,他引入了一組新的邊界約束條件,直接把泛化誤差的上界確定好了,高維稀疏那塊,他重新定義了正則化項和數據結構之間的耦合關係,推導過程非常嚴謹,我盯著看了半天愣是沒找到一個跳步。」
「噪聲擾動就更狠了,他把噪聲當成一個動態擾動項塞進整個框架里,證明了理論在帶噪環境下依然穩健,還給出了穩健的量化邊界。」
「最厲害的是什麼你們知道嗎,他還配了幾十組對比實驗,全場景覆蓋,從數據集到真實數據,一個不落,而且他沒像別人那樣只放幾張漂亮的曲線圖糊弄事,人家連把思路寫的清清楚楚,你想復現隨時復現。」
】】首】發】更】新! 北美博士的一段導讀發出去,大家對於漆昊這篇完整論文的理解又上了一個新的台階。
「我把噪聲那一節看完了,他處理擾動的方式我第一反應是不認可的,他把噪聲建成一個依賴於當前估計的動態項,這東西按理說會反饋放大,越滾越大,但是他在引理5.3里加了一個約束了,讓整個系統落進一個收縮映射。」
「不動點。」有人回復。
「對,他繞回不動點了,所以帶噪環境下才穩,這一步我要是自己想,這輩子估計都想不到往這兒走。」
「我做實驗的,理論那些我看得慢,但是我把他的代碼拉下來跑了一組,復現了,誤差曲線跟論文圖7幾乎重疊,差異非常小。」
「他連種子都對齊了?」
「對齊了,每組實驗的隨機種子、環境版本、依賴全列出來了,我跑之前以為總得調半天,結果一次過。」
「說實話,以後再有人做正則化,繞不開他這篇理論。」
「各位,記住漆理論吧!」
「等下,漆特別在論文裡面強調了,這個理論叫做吉洪諾夫-漆理論!」
「啥意思」
「他鄭重強調了,這套完整理論的正式命名應該是吉洪諾夫-漆,吉洪諾夫在前,他在後,他說雖然這次的系統性補全與理論閉環由他獨立完成,但整套正則化思想的源頭、內核與最初的邏輯,源自吉洪諾夫半個多世紀前的開創性工作。」 「漆昊說沒有任何人有資格忽視吉洪諾夫的貢獻,他必須為吉洪諾夫正名。」
「他圖啥啊?」
「他難道沒意識到如果這套理論就叫漆理論,那以後全世界的教科書,每一篇引用,每一個上課的PPT,都會印著他一個人的名字?」
「對啊,多少人做夢都想要這個,結果他倒好,主動往前面塞了個吉洪諾夫,等於把自己名字的分量勻出去了一半!」
「樓上的,你們難道沒發現,漆昊把論文發在了JMLR這種開源期刊上了嗎?他要是真想爭這個命名,你們現在還有機會免費看到這篇論文?」
「所以說他根本不在乎什麼虛名,只想讓這套完善後的正則化理論真正落地,造福整個機器學習領域。」
「漆昊就是天使,這格局也太大了!」
「華國人格局都這麼大嗎?」
「可能因為他們那邊崇尚的是社會主義?」
「不是吧,你這樣說顯得我們資本主義很邪惡。」
消息逐漸從群內擴散了出去,數百名海內外博士、研究員、高校教授都想第一時間精讀全文,復現實驗,一睹這套理論的全貌。
很快,海量訪問請求瘋狂湧入JMLR官方伺服器! JMLR作為機器學習領域頂刊,常年流量穩定,伺服器承載的論文閱覽、下載、檢索請求向來平穩,運維團隊早已習慣了低負載運行狀態。
可這一刻,伺服器的負載曲線近乎垂直拉升,CPU、內存、帶寬資源瞬間被占滿,頁面加載開始出現卡頓。
而此時,得知消息雅戈拉教授也進入了JMLR官網,在等待了一分鐘的加載後,他終於看到了漆昊的那篇完整論文。
他之前就驗證過漆昊comment的邏輯,這次看到完整論文補齊了論證後,自然很驚喜。
他正要開始仔細研究的時候,他看到了漆昊特意強調整個理論應該被稱為吉洪諾夫-漆理論的文字。
身為吉洪諾夫的學生,他比這世界上絕大多數人都清楚,吉洪諾夫當年,為了這套東西,走的路有多艱難。
當時吉洪諾夫在柯爾莫哥洛夫擔保下,才逃過了大清洗。
好不容易坐下來搞研究了,又面對現實世界裡一大堆要解決的問題,從地球物理勘探到醫學成像,從信號反演到工程反問題,本質上全都是不適定的。
當時蘇聯的科研人沒有人能夠解決這個問題,吉洪諾夫就是那個硬著頭皮往裡沖的人。
在他看來,數學就是要拿來用的,只搞純數沒意思。
所以他頂著質疑,提出了正則化的思想,既然不適定問題的解不穩定,那就人為地引入一個附加的約束項,用一個正則化參數去平衡擬合數據和解的光滑性這兩個目標,從而在無窮多個不穩定的解里,挑出一個既貼合數據又足夠穩定的答案。
這個思想,在今天聽起來天經地義,是每個機器學習入門學生都會的常識。 但在當年,這是從無到有,從0到1的開天闢地。
吉洪諾夫不僅要建立整套數學框架,還要一個人扛住外界的壓力,用一個又一個真實的應用去證明那些困難的問題,是可以被馴服的。
現在正則化理論雖然已經在應用數學界站穩了腳跟,但離它後來在機器學習時代大放異彩,還有很長一段距離。
吉洪諾夫估計不會想到,他當年在冷板凳上熬出來的那套東西,幾十年後會成為支撐起整個人工智慧大廈的地基之一,會被全世界千千萬萬的工程師和研究者每天使用,使用頻率多到這些人已經忘了這東西最初是從哪來的。
而這,恰恰是雅戈拉這些年來,心裡一直隱隱作痛的地方。
因為在機器學習這個新興的的領域裡,太多人只知道L2正則化、權重衰減、嶺回歸,卻懶得去了解這些東西背後站著的那個名字。
這個理論用得越廣,源頭反而被沖刷得越模糊,吉洪諾夫的功勞,正在被新時代的洪流悄無聲息稀釋,覆蓋,遺忘。
雅戈拉其實知道時代就是這樣,新的領域總是健忘的,總是急著往前跑,顧不上回頭看一眼來時的路。
可他沒想到,在他快要以為這條路上的人都不會再回頭的時候,竟然有一個年輕天才,主動把吉洪諾夫的名字帶到了大家的面前!
雅戈拉一遍又一遍看著論文那一整段專門為吉洪諾夫正名的文字,看著這個叫漆昊的年輕人用自己的理論去反過來托舉一位已經離世二十多年的老前輩!
雅戈拉在電腦面前坐了很久,直到尤里的電話打來,他才從漆昊的論文中回過神來。
他和尤里交流了對於漆昊論文的看法,兩人都是讚不絕口,隨後尤里說:「教授,您可能還沒注意到最重要的一點。」 「什麼?」
「漆昊做到的,還不止於此。」
「他投的是JMLR,這意味著,從今天開始,全世界任何一個人,任何一個學生,任何一個付不起那些期刊訂閱費的研究者,都可以免費看到這篇論文,免費學到這套完整的理論。」
「教授,他不僅把吉洪諾夫院士的名字,重新放回了他這套理論的最前面,他還確保了這個理論,能夠無門檻地傳遍深度學習領域的每一個角落!」