2012年10月29日,傍晚。
義大利,佛羅倫斯。
古老的文藝復兵之城在夕陽下泛著金色的光芒。
阿諾河靜靜流淌,遠處聖母百花大教堂的穹頂在晚霞中顯得格外壯麗。
陳陽站在酒店房間的窗前,看著窗外的風景。
這是他第一次來歐洲,第一次參加國際學術會議。
身後,傳來敲門聲。
「陳陽,準備好了嗎?晚上的歡迎晚宴快開始了。「
開口的是朱軍教授,水木大學計算機系的教授,這次也來參加ECCV會議。
得知陳陽要來做演講,朱軍主動提出帶他一起來,一路上照應這個第一次出國的大一學生。
「好了,朱老師。「陳陽拿起西裝外套穿上。
鏡子裡的少年,穿著得體的深藍色西裝,頭髮梳得整齊,眼神中帶著超越年齡的沉穩。
「走吧。「
朱軍笑著說,「今晚來的都是計算機視覺領域的頂尖人物,好好認識一下。「
會議酒店的宴會廳里,水晶吊燈發出柔和的光芒。
身著正裝的學者們三三兩兩地聚在一起,端著紅酒交談著。
空氣里瀰漫著香檳和烤牛排的味道,還有各種語言交織的低語聲。
陳陽跟著朱軍走進大廳,立刻感受到了幾道目光落在自己身上。
「朱,好久不見!「
一個滿頭銀髮的老者走過來,用略帶口音的英語打招呼。
「安德魯!「
朱軍熱情地握手,「你也來了!「
安德魯·齊瑟曼,牛津大學的教授,計算機視覺領域的傳奇人物之一。
「這位是?「齊瑟曼的目光落在陳陽身上。
「我的學生,陳陽。「
朱軍介紹道,然後壓低聲音補充,「Star City Data的那個。「
齊瑟曼的眼睛瞬間亮了。
「你就是陳陽?「
他用力握住陳陽的手,「天啊,我還以為你至少是個博士後!「
「您好,齊瑟曼教授。「
陳陽用流利的英語回應,「很榮幸見到您。「
「榮幸的是我!「
齊瑟曼激動地說,「6.5%!你知道嗎,當我看到那個數字的時候,我以為是系統出錯了!「
周圍幾個學者聽到這邊的動靜,也圍了過來。
「你就是Star City Data的作者?「
「天啊,這麼年輕?「
「你真的只是大一學生?「
陳陽被圍在中間,禮貌地點頭回應。
「各位,「
朱軍笑著幫他解圍,「陳陽剛下飛機,讓他先喘口氣吧。明天的演講,他會詳細介紹技術細節的。「
「對對對,明天!「
齊瑟曼拍了拍陳陽的肩膀,「小伙子,我會坐在第一排聽你的演講。「
人群漸漸散開,但不時還有人投來好奇的目光。
「習慣就好。「
朱軍低聲對陳陽說,「從今天開始,你就是這個圈子的焦點了。「
陳陽端起一杯果汁,看著大廳里那些學術界的傳奇人物。
他們中有的寫出了開創性的論文,有的培養了無數頂尖人才,有的創辦了改變世界的公司。
而現在,他們都在談論著同一個話題——那個來自中國的6.5%。
宴會廳的另一端,幾個年輕人也在討論著。
「聽說了嗎?今年的冠軍是個中國大一學生。「
「6.5%的錯誤率,簡直不可思議。「
「明天一定要去聽他的演講。「
10月30日,下午兩點。
ECCV 2012閉幕式。
會議主廳里座無虛席,走廊上都站滿了人。
講台上,李飛飛正在做開場介紹。
「今年的ImageNet挑戰賽,出現了一個令人震驚的成績。「
大屏幕上顯示出排行榜前三名:
**Rank 3: Oxford VGG | 26.5%**
**Rank 2: SuperVision (Toronto)| 16.4%**
**Rank 1: Star City Data (China)| 6.5%**
台下響起一陣驚嘆聲。
「第二名團隊的成績已經是巨大的突破,將錯誤率從26%降到了16%。「
李飛飛說,「但第一名的成績,則完全超出了我們的想像。「
她頓了頓,目光掃過台下:
「6.5%的Top-5錯誤率,這意味著什麼?意味著我們距離人類的識別水平,已經非常接近了。「
「接下來,讓我們有請Star City Data團隊的代表,來自清華大學的陳陽,為我們帶來今天的閉幕演講——《Deep Residual Learning for Image Recognition》。「
掌聲響起。
陳陽從第一排站起身,走上講台。
聚光燈打在他身上,台下數百雙眼睛盯著他。
他深吸一口氣,接過話筒。
「各位下午好,我是陳陽。「
他的聲音平靜而清晰,英語發音標準。
「在開始之前,我想先問一個問題:為什麼深度神經網絡不能無限加深?「
大屏幕上出現了一張圖表,顯示著網絡層數和準確率的關係。
「傳統觀點認為,網絡越深,表達能力越強。但事實上,當網絡超過一定深度後,準確率反而會下降。「
陳陽點擊翻頁。
「這就是所謂的'退化問題'。很多人認為這是過擬合導致的,但實際上,即使在訓練集上,深層網絡的表現也不如淺層網絡。「
台下的學者們點頭,這確實是困擾業界多年的難題。
「那麼,問題出在哪裡?「
陳陽的語氣突然變得銳利:
「問題在於,我們讓網絡學習的東西太難了。「
他點擊下一頁,屏幕上出現了一個簡單的示意圖。
左邊是傳統網絡:輸入X經過兩層網絡,輸出H(X)。
右邊是殘差網絡:輸入X經過兩層網絡得到F(X),然後加上原始輸入X,輸出H(X)= F(X)+ X。
「這就是殘差學習的核心思想。「
陳陽的聲音在寂靜的會場裡迴蕩:
「與其讓網絡直接學習H(X),不如讓它學習殘差F(X)= H(X)- X。「
「為什麼這樣更簡單?因為在很多情況下,最優映射接近於恆等映射。也就是說,F(X)接近於0,比直接學習H(X)要容易得多。「
台下開始有竊竊私語聲。
「太簡單了……「
「為什麼我們之前沒想到?「
「等等,這真的有效嗎?「
陳陽似乎聽到了這些質疑,他點擊下一頁。
屏幕上出現了一系列實驗結果。
「在CIFAR-10數據集上,我們測試了不同深度的網絡。「
紅色曲線代表傳統網絡,藍色曲線代表殘差網絡。
在20層以下,兩條曲線幾乎重合。
但當層數超過20層後,紅色曲線開始下降,而藍色曲線卻持續上升。
在110層時,殘差網絡的準確率依然在提升。
「這意味著什麼?「
陳陽的目光掃過台下,「這意味著,殘差學習解決了退化問題。我們可以訓練真正的深度網絡了。「
掌聲開始零星地響起,然後越來越熱烈。
「在ImageNet上,我們構建了一個152層的殘差網絡。「
大屏幕上出現了網絡結構圖,層層疊疊,像一座摩天大樓。
台下響起一陣倒吸冷氣的聲音。
「152層?!「
「這怎麼訓練的?「
陳陽繼續說:「很多人問我,這麼深的網絡,需要多強大的硬體?超級計算機?「
他點擊下一頁。
「我們的集群:12塊NVIDIA GTX 680顯卡。「
台下一片譁然。
「GTX 680?「
「那不是遊戲顯卡嗎?「
「2GB顯存怎麼可能訓練152層?「
「我知道大家在想什麼。「陳陽笑了,「152層的網絡,模型大小超過20GB,怎麼可能在2GB顯存的卡上運行?「
他點擊下一頁:
「答案是:模型並行和數據並行的混合框架。「
屏幕上出現了一張複雜的架構圖,展示了如何將模型切分到多張顯卡上,同時保持高效的訓練速度。
「我們設計了一套自適應的並行策略,根據每一層的大小和計算量,動態分配到不同的GPU上。「
「通過精心設計的顯存管理和梯度累積策略,我們實現了在消費級顯卡上訓練超深度網絡。「
台下的學者們瘋狂地記筆記。
齊瑟曼坐在第一排,眼睛一眨不眨地盯著屏幕。
這不只是一個天才的算法,還是一個天才的工程實現。
「最終,在ImageNet驗證集上,我們的ResNet-152達到了6.5%的Top-5錯誤率。「
大屏幕上出現了最終的結果對比:
2011年冠軍:26.2%
2012年第二名:16.4%
ResNet-152:6.5%
「相比去年的冠軍,我們將錯誤率降低了75%。「
陳陽停頓了一下,目光掃過台下每一個人:
「這不是終點,而是起點。殘差網絡的出現,意味著深度學習真正進入了可以實用化的階段。「
「它可以應用在圖像識別、目標檢測、語義分割等各個領域。「
「在星城數據,我們已經將ResNet應用到了實際業務中。「
屏幕切換到新的頁面,顯示著幾個應用案例。
「第一,驗證碼識別。我們的'星眼'系統,基於ResNet架構,對各類複雜驗證碼的識別準確率達到99.7%以上。「
「第二,證件識別。身份證、駕駛證、發票等各類證件的OCR識別,準確率超過99.5%,處理速度是傳統方法的10倍以上。「
「第三,我們正在探索更多應用場景,包括人臉識別、醫療影像分析等。「
台下開始有人竊竊私語。
「原來他們已經在做商業化了。「
「難怪能做出這麼強的模型。「
陳陽繼續說:
「深度學習不應該只停留在實驗室里。ResNet的目標,就是讓AI技術真正走進現實世界,解決實際問題。「
他的聲音堅定有力:
「這就是星城數據的使命——讓每一個企業、每一個開發者,都能用上最先進的AI技術。「
陳陽鞠了一躬:
「謝謝大家。「
掌聲如雷鳴般響起。
整個會場的人都站了起來。
持續了將近兩分鐘的掌聲,才逐漸平息。
演講結束後,陳陽被一群學者圍住。
「能詳細講講混合併行框架嗎?「
「殘差連接在目標檢測上效果如何?「
「你們的證件識別系統是如何實現的?「
「星城數據現在接商業合作嗎?「
陳陽耐心地回答著每一個問題。
齊瑟曼教授擠到前面,激動地說:
「陳陽,你願意來牛津做訪問學者嗎?我們有最好的實驗室,最優秀的團隊。「
話還沒說完,旁邊一個教授打斷道:
「陳,考慮一下MIT吧!我們可以為你提供全額獎學金,還有獨立的研究經費。「
陳陽有些不知所措,朱軍在一旁笑著說:
「各位,陳陽還是大一學生,讓他先把本科讀完吧。「
人群中,一個穿著考究西裝的中年人遞上名片:
「陳先生,我是紅杉資本的湯姆·詹森。您的公司非常有潛力,不知道是否考慮接受投資?「
陳陽接過名片,禮貌地說:
「謝謝您的關注。星城數據確實在尋求資金支持,不過我們更看重戰略投資而不只是資金。「
「理解。「
湯姆點頭,「那我們保持聯繫。如果需要,隨時可以找我。「
類似的投資人,今天找上陳陽的已經有七八個了。
還有幾家科技公司的代表,想談技術授權。
甚至有獵頭想挖他去谷歌和Facebook,開出的薪水高達百萬美元。
陳陽一一應對,不卑不亢。
人群散去後,一個年輕人走過來。
「你好,陳陽。「
他伸出手,「我是亞歷克斯·克里熱夫斯基。「
「你好。「陳陽握住他的手。
「你的ResNet很厲害。「
亞歷克斯真誠地說,「我們的工作和你比起來,差得太遠了。「
「不,每個工作都有它的價值。「
陳陽說,「深度學習的發展需要所有人的努力。「
亞歷克斯愣了一下,然後笑了:「你真會說話。不過,我確實很好奇,你是怎麼想到殘差連接這個idea的?「
「靈感來源於高速公路網絡的概念,加上一些數學上的直覺。「陳陽簡單地說,「如果你感興趣,我們可以交流。「
「好。「亞歷克斯點頭。
兩人交換了聯繫方式。
當晚,陳陽回到酒店房間。
手機里塞滿了各種郵件和消息。
學術界的邀請函、投資人的BP、媒體的採訪請求、企業的合作意向。
他打開筆記本,開始整理今天收集到的名片和聯繫方式。