《Attention Is All You Need》。
這篇全英文的預印本學術論文,在深夜十一點被上傳到了arXiv平台。
沒有新聞發布會,也沒有官方帳號的預熱宣傳。
最先發現這篇論文的,是幾個長期盯著九天實驗室動態的自媒體帳號。
他們把論文的標題和摘要截圖,直接發到了引力社區和回音平台上。
配文非常簡短。
【九天實驗室放出了天問大模型的底層架構論文。】
消息剛一發出去,底下的評論區就湧入了大批等待吃瓜的網友。
白天關於天問大模型造假的陰謀論滿天飛,大家都等著看迴響科技怎麼應對。
面對滿屏的英文字母和複雜的數學公式,普通網友完全摸不著頭腦。
【有沒有課代表來總結一下,這東西到底講了什麼?】
【全是大寫字母和看不懂的網絡拓撲圖,這該不會是隨便發一篇水文來糊弄人的吧。】
【散了吧,估計是臨時拼湊的材料,想敷衍白天的造假指控。】
【連個中文翻譯都沒有,這是心虛了吧。】
質疑的聲音還在繼續增加。
十幾分鐘後,引力社區的一位認證大V發文了。
他的認證頭銜是「前百度深度學習實驗室高級算法研究員」。
這位大V沒有配圖,而是直接發了一篇將近四千字的純文本長文。
文章的開頭只有乾巴巴的一句話。
「別吵了,迴響科技這次直接把AI界的桌子給掀了。」
這句話立刻吸引了數以十萬計的流量。
大V在文章里使用了非常通俗的語言,對這篇論文的核心內容進行了拆解。
他解釋了傳統自然語言處理的痛點。
過去的算法依靠循環神經網絡,處理文本必須按照詞彙的先後順序一個一個讀取。
這種處理方式不僅計算速度慢,而且句子一旦過長,模型就會忘掉前面的設定。
這導致長文本生成經常出現前言不搭後語的問題。
大V在文章中加粗了一段文字。
「但這篇論文提出了一種全新的Transformer架構,他們直接拋棄了傳統的循環和卷積網絡。」
「他們提出了一種自注意力機制。」
「這種機制允許模型在處理一個詞時,同時計算句子中所有其他詞與它的關聯度。」
「簡單來說,它能在一眼之間看清整個句子的全局邏輯。」
「這解釋了白天在展示現場,天問為什麼能精準執行長達幾百字、帶有多重嵌套條件的複雜指令。」
文章發布後,相關的從業人士紛紛下場。
引力社區的熱榜排名開始發生劇烈變化。
不少國內一線網際網路大廠的算法工程師在評論區留言。
【我剛才照著論文裡的公式手推了一遍,邏輯完全閉環,沒有技術死角。】
【難怪生成速度那麼快,這種架構天然支持矩陣運算,算力利用率是傳統架構的好幾倍。】
【作為同行,我必須承認,這是一篇能夠改寫教科書的開創性論文。】
【白天那些造謠後台有人工回復的博主呢?出來走兩步?】
【這東西如果真能大規模跑通,現有的自然語言處理技術全得推倒重來。】
輿論的風向徹底逆轉。
那些質疑造假的營銷號集體陷入了沉默,許多帳號開始連夜刪除之前的黑稿。
如果說國內的網際網路圈子只是感到震驚,那海外的AI學術界感受到的就是恐慌。
此刻的北美正值白天。
矽谷的幾大科技巨頭內部,各大AI實驗室的郵件系統已經處於過載狀態。
位於加州山景城的谷歌總部,Google Brain深度學習實驗室里,氣氛壓抑得令人窒息。
高級研究員理察緊盯著電腦屏幕,端咖啡杯的手正止不住地顫抖。
五分鐘前,他收到了史丹福大學一位同行發來的arXiv論文連結。
只看完了《Attention Is All You Need》的摘要部分,理察就感覺渾身的血液都涼了。
實驗室的技術總監推開玻璃門,大步流星地走了進來,臉色鐵青。
「理察,你看過那篇中國團隊發出的論文了嗎?」總監的聲音裡帶著難以掩飾的焦慮。
「剛看完摘要。」理察咽了口唾沫,聲音乾澀,「你們那邊組織算力跑代碼復現了嗎?」
「已經抽調了五十個高級工程師,停掉了手裡所有的非緊急項目,占用了整個雲端集群的算力在跑模型驗證。」
「結果怎麼樣?」理察緊張地站了起來。
「很不樂觀。」總監雙手撐在辦公桌上,給出了一個極其消極的評價。
「代碼復現組剛剛搭出基礎模型跑通了第一個極小規模的數據集!理察,我們過去三年在RNN(循環神經網絡)架構上投入的數十億美金,現在可能變成了一堆廢紙。」
理察的呼吸變得粗重起來。
兩年多以前,九天實驗室發布了一百五十二層的ResNet殘差網絡論文。
那次全球學術界感到的是驚訝。
大家驚訝於中國工程師在解決梯度消失問題上展現出的巧妙工程技巧。
但那僅僅是在現有技術框架內的修補和優化。
這次完全不同。
《Attention Is All You Need》直接推翻了現有的技術底座。
總監看著屏幕上複雜的公式,咬著牙繼續通報測試進度。
「這套被稱為Transformer的全新架構,在並行計算上的優勢太明顯了。」
「我們初步估算,只要算力跟得上,它的訓練效率理論上比我們現在的RNN高出至少十倍!」
「而且最讓我們感到毛骨悚然的是,它在理論上沒有性能上限。」
理察敏銳地捕捉到了核心信息,瞪大了眼睛。
「你的意思是,只要給它餵更多的數據,提供更大的算力集群,它的表現就能無限提升,不會像RNN那樣遇到長序列遺忘的瓶頸?」
「是的。」總監回答得很乾脆,語氣中透著深深的無力感。
「這根本不是什麼技術優化,這是一場技術革命的起點。中國的那家實驗室,找到了通往通用人工智慧的真正鑰匙。」
理察頹然地跌坐回椅子上。
他看著屏幕上那些優美的網絡拓撲圖,後背已經被冷汗濕透。
這項足以改寫人類科技進程的開創性技術,居然誕生在太平洋彼岸的中國實驗室里,而一直自詡為全球AI霸主的矽谷,竟然連反應的時間都沒有。
不僅是矽谷的巨頭。
北美的幾所頂尖高校也因為這篇論文炸開了鍋。
麻省理工和斯坦福的計算機系,所有的研究小組都停下了手頭的日常項目。
白板上寫滿了論文中的公式和推導過程。
外籍研究員們對著屏幕上的網絡拓撲圖反覆驗證。
沒有任何一處邏輯漏洞。
甚至連論文中提到的一些實驗數據,他們用小型數據集跑出來的結果也完全吻合。
這是無可辯駁的技術實力展示。
而在國內,時間已經來到了第二天清晨。
隨著越來越多大牛的解讀,這篇神作的熱度不僅沒有衰減,反而破圈蔓延到了各大高校的學術交流群里。
清華大學計算機系的幾個博士生在群里討論了一整夜。
大家從自注意力機制的數學原理,一直聊到了多頭注意力的工程實現細節。
直到早上七點半。
有人在群里發了一張截圖。
截圖用紅圈特意標出了論文首頁末尾處的作者信息。
【大家先停一下,你們仔細看看最後這個通訊作者的郵箱。】
群里的討論暫停了。
大家點開大圖。
一作和二作的名字大家都很熟悉。
任少卿,中科大出去的猛人,九天實驗室的核心骨幹。
後面的幾個名字也都在學術界有不小的名氣。
但是在通訊作者那一欄,寫著一個奇怪的拼音組合。
【這拼音看著好眼熟,GuYu?怎麼跟迴響科技那位年輕的董事長同音?】
【不可能吧,那位是搞商業和資本運作的,就算他出錢建了九天實驗室,這種足以拿圖靈獎的開創性學術論文,任少卿這種學術狂人能容忍一個不懂技術的資本家去掛通訊作者?】
【會不會是九天實驗室新挖來的同名海歸大牛?但以前在NeurIPS、CVPR這些頂會的一作名單里,從沒見過這個拼音啊。】
【能在這篇開創性論文裡掛通訊作者,絕對不是一般人,誰去查查這個名字的過往文獻?】
群里有人開始行動去查知網和各大外文資料庫。
兩分鐘後。
【各大論文庫查無此人,沒有任何相關的學術記錄。如果真是個學術新人,任少卿更不可能答應了!】
群里短暫地陷入了猜測。
有人認為是重名,有人認為是某個隱世不出的同名老教授。
就在大家一籌莫展的時候。
群里彈出了幾條連續的消息。
這幾條消息來自一個平時很少發言的系主任。
【你們是不是做科研做傻了?通訊作者不僅代表科研指導,也代表了項目的發起者和最高負責人。這篇論文的思路,就是他提供的。】
【迴響科技的顧嶼,不僅是個資本家,他是個真正的技術天才。】
群里安靜了足足一分鐘。
沒有人再發任何表情包和閒聊的廢話。
大家終於反應過來了。
不僅是清華計算機系的群,全國各大高校的理工科交流群里,都在同一時間上演著相似的劇情。
各大論壇的科技板塊也開始出現相關的討論帖。
大家都去看了那篇原始論文。
結尾那個郵箱地址,清清楚楚地印在上面。
這是顧嶼的掛名。
在這樣一篇足以載入AI發展史冊、引起歐美學術界恐慌的開創性論文上。
迴響科技的董事長,堂而皇之地占據了通訊作者的位置。