下午三點。
英偉達園區。
黃任尋安排了一間小會議室。
桌上放著OpenAI經過處理的訓練報告。
三點十分。
會議室門被推開。
一個三十左右的華裔青年走了進來。
他穿著格子襯衫,頭髮有些凌亂,鼻樑上架著一副棕色眼鏡。
林啟航先朝黃任尋打了聲招呼,目光隨即落向陳默:「黃總說,OpenAI想找我聊聊?」
「坐下先看。」陳默將報告推至他面前。
林啟航翻開第一頁,神色尚算平靜。
本書首發 101 看書網體驗棒,𝟭𝟬𝟭𝗸𝗸𝘀.𝗰𝗼𝗺超讚 ,提供給你無錯章節,無亂序章節的閱讀體驗
翻到第三頁,指尖的碳素筆已在幾組通信延遲數據旁劃出痕跡。
到了第五頁,他的速度明顯慢了下來。
「你們把所有參數更新都堆在同一個通信階段?」
「目前是。」
「難怪會堵。」林啟航笑了一聲,手裡的筆幾乎沒停,「顯存分配邏輯也有問題。不同長度的序列全按最大空間預留,大部分根本沒必要保留,直接重算成本反而更低。」
「單卡訓練還能硬撐,放到幾百張GPU的集群里,這種愚蠢的浪費會被成倍放大。」
他拿起筆,在空白處畫出幾個簡單方塊。
「參數更新可以拆開。」
「這一層計算時,上一層便開始通信。」
「再將數據按照長度重新分組,減少無效填充。」
「如果重新設計幾個核心算子,利用率至少能先提高到百分之五十。」
黃任尋端著咖啡坐在一旁,始終沒有插話。在英偉達,林啟航是極少數能將CUDA底層架構、硬體指令集與分布式編譯榨乾到最後一滴性能的怪才。
陳默神色從容,只是淡淡拋出一句:「這只是五百一十二張卡。明年,OpenAI的集群規模是八千張,未來,是數萬張,甚至十萬張。」
林啟航手裡的筆鋒驟然頓住。
「什麼模型,需要這種量級的算力?」
「一個能通曉多任務的通用底座。」陳默揭開隨身筆電,屏幕上隨即播放起最新的原型演示。
同一個未經微調的模型,行雲流水般完成了長文摘要、邏輯推理與跨語種翻譯。
林啟航的目光被牢牢吸在屏幕上,眉頭微蹙:「多模型融合?」
「同一個模型。」陳默報出一串參數規模。
林啟航搖頭:「按這個規模,底層的泛化與湧現能力不合常理。」
「所以,我們需要更大的尺度。」陳默扣上筆電,「我需要你來做整套計算系統的掌舵人。」
林啟航沒有立即答應。
「英偉達同樣在做深度學習。我為什麼要離開?」
「在英偉達,你可以繼續優化世界上最好的GPU。」
陳默看著他的眼睛。
「加入OpenAI,你要解決的是另一件事。」
「如何讓一萬張GPU,像一台機器一樣工作。」
「如果這條路走通了,未來人工智慧能觸碰到多高的上限,不僅取決於算法與晶片製程,更取決於你親手打造的這套算力底座能撐起多龐大的世界。」
林啟航定定地看著陳默:「如果這條路線在物理上根本行不通呢?」
「那就找出原因,重新開始。」
陳默語氣平靜。
「探索通用人工智慧本就沒有標準答案。如果所有的工程路徑早已被論證清楚,我也用不著專程從佛羅里達飛回灣區見你。」
林啟航低頭看著那份滿是批註的報告,沉默了幾秒:「為什麼選我?」
「幾個月前,我從這裡離開時,看見你站在白板前和兩名同事爭論。」
「為了百分之十的內存帶寬,你爭了很久。」
林啟航愣了一下。
他顯然沒有想到,陳默會記得這么小的一件事。
「大部分人看見百分之十,覺得已經可以接受。」陳默繼續說道,「你看見的是還沒有被利用的性能。」
「OpenAI需要的,正是這種對極致算力懷有執念的瘋子。」
會議室安靜下來。
林啟航翻到報告的最後一頁,抬起頭:「如果我過去,能拿到多大的技術裁量權?」
黃任尋抿了口咖啡,心中暗嘆一口氣,知道自己的人已經被撬動了。
「OpenAI計算系統負責人。」
陳默說道。
「獨立組建內核、編譯、通信和集群工程團隊。」
「第一階段三千萬美元預算。」
「核心技術路線由你與伊利亞共同決定。」
「至於薪酬,」陳默補充道,「基本待遇對標英偉達天花板,並進入OpenAI第一批核心期權池。」
林啟航深吸一口氣,摘下眼鏡擦了擦,眼底的野心不再遮掩:「我要先看真實的集群日誌。」
「車在樓下。」陳默起身。
黃任尋無奈苦笑:「陳先生,你真是一點餘地都沒給我留。」
「我從不把決定未來的關鍵籌碼押在運氣上。」陳默微笑道。
黃任尋嘆了口氣,轉頭看向林啟航:「去吧。看完之後,遵從內心的選擇。」
「無論留在英偉達還是去OpenAI,別讓自己後悔。」
林啟航鄭重鞠了一躬:「謝謝黃總。」
……
舊金山先鋒區,OpenAI總部。
林啟航連工位都沒多看一眼,在法務簽完脫敏協議後,便一頭扎進了核心機房。
屏幕幽藍的光映在他臉上,跳動著昨夜訓練崩潰的原始日誌。
伊利亞與Sam聞訊趕來。
最初只是探討架構,僅僅半小時後,討論便升級為白熱化的推導博弈。
從顯存分塊到通信交疊,林啟航與伊利亞在玻璃板上寫滿了算式,爭到激動處甚至相互搶奪白板筆。
Sam數次想要出言拉回節奏,最終都識趣地退到了機房邊緣。
夜色漸深,灣區的燈火連成一線。
晚十點四十分,林啟航擲下筆,活動了一下僵硬的指關節,轉頭望向陳默。
「三個月,我把這512張卡的集群利用率拉到60%以上。」
「至於八千張卡的方案,舊架構得全部推翻。給我一年時間,我讓它們徹底融為一體。」
陳默上前一步,遞出手掌:「這是最終答覆?」
「是。」林啟航握住他的手,掌心滾燙,力道沉穩,「陳總,以後請多關照。」
「歡迎登船。」
……
深夜,舊金山國際機場。
灣流G650ER撕開重重雲海,徑直爬升至萬米平流層,向著浩瀚的太平洋深處疾馳。
奢華機艙內,陸靜怡已經換下參加會面時的正裝,只穿著一件貼身針織衫和寬鬆長褲。
她合上筆記本電腦,抬起雙臂舒展了一下肩頸,修長豐盈的曲線隨之展露。
陳默靠在座椅上,毫不掩飾欣賞的目光。
陸靜怡放下手,捕捉到他的視線,沒好氣地嗔了他一眼:「跟著陳大老闆連軸轉,跨洋過海,事情一件接著一件,骨頭都快散架了。」
陳默聽出了她語氣里的嬌嗔,莞爾道:「辛苦陸總了。」
「口頭上一句辛苦就算打發了?」
「那陸總想要什麼補償?」
陸靜怡端起紅茶,似乎認真思考了一會兒。
「聽說陳總會按摩?」
陳默挑了挑眉:「聽誰說的?」
「你說呢?」
陸靜怡淺淺抿了一口茶。
「那位西省明珠。」
陳默表情微微一僵。
「林婉連這種事情都告訴你?」
「女人之間總有一些陳總不知道的話題。」
陸靜怡眼底藏著笑意。
「她說你手法很專業,力道恰到好處。」
說完,她放下茶杯,優雅地轉過身背對著他,抬手將一頭微卷的長髮悉數攏到右側肩前,露出白皙修長的後頸。
陳默看著她的背影,輕笑一聲:「陸總就不怕我藉機占便宜?」
「你占的還少麼?」
陸靜怡語氣平靜。
陳默啞然失笑,解開安全帶起身行至她身後。
雙手落在肩頭,隔著柔軟的針織面料緩緩用力。
陸靜怡原本只是想調侃他幾句,可隨著肩頸的酸脹一點點舒展開,她的身體逐漸放鬆下來。
「嗯……」
一聲微哼從她唇間溢出。
陸靜怡雙肩微微一顫,徹底放鬆下來,整個人向後靠去。
陳默的手法從容而有節奏,指節從頸後一路延展至肩胛骨內側。
「怎麼樣,還算及格麼?」
「勉強合格。」
機艙里短暫安靜下來。
發動機的低沉聲響被隔絕在外,只剩下空調送風的細微動靜。
幾分鐘後,陸靜怡睜開眼睛,伸手握住陳默的一隻手。
「夠了。」
她順勢向後一靠,整個人落進陳默懷裡。
陳默環住她纖細的腰肢,低頭靠近。
陸靜怡抬起手指,輕輕抵住他的嘴唇。
「別趁人之危。」
她靠在陳默胸前,聽著沉穩的心跳,眼中的笑意漸漸柔和下來。
「回到香港以後,陪我休息一天。」
「想去哪兒?」
「還沒想好。」
「你只要把時間留出來。」
「好。」
「答應得這麼痛快?」
陸靜怡明顯有些懷疑,再次抓住他不安分的手。
「我也需要放鬆。」
陳默沒有再作怪,陸靜怡調整姿勢,在他懷裡找了個舒服的位置。
「暫且相信你。」
陳默低頭聞到她髮絲間淡淡的清香,手臂微微收緊。
「睡一會兒吧。」
「飛回香港還要十幾個小時。」
機艙燈光逐漸暗下。
窗外,星光鋪滿遼闊夜空。