第二天上午。
棕櫚灘國際機場。
按照原定安排，陳默和陸靜怡將從這裡直接返回香港。
車隊剛剛駛進機場，陳默便接到了伊利亞的電話。
「陳，你還沒有離開美國吧？」
「正在機場。」
「先別走。」
伊利亞的聲音沙啞。
陳默看了一眼時間。
「出什麼事了？」
「下一代語言模型的第一次擴大訓練失敗了。」
「模型結構有問題？」
「不是模型。」
電話另一端傳來鍵盤敲擊聲。
「昨天晚上，我們按照原方案將訓練規模擴大到五百一十二張GPU。」
「單機測試正常，接入的機器越多，訓練效率反而越低。」
「顯存里堆滿重複數據，大量GPU都在等待其他節點完成計算，機器之間傳輸參數的時間，甚至超過了真正用於訓練的時間。」
伊利亞停頓片刻。
「最後系統在第七個小時失去同步，訓練結果全部作廢。」
陳默沒有立即說話。
一台機器工作很快，不代表將幾百台機器放在一起，速度便能增加幾百倍。
模型需要被拆分到不同GPU上。
每一塊GPU計算完自己的部分，還要與其他節點交換結果。
數據如何分配。
顯存如何利用。
什麼時候通信。
任何一個環節出現堵塞，價值數百萬美元的GPU集群都會陷入等待。
紙面算力再大，也無法轉化成真正的訓練能力。
「現在的利用率多少？」
「平均百分之三十二。」
伊利亞回答。
「最差的時候不到百分之二十。」
OpenAI目前擁有兩千多張GPU。
如果始終保持這種效率，真正發揮作用的算力甚至不到帳面規模的一半。
未來將集群擴大四倍，問題只會更加嚴重。
「上次會議結束以前，你說只剩下一個辦法。」
陳默想起馬斯克推門時被打斷的談話。
「就是這個？」
「對。」
伊利亞說道。
「谷歌擁有比我們更多的機器、工程師和數據中心。」
「只靠採購GPU，我們永遠追不上他們。」
「OpenAI必須建立自己的計算系統，讓每一張GPU完成更多工作。」
「我們需要真正理解CUDA、顯存、通信與分布式系統的人。」
「我已經讓Sam在矽谷尋找合適的人選。」
「不用找了。」陳默說道。
伊利亞安靜了兩秒。
「你有推薦？」
「知道一個。」
陳默掛斷電話，看向坐在身旁的陸靜怡。
「讓機組更改飛行計劃。」
「先去舊金山。」
陸靜怡顯然已經從剛才的通話里聽出了原因。
「林啟航？」
陳默笑了笑。
「還記得？」
「在英偉達走廊里看了別人半分鐘，讓我把名字記下來。」
陸靜怡取出手機。
……
灣流改變航線，重新飛往美國西海岸。
飛機進入平飛狀態以後，陳默沒有讓團隊私下接觸林啟航，而是先撥通了黃任尋的電話。
「陳先生？」
黃任尋明顯有些意外。
「我剛看到獵鷹九號的新聞。」
「你這趟美國之行似乎很精彩。」
「還差最後一件事。」
「與你的一名工程師有關。」
電話里短暫安靜下來。
「誰？」
「林啟航。」
黃任尋很快想起了這個名字。
「所以你今天打電話，是準備從英偉達挖人？」
「我準備邀請他加入OpenAI。」
陳默沒有兜圈子。
「負責大規模GPU集群和分布式訓練系統。」
「他剛加入英偉達不久。」
「CUDA內核和內存優化團隊同樣需要他。」
「我知道。」
陳默說道。
「所以先給你打電話。如果只想把人帶走，我可以讓獵頭直接聯繫。」
黃任尋輕哼一聲。
「先買英偉達的股票，再來英偉達挖工程師。」
「陳先生，你做投資的回報是不是太高了？」
「OpenAI未來十八個月準備將GPU規模擴大到八千張以上。」
陳默說道。
「後面還會繼續增加。」
「林啟航加入OpenAI，不會讓英偉達少賣一張GPU。」
「他如果能解決大規模訓練效率，反而會讓我們購買更多。」
「你是在拿我的工程師，替我培養未來最大的客戶？」
「差不多。」
黃任尋被氣笑了，但他是商人，沒有一個商人能夠拒絕巨大的利益，所以他沒有反駁。
陳默繼續說道：「OpenAI可以與英偉達成立聯合計算系統實驗室。第一批八千張GPU，由英偉達進入優先供應談判。」
黃任尋握著手機陷入思考，對於英偉達而言，大型人工智慧模型仍然是一個很早的市場。
絕大部分GPU收入依舊來自遊戲和專業圖形。
OpenAI如果願意用真實訓練任務幫助英偉達測試大規模集群，那價值遠不止一批硬體訂單。
更何況，陳默電話直接打到自己這裡，按華國說法是先禮後兵，自己要不同意，隔壁AMD也不是吃素的。
「你什麼時候到舊金山？」
「下午一點左右。」
「三點來英偉達。」
黃任尋說道。
「我安排你們見面。」
「他願不願意走，看你自己。」
「足夠了。」
「還有。」
黃任尋補充一句。
「那八千張卡，一張都不能少。」