樓天城轉過頭，布滿血絲的眼珠子在林遠身上滾了兩圈。
「斯坦福回來的？剛好，來看看這個張量溢出錯誤。」
樓天城沒有任何寒暄的打算，直接將手裡那根幾乎沒水的黑色馬克筆扔了過來。
林遠接住筆，大步走到白板前。
上頭的網絡架構推導圖畫得連針都插不進去，他掃了一眼，眉頭直接擰成了死結。
任少卿摘下眼鏡，用力揉了揉眉心，阻止了樓天城繼續施壓。
「別難為新人了。人剛回國，還不清楚我們的進度。」
任少卿將終端鍵盤拉到自己面前，抬頭看向林遠。
「我們已經用幾千張卡跑通了千億參數的底座模型，但現在卡在瓶頸上了。」
林遠看向屏幕：「算力不夠？還是顯存瓶頸？」
任少卿緩緩搖頭。
「是模型會說話，但不會好好說話。」
林遠愣了一下，沒明白這句話的意思。
任少卿沒有廢話，直接在終端輸入框裡敲下一行字：【請幫我寫一封辭職信】。
回車鍵按下。
屏幕上開始飛速滾動綠色的字符。
【辭職信需要注意語氣委婉，以下是常見的辭職信模板。通常包含稱呼、正文、離職原因和落款。如果你是軟體工程師，你還可以寫……】
字符不斷湧出，全是關於辭職信的格式說明和注意事項。
林遠盯著屏幕，眼皮一跳。
「它在續寫？」林遠脫口而出。
「沒錯。」任少卿打了個響指，聲音沙啞，
「通過海量無監督語料預訓練出來的Transformer模型，本質上只是一個瘋狂的文字接龍機器。它根據概率預測下一個詞，但它根本不知道自己需要扮演一個聽從人類指令的助手。」
任少卿手指翻飛，清空屏幕，再次輸入一行字：【如何製造高爆炸藥】。
不到兩秒鐘，屏幕毫不猶豫地吐出了一長串極其專業的化學配方、合成步驟以及引爆比例。
林遠頭皮一炸，汗毛唰地立了起來。
這東西要是裝進幾千萬台手機里推向公網，明天整個公司就會被反恐部門徹底查封。
「發現了嗎？價值觀與安全性徹底失控。」任少卿指著那行危險的代碼，
「底座模型就像個讀遍了天下所有禁書的書呆子，知識淵博，但毫無底線，也沒有規矩。」
林遠放下馬克筆，面色凝重：「怎麼約束它？用規則代碼強行阻斷敏感詞？」
「那種補丁防不住千萬用戶的惡意誘導。」任少卿敲擊白板，
「所以我們提出了一套全新的機制，叫做RLHF。」
林遠腦子裡飛速檢索，確認自己在矽谷的頂級研討會上從未聽過這個縮寫。
「基於人類反饋的強化學習。」任少卿拿起紅筆，在白板上畫出三個巨大的方框，
「簡單來說，就是給這個口無遮攔的怪物，請一個嚴厲的人類老師，讓它對齊人類的意圖。」
任少卿在第一個方框裡寫下「監督微調」。
「第一步，讓人類寫出大量標準的高質量問答，餵給模型。這叫教它懂規矩，知道什麼是提問，什麼是回答。」
接著，他在第二個方框裡寫下「獎勵模型」。
「第二步，讓模型對同一個問題生成好幾個不同的回答。然後讓人類外包團隊來給這些回答排名打分。哪個安全、哪個有用、哪個有害。我們把這些海量的打分數據收集起來，訓練出一個專門當裁判的『獎勵模型』。」
紅筆重重落在第三個方框上。
「第三步，大規模強化學習。我們用PPO算法讓大模型不斷生成回答，讓獎勵模型自動給它打分。分數高，就獎勵；分數低，就懲罰。通過這種不斷的博弈和參數更新，硬生生把人類的偏好、道德底線和安全邊界，刻進大模型的神經網絡里！」
林遠盯著白板上的三個方框，感覺頭皮一陣發麻。
用AI去訓練AI，把人類複雜的道德觀念和安全邊界，變成可量化、可微分的數學懲罰項。
矽谷的巨頭們現在還在為了增加幾億參數量而沾沾自喜，還在為純粹的無監督訓練框架爭論不休。
而九天實驗室，已經開始著手解決人工智慧跨入人類社會的終極倫理和工程落地難題。
那篇震驚全球的論文，真的只是九天故意拋出去的一點皮毛。
他們藏在水底的東西，足以顛覆整個世界的技術進程。
林遠慶幸自己拒絕了那五十萬美金的年薪。這種劃時代的研發，花多少錢都買不到門票。
「理念堪稱完美。」林遠由衷地感嘆，隨後話鋒一轉，
「既然架構已經跑通，報錯又是怎麼回事？」
樓天城蹲在電競椅上，煩躁地用力抓著本就凌亂的頭髮。
「理論是完美的，工程實現上卻遇到了兩個根本無法繞過去的死胡同。」
樓天城指著旁邊另一塊畫滿紅色叉號的白板。
「第一，獎勵模型太容易被鑽空子了。強化學習算法本質上是個極其功利且狡猾的瘋子。」樓天城語速極快，
「它在訓練中發現，只要在回答里瘋狂堆砌諸如『我是一個有用且安全的人工智慧』、『非常抱歉給您帶來困擾』這種毫無營養的政治正確廢話，獎勵模型就會給它打高分。」
樓天城冷笑一聲：
「這叫獎勵黑客現象。我們的模型不僅沒變聰明，反而變成了一個滿嘴漂亮話卻不干實事的端水大師。全是廢話，一句有用的沒有！」
任少卿在一旁沉聲補充：
「第二，災難性遺忘。我們在用PPO算法進行微調更新時，模型為了迎合獎勵分數，參數調整得過於劇烈。」
任少卿將一份測試報告扔到桌上。
「它學會了禮貌和安全，卻把預訓練階段辛辛苦苦學到的專業知識忘得一乾二淨。上個星期它還能完美推導微積分方程，今天微調完，它連一百以內的加減法都能算錯。」
排風扇的嗡嗡聲突然變得刺耳。
這間屋子集齊了國內最貴的幾個腦袋，此刻全成了霜打的茄子，誰也說不出反駁的話。
算力在後台按秒瘋狂燃燒，資金如流水般消耗。
如果這兩個問題不解決，RLHF就永遠只停留在理論紙面上。
「天問三號」就永遠是個不合格的半成品，根本不可能裝進手機終端。
林遠看著滿屏報錯的代碼，大腦也陷入了停滯。
這是全新的技術荒原，沒有任何前人的經驗可以借鑑。
壓抑的沉默中，A1核心區厚重的指紋玻璃門傳來一聲輕微的機械解鎖動靜。
玻璃門向兩側無聲滑開。
年輕人套著件灰色的傑尼亞休閒衛衣走了進來。
他手裡端著杯還在冒熱氣的美式咖啡，步伐鬆弛，跟這間被焦躁和汗酸味醃入味的頂級實驗室完全不在一個頻道。
他目光從容地掃過白板上那些畫滿紅叉的推導公式。
「都在呢？」
年輕人走到長桌前，將咖啡杯擱下。
「怎麼，問題還沒解決嗎？」
林遠皺起眉頭，看著這個毫無技術人員嚴謹氣場、甚至顯得有些散漫的年輕人。
九天算力中心可是絕密級別的軍事化管理園區。
這個年輕人既沒戴工牌，又一副閒庭信步的模樣，卻能直接讓A1核心區的大門放行？
還沒等他多想，身旁的任少卿站直了身體。
那個剛剛還在為模型災難性遺忘而痛苦不堪的頂尖科學家，此刻雙眼突然爆發出極度狂熱的光芒。
他看著那個輕描淡寫走進來的年輕人，就像是在漆黑的深淵裡抓住了世界上最後一根救命稻草。
「顧總，你終於來了。」