不過也正是這幅離譜的畫面，讓李東突然靈光一閃。
他也顧不上眼前的諾維格教授了，而是直直的看著休息室里的三位巨頭，臉上浮現出一個和藹的笑容。
「幾位。」
「咱們也別繞圈子了。」
「我對ai的底層架構有興趣，你們對我手裡的降維算法有興趣，這一點，大家心知肚明。」
休息室里安靜了下來。
凱利三人交換了一個眼神……
來了。
「但我也實話實說。」
「我那套內部閉源的2.1算法，是不可能放出來的。」
「因為它存在理論缺陷。」
「拿來跑一跑黎曼zeta函數的非平凡零點還行，可真要把它泛化到具體的工程級項目上，目前是不可行的。」
本書首發 101 看書網體驗佳，101𝘬𝘬𝘴.𝘤𝘰𝘮輕鬆讀 ,提供給你無錯章節，無亂序章節的閱讀體驗
這話李東說得臉不紅心不跳，缺陷？你問問黎曼他答應嗎？
它不可能開源的原因，從頭到尾只有一個……
華夏現在還用著呢。
聽完這番話，對面三人眼明顯露出了失望的神色。
不過就在這時，李東話鋒一轉。
「但是。」
「我已經公開出去的那套1.0算法，其實是能夠無縫橋接到大模型方向上的。」
三個人失望的眼中爆發出精光。
要知道，1.0那套基底開源這麼些年，各家私底下其實都在偷偷跑消融實驗做適配。
底層的數學紅利或多或少吃到了一些，可「無縫橋接」這四個字，那還沒有人能做到。
而現在算法的主人在他們面前，親口說能嫁接。
斯——
凱利輕輕的吸了一口氣說道。
「李東教授，您……有什麼條件？」
李東擺了擺手。
「哎，要什麼條件啊。」
「我覺得，學術這個東西，本來就是屬於全人類的。」
「你們有什麼跑不通的地方，都可以問，最好是關於pre-training（預訓練）、底層通信網絡、工程收斂這些方向的，越底層越好，都可以儘量問我。」
這下對面三個人是徹底呆住了。
唐傑也傻了。
他甚至咳嗽了兩聲，想提醒一下李東。
兄弟，你知道自己在說什麼嗎？
李東則是不動聲色地，沖他眨了眨眼。
唐傑到了嘴邊的話，又咽了回去。
而此時，對面那三位，反倒有點拿不定主意了。
這是什麼情況？
李東，是這麼好的一個人嗎？
天上掉餡餅，還是請君入甕？
可三人在腦子裡把利害關係飛快地推演了一遍，愣是沒算出李東這麼做能圖他們什麼。
倒是數學圈裡一直流傳的那句話，不約而同地浮上了三個人的心頭。
李東，是一個純粹的學者。
看來，並不是空穴來風。
於是三人齊齊地沖李東點了點頭，凱利的聲音里，帶上了幾分真誠的感激。
「謝謝您，李東教授，人類ai範式的躍遷，離不開您的貢獻。」
「不過，請您稍等我們一下，具體到底層算子和分布式架構的東西，我們還需要把公司的chief scientist（首席科學家）叫過來同您面談。」
朗和哈特也跟著點頭。
這種硬核的局，帶商務vp團隊來純屬白給，必須把各自家裡真正控盤預訓練、手搓cuda算子的大牛請過來才行。
「那行。」李東痛快地站起身「人到了，你們叫我，我先去和外面的同行們交流交流。」
三人一時沒反應過來，下意識地問了一句。
「李東教授，您要交流什麼？」
李東理所當然地說道：「當然是交流我那套降維算法的工程適配呀。」
「畢竟，這也是為了推動全人類開源生態的發展嘛。」
說完他朝三人笑了笑，推門走出了休息室。
三個人花了足足兩秒鐘才反應了過來。
外面的大廳里可全是競品同行呀。
「該死！」
凱利第一個掏出手機，幾乎是用吼的。
「雅各布？對，是我！你現在，立刻，馬上，飛首爾！」
「什麼叫沒排上商業航班？讓後勤直接把公司那架灣流g650推出來！當場報備航線，快！」
「我不管你卡上還掛著幾個千卡集群的消融實驗，天塌下來也先給我把顯卡全停了！」
另一邊，朗背過身去，語速快得像在搶答。
哈特那通電話表面上聲調平穩，握著手機的手都鼓起了青經。
三通電話，三個號碼，內容大同小異。
於是乎這一天的矽谷發生了一樁極其罕見的事情。
三家巨頭公司的私人飛機，在同一個下午先後從灣區的跑道上拔地而起，它們的目的地都是……
韓國，首爾。
……
休息室外。
唐傑找了個沒人的電話，撥通了一個國內的號碼。
他把會場這邊剛剛發生的事，原原本本複述了一遍。
電話那頭沉默了幾秒，然後笑了。
「唐教授，把心放肚子裡。」
「你呀，還是不夠了解李東教授。」
唐傑握著手機，怔了一下。
「……行，我明白了。」
掛斷電話後，他抬起頭。
目光穿過大廳里的人群落在那個正談笑風生的年輕人身上，神情說不出的古怪。
……
展區的另一邊，獨角獸聯合展台旁的咖啡台。
兩個掛著參展商工牌的人，正端著咖啡閒聊。
其中一位是埃里克·萬斯，矽谷一家ai獨角獸的聯合創始人，兼首席科學家。
他們家的招牌是long context與極速推理，兩年前靠一手「百萬級context window」的硬核絕活一戰成名，估值一路狂飆過百億美元大關，是這條細分賽道上跑得最快的黑馬。
下午唐傑領著李東在大廳里寒暄的時候，萬斯就排在換名片的隊伍里，還很鄭重地做過一番自我介紹。
此刻他正和一位歐洲基礎實驗室的研究員聊得起勁，餘光忽然瞥見一道身影朝這邊走了過來。
萬斯扭頭一看，整個人立刻精神了。
他連忙朝那位研究員抱歉地舉了舉咖啡杯，丟下一句「回頭再聊」，便快步迎了上去。
「李東教授！」
「萬斯博士。」李東笑著同他握了握手，連破冰的廢話都懶得鋪墊，開門見山。
「正好碰見你，我想問問你有沒有想過，把我那套降維算法1.0完完全全地適配到大模型的底層架構上去？」
萬斯臉上的笑容，僵住了。
隨後轉成了狂喜。
他不知道李東為什麼忽然問起這個。
可李東都這麼問了，這天下哪有不吃白食的道理？
萬斯深吸了一口氣說道。
「想過！李東教授，我們不光想過，還砸了真金白銀進去跑過消融實驗！」
「您的降維算法里的fft網格的非線性展開，本質上是在做高維流形的低秩逼近，對吧？」
「我們就把這套思路端到了長文本的kv cache上。」
「給key-value矩陣強做低秩投影，切掉尾部的奇異值，顯存開銷當場砍下去七成。」
「跑常規文本的perplexity，指標很穩，ppl幾乎不掉點。」
「可一上niah的精確檢索評測，recall就當場崩盤。」
「後來做可視化才定位到，attention矩陣的奇異值譜，是個極其極端的重尾分布。」
「模型里那幾個專司精確檢索的attention head，要在幾十萬個token里撈出那根『針』，它們學到的特徵向量全擠在譜的尾巴上。」
「我們把尾巴這麼一刀切，等於直接把這幾個head的眼睛給挖了。」
「李東教授，您那套算法算zeta零點的時候，奇異值截斷比我們猛得多，憑什麼您的尖峰特徵就能無損保留？」
他說的問題，信息密度高得嚇人。
周圍幾個豎著耳朵的參展商，已經不動聲色地朝這邊圍攏了過來。
李東慢條斯理地開了口。
「你這個問題，算是摸到門道了。」
「但你們的方向，從一開始就歪了。」
萬斯一怔：「錯在哪？」
「錯在你們想靠暴力的『砍』去收斂邊界。」
「在我的理論框架里，svd譜截斷壓根不是c位，那只是工程落地時順手的後處理。」
「真正的殺招，是截斷前的那次非線性流形重排。」
「零點，是zeta函數的特徵指紋。」
「你說的精確檢索，是全局序列的特徵指紋，指紋這東西脾氣很怪，選錯了基底，你給它留再高的rank它也存不住，扔進正確的正交基底里，rank 1就足夠表達了。」
「所以，你們直接在kv的原始特徵空間裡強做低秩，純屬南轅北轍。」
……略
「等特徵重分布做完，你再去切奇異值，error bound（誤差上界）自然就收斂了。」
萬斯聽得連呼吸都屏住了。
聽起來……數學邏輯上完全能閉環啊！
「那、那這個非線性重構算子，該怎麼參數化？」他急切地追問。
「這就得看你們對自家數據分布的先驗假設了。」李東高深莫測說道，「流形重構是同數據分布強綁定的，我總不能越俎代庖替你們去定義你們自己的預訓練語料吧？」
萬斯重重地點頭。
有道理。
這話簡直不能更有道理了。
「不過，」
李東隨口地補了一句。
「我倒是好奇一件事。」
「你們費這麼大的勁，又是投影，又是重排，折騰來折騰去，無非是想把那坨越來越臃腫的cache壓小一點，對吧？」
「那你們就沒想過，乾脆，把kv cache徹底揚了？」
萬斯愣住了。
把cache揚了？
attention機制不帶cache，那他媽還叫……
等等。
他的瞳孔，緩緩地放大了。
不知怎麼的，他腦子裡那些散落了快一年的拼圖碎片。
線性注意力（linear attention）的遞推範式，狀態空間模型（ssm）的隱狀態方程，還有上個月組會上被他親手斃掉的那份瘋狂的rnn變體提案，在這一瞬間，被一條邏輯鏈猛地串了起來。
如果，hidden state不再是存放kv對的死倉庫，而是一個活的「學生」呢？
萬斯整個人，僵在了原地。
而站在他對面的李東，端著咖啡，笑眯眯地看著他。
與此同時，記憶宮殿。
大廳的正中央，憑空多出了一座臨時的小書架。
書架上，靜靜躺著一份嶄新的文獻。
李東走過去，把它翻開。
【將「記憶」從靜態的kv cache，重構為動態更新的權重矩陣。】
【hidden state不再是堆疊鍵值對的外部顯存，而是內嵌於backbone中、在inference階段同步疊代的微型模型。】
【序列建模等價於在線元學習（online meta-learning）。】
【每自回歸生成一個新token，即向該微型模型輸入一條樣本，「檢索回憶」等效於一次forward pass，「上下文記憶」等效於一步gradient descent。】
【至此，context window長度徹底擺脫顯存牆（memory wall）的物理桎梏，僅受限於內層學習器的參數容量與遺忘門控。】
【信息壓縮不再是暴力的有損截斷，而是一場由目標函數驅動的端到端表徵學習……】
【至於內層學習器的loss function該如何設計，其權重更新又該如何與外層backbone的梯度反傳實現數學上的解耦……】
文獻到這裡，斷了。
李東合上這半截思路，眉毛輕輕挑了挑。
在inference階段，依然持續做training的模型？
把幾百萬的context直接壓進權重里？
好傢夥。
這幫ai極客腦子裡憋著的狠活，可比他們掛在arxiv上的水文，野得多了。
退出記憶宮殿，現實里不過才過去了一兩秒。
李東心滿意足，朝著萬斯伸出手，和藹地笑道。
「萬斯博士，和你交流技術很愉快。」
萬斯下意識地握住那隻手點了點頭。
他整個人，還在李東方才給他的那套「保譜非線性流形重排」里沒出來。
回去就讓底座團隊把重構算子的參數化方案，在合成數據上挨個跑通！譜頭！得讓針挪到譜頭上去！
等他回過神來的時候，李東已經走出去七八米遠了。
而李東一邊走，一邊在心裡慢悠悠地補了一句。
邏輯要是真能閉環，老子李東的名字倒過來寫。
……
平心而論，這事不能怪萬斯博士不夠頂尖。
要知道，今天這座展廳里，坐著全世界小半個ai產業的智商天花板。
可把這幾百號人的純數學功底統統加在一起，也未必夠得上李東一個打的。
所以李東隨隨便便偷換一個高維流形的概念，或者把他那套降維算法上的微分算子拆下來，重新包裝進ai的黑話語境裡，聽上去就格外自洽，格外有第一性原理的降維打擊感。
什麼「指紋要扔進正確的正交基底」，什麼「強行讓針從譜的尾巴躍遷到譜頭」。
句句符合直覺，字字切中痛點。
可你真要拿著這幾句話回實驗室調參落實，燒上三個月a100就會發現一個樸素的事實……
針要是他媽的知道怎麼自主躍遷去譜頭，它還能叫針嗎？
這就好比一位物理宗師告訴你，實現常溫超導的訣竅，是在電子撞擊晶格之前，先給它規劃一條沒有電阻的絕對平滑軌。
聽的時候，醍醐灌頂，以為找到了發《nature》的捷徑。
跑的時候，loss爆炸，連顯卡都得燒冒煙。
……
而李東對此，毫無心理負擔，畢竟李東也沒騙人，只是給他們的路全是真的，但是沒有細節而已。
他端著那杯早就涼透的咖啡，在偌大的展廳里，一個挨著一個地薅了過去。
在一家以sora類視頻生成聞名的多模態公司展台前，他同對方的預訓練負責人，切磋了一下「高維時序數據的流形展開」。
十分鐘後，記憶宮殿的書架上多了一份文獻。
【拋棄基於像素重建的視頻生成範式，將其重構為可交互的world model（世界模型）：輸入action，自回歸預測next state，讓agent在隱空間的「世界夢境」里，率先完成對現實物理法則的低成本試錯與先驗對齊。】
然後又在一家以模型可解釋性研究出名的初創實驗室那邊，他同一位核心研究科學家，探討了「高維隱空間內的稀疏結構」。
書架上又多了一份……
【模型內部的特徵存在嚴重的polysemanticity，單個神經元往往身兼數職。】
【引入稀疏自編碼器作為外掛字典，將糾纏的特徵解耦成單義的線性組合，再沿著計算圖迴路，對大模型的幻覺或越獄行為執行定點編輯。】
再往後，是一位做非自回歸生成架構的獨角獸cto，聊的是「並行拓撲展開與採樣收斂路徑」。
靈感再次+1
【打破語言模型從左至右next-token prediction的強制因果約束。】
【將全局序列視為高斯噪聲，引入diffusion架構全序列並行去噪，在疊代採樣路徑中，賦予模型在隱空間內反悔與自我糾錯的非馬爾可夫演化能力。】
一圈聊下來，記憶宮殿大廳里的臨時書架，已經密密麻麻堆滿了。
李東站在書架前，望著那一份份字跡嶄新的文獻，由衷地發出了一聲感嘆。
這些開源布道者，真是大好人啊。
而與此同時，展廳的各個角落裡。
那些剛同李東教授做完深潛級技術交流的各路大佬，也都在心裡發出了同一聲感嘆。
李東教授，真是個開源先驅的好人啊。
……
vip休息室的門口。
凱利、朗、哈特，三個人並排站著，誰也沒有說話。
他們就這麼眼睜睜地看著，李東從算力晶片生態的展台，溜達到頭部雲廠商的展台。
前一刻還在同他們競品家的資深研究員談笑風生，下一刻就同他們戰略合作夥伴家的技術副總裁相見恨晚。
全場上下，凡是工牌上印著scientist（科學家）或者engineer（工程師）字樣的核心高管，幾乎被他一對一深聊了個遍。
而且每聊完一個，那些人臉上都會浮現出一種拿到神級paper一作般的潮紅。
三個人的心，一點一點地往下沉。
也不知道，這幫傢伙背地裡又掏出手機給自家的算力集群下了多少調參指令了。
哈特低頭看了一眼手機上的航班追蹤軟體。
地圖上那三個小小的飛機圖標，才剛剛飛過白令海峽。
凱利也沒有說話，只是再一次撥通了那個號碼，對著聽筒吼道。
「雅各布，馬上把pre-training組全員拉進線上會！」
「在飛機落地前，把李東教授開源倉庫里的每一行代碼連帶著底層算子，全給我逐行盤一遍！」