余大嘴滿臉疑惑。
顧嶼剛才拋出的那個技術名詞,觸及到了他的知識盲區。
在2025年,隨便在數碼論壇拉出一個普通網友,對方都能把端側大模型、參數壓縮這些概念說得頭頭是道。
可如今是2016年初。
知識蒸餾這個概念,去年三月份才由幾位海外頂尖學者聯合發表在學術論文上。
這門前沿技術目前還鎖在極少數實驗室的加密硬碟里。
整個工業界壓根就沒有人把這東西拿出來大規模商用。
余大嘴沒聽過實在太正常了。
「顧總,你給我交個底。」余大嘴搓了搓下巴,
「這個蒸餾技術到底是個什麼邏輯?」
顧嶼沒有拋出學術界那些晦澀難懂的專有名詞。
他拿起桌上的兩個水杯,一個大保溫杯,一個小茶杯。
「余總,你把運行在雅安伺服器上的完整版天問三號,看作是這個大保溫杯。裡面裝了幾百億參數,運算能力極強。」
顧嶼指了指小茶杯。
「手機端硬體有限,就是這個小茶杯。我們不可能把一大缸水硬倒進小杯子裡。」
「常規的做法是把大模型直接砍掉一大半功能,做個殘次品。但那樣出來的模型就會變成弱智,根本沒法理解複雜的語言。」
余大嘴深表贊同地點了點頭。
「所以我們要換一種訓練思路。」顧嶼把兩個杯子靠在一起。
「我們不直接壓縮大模型,而是讓雅安伺服器里的那個龐然大物當老師。用它去專門訓練一個參數量只有十幾億的輕量級模型。」
「在訓練過程中,大模型處理完數據後的輸出結果,直接作為小模型的學習標準。」
顧嶼看著余大嘴。
「這等於把大模型經過大量計算得出的核心邏輯和解題思路,直接餵給小模型。剔除掉那些冗長的計算過程,只保留結論。」
「經過蒸餾提純和量化壓縮後的輕量級模型,雖然無法做高深的科研推理,但應對手機端日常的意圖理解和任務分發,遊刃有餘。」
余大嘴聽明白了,兩眼放光。
「這技術你們跑通了?」
顧嶼沒有廢話,直接轉頭看了一眼陸知遠。
陸知遠從公文包里拿出一台厚重的工程測試設備。這是一台加裝了散熱模塊的特殊測試機,屏幕很大。
陸知遠當著余大嘴的面,拔掉了設備上的外接天線,又關閉了系統里的區域網開關。
顧嶼把測試機推到余大嘴面前。
「設備已經處於絕對斷網的物理隔離狀態。」
「這裡面裝著的,就是那個參數量十二億的蒸餾版測試模型。」顧嶼指了指屏幕上的輸入框,
「現在它連不上網,沒法幫你點外賣,也沒法查天氣。」
「但你可以試試它對複雜邏輯的理解能力。」
余大嘴來了興致,搓了搓手,把那台厚重的測試機捧在手裡。
他略微思索,在輸入框裡打下了一段極其日常的測試題。
【我朋友老李下周搬新家,他平時喜歡喝茶,對電子產品不感興趣。幫我推薦三個五百塊以內的喬遷禮物,並分別說明推薦理由。】
本地設備停頓了兩三秒鐘,屏幕上就開始快速逐行吐出文字。
【根據您的需求,為您推薦以下三款五百元以內的喬遷禮物:】
【一、景德鎮陶瓷茶具套裝。老李喜歡喝茶,一套全新的茶具既投其所好,又適合新家待客,價格在預算範圍內。】
【二、精品茶葉禮盒。作為愛茶之人,優質的茶葉是實用且不會出錯的消耗品,非常適合作為賀禮。】
【三、中式造型的室內盆景。不涉及任何電子元素,能為新居增添生機,擺在茶桌旁也非常應景。】
余大嘴盯著屏幕上的文字,逐字逐句看了一遍。
他抬起頭,滿眼都是掩飾不住的震驚。
在完全斷網的狀態下,這台設備僅僅依靠本地算力,就完美抓取了「搬家」、「愛喝茶」、「排斥電子產品」以及「五百元預算」四個核心限制條件,並給出了條理清晰的答案。
而且速度極快。
這就是端側人工智慧的恐怖之處。
不依賴雲端,沒有網絡延遲,所有數據在本地處理,隱私安全性拉滿。
余大嘴站起身,在辦公室里來回走了兩圈。
「顧總,東西是好東西。」
余大嘴停下腳步,五官都快皺到了一起。
「但目前的硬體基礎根本撐不起你的野心。」
他指著桌上那台加了厚厚散熱模塊的工程機。
「你剛才展示的設備,CPU和GPU肯定滿載了吧?」
顧嶼點了點頭,這沒法否認。
「這恰恰是最大的死穴。」余大嘴雙手撐在茶几上。
「目前的手機CPU和GPU架構,設計初衷是處理通用計算和圖形渲染。用來跑你們這種大模型的矩陣運算,效率低得令人髮指。」
「強行跑,算力確實能湊合,但功耗絕對壓不住。手機幾分鐘就會發燙降頻,電池用不了一個小時就會被抽乾。」
余大嘴長嘆了一口氣。
「顧總,就算你們做到了參數蒸餾和量化壓縮,解決了系統運存不夠的難題。但它也是個吃電的怪物。」
「硬體跟不上,一切都是空談。我們不能造一個暖手寶賣給消費者。」
面對余大嘴的糾結與無奈,顧嶼臉上沒有任何焦慮。
他端起早已經涼透的茶水,輕輕抿了一口。
「余總,我既然敢帶著項目上門,自然準備好了全套的解決方案。」
顧嶼放下茶杯,目光變得銳利起來。
「功耗痛點,現在只差一顆專屬的NPU來徹底解決。」
「我的要求是,海思要為這款手機設計一款專屬的核心硬體。」
顧嶼直視著余大嘴的眼睛。
「讓海思拿出一套專門針對Transformer架構底層算子進行硬體級加速的手機端NPU!」
余大嘴眉頭微動,眼神逐漸亮起,腦子裡飛速順著這個激進的思路往下推演。
顧嶼不疾不徐地拋出完整的構想:
「只要這顆NPU落地,我們就能在硬體物理層面上實現完美的『端雲協同』機制。」
他豎起一根手指,
「日常輕量級的使用場景,比如識別用戶的語音指令、控制鴻蒙系統里的各個APP、做簡單的日程規劃和意圖理解。這些任務,全部交由手機NPU硬體直驅那個十二億參數的蒸餾版小模型。」
「因為是專芯專用,所以在端側處理這些輕量任務時可以做到零延遲,斷網可用,隱私數據絕不出端設備,而且功耗完全能壓在安全線以內,手機根本不會發燙。」
接著,顧嶼豎起第二根手指,
「但如果遇到複雜的重度需求,比如讓AI寫一份兩萬字的商業分析報告、進行深度的科研邏輯推理,或者需要全網檢索最新的宏觀數據,這已經超出了端側輕量級模型的認知上限。」
「所以一旦判定為重度需求……」余大嘴接上話茬,
「手機的端側模型就把指令打包裝車,通過網絡接口直接拋回給你們的雲端天問大模型去跑?」
「沒錯。全量級的使用,直接連接九天伺服器進行運算。」顧嶼靠回沙發上,
「雲端算力負責兜底高難度的全量任務,端側NPU負責輕量級秒回和設備控制。」
「在用戶眼裡,沒有端和雲的區別切換,他們只會覺得,這台華為手機里住著一個無所不能的神。」