首頁> 現代都市> 目錄頁> 第1078章 手機里住個AI神

第1078章 手機里住個AI神

2026-08-17 18:16:36 作者: 黑狗不愛吃湯圓

  余大嘴滿臉疑惑。

  顧嶼剛才拋出的那個技術名詞,觸及到了他的知識盲區。

  在2025年,隨便在數碼論壇拉出一個普通網友,對方都能把端側大模型、參數壓縮這些概念說得頭頭是道。

  可如今是2016年初。

  知識蒸餾這個概念,去年三月份才由幾位海外頂尖學者聯合發表在學術論文上。

  這門前沿技術目前還鎖在極少數實驗室的加密硬碟里。

  整個工業界壓根就沒有人把這東西拿出來大規模商用。

  余大嘴沒聽過實在太正常了。

  「顧總,你給我交個底。」余大嘴搓了搓下巴,

  「這個蒸餾技術到底是個什麼邏輯?」

  顧嶼沒有拋出學術界那些晦澀難懂的專有名詞。

  他拿起桌上的兩個水杯,一個大保溫杯,一個小茶杯。

  「余總,你把運行在雅安伺服器上的完整版天問三號,看作是這個大保溫杯。裡面裝了幾百億參數,運算能力極強。」

  顧嶼指了指小茶杯。

  「手機端硬體有限,就是這個小茶杯。我們不可能把一大缸水硬倒進小杯子裡。」

  「常規的做法是把大模型直接砍掉一大半功能,做個殘次品。但那樣出來的模型就會變成弱智,根本沒法理解複雜的語言。」

  余大嘴深表贊同地點了點頭。

  「所以我們要換一種訓練思路。」顧嶼把兩個杯子靠在一起。

  「我們不直接壓縮大模型,而是讓雅安伺服器里的那個龐然大物當老師。用它去專門訓練一個參數量只有十幾億的輕量級模型。」

  「在訓練過程中,大模型處理完數據後的輸出結果,直接作為小模型的學習標準。」

  顧嶼看著余大嘴。

  

  「這等於把大模型經過大量計算得出的核心邏輯和解題思路,直接餵給小模型。剔除掉那些冗長的計算過程,只保留結論。」

  「經過蒸餾提純和量化壓縮後的輕量級模型,雖然無法做高深的科研推理,但應對手機端日常的意圖理解和任務分發,遊刃有餘。」

  余大嘴聽明白了,兩眼放光。

  「這技術你們跑通了?」

  顧嶼沒有廢話,直接轉頭看了一眼陸知遠。

  陸知遠從公文包里拿出一台厚重的工程測試設備。這是一台加裝了散熱模塊的特殊測試機,屏幕很大。

  陸知遠當著余大嘴的面,拔掉了設備上的外接天線,又關閉了系統里的區域網開關。

  顧嶼把測試機推到余大嘴面前。

  「設備已經處於絕對斷網的物理隔離狀態。」

  「這裡面裝著的,就是那個參數量十二億的蒸餾版測試模型。」顧嶼指了指屏幕上的輸入框,

  「現在它連不上網,沒法幫你點外賣,也沒法查天氣。」

  「但你可以試試它對複雜邏輯的理解能力。」

  余大嘴來了興致,搓了搓手,把那台厚重的測試機捧在手裡。

  他略微思索,在輸入框裡打下了一段極其日常的測試題。

  【我朋友老李下周搬新家,他平時喜歡喝茶,對電子產品不感興趣。幫我推薦三個五百塊以內的喬遷禮物,並分別說明推薦理由。】

  本地設備停頓了兩三秒鐘,屏幕上就開始快速逐行吐出文字。

  【根據您的需求,為您推薦以下三款五百元以內的喬遷禮物:】

  【一、景德鎮陶瓷茶具套裝。老李喜歡喝茶,一套全新的茶具既投其所好,又適合新家待客,價格在預算範圍內。】

  【二、精品茶葉禮盒。作為愛茶之人,優質的茶葉是實用且不會出錯的消耗品,非常適合作為賀禮。】

  【三、中式造型的室內盆景。不涉及任何電子元素,能為新居增添生機,擺在茶桌旁也非常應景。】

  余大嘴盯著屏幕上的文字,逐字逐句看了一遍。

  他抬起頭,滿眼都是掩飾不住的震驚。

  在完全斷網的狀態下,這台設備僅僅依靠本地算力,就完美抓取了「搬家」、「愛喝茶」、「排斥電子產品」以及「五百元預算」四個核心限制條件,並給出了條理清晰的答案。


  而且速度極快。

  這就是端側人工智慧的恐怖之處。

  不依賴雲端,沒有網絡延遲,所有數據在本地處理,隱私安全性拉滿。

  余大嘴站起身,在辦公室里來回走了兩圈。

  「顧總,東西是好東西。」

  余大嘴停下腳步,五官都快皺到了一起。

  「但目前的硬體基礎根本撐不起你的野心。」

  他指著桌上那台加了厚厚散熱模塊的工程機。

  「你剛才展示的設備,CPU和GPU肯定滿載了吧?」

  顧嶼點了點頭,這沒法否認。

  「這恰恰是最大的死穴。」余大嘴雙手撐在茶几上。

  「目前的手機CPU和GPU架構,設計初衷是處理通用計算和圖形渲染。用來跑你們這種大模型的矩陣運算,效率低得令人髮指。」

  「強行跑,算力確實能湊合,但功耗絕對壓不住。手機幾分鐘就會發燙降頻,電池用不了一個小時就會被抽乾。」

  余大嘴長嘆了一口氣。

  「顧總,就算你們做到了參數蒸餾和量化壓縮,解決了系統運存不夠的難題。但它也是個吃電的怪物。」

  「硬體跟不上,一切都是空談。我們不能造一個暖手寶賣給消費者。」

  面對余大嘴的糾結與無奈,顧嶼臉上沒有任何焦慮。

  他端起早已經涼透的茶水,輕輕抿了一口。

  「余總,我既然敢帶著項目上門,自然準備好了全套的解決方案。」

  顧嶼放下茶杯,目光變得銳利起來。

  「功耗痛點,現在只差一顆專屬的NPU來徹底解決。」

  「我的要求是,海思要為這款手機設計一款專屬的核心硬體。」

  顧嶼直視著余大嘴的眼睛。

  「讓海思拿出一套專門針對Transformer架構底層算子進行硬體級加速的手機端NPU!」

  余大嘴眉頭微動,眼神逐漸亮起,腦子裡飛速順著這個激進的思路往下推演。

  顧嶼不疾不徐地拋出完整的構想:

  「只要這顆NPU落地,我們就能在硬體物理層面上實現完美的『端雲協同』機制。」

  他豎起一根手指,

  「日常輕量級的使用場景,比如識別用戶的語音指令、控制鴻蒙系統里的各個APP、做簡單的日程規劃和意圖理解。這些任務,全部交由手機NPU硬體直驅那個十二億參數的蒸餾版小模型。」

  「因為是專芯專用,所以在端側處理這些輕量任務時可以做到零延遲,斷網可用,隱私數據絕不出端設備,而且功耗完全能壓在安全線以內,手機根本不會發燙。」

  接著,顧嶼豎起第二根手指,

  「但如果遇到複雜的重度需求,比如讓AI寫一份兩萬字的商業分析報告、進行深度的科研邏輯推理,或者需要全網檢索最新的宏觀數據,這已經超出了端側輕量級模型的認知上限。」

  「所以一旦判定為重度需求……」余大嘴接上話茬,

  「手機的端側模型就把指令打包裝車,通過網絡接口直接拋回給你們的雲端天問大模型去跑?」

  「沒錯。全量級的使用,直接連接九天伺服器進行運算。」顧嶼靠回沙發上,

  「雲端算力負責兜底高難度的全量任務,端側NPU負責輕量級秒回和設備控制。」

  「在用戶眼裡,沒有端和雲的區別切換,他們只會覺得,這台華為手機里住著一個無所不能的神。」


關閉
Δ