第385章 知己者，莫若東也
講到這兒，台下的學生就有點撐不住了。
他們才大二啊。
這幫人雖說不少都已經上手做起了自己的AI項目，模型調起來一個比一個溜，可姚先生今天講的這個，實在太特麼垂直了。
這已經不是「會不會用」的層面。
這是得專門鑽進深度學習的數學理論裡頭，整天跟損失景觀、隱式偏置、泛化邊界這些東西打交道的人，才跟得上的東西。
隨著姚先生的講解，黑板上的公式越堆越多。
【Θ（，′）=（∂f/∂θ，∂f/∂θ）————】
底下勉強還能跟上的人，越來越少。
有人已經開始小聲地議論了起來。
「姚先生今天這————跟平時不太一樣啊？」
這話說到了點子上。
平時姚先生上課，是出了名的深入淺出。
再難的東西，他總能用一些大家聽的動的例子來講解，把學問講得有趣，好懂。
可今天他講的這些什麼過參數化的損失景觀，梯度下降的隱式偏置，還有那個懶惰訓練背後的 NTK機制————
這根本就不是給一群大二智班學生準備的東西。
這像是講給同行聽的。
然而坐在後排的李東，卻聽得津津有味。
這些東西，有一些他也不是全懂。
哪怕這一個禮拜，他幾乎把市面上能找著的AI論文、文獻、測評，一篇不落地全塞進了記憶宮殿。
可記憶宮殿這玩意兒，說到底只是個倉庫。
它能存，卻不能替李東啃透。
那些論文這一篇是講損失景觀，那一篇是講泛化，另一篇又在講什麼核方法，李東完全沒辦法將它們有序的關聯起來。。
而姚先生此刻在台上講的這些，就像一根針線，終於將這些串聯了起來。
損失景觀為什麼會連成片，連成片之後梯度下降憑什麼偏心，偏心又怎麼扯到了核方法的頭上————
原來，它們講的是同一件事。
就在李東順著這根線往下捋的時候。
台上的姚先生，忽然停了下來，低頭看著教案，似乎是在等底下的同學消化。
教室里，一下子就靜了。
李東還沉浸在剛才的思路里沒出來，姚先生講的那個懶惰訓練有個地方他一時沒搞明白。
於是他下意識地就喃喃自語了一句。
「————可它要是一直這麼懶，那它到底是從什麼時候起，才真正學到東西的呢？」
聲音不大。
可教室太靜了，這一句話就顯得格外的清楚了。
姚先生本來還低頭看著教案，聽見這一聲，他抬起了頭。
目光落到後排的李東身上，他笑了笑。
「李東教授，你這個問題，問得很好，」老人慢條斯理地說道，「網絡要是真就一直這麼懶、一直圍著起點打轉，那它頂多算個換了身皮的核方法，談不上學到什麼新東西。
它真正開始學，是從它肯挪窩、肯把那些旋鈕往遠了擰、在底層自己長出一套有用特徵來的那一刻起的。」
「這中間隔著的那道坎叫逃離NTK機制，進入特徵學習。」
「至於這道坎卡在哪兒，又該怎麼邁過去————」
姚先生笑著搖了搖頭。
「這恰恰是現在還沒有幾個人能說清楚的事。」
姚先生話音一落，李東卻愣在了那裡。
周圍幾個學生偷偷瞄他，心裡都犯起了嘀咕。
好傢夥。
這個問題難成這樣了？連東神都被說懵逼了？
然而李東並沒有被說懵。
他愣住的原因只是因為————剛才他的腦子裡毫無徵兆地冒出來一些更深的東西。
【當網絡寬到極限的時候，不再被看成一堆死板的旋鈕，而是化作了一片連續的「概率分布」】
【每一個神經元，都成了這片分布里的一粒塵埃。】
【訓練也不再是苦哈哈地一個個擰旋鈕，而是這一整片分布，在一個叫Wasserstein
空間的幾何世界裡，順著最省力的方向流動。】
這是把訓練直接寫成了一道描述質量如何流動的偏微分方程啊。
而順著這道方程往下，那道卡了無數人從懶惰到特徵學習的坎，竟隱隱約約露出了一點能繞過去的縫。
這才是李東懵逼的原因，他立刻就反應了過來————
這是姚先生腦子裡的思路，是姚先生那些還沒來得及說出口、甚至自己都未必理順了的靈感。
它們被薪火相傳進階版的效果，塞進了李東的記憶宮殿裡。
可緊接著李東又覺得不對勁。
剛才他坐在底下聽，姚先生講了那麼久，他腦子裡也只是把舊東西串了串，半點新的沒冒出來。
偏偏是他喃喃問了那一句、姚先生回了他那一句之後。
這股靈感才出現的。
「不會吧————」
「難道非得我開口問才能————觸發這個效果？」
他越想越覺得是這個理。
於是李東抬起頭，有些抱歉地，看了一眼教室里那一張張還懵著的臉。
對不住了，各位。
接下來我要乾的這些事，真不是我自己想這麼幹的。
於是在智班這一屋子人的眼皮子底下————
李東自打問完頭一個問題以後，就完全停不下來了。
「姚先生，那順著這個往下想。」
「要是乾脆別盯著一個個參數看了，把整張網絡拉到無限寬，看成一片連續的分布，訓練是不是就能看作這片分布的演化？」
姚先生握著粉筆的手，微微一頓。
他沒料到，這小子一張口，直接切到了平均場理論的腹地。
「————可以這麼看。」
他眼裡也透出了光。
「把訓練寫成分布的流動，那你緊接著就會撞上一個問題，它順著什麼尺度在流動？」
「順著最省力的方向唄。」
李東幾乎是脫口而出。
「可省力得有個尺度，尋常的歐氏距離不頂用，得換一種能丈量兩片概率分布遠近的法子————」
「最優傳輸給的度量尺度。」
姚先生接了下去，語速也快了幾分。
「拿Wasserstein距離當尺度，這片分布的流動，就成了一道最優傳輸空間裡的梯度流。」
「再往下一落地，你就得到一道偏微分方程。」
「連續性方程！」
兩個人幾乎是同時說出了這五個字。
>