「當網絡層數疊加到一定深度,會出現不可逆的梯度衰減、特徵退化,淺層的有效特徵,會在層層傳遞中不斷丟失、失真、稀釋,網絡越深,學習能力反而越弱,準確率不升反降。」
「基於這個問題,我才將接下來的課題定為深度網絡在物理層面的衰減問題,希望能驗證我的想法,嘗試看看能不能用另一種方式解決這個問題。」
陳星心中狂喜,就是這個!
就是這個點!
何凱明思考的問題,正是他以後名動天下的ResNet殘差網絡誕生的前置思考。
就像他說的一樣,學術界普遍認為神經網絡越深、層數越多,AI 越強,可現實卻是網絡疊深之後,出現梯度消失、梯度爆炸、性能退化越深、準確率反而越低,學不動。
屬於是越學越廢。
解決方式也正是何凱明提出來的,直接短路連接、殘差跳躍,不用讓每一層網絡都必須 學完整新特徵。
說人話就是允許神經網絡 偷懶、進行殘缺學習,不需要每層都強行擬合,學不動的部分直接跳過、殘差傳遞。
當然,陳星也是一知半解,他也不會直接告訴何凱明所謂的殘差網絡,只是引導著問他:「那現在你有解決思路嗎?」
「有一點,但不多,因為我是剛從計算機視覺轉到神經網絡不久,還沒有完整的構建自己的體系,只是一些粗略想法。」
「比如我在想,既然層層傳遞會不斷損耗特徵、梯度會逐層消失,那我們未必一定要讓每一層網絡都強制學習全新的特徵。」
「如果我們搭建一條旁路直連通道,讓原始特徵可以跳過部分堆疊層,直接向後傳遞,讓深層網絡只需要學習前後的殘差差異,是不是就能規避深度衰減的問題?」
「不用層層擬合完整特徵,只學增量偏差,剩餘原始信息直接直通保留。」
陳星心中再次確定。
來了!
沒錯,就是這個!
這就是未來統治整個AI視覺、深度學習、自動駕駛領域的殘差神經網絡 ResNet!
別人還在頭疼網絡越深越廢的行業難題,何凱明已經摸到了下一代AI底層架構的鑰匙。
陳星不動聲色,按捺住心中的激動,臉上露出欣賞的笑意對何凱明說:「這個思路非常大膽,也極具顛覆性,你儘管放手去做,這個項目我批了,實驗室所有算力、數據、資源你可以整理一下交到我這邊來。」
「我親自給你審批。」
頓了頓,陳星接著說:「資金的話,你的團隊還沒完全搭建完成,前期資金先給你兩個億吧,放在你們專項帳戶,隨時支取,不夠了你隨時給我申請。」
「多少!」聽到這個數字,何凱明騰的一下站了起來,「兩個億?還是前期資金?」
龜龜,自己在微軟實習時候的項目組,一年的經費不過百萬美元級別,換算成人民幣也就一千多萬。
陳總張嘴就是兩個億?
還是前期資金?!
難道這就是所謂的多財多億?憑億近人?
「哎,何博士,你激動什麼,坐下,坐下。」陳星不在乎的擺了擺手,示意何凱明坐下。
才兩個億就激動成這個樣子?
那以前過的什麼苦日子啊。
「陳總,不是,這也太多了,兩個億我怎麼花得完啊。」何凱明重新坐下以後,有點手足無措,第一次自己主持項目和課題,打死他也沒想到上手就是兩個億啊。
怎麼花都是一個問題。
「哎,我給成教授配備了一個400多張卡的GPU算力集群,40多台伺服器,你也得差不多的配置吧?」
「還有數據集,數據資源,學術資源,這不都得花錢。」
「所以兩個億真不多。」
何凱明一想也是哦,在學校和在微軟的時候,設備都是公司準備好的,不需要自己搞,現在來紅星負責項目,那這些硬體成本也是屬於項目組內的。
都需要花項目資金的,光硬體成本一項,就得占用一半資金。
「哦,對了,還有算法研究員,算法工程師,運維等等人力部分,這方面你有什麼要求?」陳星接著問道。
甘良才聽到陳星這句話,輕輕抬起腿,趁著陳星注意力都在何凱明身上,趕緊往門口挪。
完蛋,完蛋,陳總剛答應自己的休假啊。
估計又要泡湯了。
「哎,老甘,你干甚去?」
「別跑啊!」
等陳星說完那句正好趁甘總在這的時候,抬頭發現甘良才已經挪到了門口,大有一言不合就跑的架勢。
看陳星和甘良才的樣子,何凱明也笑了起來,紅星內部實在是太有意思了,前面有紅星品牌總裁揚拓當著陳總的面搶自己。
後有人力資源總裁想偷偷溜走。
紅星的氛圍實在是太棒了!
「陳總,這點不用過於麻煩甘總,目前只需要搭建一個小團隊,後期再補充就行。」
聽到何凱明的話,甘良才這才停下腳步,重新回到陳星面前,「陳總,沒什麼沒什麼,剛才尿急……」
接著轉向何凱明,問道:「何博士,你說需要哪方面的,我來給你配置。」
「核心算法研究員,這個不需要甘總操心,我有自己成熟的團隊。」
「那他們能過來嗎?」甘良才有點不放心的問道,關於人工智慧方面的核心算法研究員,在國內可是稀罕物件,甚至可以說是——
他能自己搞定那自然是極好的,如果人家不願意來,自己怕不是又要滿球飛了。
何凱明笑了一下,看向陳星說:「1坤分之前,他們可能還會猶豫,不過有陳總兩億前期項目資金打底,我想他們會很樂意和我一起的。」
「數據工程師 初期需要2~3 人,運維、系統工程師什麼的就拜託甘總了。」
甘良才把胸脯拍的震天響,「放心,你把具體需求告訴我,我月底之前就能給你搞定!」
核心算法研究員不好找,數據工程師,系統,運維什麼的隨便招,優中選優對紅星來說也是隨便招。
「陳總,甘總,那今天就先到這裡,我想先去找成文飛成教授,溝通一下,畢竟我的課題也需要依託他的基礎。」
「走走走,我帶你過去。」甘良才忙不迭的讓何凱明和他一起,生怕陳星把他留下來安排其他工作。
假期可是好不容易才爭取來的。
這回是天塌了,也得等我AAA紅星甘總(全球可飛)休完假期再說。