關(guān)于深度學(xué)習(xí)，看這一篇就夠了
2017-04-21 14:23:53 新浪科技
編者按：本文作者王川，投資人，中科大少年班校友，現(xiàn)居加州硅谷
一 2016 年一月底，人工智能的研究領(lǐng)域，發(fā)生了兩件大事。
先是一月二十四號(hào)，MIT 的教授，人工智能研究的先驅(qū)者，Marvin Minsky 去世，享年89 歲。
三天之后，谷歌在自然雜志上正式公開發(fā)表論文，宣布其以深度學(xué)習(xí)技術(shù)為基礎(chǔ)的電腦程序 AlphaGo， 在 2015年 十月，連續(xù)五局擊敗歐洲冠軍、職業(yè)二段樊輝。
這是第一次機(jī)器擊敗職業(yè)圍棋選手。距離 97年IBM 電腦擊敗國(guó)際象棋世界冠軍，一晃近二十年了。
極具諷刺意義的是，Minsky 教授，一直不看好深度學(xué)習(xí)的概念。他曾在 1969年 出版了 Perceptron （感知器） 一書，指出了神經(jīng)網(wǎng)絡(luò)技術(shù) （就是深度學(xué)習(xí)的前身） 的局限性。這本書直接導(dǎo)致了神經(jīng)網(wǎng)絡(luò)研究的將近二十年的長(zhǎng)期低潮。
神經(jīng)網(wǎng)絡(luò)研究的歷史，是怎樣的？
深度學(xué)習(xí)有多深？學(xué)了究竟有幾分？
二 人工智能研究的方向之一，是以所謂 “專家系統(tǒng)” 為代表的，用大量 “如果-就” （If - Then） 規(guī)則定義的，自上而下的思路。
人工神經(jīng)網(wǎng)絡(luò) （ Artifical Neural Network），標(biāo)志著另外一種自下而上的思路。
神經(jīng)網(wǎng)絡(luò)沒有一個(gè)嚴(yán)格的正式定義。它的基本特點(diǎn)，是試圖模仿大腦的神經(jīng)元之間傳遞，處理信息的模式。
一個(gè)計(jì)算模型，要?jiǎng)澐譃樯窠?jīng)網(wǎng)絡(luò)，通常需要大量彼此連接的節(jié)點(diǎn) （也稱 ‘神經(jīng)元’），并且具備兩個(gè)特性：
每個(gè)神經(jīng)元，通過(guò)某種特定的輸出函數(shù) （也叫激勵(lì)函數(shù) activation function），計(jì)算處理來(lái)自其它相鄰神經(jīng)元的加權(quán)輸入值
神經(jīng)元之間的信息傳遞的強(qiáng)度，用所謂加權(quán)值來(lái)定義，算法會(huì)不斷自我學(xué)習(xí)，調(diào)整這個(gè)加權(quán)值
在此基礎(chǔ)上，神經(jīng)網(wǎng)絡(luò)的計(jì)算模型，依靠大量的數(shù)據(jù)來(lái)訓(xùn)練，還需要：
成本函數(shù) （cost function）：用來(lái)定量評(píng)估根據(jù)特定輸入值， 計(jì)算出來(lái)的輸出結(jié)果，離正確值有多遠(yuǎn)，結(jié)果有多靠譜
學(xué)習(xí)的算法 （ learning algorithm ）：這是根據(jù)成本函數(shù)的結(jié)果， 自學(xué)， 糾錯(cuò)， 最快地找到神經(jīng)元之間最優(yōu)化的加權(quán)值
用小明、小紅和隔壁老王們都可以聽懂的語(yǔ)言來(lái)解釋，神經(jīng)網(wǎng)絡(luò)算法的核心就是：計(jì)算、連接、評(píng)估、糾錯(cuò)、瘋狂培訓(xùn)。
隨著神經(jīng)網(wǎng)絡(luò)研究的不斷變遷，其計(jì)算特點(diǎn)和傳統(tǒng)的生物神經(jīng)元的連接模型漸漸脫鉤。
但是它保留的精髓是：非線性、分布式、并行計(jì)算、自適應(yīng)、自組織。
三 神經(jīng)網(wǎng)絡(luò)作為一個(gè)計(jì)算模型的理論，1943年 最初由科學(xué)家 Warren McCulloch 和 Walter Pitts 提出。
康內(nèi)爾大學(xué)教授 Frank Rosenblatt 1957年 提出的“感知器” （Perceptron），是第一個(gè)用算法來(lái)精確定義神經(jīng)網(wǎng)絡(luò)，第一個(gè)具有自組織自學(xué)習(xí)能力的數(shù)學(xué)模型，是日后許多新的神經(jīng)網(wǎng)絡(luò)模型的始祖。
Rosenblatt 樂觀地預(yù)測(cè)，感知器最終可以 “學(xué)習(xí)、做決定、翻譯語(yǔ)言”。感知器的技術(shù)，六十年代一度走紅，美國(guó)海軍曾出資支持這個(gè)技術(shù)的研究，期望它 “以后可以自己走、說(shuō)話、看、讀、自我復(fù)制、甚至擁有自我意識(shí)”。
Rosenblatt 和 Minsky 實(shí)際上是間隔一級(jí)的高中校友。但是六十年代，兩個(gè)人在感知器的問題上展開了長(zhǎng)時(shí)間的激辯。Rosenblatt 認(rèn)為感應(yīng)器將無(wú)所不能，Minsky 則認(rèn)為它應(yīng)用有限。
1969 年，Marvin Minsky 和 Seymour Papert 出版了新書：“感知器：計(jì)算幾何簡(jiǎn)介”。書中論證了感知器模型的兩個(gè)關(guān)鍵問題：
第一，單層的神經(jīng)網(wǎng)絡(luò)無(wú)法解決不可線性分割的問題，典型例子如異或門，XOR Circuit （ 通俗地說(shuō)，異或門就是：兩個(gè)輸入如果是異性戀，輸出為一。兩個(gè)輸入如果是同性戀，輸出為零 ）
第二，更致命的問題是，當(dāng)時(shí)的電腦完全沒有能力完成神經(jīng)網(wǎng)絡(luò)模型所需要的超大的計(jì)算量。
此后的十幾年，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的人工智能研究進(jìn)入低潮，相關(guān)項(xiàng)目長(zhǎng)期無(wú)法得到政府經(jīng)費(fèi)支持，這段時(shí)間被稱為業(yè)界的核冬天。
Rosenblatt 自己則沒有見證日后神經(jīng)網(wǎng)絡(luò)研究的復(fù)興。1971年 他 43 歲生日時(shí)，不幸在海上開船時(shí)因?yàn)槭鹿识鴨噬?/p>
1970年，當(dāng)神經(jīng)網(wǎng)絡(luò)研究的第一個(gè)寒冬降臨時(shí)。在英國(guó)的愛丁堡大學(xué)，一位二十三歲的年輕人，Geoffrey Hinton，剛剛獲得心理學(xué)的學(xué)士學(xué)位。
Hinton 六十年代還是中學(xué)生時(shí)，就對(duì)腦科學(xué)著迷。當(dāng)時(shí)一個(gè)同學(xué)給他介紹關(guān)于大腦記憶的理論是：
大腦對(duì)于事物和概念的記憶，不是存儲(chǔ)在某個(gè)單一的地點(diǎn)，而是像全息照片一樣，分布式地，存在于一個(gè)巨大的神經(jīng)元的網(wǎng)絡(luò)里。
分布式表征 （Distributed Representation），是神經(jīng)網(wǎng)絡(luò)研究的一個(gè)核心思想。
它的意思是，當(dāng)你表達(dá)一個(gè)概念的時(shí)候，不是用單個(gè)神經(jīng)元一對(duì)一地存儲(chǔ)定義；概念和神經(jīng)元是多對(duì)多的關(guān)系：一個(gè)概念可以用多個(gè)神經(jīng)元共同定義表達(dá)，同時(shí)一個(gè)神經(jīng)元也可以參與多個(gè)不同概念的表達(dá)。
舉個(gè)最簡(jiǎn)單的例子。一輛 “大白卡車”，如果分布式地表達(dá)，一個(gè)神經(jīng)元代表大小，一個(gè)神經(jīng)元代表顏色，第三個(gè)神經(jīng)元代表車的類別。三個(gè)神經(jīng)元同時(shí)激活時(shí)，就可以準(zhǔn)確描述我們要表達(dá)的物體。
分布式表征和傳統(tǒng)的局部表征 （localized representation） 相比，存儲(chǔ)效率高很多。線性增加的神經(jīng)元數(shù)目，可以表達(dá)指數(shù)級(jí)增加的大量不同概念。
分布式表征的另一個(gè)優(yōu)點(diǎn)是，即使局部出現(xiàn)硬件故障，信息的表達(dá)不會(huì)受到根本性的破壞。
這個(gè)理念讓 Hinton 頓悟，使他四十多年來(lái)，一直在神經(jīng)網(wǎng)絡(luò)研究的領(lǐng)域里堅(jiān)持下來(lái)沒有退縮。
本科畢業(yè)后，Hinton 選擇繼續(xù)在愛丁堡大學(xué)讀研，把人工智能作為自己的博士研究方向。
周圍的一些朋友對(duì)此頗為不解?！澳惘偭藛?？ 為什么浪費(fèi)時(shí)間在這些東西上？ 這 （神經(jīng)網(wǎng)絡(luò)） 早就被證明是扯淡的東西了。”
Hinton 1978 年在愛丁堡獲得博士學(xué)位后，來(lái)到美國(guó)繼續(xù)他的研究工作。
二 神經(jīng)網(wǎng)絡(luò)當(dāng)年被 Minsky 詬病的問題之一是巨大的計(jì)算量。
簡(jiǎn)單說(shuō)，傳統(tǒng)的感知器用所謂 “梯度下降”的算法糾錯(cuò)時(shí)，耗費(fèi)的計(jì)算量和神經(jīng)元數(shù)目的平方成正比。當(dāng)神經(jīng)元數(shù)目增多，龐大的計(jì)算量是當(dāng)時(shí)的硬件無(wú)法勝任的。
1986年 七月，Hinton 和 David Rumelhart 合作在自然雜志上發(fā)表論文， “Learning Representations by Back-propagating errors”，第一次系統(tǒng)簡(jiǎn)潔地闡述反向傳播算法在神經(jīng)網(wǎng)絡(luò)模型上的應(yīng)用。
反向傳播算法，把糾錯(cuò)的運(yùn)算量下降到只和神經(jīng)元數(shù)目本身成正比。
反向傳播算法，通過(guò)在神經(jīng)網(wǎng)絡(luò)里增加一個(gè)所謂隱層 （hidden layer），同時(shí)也解決了感知器無(wú)法解決異或門 （XOR gate） 的難題。
使用了反向傳播算法的神經(jīng)網(wǎng)絡(luò)，在做諸如形狀識(shí)別之類的簡(jiǎn)單工作時(shí)，效率比感知器大大提高。
八十年代末計(jì)算機(jī)的運(yùn)行速度，也比二十年前高了幾個(gè)數(shù)量級(jí)。
神經(jīng)網(wǎng)絡(luò)的研究開始復(fù)蘇。
三 Yann Lecun （我給他取個(gè)中文名叫 “嚴(yán)樂春”吧） 1960年 出生于巴黎。1987年 在法國(guó)獲得博士學(xué)位后，他曾追隨 Hinton 教授到多倫多大學(xué)做了一年博士后的工作，隨后搬到新澤西州的貝爾實(shí)驗(yàn)室繼續(xù)研究工作。
在貝爾實(shí)驗(yàn)室，嚴(yán)樂春 1989年 發(fā)表了論文， “反向傳播算法在手寫郵政編碼上的應(yīng)用”。他用美國(guó)郵政系統(tǒng)提供的近萬(wàn)個(gè)手寫數(shù)字的樣本來(lái)培訓(xùn)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，培訓(xùn)好的系統(tǒng)在獨(dú)立的測(cè)試樣本中， 錯(cuò)誤率只有 5%。
嚴(yán)樂春進(jìn)一步運(yùn)用一種叫做“卷積神經(jīng)網(wǎng)絡(luò)” （Convoluted Neural Networks） 的技術(shù)，開發(fā)出商業(yè)軟件用于讀取銀行支票上的手寫數(shù)字，，這個(gè)支票識(shí)別系統(tǒng)在九十年代末占據(jù)了美國(guó)接近 20%的市場(chǎng)。
此時(shí)就在貝爾實(shí)驗(yàn)室，嚴(yán)樂春臨近辦公室的一個(gè)同事的工作，又把神經(jīng)網(wǎng)絡(luò)的研究帶入第二個(gè)寒冬。
四 Vladmir Vapnik，1936年 出生于前蘇聯(lián)，90年 移民到美國(guó)，在貝爾實(shí)驗(yàn)室做研究。
早在 1963年，Vapnik 就提出了 支持向量機(jī) （Support Vector Machine） 的算法。支持向量機(jī)，是一種精巧的分類算法。
除了基本的線性分類外，在數(shù)據(jù)樣本線性不可分的時(shí)候，SVM 使用所謂 “核機(jī)制” （kernel trick） 的非線性映射算法，將線性不可分的樣本轉(zhuǎn)化到高維特征空間 （high-dimensional feature space），使其線性可分。
SVM，作為一種分類算法，九十年代初開始，在圖像和語(yǔ)音識(shí)別上找到了廣泛的用途。
在貝爾實(shí)驗(yàn)室的走廊上，嚴(yán)樂春和 Vapnik 常常就 （深度） 神經(jīng)網(wǎng)絡(luò)和 SVM 兩種技術(shù)的優(yōu)缺點(diǎn)，展開熱烈的討論。
Vapnik 的觀點(diǎn)是：SVM，非常精巧地在 “容量調(diào)節(jié)” （Capacity Control） 上 選擇一個(gè)合適的平衡點(diǎn)，而這是神經(jīng)網(wǎng)絡(luò)不擅長(zhǎng)的。
什么是 “容量調(diào)節(jié)”？ 舉個(gè)簡(jiǎn)單的例子：如果算法容量太大，就像一個(gè)記憶力極為精準(zhǔn)的植物學(xué)家，當(dāng)她看到一顆新的樹的時(shí)候，由于這棵樹的葉子和她以前看到的樹的葉子數(shù)目不一樣，所以她判斷這不是樹；如果算法容量太小，就像一個(gè)懶惰的植物學(xué)家，只要看到綠色的東西都把它叫做樹。
嚴(yán)樂春的觀點(diǎn)是：用有限的計(jì)算能力，解決高度復(fù)雜的問題，比“容量調(diào)節(jié)”更重要。支持向量機(jī)，雖然算法精巧，但本質(zhì)就是一個(gè)雙層神經(jīng)網(wǎng)絡(luò)系統(tǒng)。它的最大的局限性，在于其“核機(jī)制”的選擇。當(dāng)圖像識(shí)別技術(shù)需要忽略一些噪音信號(hào)時(shí)，卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)，計(jì)算效率就比 SVM 高的多。
在手寫郵政編碼的識(shí)別問題上，SVM 的技術(shù)不斷進(jìn)步，1998年 就把錯(cuò)誤率降到低于 0.8%，2002年 最低達(dá)到了 0.56%，這遠(yuǎn)遠(yuǎn)超越同期傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法的表現(xiàn)。
神經(jīng)網(wǎng)絡(luò)的計(jì)算，在實(shí)踐中還有另外兩個(gè)主要問題：
第一，算法經(jīng)常停止于局部最優(yōu)解，而不是全球最優(yōu)解。這好比“只見樹木，不見森林”。
第二，算法的培訓(xùn)，時(shí)間過(guò)長(zhǎng)時(shí)，會(huì)出現(xiàn)過(guò)度擬合 （overfit），把噪音當(dāng)做有效信號(hào)。
EETOP 官方微信
創(chuàng)芯大講堂 在線教育
半導(dǎo)體創(chuàng)芯網(wǎng) 快訊
相關(guān)文章
