剛剛,圖靈獎揭曉:授予深度學習三巨頭
2019-03-28 13:19:31 未知三位科學家發明了深度學習的基本概念,在實驗中發現了驚人的結果,也在工程領域做出了重要突破,幫助深度神經網絡獲得實際應用,共同造就了2006年開始的深度學習復興。
今天,深度學習已經是人工智能技術領域最重要的技術之一,計算機視覺、語音識別、自然語言處理、機器人近些年取得的爆炸性進展都離不開深度學習。
ACM也給予了極高的評價:“他們在概念和工程上取得的巨大突破,使得深度神經網絡成為計算的關鍵元素。”(For conceptual and engineering breakthroughs that have made deep neural networks a critical component of computing.)
Yoshua Bengio是蒙特利爾大學教授,發表了包括《Learning Deep Architectures for AI》(AI學習深度架構)、《A neural probabilistic language model》(神經概率論語言模型)兩篇經典之作在內的300多篇論文,對深度學習的發展起到了巨大的推動作用,2017年曾獲得加拿大總督功勛獎。
Yann LeCun出生在法國,曾在多倫多大學跟隨深度學習鼻祖Geoffrey Hinton進行博士后研究,20世紀80年代末就作為貝爾實驗室的研究員提出了卷積網絡技術,并展示如何使用它來大幅度提高手寫識別能力。
20世紀末21世紀初,神經網絡失寵時,Yann LeCun是少數幾名一直堅持的科學家之一,2003年成為紐約大學教授,從此引領深度學習的發展,目前是Facebook首席人工智能科學家,并創立了Facebook人工智能研究院(FAIR)。
Geoffrey E. Hinton是加拿大認知心理學家和計算機科學家、多倫多大學特聘教授、愛丁堡大學人工智能博士,以他的人工神經網絡(artificial neural networks)而出名,被稱為“神經網絡之父、“深度學習鼻祖”,2013年加入Google AI團隊,將神經網絡帶入應用一線。
他獲得的重要獎項包括:2001年“Rumelhart獎”(國際認知科學領域最高學術榮譽,Geoffrey E. Hinton 是獲得該獎項的第一人);2005年IJCAI“卓越研究獎”;2011年“加拿大自然科學與工程研究委員會吉勒斯?布拉薩德博士獎”(Herzberg Canada Gold Medal for Science and Engineering);2012年加拿大“基廉獎”(Killam Prizes,有“加拿大諾貝爾獎”之稱的國家最高科學獎);2016年歐勝、RSE和IEEE 聯合頒發的“James Clerk Maxwell 獎”等。
三位獲獎者介紹及其主要成就
Geoffrey Hinton
Geoffrey Hinton,1947年生,現年72歲,谷歌的副總裁和工程師,也是AI研究機構Vector Institute的首席科學顧問和多倫多大學的名譽教授。
在ACM頒獎辭博文中,主要提到了Hinton的三個貢獻,如果你做過AI項目,肯定不會陌生,它們分別是:
反向傳播(Backpropagation):1986年,在Learning Internal Representations by Error Propagation這篇論文里,Hinton證明了,反向傳播能讓神經網絡發現自己內部的數據表征,這樣便可以處理以往無法解決的問題。
如今,反向傳播已經是神經網絡的標準操作,Hinton也有了“反向傳播之父”的名號。
玻爾茲曼機(Boltzmann Machines):1983年,Hinton和同伴一起發明了玻爾茲曼機,那是最早能夠學習神經元內部表征的網絡之一:那些表征既不來自輸入,也不來自輸出。
改進卷積神經網絡:2012年,Hinton和學生們一起,利用線性整流神經元(Rectified Linear Neurons)和dropout 正則化改進了卷積神經網絡。
在ImageNet比賽上,他們幾乎把物體識別的錯誤率降到了從前的一半,讓計算機視覺領域煥然一新。
在獲得圖靈獎之前,Hinton就已經獲得了大量的榮譽,手握加拿大最高榮譽勛章(Companion of the Order of Canada),是頂級認知科學獎魯梅哈特獎的首位獲獎者,也獲得了人工智能國際聯合會(IJCAI)杰出學者獎終生成就獎等等。
此外,他也是英國皇家學會成員、美國工程院外籍院士。
一個有趣的軼事是,Hinton的高祖父是大名鼎鼎的喬治·布爾——布爾邏輯的創立者,因“布爾檢索“而聞名于世。
而即將出場的人,曾經在Hinton的實驗室里做過博士后。
Yann LeCun
Yann LeCun,1960年生,58歲,現在是Facebook首席AI科學家。卷積神經網絡 (CNN) 之父,是他最為人熟知的名號。
ACM列舉的成就,也是從這里開始。
卷積神經網絡 (CNN) :1989年,在AT&T貝爾實驗室工作的LeCun,以反向傳播為基礎,發表了一項研究,叫做“將反向傳播用到手寫郵編的識別上”。CNN的第一次實現,就是在這里誕生。
如今,CNN已經成為深度學習的基礎技術了,不止在計算機視覺領域,在語音合成、語音識別這些應用中,也是行業標準操作。
反向傳播雛形:1985年,Hinton還沒有成為反向傳播之父的時候,LeCun在巴黎六大讀博期間,發表過反向傳播的一個早期版本,根據變分原理給出了一個簡單的推導過程。
他用兩種加速學習的方法,讓反向傳播變得更快了。
拓展了神經網絡的視野:LeCun不止把神經網絡用在圖像識別上,還解鎖了許多其他任務。他提出的一些概念,如今已經成了AI領域的基礎。
比如,在圖像識別上,他研究了神經網絡怎樣學習分層特征表示 (Hierarchical Feature Representation) ,這也成為了如今許多識別任務中常用的概念。
另外,他和同伴Léon Bottou一起提出,學習系統可以由復雜的神經網絡構成。在這樣的系統里,反向傳播是靠自動微分來實現。他們還提出,深度學習架構可以對結構化數據 (比如圖形) ,進行處理。
LeCun博士畢業后,只在Hinton的實驗室做了一年博士后,就進入了工業界。
不過,他在2003年成為了紐約大學的教授,還在2012年創辦了紐大數據科學中心。即便加入Facebook之后,也繼續在紐大兼職。
而下一位巨頭,也和LeCun一樣,橫跨學界和產業界。并且,他也在赫赫有名的貝爾實驗室工作過。
Yoshua Bengio
Yoshua Bengio,1964年生,55歲,現在是蒙特利爾大學計算機科學與運籌學系教授。
Bengio創建了蒙特利爾學習算法研究所(MILA),擔任研究所的科學主任,主持加拿大高等研究院(CIFAR)機器與大腦學習項目的研究。同時,Bengio也擔任著數據評估研究所(IVADO)的科學聯合主任。
同樣,ACM也總結了Bengio的三個主要貢獻。
序列的概率模型:上世紀90年代,Bengio提出了序列的概率模型。他把神經網絡和概率模型(例如隱馬爾可夫模型)相結合,用新技術識別手寫的支票。外界認為,這是20世紀90年代神經網絡的巔峰之作,當下語音識別技術就是在它的基礎上擴展的。
高維詞匯嵌入和注意機制:Bengio參與發表了一篇里程碑式的論文,A Neural Probabilistic Language Model(神經概率語言模型),把高維詞嵌入 (High-Dimentional Word Embeddings) 作為詞義的表征。這對NLP研究(如翻譯、問答和視覺問答等任務)產生了深遠的影響。
生成對抗網絡(GAN):2014年,Bengio與Ian Goodfellow一同發表的生成對抗網絡 (GAN) ,引發了計算機視覺和圖形學的革命。
據統計,Yoshua Bengio發表的300多篇學術文章的累計引用次數已經超過137000次。
作為教授,Bengio曾經和Ian Goodfellow、Aaron Courville等業界大神一起寫出了Deep Learning,成為人手一本的“AI圣經”,不少人將這本書親切稱之為“花書”。
除了學術界,Bengio也活躍在產業界。
曾經,Bengio聯合Jean-François Gagné創立了Element AI,為那些想給自家業務尋找機器學習解決方案的公司,找到AI領域的專家。
除此之外,Bengio也有許多榮譽在身。他不僅成為了加拿大皇家學院(RSC)及加拿大高等研究院(CIFAR)的院士,還在2017年獲得了代表加拿大公民最高榮譽的“加拿大總督功勛獎”。
關于圖靈獎
圖靈獎由ACM設立于1966年,紀念著名的計算機科學先驅艾倫·圖靈,是計算機科學領域的最高獎,獲獎者必須在計算機領域具有持久重大的先進性技術貢獻。
人工智能領域的先驅馬文·明斯基(Marvin Lee Minsky)、約翰·麥卡錫(John McCarthy)、艾倫·紐厄爾(Allen Newell)、司馬賀(Herbert Alexander Simon)等人都曾獲得圖靈獎。2000年,華人科學家姚期智因在偽隨機數生成等計算領域的重要貢獻而摘得圖靈獎。
艾倫·圖靈雕像