版權(quán)歸原作者所有,如有侵權(quán),請(qǐng)聯(lián)系我們

交叉學(xué)科再受青睞?2024年頒出史上最意外的諾貝爾物理學(xué)獎(jiǎng),專家如何解讀

溯源守拙·問學(xué)求新?!斗禈恪?,科學(xué)家領(lǐng)航的好科普。
收藏

北京時(shí)間10月8日下午5點(diǎn)45分許,2024年諾貝爾物理學(xué)獎(jiǎng)揭曉。美國和加拿大科學(xué)家John J. Hopfield、Geoffrey E. Hinton獲獎(jiǎng),以表彰他們通過“人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器學(xué)習(xí)的基礎(chǔ)性發(fā)現(xiàn)和發(fā)明”。

很顯然,這并非傳統(tǒng)物理學(xué)的任何一個(gè)分支領(lǐng)域。獎(jiǎng)項(xiàng)公布后,眾多學(xué)者開玩笑說“諾貝爾物理學(xué)獎(jiǎng)在搶圖靈獎(jiǎng)飯碗”。獲獎(jiǎng)人Hinton教授在得知這一結(jié)果后,在接受電話采訪時(shí)直言:“I have no idea that will happen(我沒有想到)”,"我現(xiàn)在住在加利福尼亞的一家廉價(jià)旅館里,這里的網(wǎng)絡(luò)和電話都不好。我今天本來要做核磁共振掃描,但我不得不取消了!”

華僑大學(xué)鄭志剛教授就這一讓學(xué)界大感意外的結(jié)果對(duì)《返樸》表示:嚴(yán)格來說,這是一個(gè)高度跨學(xué)科的交叉,新世紀(jì)物理學(xué)獎(jiǎng)看來越來越青睞交叉了!2021年和2024年(都有這種風(fēng)格的體現(xiàn))。

深度學(xué)習(xí)領(lǐng)域的資深專家王慶法則表示,John Hopfield 是個(gè)地道的物理學(xué)家,跨界發(fā)明了人工神經(jīng)網(wǎng)絡(luò),其實(shí)很多學(xué)科的前沿邊界已經(jīng)非常模糊了。John Hopfield 擴(kuò)展了統(tǒng)計(jì)物理學(xué)的邊界,使其涵蓋生命現(xiàn)象,從分子水平信息傳輸?shù)膭?dòng)力學(xué)到神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué),他創(chuàng)建了一種用于思考大腦計(jì)算的新語言。


以下為諾貝爾獎(jiǎng)官網(wǎng)新聞介紹:

今年的兩位諾貝爾物理學(xué)獎(jiǎng)得主使用了物理學(xué)的工具,為當(dāng)今強(qiáng)大的機(jī)器學(xué)習(xí)方法奠定了基礎(chǔ)。John Hopfield創(chuàng)建了一種聯(lián)想記憶,可以存儲(chǔ)和重構(gòu)圖像,或其他類型的數(shù)據(jù)模式。Geoffrey Hinton發(fā)明了一種可以自動(dòng)發(fā)現(xiàn)數(shù)據(jù)中屬性并執(zhí)行任務(wù)的方法,例如識(shí)別圖片中的特定元素。

談到人工智能,人們通常指的是使用人工神經(jīng)網(wǎng)絡(luò)來訓(xùn)練的機(jī)器學(xué)習(xí)技術(shù)。這項(xiàng)技術(shù)最初受大腦結(jié)構(gòu)啟發(fā)。在人工神經(jīng)網(wǎng)絡(luò)中,大腦的神經(jīng)元通過具有不同值的節(jié)點(diǎn)表示。這些節(jié)點(diǎn)通過可以類比為突觸的連接相互影響,而這些連接可以變強(qiáng)或變?nèi)?。這種網(wǎng)絡(luò)可以通過訓(xùn)練來優(yōu)化,例如可加強(qiáng)同時(shí)具有較高值的節(jié)點(diǎn)之間的連接。今年的諾貝爾物理獎(jiǎng)得主們自20世紀(jì)80年代起就在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域做出了重要的工作。

John Hopfield發(fā)明了一種網(wǎng)絡(luò)來保存和重現(xiàn)數(shù)據(jù)模式。我們可以將節(jié)點(diǎn)想象為像素。Hopfield網(wǎng)絡(luò)利用了描述物質(zhì)特性的原子自旋——該性質(zhì)使得每個(gè)原子都可看作一個(gè)小磁鐵。網(wǎng)絡(luò)的整體結(jié)構(gòu)則可等價(jià)地用物理學(xué)中自旋系統(tǒng)的能量來描述,并通過尋找節(jié)點(diǎn)之間的連接值來訓(xùn)練,使得保存的圖像具有較低的能量。當(dāng)Hopfield網(wǎng)絡(luò)接收到一個(gè)失真或不完整的圖像時(shí),它逐步處理節(jié)點(diǎn)并更新其值,以降低網(wǎng)絡(luò)的能量。通過這種方式,網(wǎng)絡(luò)就可一步步找到與輸入的失真圖像最為相似的圖像。

Geoffrey Hinton以Hopfield網(wǎng)絡(luò)為基礎(chǔ),開發(fā)了一種基于新方法的網(wǎng)絡(luò):玻爾茲曼機(jī)(Boltzmann Machine)。該網(wǎng)絡(luò)可以學(xué)習(xí)識(shí)別某一類數(shù)據(jù)中具有特征的元素。Hinton使用了統(tǒng)計(jì)物理學(xué)的工具,這是研究由許多相似組分組成的系統(tǒng)的科學(xué)。玻爾茲曼機(jī)通過輸入在機(jī)器運(yùn)行時(shí)非??赡艹霈F(xiàn)的示例進(jìn)行訓(xùn)練。它可以用于對(duì)圖像進(jìn)行分類或創(chuàng)建與其訓(xùn)練模式相似的新示例。Hinton在此基礎(chǔ)上繼續(xù)研究,推動(dòng)了當(dāng)前機(jī)器學(xué)習(xí)爆炸式的發(fā)展。

“諾貝爾獎(jiǎng)得主的工作已經(jīng)產(chǎn)生了巨大的益處。當(dāng)今物理學(xué)許多領(lǐng)域正在使用人工神經(jīng)網(wǎng)絡(luò),例如開發(fā)具有特定特性的材料,”諾貝爾物理學(xué)委員會(huì)主席Ellen Moons說道。

以下文章為Hinton自述,他非常坦誠地分享了自己的學(xué)術(shù)生涯,深度學(xué)習(xí)的未來和研究心得。

翻譯 | 沈佳麗、程浩源、許菡如、胡燕君、賈川


John Hopfield,1933年出生于美國伊利諾伊州芝加哥市,1958年獲得美國康奈爾大學(xué)博士學(xué)位,現(xiàn)任美國普林斯頓大學(xué)教授。


Geoffrey E. Hinton,1947年出生于英國倫敦。1978年獲得英國愛丁堡大學(xué)博士學(xué)位,現(xiàn)為加拿大多倫多大學(xué)教授。

他從未正式上過計(jì)算機(jī)課程,本科在劍橋大學(xué)讀的是生理學(xué)和物理學(xué),期間曾轉(zhuǎn)向哲學(xué),但最終拿到的卻是心理學(xué)方向的學(xué)士學(xué)位;他曾因?yàn)橐欢葏拰W(xué)去做木匠,但遇挫后還是回到愛丁堡大學(xué),并拿到「冷門專業(yè)」人工智能方向的博士學(xué)位;數(shù)學(xué)不好讓他在做研究時(shí)倍感絕望,當(dāng)了教授之后,對(duì)于不懂的神經(jīng)科學(xué)和計(jì)算科學(xué)知識(shí),他也總要請(qǐng)教自己手下的研究生。

學(xué)術(shù)道路看似踉踉蹌蹌,但Geoffrey Hinton卻成了笑到最后的那個(gè)人,他被譽(yù)為「深度學(xué)習(xí)教父」,并且獲得了計(jì)算機(jī)領(lǐng)域的最高榮譽(yù)「圖靈獎(jiǎng)」。

Hinton出身在英國的科學(xué)「豪門」,但他一生所經(jīng)歷的學(xué)術(shù)生涯和坎坷生活豐富而離奇。

他的父親Howard Everest Hinton是英國昆蟲學(xué)家,母親Margaret是一名教師,他們都是共產(chǎn)主義者。他的叔叔是著名的經(jīng)濟(jì)學(xué)家Colin Clark,發(fā)明了「國民生產(chǎn)總值」這個(gè)經(jīng)濟(jì)術(shù)語,他的高祖父是著名的邏輯學(xué)家George Boole,他發(fā)明的布爾代數(shù)奠定了現(xiàn)代計(jì)算機(jī)科學(xué)的基礎(chǔ)。

在厚重的科學(xué)家家族底蘊(yùn)熏陶下,Hinton從小擁有獨(dú)立思考能力以及堅(jiān)韌品質(zhì),并且肩負(fù)著繼承家族榮譽(yù)的擔(dān)子。母親給了他兩種選擇,「要么成為一名學(xué)者,要么做個(gè)失敗者?!顾麤]有理由選擇躺平,即便讀大學(xué)時(shí)幾經(jīng)折騰,但他還是完成了學(xué)業(yè)。

1973年,在英國愛丁堡大學(xué),他師從Langer Higgins攻讀人工智能博士學(xué)位,但那時(shí)幾乎沒人相信神經(jīng)網(wǎng)絡(luò),導(dǎo)師也勸他放棄研究這項(xiàng)技術(shù)。周遭的質(zhì)疑并不足以動(dòng)搖他對(duì)神經(jīng)網(wǎng)絡(luò)的堅(jiān)定信念,在隨后的十年,他接連提出了反向傳播算法、玻爾茲曼機(jī),不過他還要再等數(shù)十年才會(huì)等到深度學(xué)習(xí)迎來大爆發(fā),到時(shí)他的這些研究將廣為人知。

博士畢業(yè)后,Hinton的生活也歷經(jīng)困苦。他和第一任妻子Ros(分子生物學(xué)家)前往美國,并在卡耐基梅隆大學(xué)獲得教職,不過,由于對(duì)里根政府存有不滿,以及在人工智能研究基本由美國國防部支持的情況下,他們于1987年前往加拿大,Hinton開始在多倫多大學(xué)計(jì)算機(jī)科學(xué)學(xué)院任教,并在加拿大高級(jí)研究所CIFAR開展機(jī)器和大腦學(xué)習(xí)項(xiàng)目的研究。

不幸的是,1994年,妻子Ros因卵巢癌逝世,Hinton只能獨(dú)自撫養(yǎng)由他們收養(yǎng)的兩個(gè)年幼的孩子,其中,兒子還患有注意力缺陷多動(dòng)癥(ADHD)和其他學(xué)習(xí)障礙。后來,他與現(xiàn)任妻子Jackie(藝術(shù)史學(xué)家)再婚,但類似的打擊再度逼近,Jackie前幾年也患上了癌癥。

他本人也患有嚴(yán)重的腰椎疾病,這讓他無法像正常人那樣坐下,日常的大部分時(shí)間都必須站立工作,由此他也排斥坐飛機(jī),因?yàn)槠痫w降落時(shí)都要求必須坐直,這也限制了他去外地做學(xué)術(shù)報(bào)告。


從左到右依次為Ilya Sutskever、Alex Krizhevsky和Geoffrey Hinton

經(jīng)過近半個(gè)世紀(jì)的技術(shù)堅(jiān)守和生活磨礪,終于,2012年曙光乍現(xiàn),他與學(xué)生Alex Krizhevsky、Ilya Sutskever提出的AlexNet震動(dòng)業(yè)界,就此重塑了計(jì)算機(jī)視覺領(lǐng)域,啟動(dòng)了新一輪深度學(xué)習(xí)的黃金時(shí)代。

也是在2012年底,他與這兩位學(xué)生成立了三人組公司DNN-research,并將其以4400萬美元的「天價(jià)」賣給了Google,他也從學(xué)者身份轉(zhuǎn)變?yōu)镚oogle副總裁、Engineering Fellow。

2019年,非計(jì)算機(jī)科班出身的AI教授Hinton,與Yoshua Bengio、Yann LeCun共同獲得了圖靈獎(jiǎng)。

飽經(jīng)風(fēng)霜之后,這位已經(jīng)74歲的「深度學(xué)習(xí)教父」依然奮戰(zhàn)在AI研究一線,他不憚?dòng)谄渌麑W(xué)者發(fā)出的質(zhì)疑,也會(huì)坦然承認(rèn)那些沒有實(shí)現(xiàn)的判斷和預(yù)言。不管怎樣,他仍然相信,在深度學(xué)習(xí)崛起十年之后,這一技術(shù)會(huì)繼續(xù)釋放它的能量,而他也在思索和尋找下一個(gè)突破點(diǎn)。

那么,他對(duì)神經(jīng)網(wǎng)絡(luò)的堅(jiān)定信念源自何處?在如今深度學(xué)習(xí)「撞墻了」的質(zhì)疑聲中,他如何看待下一階段AI的發(fā)展?對(duì)于年輕一代的AI研究者們,他又有怎樣的寄語?

近期,在Pieter Abbeel主持的The Robot Brains Podcast節(jié)目中,Hinton非常坦誠地分享了自己的學(xué)術(shù)生涯,深度學(xué)習(xí)的未來和研究心得,以及拍賣DNN-research的內(nèi)幕。以下是他的講述。


8歲的Hinton

對(duì)我影響最為深遠(yuǎn)的是童年時(shí)所接受的教育。我的家庭沒有宗教信仰,父親是一名共產(chǎn)主義者,但考慮到私立學(xué)校的科學(xué)教育比較好,7歲時(shí),他堅(jiān)持送我去一所昂貴的基督教私立學(xué)校讀書,除了我,那里所有的孩子都相信上帝。

一回到家,家人就說宗教都是胡扯,當(dāng)然,可能因?yàn)槲矣休^強(qiáng)的自我意識(shí),我自己也不信,意識(shí)到信仰上帝是錯(cuò)的,并且養(yǎng)成了質(zhì)疑別人的習(xí)慣。當(dāng)然,多年之后,他們也確實(shí)發(fā)現(xiàn)自己當(dāng)初的信仰是錯(cuò)的,并意識(shí)到上帝也許并不是真的存在。

不過,如果我現(xiàn)在告訴你要有信仰,信仰很重要,可能聽起來很諷刺,但我們確實(shí)需要對(duì)科學(xué)研究要有信仰,這樣即使別人說你是錯(cuò)的,你也能在那條正確的道路上堅(jiān)持走下去。

01

1970年代,研究神經(jīng)網(wǎng)絡(luò)「孤勇者」

我的教育背景很豐富。在劍橋大學(xué)讀大一那年,我是唯一一位同時(shí)修讀物理學(xué)和生理學(xué)的學(xué)生,這為我后來的科研生涯奠定了一定的理工科基礎(chǔ)。

不過,我數(shù)學(xué)不太好,只好放棄學(xué)物理,可是,我又很好奇生命的意義,于是轉(zhuǎn)而去學(xué)哲學(xué),取得一定成績后,又開始修讀心理學(xué)。

在劍橋的最后一年,我過得很艱難,也不開心,所以一考完試就退學(xué),去做一名木匠。其實(shí),相比于做其他事情,我更喜歡做一名木匠。

高中時(shí),白天上完課后,我回家就會(huì)做一些木工活,那是我最開心的時(shí)刻。慢慢地,我就成為了一名木匠,但大概做了六個(gè)月左后,就發(fā)現(xiàn)木匠掙得錢少得難以維生,盡管木匠需要做的事情遠(yuǎn)比表面看到的要多。搞裝修輕松得多,來錢快,所以在做木匠的同時(shí),我也會(huì)兼職裝修活計(jì)。除非你是一名高級(jí)木匠,否則做木匠賺的錢肯定不如做裝修。

直到一天,我遇到了一名真正出色的木匠,才意識(shí)到自己不適合這行當(dāng)。一家煤炭公司讓這位木匠給陰暗潮濕的地下室做一扇門,鑒于環(huán)境特殊,他就將木料以反方向排列,以此來抵消木料因潮濕膨脹產(chǎn)生的變形,這是我此前從未想過的方式。他還可以用手鋸將一塊木料切成正方形。他向我講解道:要是想將木料切成正方形,那么你必須將鋸床和木料跟房間對(duì)齊。

當(dāng)時(shí)我就感覺,跟他相比自己差得太遠(yuǎn)了,就想或許還是回學(xué)校研究人工智能吧。

后來,我就去愛丁堡大學(xué)攻讀神經(jīng)網(wǎng)絡(luò)的博士,導(dǎo)師是著名的Christopher Longute-Higgins教授。30多歲時(shí),他就弄清了硼氫化物的結(jié)構(gòu),差點(diǎn)因此獲得諾貝尓獎(jiǎng),真的很厲害。直到現(xiàn)在,我仍然不清楚他研究的是什么,只知道是跟量子力學(xué)有關(guān),這項(xiàng)研究的事實(shí)基礎(chǔ)是「恒等算子的旋轉(zhuǎn)不是360度,而是720度」。

他曾經(jīng)對(duì)神經(jīng)網(wǎng)絡(luò)和全息圖之間的關(guān)系很感興趣,只是在我到愛丁堡大學(xué)后,他突然對(duì)神經(jīng)網(wǎng)絡(luò)失去了興趣,主要是因?yàn)樗x了Winograd(美國計(jì)算機(jī)科學(xué)家)的論文后被徹底說服了,認(rèn)為神經(jīng)網(wǎng)絡(luò)沒有發(fā)展前景,而是應(yīng)該轉(zhuǎn)做符號(hào)人工智能,那篇論文對(duì)他影響挺大的。

事實(shí)上,他并不贊同我的研究方向,想讓我做一些更容易獲獎(jiǎng)的研究,但他的為人不錯(cuò),仍然告訴我要堅(jiān)定自己的方向,也從未阻止我去研究神經(jīng)網(wǎng)絡(luò)。


Marvin Minsky和Seymour Papert

1970年代初,身邊的所有人都質(zhì)問我,Marvin Minsky和Seymour Papert都說神經(jīng)網(wǎng)絡(luò)前途渺茫,為什么還要堅(jiān)持下去?說實(shí)話,我感覺很孤獨(dú)。

1973年,我第一次給一個(gè)小組做演講,內(nèi)容就是關(guān)于如何用神經(jīng)網(wǎng)絡(luò)做真正的遞歸。在第一個(gè)項(xiàng)目中,我發(fā)現(xiàn),如果你想讓神經(jīng)網(wǎng)絡(luò)繪制圖形,將圖形分割成多個(gè)部分,并且這些圖形的部分都能被類似的神經(jīng)硬件繪制出來,那么儲(chǔ)存整個(gè)圖形的神經(jīng)中樞就需要記住整體圖形的位置、方向和大小。

如果正在繪制圖形的神經(jīng)網(wǎng)絡(luò)突然停止運(yùn)行了,你想使用另一個(gè)神經(jīng)網(wǎng)絡(luò)來繼續(xù)繪制圖形,那么就需要有地方來存儲(chǔ)這個(gè)圖形以及工作進(jìn)度,然后可以繼續(xù)繪制工作?,F(xiàn)在的難點(diǎn)在于,如何使神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)這些功能。顯然,僅僅靠復(fù)制神經(jīng)元是不行的,因此我想設(shè)計(jì)一個(gè)系統(tǒng)通過快速權(quán)重(fast weight)來實(shí)時(shí)適配并記錄工作進(jìn)度。如此一來,通過恢復(fù)相關(guān)狀態(tài)(state),就可以繼續(xù)完成任務(wù)。

因此,我創(chuàng)建了一套神經(jīng)網(wǎng)絡(luò),通過重用相同的神經(jīng)元和權(quán)重來執(zhí)行遞歸調(diào)用(就像用于高級(jí)調(diào)用一樣),以此來實(shí)現(xiàn)真正的遞歸。但是,我不擅長演講,所以感覺可能并沒有人理解我演講的內(nèi)容。

他們說,明明可以使用Lisp遞歸,為什么要在神經(jīng)網(wǎng)絡(luò)中進(jìn)行遞歸。他們不知道的是,除非神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)遞歸之類的功能,否則有一大堆事情無法解決?,F(xiàn)在,這又成為了一個(gè)有趣的問題,所以我還要再等一年,直到這個(gè)問題成為一個(gè)擁有50年歷史的古董,然后我寫了一份關(guān)于快速權(quán)重的研究報(bào)告。

那時(shí),也不是所有人都反對(duì)神經(jīng)網(wǎng)絡(luò)。如果再往前追溯到1950年代,如馮·諾依曼和圖靈這樣的研究者還是很相信神經(jīng)網(wǎng)絡(luò),他們都對(duì)大腦的工作方式很感興趣,特別是圖靈,很相信神經(jīng)網(wǎng)絡(luò)的強(qiáng)化訓(xùn)練,這也讓我對(duì)自己的研究方向很有信心。

可惜他們英年早逝,若是能多活幾年,他們的智慧足以影響一個(gè)領(lǐng)域的發(fā)展,英國在這方面可能早已取得突破,說不定人工智能的現(xiàn)狀也會(huì)大有不同。

02

從純粹的學(xué)者轉(zhuǎn)變?yōu)镚oogle員工

去Google工作的主要原因是,我的兒子患有殘疾,我得為他掙錢。

2012年,我覺得在Coursera上講課能掙到很多錢,所以就開設(shè)了神經(jīng)網(wǎng)絡(luò)相關(guān)課程。早期的Coursera軟件并不好用,加上我自己并不太擅長操做軟件,因此我時(shí)常感到煩躁。

最初我與多倫多大學(xué)達(dá)成了一項(xiàng)協(xié)議,如果這些課程能賺到錢的話,那么大學(xué)會(huì)把到手的錢分一部分給講課老師。雖然他們沒有明確說具體的分成比例,但有人說是對(duì)半分,我也就欣然接受了。

在錄課過程中,我曾要求過學(xué)校幫我錄制視頻,但他們卻反問我,「你知道制作視頻有多貴嗎?」我當(dāng)然知道,因?yàn)槲易约阂恢痹谥谱饕曨l,校方還是沒有提供任何支持。然而在我開課之后(當(dāng)時(shí)我已經(jīng)騎虎難下了),教務(wù)長在沒有咨詢我和其他任何人的情況下就單方面決定學(xué)校會(huì)拿走所有的錢,而我則一分錢也拿不到,這就完全違反了當(dāng)初的協(xié)議。

他們讓我好好錄課,并說那本就是我教學(xué)工作的一部分,但那實(shí)際上并不屬于我的教學(xué)范疇,而只是基于我之前做過的相關(guān)講座的課程。因此,我在后續(xù)的教學(xué)工作中再也沒有用過Coursera。那件事讓我很生氣,甚至開始考慮是否要從事其他的職業(yè)。

就在此時(shí),突然有很多公司向我們拋出了橄欖枝,愿意贊助一大筆經(jīng)費(fèi),或者支持我們創(chuàng)立一家公司,這說明還是有很多公司對(duì)于我們的研究內(nèi)容很感興趣。

鑒于州政府已經(jīng)給過我們一筆研究經(jīng)費(fèi),我們也不再想賺外快,還是把精力放在自己的研究上。但那次學(xué)校騙我賺錢的經(jīng)歷不禁讓我萌生想多賺點(diǎn)錢的想法,所以后來把成立不久的DNN-research拍賣了。

這樁買賣發(fā)生在2012年12月的NIPS(神經(jīng)信息處理系統(tǒng)大會(huì))期間,會(huì)議在塔霍湖邊的一個(gè)娛樂場(chǎng)所舉辦,地下室里燈光閃耀,一群光著膀子的賭徒在煙霧繚繞的房間里盡情高呼,「你贏了25000,這些都是你的」......與此同時(shí),樓上進(jìn)行拍賣一家公司。

當(dāng)時(shí)就像在演電影,與社交媒體上看到的情形一模一樣,真的很棒。我們之所以拍賣公司,是因?yàn)槲覀兺耆恢雷陨淼膬r(jià)值,所以我就咨詢了一個(gè)知識(shí)產(chǎn)權(quán)方面的律師,他說,現(xiàn)在有兩個(gè)辦法:一是直接雇一名專業(yè)的談判員去和那些大公司談判,但這可能會(huì)遇到不愉快;二是發(fā)起一場(chǎng)競拍。

據(jù)我所知,像我們這樣的小公司進(jìn)行拍賣在歷史上還是第一次。最終我選擇通過Gmail進(jìn)行競拍,因?yàn)槟悄晗奶煳乙恢痹贕oogle工作,我知道他們不會(huì)隨意竊取用戶的郵件,即使到現(xiàn)在,我還是這樣認(rèn)為的。但對(duì)于我們這一決定,微軟表現(xiàn)出不滿。

拍賣過程如下:參與競拍的公司必須通過Gmail將他們的報(bào)價(jià)發(fā)給我們,然后我們?cè)賹⑵溥B同Gmail的時(shí)間戳發(fā)送給其他參與者。起拍價(jià)為50萬美元,然后有人出價(jià)100萬美元,看到競價(jià)不斷上漲時(shí),我們真是太高興了,同時(shí)也意識(shí)到我們的價(jià)值遠(yuǎn)比預(yù)想的要高。當(dāng)競價(jià)達(dá)到一定程度時(shí)(當(dāng)時(shí)我們認(rèn)為是天文數(shù)字了),我們更傾向于在Google工作,于是叫停了拍賣。

來Google工作是一個(gè)正確的選擇,到現(xiàn)在我在這兒工作了九年。等我在這里工作滿十年,他們應(yīng)該會(huì)給我頒個(gè)獎(jiǎng),畢竟在這兒工作這么久的人屈指可數(shù)。

相比其他公司,人們都更喜歡在Google工作,我也一樣。我喜歡這家公司的主要原因是Google Brain團(tuán)隊(duì)很棒。我更專注于研究如何構(gòu)建大型學(xué)習(xí)系統(tǒng)和研究大腦的工作機(jī)制,Google Brain不僅有研究大型系統(tǒng)所需要的豐富資源,還能跟眾多優(yōu)秀人才交流學(xué)習(xí)。

我屬于那種直性子,而Jeff Dean是一個(gè)聰明人,跟他相處很愉快。他想讓我做一些基礎(chǔ)研究,嘗試提出新的算法,而這正是我喜歡做的事。我不擅長管理大型團(tuán)隊(duì),相比之下,我更樂意將語言識(shí)別的精度提升一個(gè)百分點(diǎn),為這個(gè)領(lǐng)域帶來一場(chǎng)新的變革是我一直想做的事。

03

深度學(xué)習(xí)的下一個(gè)大事件

深度學(xué)習(xí)的發(fā)展取決于,在擁有海量數(shù)據(jù)和強(qiáng)大算力的大型網(wǎng)絡(luò)中做隨機(jī)梯度下降,基于此,一些想法得以更好地生根發(fā)芽,比如隨機(jī)失活(dropout)和現(xiàn)在的很多研究,但這一切離不開強(qiáng)大算力、海量數(shù)據(jù)以及隨機(jī)梯度下降。

經(jīng)常有人說深度學(xué)習(xí)遇到了瓶頸,但事實(shí)上它一直在不斷向前發(fā)展,我希望懷疑論者能將深度學(xué)習(xí)現(xiàn)在不能做的事寫下來。五年后,我們會(huì)證明深度學(xué)習(xí)能做到這些事。

當(dāng)然,這些任務(wù)必須經(jīng)過嚴(yán)格定義。比如Hector Levesque(多倫多大學(xué)計(jì)算機(jī)系教授)是一個(gè)典型的AI人士,他本人非常優(yōu)秀。Hector制定了一個(gè)標(biāo)準(zhǔn),即Winograd句子,其中一個(gè)例子是,「獎(jiǎng)杯不適合放在手提箱中,因?yàn)樗×耍华?jiǎng)杯不適合放在手提箱里,因?yàn)樗罅?。?/p>

如果你想把這兩句翻譯成法語,必須明白在第一種情況下,「它」指的是手提箱,而在第二種情況下,「它」指的是獎(jiǎng)杯,因?yàn)樗鼈冊(cè)诜ㄕZ中是不同的性數(shù)(genders),而且早期的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯是隨機(jī)的,所以當(dāng)機(jī)器把上述句子翻譯成法語時(shí),機(jī)器無法正確識(shí)別性數(shù)。但這種情況一直在改進(jìn),至少Hector給神經(jīng)元下了一個(gè)非常明確的定義,指出神經(jīng)元可以做什么。雖然做的并不完美,但這樣至少比隨機(jī)翻譯要好得多。我希望懷疑論者能提出更多類似的質(zhì)疑。

我認(rèn)為,深度學(xué)習(xí)這種非常成功的范式將繼續(xù)保持繁榮:即根據(jù)一些目標(biāo)函數(shù)的梯度來調(diào)整大量的實(shí)值參數(shù),但我們很可能不會(huì)使用反向傳播機(jī)制來獲得梯度,而目標(biāo)函數(shù)可能會(huì)更加局部和分散。

我個(gè)人猜測(cè),下一個(gè)AI大事件肯定是脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。它能夠解決是否進(jìn)行脈沖的離散判定,以及何時(shí)進(jìn)行脈沖的連續(xù)性決策,這樣就可以利用脈沖時(shí)間來進(jìn)行有趣的計(jì)算,這在非脈沖神經(jīng)網(wǎng)絡(luò)中其實(shí)很難做到。之前沒能深入研究脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法,這是我研究生涯的一大遺憾。

我沒打算研究AGI,也盡量避免定義什么是AGI,因?yàn)锳GI愿景背后有各種各樣的問題,而僅僅通過擴(kuò)大帶參數(shù)的神經(jīng)元數(shù)量或神經(jīng)連接還無法實(shí)現(xiàn)通用人工智能。

AGI設(shè)想了一個(gè)類似人類的智能機(jī)器人,它和人類一樣聰明。我不認(rèn)為智能一定會(huì)這樣發(fā)展,而是希望它更多地以共生方式發(fā)展。我認(rèn)為,也許我們會(huì)設(shè)計(jì)出智能計(jì)算機(jī),但它們不會(huì)像人類一樣擁有自主意識(shí)。如果它們的目的是用來殺死其他人,那它們可能必須得有自主意識(shí),但希望我們不會(huì)往那個(gè)方向發(fā)展。

04

相信研究直覺,好奇心驅(qū)動(dòng)

每個(gè)人的思維方式都有所不同,我們不一定了解自己的思維過程。我喜歡按直覺行事,更傾向于在做研究時(shí)運(yùn)用類比,我認(rèn)為,人類推理的基本方式是基于在大向量中利用正確的特征來進(jìn)行類比,我本人也是這樣做研究的。

我經(jīng)常在電腦上對(duì)某一研究反復(fù)進(jìn)行試驗(yàn),來看看哪些有用,哪些沒用。弄清事物的數(shù)學(xué)底層邏輯和進(jìn)行基礎(chǔ)研究確實(shí)很重要,進(jìn)行一些論證也很有必要,但這些不是我想做的事。

做一個(gè)小測(cè)試:假如現(xiàn)在NIPS會(huì)議上有兩場(chǎng)講座,一場(chǎng)是關(guān)于用一種全新、聰明和優(yōu)雅的方法來證明一項(xiàng)已知的結(jié)論;另一場(chǎng)則是關(guān)于一種新的、強(qiáng)大的學(xué)習(xí)算法,但算法背后的邏輯暫時(shí)無人知曉。

如果你必須在這兩場(chǎng)講座中選擇一場(chǎng)去聽講座,你會(huì)做何選擇?相比第二場(chǎng)講座,第一場(chǎng)可能更容易被人們所接受,大家似乎更好奇證明已知事物的新方法,但我會(huì)去聽第二場(chǎng),畢竟在神經(jīng)網(wǎng)絡(luò)領(lǐng)域,幾乎所有的進(jìn)步都源于人們?cè)谶M(jìn)行數(shù)學(xué)推演時(shí)瞬間萌生的直覺,而非常規(guī)推理。

那么你是否要相信自己的直覺?我有一個(gè)標(biāo)準(zhǔn)——要么你有敏銳的直覺,要么干脆沒有。如果沒有敏銳的直覺,那做什么都沒關(guān)系;但如果有敏銳的直覺,那應(yīng)該相信直覺,去做你認(rèn)為對(duì)的事。

當(dāng)然,敏銳的直覺源自你對(duì)世界的理解以及大量的辛勞付出。當(dāng)你在同一件事上積累了大量經(jīng)驗(yàn),就會(huì)產(chǎn)生直覺。

我患有輕微的狂躁抑郁癥,所以一般會(huì)游走在兩種狀況之間:適當(dāng)?shù)淖晕遗u(píng)會(huì)讓我非常有創(chuàng)造力,而極度自我批評(píng)會(huì)讓我產(chǎn)生輕度抑郁。但我認(rèn)為這樣比僅有單一情緒的效率更高。當(dāng)你感到煩躁時(shí),你只要忽視那些顯而易見的問題,并且確信一些有趣的、激動(dòng)人心的東西正等你去發(fā)現(xiàn),繼續(xù)前進(jìn)。當(dāng)你面對(duì)問題感到措手不及時(shí),一定要堅(jiān)持下去,理清思路,仔細(xì)斟酌想法的好壞。

由于有這樣的情緒交替,我經(jīng)常會(huì)告訴大家,我弄清大腦的工作機(jī)制了,可過段時(shí)間,我又失望地發(fā)現(xiàn)之前的結(jié)論是錯(cuò)誤的,但事情就應(yīng)該是這樣發(fā)展的,正如William Blake的那兩句詩,「將快樂和憂傷編織,披在我神圣的心上」。

我認(rèn)為科研工作的本質(zhì)也是如此,如果你不會(huì)因?yàn)槌晒Χ械脚d奮,也不會(huì)因?yàn)槭《械骄趩?,那算不上真正意義上的研究者。

研究生涯里,盡管有時(shí)會(huì)覺得自己完全摸不著一些算法的門道,但我還從未真正感到迷茫和毫無希望。在我看來,無論最終結(jié)果如何,總有值得去做的事情。優(yōu)秀的研究人員總是有很多想做的事情,只是苦于沒有多余的時(shí)間。

在多倫多大學(xué)任教時(shí),我發(fā)現(xiàn)計(jì)算機(jī)科學(xué)專業(yè)的本科生都很優(yōu)秀,而很多輔修計(jì)算機(jī)科學(xué)的認(rèn)知科學(xué)專業(yè)的本科生也表現(xiàn)得相當(dāng)出色,這一部分同學(xué)并不擅長技術(shù),但他們?nèi)匀话蜒芯孔龅煤芎茫麄儫釔塾?jì)算機(jī)科學(xué),非常想弄清人類的認(rèn)知如何形成,有著源源不斷的興趣。

像Blake Richards(蒙特利爾神經(jīng)學(xué)研究所助理教授)這樣的科學(xué)家,他們很清楚自己想解決什么問題,然后就只管朝著這個(gè)方向前行?,F(xiàn)在,很多科學(xué)家都不知道自己到底想做什么。

回頭看,我覺得年輕人要找到自己感興趣的方向,而不是單純地學(xué)些技術(shù)。在自身興趣的驅(qū)動(dòng)下,你會(huì)主動(dòng)去掌握一些應(yīng)有的知識(shí)來尋找你想要的答案,這比盲目地學(xué)習(xí)技術(shù)更重要。

現(xiàn)在想想,我年輕時(shí)就應(yīng)該再多學(xué)一點(diǎn)數(shù)學(xué)知識(shí),這樣做線性代數(shù)就會(huì)容易很多。

數(shù)學(xué)時(shí)常讓我感到絕望,導(dǎo)致很難讀懂一些論文,尤其要弄懂那一大堆符號(hào),真是一項(xiàng)莫大的挑戰(zhàn),所以我并沒有讀太多論文。關(guān)于神經(jīng)科學(xué)方面的問題,一般我會(huì)向Terry Sejnowski(計(jì)算神經(jīng)學(xué)教授)請(qǐng)教,計(jì)算機(jī)科學(xué)方面的問題,我會(huì)請(qǐng)研究生解釋給我聽。當(dāng)我需要用數(shù)學(xué)來證明某項(xiàng)研究是否可行時(shí),我也總能找到合適的方法。

通過做研究讓這個(gè)世界變得更美好的想法很不錯(cuò),但我更享受探索人類創(chuàng)造力上限的樂趣,我真的很想了解大腦的工作機(jī)制,我相信我們需要一些新的想法,比如通過脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法了解大腦的運(yùn)作方式。

我認(rèn)為,最棒的研究工作應(yīng)該由一大群研究生來完成,并且給他們提供豐富的資源??蒲泄ぷ餍枰贻p的活力,源源不斷的動(dòng)力,以及對(duì)研究的強(qiáng)烈興趣。

你必須有好奇心的驅(qū)動(dòng)才能做出最好的基礎(chǔ)研究。只有這樣,你才有動(dòng)力去忽視那些明顯的障礙,去預(yù)估自己會(huì)取得怎樣的結(jié)果。如果是一般性研究,創(chuàng)造力就不是最重要的。

如果能弄清一大批聰明人正在研究什么,然后你再去做不一樣的研究,總是一個(gè)好主意。如果你已經(jīng)在某個(gè)領(lǐng)域取得一定的進(jìn)展,那就不需要其他新的想法,只需要將現(xiàn)有的研究深挖下去就可以成功。但如果你想研究一些新想法,比如構(gòu)建大型硬件,那也非常不錯(cuò),盡管前路可能有些曲折。

參考資料

https://www.youtube.com/watch?v=4Otcau-C_Yc

https://www.youtube.com/watch?v=2EDP4v-9TUA)

本文轉(zhuǎn)載自微信公眾號(hào)“OneFlow”,來源The Robot Brains Podcast


特 別 提 示

1. 進(jìn)入『返樸』微信公眾號(hào)底部菜單“精品專欄“,可查閱不同主題系列科普文章。

2. 『返樸』提供按月檢索文章功能。關(guān)注公眾號(hào),回復(fù)四位數(shù)組成的年份+月份,如“1903”,可獲取2019年3月的文章索引,以此類推。

版權(quán)說明:歡迎個(gè)人轉(zhuǎn)發(fā),任何形式的媒體或機(jī)構(gòu)未經(jīng)授權(quán),不得轉(zhuǎn)載和摘編。轉(zhuǎn)載授權(quán)請(qǐng)?jiān)凇阜禈恪刮⑿殴娞?hào)內(nèi)聯(lián)系后臺(tái)。

內(nèi)容資源由項(xiàng)目單位提供

評(píng)論
剛毅堅(jiān)卓
太傅級(jí)
已閱知
2024-10-09
喬聚慧
進(jìn)士級(jí)
諾貝爾獎(jiǎng)自1901年設(shè)立以來,一直是科學(xué)界的最高榮譽(yù)之一。隨著科學(xué)技術(shù)的發(fā)展,交叉學(xué)科的重要性逐漸凸顯,諾貝爾獎(jiǎng)也越來越傾向于表彰那些在交叉學(xué)科領(lǐng)域做出杰出貢獻(xiàn)的科學(xué)家。據(jù)統(tǒng)計(jì)數(shù)據(jù)顯示,從1901年到2008年的諾貝爾自然科學(xué)獎(jiǎng)中,交叉學(xué)科研究成果占比高達(dá)52.0%。這一比例在不同時(shí)間段內(nèi)呈現(xiàn)上升趨勢(shì),表明交叉學(xué)科研究正成為科學(xué)發(fā)展的主流 。
2024-10-12
泥濘路上一書生
進(jìn)士級(jí)
學(xué)習(xí)
2024-10-10