本書英文版出版至今已近20年,但關(guān)于大腦究竟如何工作的問題至今仍無答案,而符號(hào)主義(認(rèn)為大腦是類似于計(jì)算機(jī)的加工符號(hào)的機(jī)器)與聯(lián)結(jié)主義(認(rèn)為大腦是并行運(yùn)轉(zhuǎn)的大型神經(jīng)網(wǎng)絡(luò))之間的爭論也從未停息。本書分析了聯(lián)結(jié)主義模型和符號(hào)加工模型在計(jì)算方面的優(yōu)勢和劣勢,關(guān)注不同聯(lián)結(jié)主義模型之間的差異以及特定模型與符號(hào)加工的特定假設(shè)之間的關(guān)系,并圍繞多層感知器展開討論。書中的觀點(diǎn)在今天依然頻繁成為學(xué)術(shù)討論的焦點(diǎn),并為認(rèn)知科學(xué)、人工智能、深度學(xué)習(xí)等領(lǐng)域的未來研究指明了可能的方向。
DeepMind人手一本!
屢次對(duì)戰(zhàn)深度學(xué)習(xí)三巨頭,揭秘大腦黑盒到底是神經(jīng)網(wǎng)絡(luò)機(jī)器,還是加工符號(hào)的機(jī)器
我對(duì)認(rèn)知科學(xué)的興趣始于高中,當(dāng)時(shí)幼稚地嘗試編寫計(jì)算機(jī)程序,希望將拉丁語翻譯成英語。這個(gè)項(xiàng)目終沒有完成,但我卻因此讀了一些有關(guān)人工智能的文獻(xiàn),這些文獻(xiàn)的核心就是將大腦視作機(jī)器的隱喻。
在我上大學(xué)期間,認(rèn)知科學(xué)開始發(fā)生巨大的轉(zhuǎn)變。在一本名為Parallel Distributed Processing(PDP)的兩卷本書中,David E. Rumelhart和James L. McClelland及其合作者(McClelland,Rumelhart & the PDP Research Group,1986;Rumelhart,McClelland & the PDP Research Group,1986)提出,人類的大腦并不像一臺(tái)計(jì)算機(jī),這與我之前的理解不同。不過,研究人員偏愛他們所謂的神經(jīng)網(wǎng)絡(luò)或聯(lián)結(jié)主義模型。當(dāng)我設(shè)法找到一份暑期工作來做一些類似于PDP的人類記憶建模時(shí),我立即被它吸引住了,并且感到非常興奮。盡管我的本科論文與PDP模型無關(guān)(我的本科論文和人類推理相關(guān)),但我一直對(duì)計(jì)算模型和認(rèn)知架構(gòu)的問題很感興趣。
在尋找研究生項(xiàng)目時(shí),我參加了Steven Pinker的一場精彩講座。他在講座中比較了PDP和符號(hào)加工對(duì)英語過去時(shí)的影響。那場講座使我確信,我需要去麻省理工學(xué)院(MIT)與Pinker合作。到MIT后不久,我和Pinker開始合作研究兒童的過度規(guī)則化錯(cuò)誤(breaked、eated等)。被Pinker的熱情所感染,我開始思考英語不規(guī)則動(dòng)詞的細(xì)節(jié)之處。
除此之外,我們發(fā)現(xiàn)的結(jié)果與一種特殊的神經(jīng)網(wǎng)絡(luò)模型不符。當(dāng)我在講座中提出我們的成果時(shí),我發(fā)現(xiàn)了一個(gè)溝通上的問題:不管我說什么,人們都會(huì)認(rèn)為我反對(duì)各種形式的聯(lián)結(jié)主義。不管我如何強(qiáng)調(diào)我們的研究沒有碰到其他更復(fù)雜的網(wǎng)絡(luò)模型,人們似乎總是想著Marcus是反聯(lián)結(jié)主義者。
我不是反聯(lián)結(jié)主義者,我只是反對(duì)某些聯(lián)結(jié)主義模型的特定子集。問題在于,聯(lián)結(jié)主義這個(gè)術(shù)語已經(jīng)基本等同于一種特定的網(wǎng)絡(luò)模型,一種先天結(jié)構(gòu)很少的經(jīng)驗(yàn)主義模型,一種使用學(xué)習(xí)算法(如反向傳播)的模型。這不是可以建立的一類聯(lián)結(jié)主義模型,實(shí)際上,這甚至不是正在建立的一類聯(lián)結(jié)主義模型,但是由于這種網(wǎng)絡(luò)模型相當(dāng)激進(jìn),因而持續(xù)吸引著大家的注意。
本書的主要目標(biāo)是說服各位讀者:這類備受關(guān)注的網(wǎng)絡(luò)模型在所有可能的模型中僅是冰山一角。我認(rèn)為,合適的認(rèn)知模型很有可能存在于一個(gè)不同的、探索較少的領(lǐng)域中。無論你是否認(rèn)同我的觀點(diǎn),我都希望你至少看到探索更廣泛的可能模型的價(jià)值。聯(lián)結(jié)主義不僅僅需要反向傳播和經(jīng)驗(yàn)主義。從更廣泛的意義上講,它可以很好地幫助我們回答以下兩個(gè)相互關(guān)聯(lián)的問題:大腦的基本構(gòu)建模塊是什么,以及如何在大腦中實(shí)現(xiàn)這些構(gòu)建模塊。
本書中所有的錯(cuò)誤都是我造成的,而大部分做對(duì)的事情應(yīng)該歸功于我的同事。在整個(gè)研究中,我感謝Steve Pinker,感謝他耐心的教導(dǎo)、不斷的鼓勵(lì)以及細(xì)致且發(fā)人深省的建議。還要感謝我的本科生導(dǎo)師Neil Stillings和Jay Garfield,在漢普郡學(xué)院的本科學(xué)習(xí)中,他們花了很多時(shí)間教我,而且他們對(duì)本書的早期草稿提出了出色的建議。
時(shí)間再往前推,我的任老師是我的父親Phil Marcus。雖然嚴(yán)格來說他并不算是我的同事,但他經(jīng)常會(huì)與我討論一些重要的理論問題,這些問題有助于我厘清自己的想法。
自從我來到紐約大學(xué),Susan Carey一直是我的非官方導(dǎo)師。我對(duì)Susan Carey以及其他為本書提出建議的人深表感謝。
還有許多同事對(duì)本書的早期版本提出了非常有幫助的建議,包括Iris Berent、Paul Bloom、Luca Bonatti、Chuck Clifton、Jay Garfield、Peter Gordon、Justin Halberda、Ray Jackendoff、Ken Livingston、Art Markman、John Morton、Mike Nitabach、Michael Spivey、Arnold Trehub、Virginia Valian和Zsófia Zvolenszky。Ned Block、Tecumseh Fitch、Cristina Sorrentino、Travis Williams和Fei Xu都對(duì)某些章節(jié)給出了鞭辟入里的評(píng)審意見,感謝他們的有益建議和對(duì)我所提出疑問的耐心解答。感謝Benjamin Bly、Noam Chomsky、Harald Clahsen、Dan Dennett、Jeff Elman、Jerry Fodor、Randy Gallistel、Bob Hadley、Stephen Hanson、Todd Holmes、Keith Holyoak、John Hummel、Mark Johnson、Denis Mareschal、Brian McElree、Yuko Munakata、Mechiro Negishi、Randall OReilly、 Neal Perlmutter、Nava Rubin、Lokendra Shastri、Paul Smolensky、Liz Spelke、Ed Stein、Wendy Suzuki、Heather van der Lely和Sandy Waxman,以及我在UMass/Amherst(本項(xiàng)目于此開始)和紐約大學(xué)(本項(xiàng)目于此完成)的同事。還要感謝幫助我管理實(shí)驗(yàn)室的研究助手Shoba Bandi Rao和Keith Fernandes,以及所有參加了1999年春季我的認(rèn)知科學(xué)的計(jì)算模型研究生課程的學(xué)生。感謝MIT出版社,尤其是Amy Brand、Tom Stone和Deborah Cantor-Adams,他們?yōu)楸緯闹谱魈峁┝藥椭8兄xNIH Grant HD37059對(duì)本書后的準(zhǔn)備階段提供支持。
我的母親Molly可能對(duì)不規(guī)則動(dòng)詞或神經(jīng)網(wǎng)絡(luò)沒有興趣,但她一直鼓勵(lì)我探索新知。她和我的朋友們,尤其是Tim、Zach、Todd、Neal和Ed,幫助我在整個(gè)項(xiàng)目過程中穩(wěn)步推進(jìn)。
后我希望感謝Zsófia Zvolenszky,把她放在后不僅僅是因?yàn)樽帜疙樞,而是因(yàn)閺奈议_始寫這本書的那一刻起,她就一直在激勵(lì)和啟發(fā)我。她的建議和愛讓本書變得更好,也讓我變得更快樂。我把這本書獻(xiàn)給她。
作者簡介
加里·F. 馬庫斯(Gary F. Marcus)
科學(xué)家、企業(yè)家、暢銷書作家。紐約大學(xué)心理學(xué)榮休教授,在包括Science和Nature在內(nèi)的期刊上發(fā)表了大量關(guān)于神經(jīng)科學(xué)、語言學(xué)和人工智能等方面的論文。他是Robust.AI公司的創(chuàng)始人和CEO,以及Geometric Intelligence公司(于2016年被Uber收購)的創(chuàng)始人和CEO。著有Rebooting AI、Kluge和The Birth of the Mind等書。
譯者簡介
劉偉
北京郵電大學(xué)崗位教授,人機(jī)交互與認(rèn)知工程實(shí)驗(yàn)室主任,研究領(lǐng)域包括人機(jī)交互、用戶體驗(yàn)、未來態(tài)勢感知模式與行為分析等。
譯者序
前言
第1章 認(rèn)知架構(gòu)1
1.1全書預(yù)覽2
1.2免責(zé)聲明5
第2章 多層感知器7
2.1多層感知器如何工作7
2.1.1節(jié)點(diǎn)7
2.1.2活性值8
2.1.3局部表示和分布式表示10
2.1.4輸入與輸出之間的關(guān)系11
2.1.5對(duì)隱藏單元的要求12
2.1.6學(xué)習(xí)16
2.1.7學(xué)習(xí)率18
2.1.8監(jiān)督18
2.1.9兩種類型的多層感知器19
2.2示例19
2.2.1家譜模型:前饋網(wǎng)絡(luò)20
2.2.2句子預(yù)測模型:簡單循環(huán)網(wǎng)絡(luò)22
2.3多層感知器是如何在認(rèn)知架構(gòu)的討論中出現(xiàn)的24
2.4多層感知器的吸引力25
2.4.1初步的理論思考25
2.4.2對(duì)初步思考的評(píng)價(jià)26
2.5符號(hào)、符號(hào)加工器和多層感知器29
第3章 變量之間的關(guān)系33
3.1多層感知器模型和規(guī)則之間的關(guān)系:細(xì)化問題33
3.1.1可以泛化UQOTOM嗎34
3.1.2UQOTOM的自由泛化:在可以執(zhí)行變量操作的系統(tǒng)中37
3.1.3在物理系統(tǒng)中實(shí)現(xiàn)變量操作38
3.2多層感知器和變量操作39
3.2.1為每個(gè)變量分配一個(gè)節(jié)點(diǎn)的模型40
3.2.2為每個(gè)變量分配一個(gè)以上節(jié)點(diǎn)的模型41
3.3表示變量和實(shí)例之間綁定的替代方法47
3.3.1在多層感知器中使用節(jié)點(diǎn)和活性值進(jìn)行變量綁定48
3.3.2聯(lián)合編碼48
3.3.3張量積49
3.3.4寄存器51
3.3.5時(shí)序同步52
3.3.6討論54
3.4案例研究1:嬰兒期的人工語法55
3.4.1不包含變量操作的模型55
3.4.2包含變量操作的模型60
3.4.3總結(jié)64
3.5案例研究2:語言屈折65
3.5.1經(jīng)驗(yàn)數(shù)據(jù)65
3.5.2三個(gè)標(biāo)準(zhǔn)的運(yùn)用67
3.5.3討論76
第4章 結(jié)構(gòu)化表示79
4.1多層感知器中的結(jié)構(gòu)化知識(shí)79
4.1.1幾何構(gòu)想80
4.1.2簡單循環(huán)網(wǎng)絡(luò)82
4.2對(duì)大腦為每一個(gè)主謂關(guān)系分配單獨(dú)的表示資源這一觀點(diǎn)的挑戰(zhàn)84
4.3關(guān)于在神經(jīng)基質(zhì)中實(shí)現(xiàn)遞歸組合的提議88
4.3.1可以表示遞歸結(jié)構(gòu)的外部系統(tǒng)88
4.3.2語義網(wǎng)絡(luò)89
4.3.3時(shí)序同步92
4.3.4交換網(wǎng)絡(luò)94
4.3.5將結(jié)構(gòu)映射到活性值95
4.4新提議99
4.4.1treelet99
4.4.2與其他方案的比較102
4.4.3一些限制104
4.5討論106
第5章 個(gè)體107
5.1多層感知器109
5.2客體永久性115
5.2.1客體永久性的實(shí)驗(yàn)證據(jù)115
5.2.2缺乏顯式表示種類和個(gè)體之間區(qū)別的客體永久性模型118
5.3明確區(qū)分個(gè)體表示與種類表示的系統(tǒng)120
5.4記錄和命題121
5.5神經(jīng)實(shí)現(xiàn)123
第6章 符號(hào)加工機(jī)制從何而來127
6.1符號(hào)加工是天生的嗎127
6.1.1一種提議127
6.1.2可學(xué)習(xí)性論點(diǎn)128
6.1.3嬰兒的實(shí)驗(yàn)證據(jù)129
6.2符號(hào)加工是否具有自適應(yīng)性130
6.2.1符號(hào)130
6.2.2規(guī)則132
6.2.3結(jié)構(gòu)化表示134
6.2.4個(gè)體136
6.2.5總結(jié)138
6.3符號(hào)加工如何發(fā)展138
6.3.1將DNA作為藍(lán)圖138
6.3.2是否應(yīng)該放棄天生的結(jié)構(gòu)化皮質(zhì)微電路140
6.3.3在獲取經(jīng)驗(yàn)之前關(guān)于大腦結(jié)構(gòu)組織的重要示例145
6.3.4解決一個(gè)明顯的悖論147
第7章 結(jié)論151
注釋155
參考文獻(xiàn)169