繼ChatGPT以近乎摧枯拉朽的氣勢席卷社會(huì)之后,3 月 14 日,OpenAI又發(fā)布了 GPT-4,宣稱其可以更準(zhǔn)確地解決復(fù)雜問題,是“最先進(jìn)的人工智能系統(tǒng)”。那么,取得了現(xiàn)象級(jí)成功的由深度學(xué)習(xí)開發(fā)而來的此類智能聊天機(jī)器,有很大希望成為人類夢寐以求的通用人工智能嗎?本文將從理論上分析ChatGPT的若干根本局限,及各界對(duì)其存在的幾個(gè)普遍誤讀。此外,盡管本文針對(duì)的是ChatGPT,但結(jié)論適用于其他大語言模型。
撰文 | 王培(美國天普大學(xué)計(jì)算機(jī)系)
ChatGPT問世以來,在引起全社會(huì)關(guān)注的同時(shí)也觸發(fā)了很多爭論。很多人被它似乎無所不知的內(nèi)容儲(chǔ)備和流暢的語言表達(dá)能力所震驚,但也有不少人因?yàn)樗粫r(shí)冒出來的 “一本正經(jīng)的胡說八道” 而斷定其不堪大用。關(guān)于對(duì)未來社會(huì)的影響,有人歡欣鼓舞地憧憬腦力勞動(dòng)的效率提升,而另一些人則在憂心忡忡地預(yù)測就業(yè)機(jī)會(huì)的減少。一時(shí)間眾說紛紜,蔚為大觀。本文無意于討論這些問題,而只準(zhǔn)備集中分析一個(gè)話題:這種系統(tǒng)會(huì)成為所謂 “通用人工智能” 嗎?
ChatGPT是什么?
網(wǎng)上已經(jīng)有對(duì) ChatGPT的很多介紹材料,所以我這里只談和本文的話題直接相關(guān)的。ChatGPT屬于 “大語言模型” (Large Language Model,LLM),其直接目標(biāo)是總結(jié)人類語言使用的統(tǒng)計(jì)規(guī)律。其構(gòu)造過程主要包括兩個(gè)階段:首先,利用互聯(lián)網(wǎng)等來源提供的語言材料訓(xùn)練一個(gè)巨型人工神經(jīng)元網(wǎng)絡(luò),直接在字詞、語句等水平上總結(jié)語言使用者的習(xí)慣。最簡單的情況就是統(tǒng)計(jì)一個(gè)詞出現(xiàn)在另一個(gè)詞之后的頻率,比如在 “這” 出現(xiàn)之后,有多少次下一個(gè)字是 “里” 。既然一個(gè)語言的詞匯量是有限的,這種統(tǒng)計(jì)就完全可能進(jìn)行,只是由于計(jì)算量極大,沒有人會(huì)這樣學(xué)習(xí)語言而已。以此為基礎(chǔ),可以進(jìn)一步根據(jù)一個(gè)句子的開頭計(jì)算其各種結(jié)尾的出現(xiàn)頻率,以至于在一句話之后出現(xiàn)另一句話的可能性,如此等等。這和很多輸入法根據(jù)已經(jīng)打出的字猜測后面的字的做法基于相同的原理,只是海量的語言材料和超人的計(jì)算能力使得這種模型取得了任何人類都無法企及(甚至難以想象)的結(jié)果。這就直接解釋了ChatGPT的內(nèi)容廣度和語言流暢性,因?yàn)樗f的話就是該語言的使用者們在相同的語境下最可能說的。
在上述 “預(yù)訓(xùn)練” 的基礎(chǔ)上,ChatGPT又經(jīng)過了一個(gè) “強(qiáng)化學(xué)習(xí)” 過程,在其中人類訓(xùn)練者為它提供了大量典型問題,并對(duì)其回復(fù)進(jìn)行 “獎(jiǎng)勵(lì)” 或 “懲罰”,通過調(diào)整模型的參數(shù)使得其行為符合人類要求。這就解釋了它為什么會(huì)在某些問題上提供背離統(tǒng)計(jì)數(shù)據(jù)的回復(fù),尤其是當(dāng)那些統(tǒng)計(jì)結(jié)果可能引起倫理或政治麻煩,或者不符合其作為聊天程序的 “身份” 的時(shí)候。
盡管上述過程已經(jīng)覆蓋了非常大的范圍,但總還有問題超出其外,就是說既沒有來自語言材料的顯著統(tǒng)計(jì)結(jié)論,也沒在后續(xù)訓(xùn)練中出現(xiàn)過。在這種情況下,ChatGPT(或者說作為其基礎(chǔ)的人工神經(jīng)元網(wǎng)絡(luò)技術(shù))就會(huì)根據(jù)最類似的已知問答做出反應(yīng)。這里 “類似” 的標(biāo)準(zhǔn)也是統(tǒng)計(jì)性的,比如說 “這” 的統(tǒng)計(jì)特征(即前面提到的各種頻率)和 “那” 會(huì)很接近,而和 “和” 就不會(huì)那么接近。這種處理方式當(dāng)然有道理,但也正是各種 “一本正經(jīng)的胡說八道” 的來源,因?yàn)槿绻愃瞥潭炔粔蚋?,這種替換結(jié)果的可信性就很成問題,而且這種 “統(tǒng)計(jì)上的類似” 和 “含義上的類似” 畢竟不完全是一回事。
雖然上面的介紹包括了大量簡化,從中已經(jīng)可以看出ChatGPT的一些根本局限。由于訓(xùn)練材料不可能窮盡一個(gè)語言的所有用法,而基于統(tǒng)計(jì)相似性的解決方案并不可靠,其答案的可信性就不可能僅靠更多的訓(xùn)練來徹底解決。對(duì)于那些超出當(dāng)前人類共識(shí)的問題,它就更是力所不逮了,因?yàn)檫@種技術(shù)對(duì)知識(shí)的有效拓展辦法甚少,盡管它常??梢猿錾乜偨Y(jié)和表達(dá)現(xiàn)有的人類知識(shí)。但既然這種模型的目標(biāo)是 “再現(xiàn)一般人類的平均行為” ,所以對(duì)一個(gè)問題而言,即使其訓(xùn)練材料中確有真知灼見,也完全可能被陳詞濫調(diào)所淹沒。同理,所謂 “AI的偏見” 往往都是社會(huì)的偏見,不能怪在ChatGPT 的頭上。另外要注意的是,所有所謂 “ChatGPT認(rèn)為” 實(shí)際上都是 “人們認(rèn)為”,而ChatGPT是沒有 “個(gè)人觀點(diǎn)” 可言的。很多網(wǎng)友熱衷于詢問ChatGPT對(duì)各種價(jià)值評(píng)價(jià)問題的看法,然后將其回復(fù)理解為 “反映了人工智能系統(tǒng)的世界觀和價(jià)值觀”,這對(duì)于大語言模型來說完全是一種誤讀。
什么是通用人工智能(AGI)?
現(xiàn)在來看問題的另一端。
眾所周知, “人工智能” 一直沒有一個(gè)公認(rèn)的定義,但這絕不意味著隨便怎么說都行。我在參考文獻(xiàn)[1]里對(duì)此有詳細(xì)討論,在參考文獻(xiàn)[2]中也有簡略介紹,其主要結(jié)論是說 “人工智能” (AI)是對(duì) “人類智能” 某一個(gè)方面(但不可能是所有方面)的再現(xiàn)。對(duì)于不同的研究者而言,這個(gè)方面會(huì)是下列選項(xiàng)之一:
結(jié)構(gòu),即AI應(yīng)該基于一個(gè)人腦模型,從而實(shí)現(xiàn) “類腦智能” ;
行為,即AI應(yīng)該在外部表現(xiàn)上,尤其在言語行為上,做到與人一致;
能力,即AI應(yīng)該能解決以前只有人類才能解決的實(shí)際問題;
功能,即AI應(yīng)該具備人的各種認(rèn)知功能,如學(xué)習(xí)、推理、感知、運(yùn)動(dòng)、通信等;
原則,即AI應(yīng)該遵循體現(xiàn)在人類思維當(dāng)中的理性原則。
我的結(jié)論是上述五個(gè)研發(fā)目標(biāo)均有其理論和應(yīng)用價(jià)值,但彼此并不相同,也不能相互包括,盡管因?yàn)闅v史原因常常都被稱為 “人工智能”。
那么,“通用” 又是怎么加上去的呢?
在開始時(shí),人工智能研究是以研發(fā)與人類智能具有一般可比性的計(jì)算機(jī)系統(tǒng)為目標(biāo)的,這在圖靈的文章(參考文獻(xiàn)[3])和其它早期AI文獻(xiàn)中幾乎是不言而喻的,因此不必特別申明。但后來構(gòu)建通用系統(tǒng)的努力屢屢受挫,導(dǎo)致大部分AI研究者轉(zhuǎn)向?qū)S玫墓ぞ吆蛦栴}解決方案,而視對(duì)通用智能系統(tǒng)的研究為死路,并將其斥之為 “白日夢” 甚至 “偽科學(xué)”。大約二十年前,一些對(duì)這個(gè)潮流持不同意見的AI研究者(包括我自己)開始 “抱團(tuán)取暖”,并在需要一個(gè)新的 “旗號(hào)” 時(shí)選擇了Artificial General Intelligence(AGI)。當(dāng)時(shí)的一個(gè)主要考慮是 “g-factor” (“通用因素”)以及相應(yīng)的 “general intelligence” (“通用智能”)在心理學(xué)關(guān)于 “智商” 的研究中已經(jīng)是廣為人知的概念,加上 “人工” 以后可以自然地引入到AI 中來。與其相比,其它的候選方案,如 “Real AI”(“真正的人工智能”)、“Strong AI”(“強(qiáng)人工智能”)、“Human-level AI”(“人類水平人工智能”)等等,都有比較大的缺陷。在我們確定了這個(gè)名稱之后,于2007年出版了第一本AGI文集(參考文獻(xiàn)[4]),并在隨后的幾年里開始了AGI年會(huì)和學(xué)報(bào),從而標(biāo)志著這個(gè)與主流AI分道揚(yáng)鑣的研究社群的建立。當(dāng)這個(gè)概念被譯為中文時(shí),“通用人工智能” 顯然比 “人工通用智能” 更符合中文的構(gòu)詞習(xí)慣和直觀理解,而 “General Artificial Intelligence” 在英文里往往會(huì)被理解成 “人工智能概論/綜述”,所以從沒有被我們作為一個(gè)選項(xiàng)。在這里,中、英文的詞序差異完全是語言差別而造成的,并非某些人所說的誤譯。
隨著深度學(xué)習(xí)的興起,幾家大公司開始用 “邁向AGI的重要一步” 來稱呼他們的技術(shù)進(jìn)展。由于他們的巨大影響力,AGI這個(gè)概念在公眾的印象中和深度學(xué)習(xí)建立了密切關(guān)系。比如有些人以為既然深度學(xué)習(xí)可以用于很多領(lǐng)域解決不同的問題,這就已經(jīng)是AGI了。這里的誤解是混淆了 “通用技術(shù)” 和 “通用系統(tǒng)”。深度學(xué)習(xí)的確可以算是個(gè)通用技術(shù),但用這個(gè)技術(shù)開發(fā)出來的計(jì)算機(jī)系統(tǒng)常常只能做一件事(下圍棋、圖片分類、語言翻譯等等),因此都是專用系統(tǒng)。而通用系統(tǒng)是不能只會(huì)做一件事的,無論這件事做的有多好。
那么問題來了:“通用” 除了作為 “專用” 的反面之外,還有其它的含義嗎?在目前的討論和研究中,對(duì) “通用人工智能系統(tǒng)” 的理解主要有下面幾種:
能解決所有問題,
能解決所有人能解決的問題,
能解決所有能被某個(gè)模型
(例如圖靈機(jī))
所描述的問題,
能接受所有在系統(tǒng)感知范圍內(nèi)的問題并嘗試解決它們
(雖然不保證一定成功)
。
在上述4種 “通用系統(tǒng)” 中,我不知道有任何AGI研究者是以第1種為目標(biāo)的,而且我們多次明確地拒絕了這種膚淺的解讀[5, 6]。實(shí)際上,在科學(xué)技術(shù)領(lǐng)域,提到 “通用”,一定是相對(duì)的、有條件或范圍的,例如 “通用圖靈機(jī)”、“通用計(jì)算機(jī)”、(心理學(xué)中的)“通用智能” 等等。
除去作為 “反面典型” 的1之外,上述2,3,4都可以算作是對(duì) “通用系統(tǒng)” 的合理解讀(至于能否實(shí)現(xiàn)則是另一個(gè)問題了)。這三種 “通用” 和前面五種 “人工智能” 有十五種可能的組合,盡管不是每種都有人在做研究,但起碼說明了目前對(duì) “通用人工智能” (AGI)理解的多樣性。對(duì)于這樣復(fù)雜的問題,早期的理解多樣性是正常的,而這種分歧的解決只能通過長期研究的結(jié)果比較,而不是看誰的地位高或嗓門大。
ChatGPT和AGI是什么關(guān)系?
有了前面的準(zhǔn)備,我們可以討論這個(gè)本文中心問題了。根據(jù)前面的分類可知,雖然ChatGPT的所指相對(duì)明確,AGI可遠(yuǎn)非如此。只有對(duì) “通用” 取前面的解釋2,而對(duì) “人工智能” 取前面的解釋2時(shí),ChatGPT 才和這種AGI(“像人那樣解決人能解決的所有問題”)直接相關(guān)。對(duì)于其它理解,ChatGPT或者基本無關(guān),或者只有輕微貢獻(xiàn)。
以我自己的研究項(xiàng)目納思(NARS, Non-Axiomatic Reasoning System)[7]為例,由于這個(gè)系統(tǒng)試圖利用現(xiàn)有知識(shí)和資源合理地解決所有可感知和表達(dá)的問題,因此作為AGI對(duì)應(yīng)于對(duì) “通用” 取前面的解釋4,而對(duì) “人工智能”取前面的理解5。為了實(shí)現(xiàn)這個(gè)目標(biāo),納思可能用像ChatGPT這樣的大語言模型作為知識(shí)源和語言界面之一,但不會(huì)完全相信其結(jié)論,更不會(huì)靠它完成系統(tǒng)的核心推理和學(xué)習(xí)功能。由于本文的目的不是介紹我自己的工作,對(duì)納思有興趣的讀者可以通過其它材料對(duì)其進(jìn)行了解。
我對(duì)ChatGPT的看法可以代表一些其他AGI研究者。如前面介紹的,目前實(shí)際上存在兩個(gè)分離的 “AGI研究社區(qū)”,一個(gè)以大公司為代表,大致上是基于深度學(xué)習(xí)技術(shù)的,而另一個(gè)(前面介紹的)則是仍在探索很多其它非主流途徑。后者形成于深度學(xué)習(xí)出現(xiàn)之前,而且至今沒有把深度學(xué)習(xí)做為核心技術(shù)。這其中的原因遠(yuǎn)非本文可以覆蓋,我這里只是希望各位讀者知道,并非所有AGI研究者都認(rèn)為深度學(xué)習(xí)(包括ChatGPT和其它人工神經(jīng)元網(wǎng)絡(luò))是實(shí)現(xiàn)AGI的最佳途徑,而且大概不能簡單地說這些人都是出于固執(zhí)或嫉妒,更不是出于無知,因?yàn)樵缭谏疃葘W(xué)習(xí)一炮而紅的2012年的兩三年前,在AGI會(huì)議上已經(jīng)有關(guān)于深度學(xué)習(xí)的介紹與討論了,只是大部分與會(huì)者認(rèn)為這個(gè)技術(shù)遠(yuǎn)不足以解決AGI的核心問題。與此相反,很多深度學(xué)習(xí)的研究者只知道其它AGI方案尚未做出轟動(dòng)性成果,而極少花時(shí)間了解其具體內(nèi)容。
行為標(biāo)準(zhǔn)的成敗
現(xiàn)在一定有讀者要問,既然ChatGPT所代表的路線并非實(shí)現(xiàn)AGI的唯一可能,為什么只有它取得了當(dāng)下這種現(xiàn)象級(jí)的成功?這就要說起在智能觀上的 “行為標(biāo)準(zhǔn)”(即以 “行為上像人” 為目標(biāo))的特征了。我在參考文獻(xiàn)[8]中討論過 “圖靈測試” 和 “伊莉莎效應(yīng)”,并寫道 “至今以通過圖靈測試為目標(biāo)的工作仍只占人工智能領(lǐng)域中很小的一部分?!?在七年以后,這句話顯然不再符合當(dāng)前的情況,但我仍認(rèn)同那篇文章中的其它觀點(diǎn),而這里只補(bǔ)充一些更接近現(xiàn)狀的思考。
在前面列出的五類對(duì)人工智能的理解中,“行為” 和 “能力” 是最直觀的,因此最容易被公眾所接受。比如說,圍棋程序AlphaGo就是 “能力” 派的代表之一,因?yàn)楹芏嗳藭?huì)想,它連世界冠軍都戰(zhàn)勝了,還不夠智能?而與此相比,一個(gè)AI系統(tǒng)是否在結(jié)構(gòu)、功能和原則上像人,則即使是連專家們也不容易取得共同意見了。但這些直觀的方案仍有各自的 “軟肋”。就 “行為” 而言,一個(gè)明顯的問題就是 “人類中心主義”。如我在參考文獻(xiàn)[8]中指出的,“說話像人” 固然可以做為 “有智能” 的充分條件,但肯定不是必要條件(圖靈在參考文獻(xiàn)[3]看到了這一點(diǎn),但沒有展開討論),否則根據(jù)這個(gè)定義,全宇宙除了人類就不可能有其它智能系統(tǒng)了。此外,說話是否的確 “像人” 也不是可以簡單斷定的。比如說有不少人開始被ChatGPT的本事所震驚,但聊了一陣子就覺得 “技止此耳” 了。
在對(duì)聊天程序進(jìn)行評(píng)價(jià)時(shí),“伊莉莎效應(yīng)” (“ELIZA effect”)是不能忽視的。伊莉莎是人工智能早期(上世紀(jì)六十年代)的一個(gè)著名的聊天程序。它之所以有名,不是因?yàn)樵诩夹g(shù)上有多么先進(jìn)(伊莉莎靠預(yù)制模板和固定套路進(jìn)行對(duì)話),而是因?yàn)槠淦垓_性,即很多人誤以為這個(gè)程序有智能。從此以后,“伊莉莎效應(yīng)” 就指人們?yōu)橛?jì)算機(jī)的行為所迷惑,而認(rèn)為其已經(jīng)具有了某些它其實(shí)沒有的能力。對(duì)ChatGPT某評(píng)論中所說的 “能表現(xiàn)得理解,就是理解” 正是這種效應(yīng)的一個(gè)典型形式,而類似的判斷還包括說ChatGPT “有情感”、 “能進(jìn)行邏輯推理”,甚至 “有一定程度的自我意識(shí)“。
從認(rèn)知科學(xué)的角度來看,伊莉莎效應(yīng)不難理解。當(dāng)我們觀察到一個(gè)新奇的現(xiàn)象時(shí),總是試圖用我們最熟悉的概念去解釋和理解它,這和心理學(xué)家皮亞杰(Jean Piaget, 1896.8.9-1980.9.16)提出的 “同化” (assimilation)現(xiàn)象和邏輯學(xué)家皮爾士(Charles Sanders Peirce,1839.9.10-1914.4.19)提出的 “歸因” (abduction)推理都有關(guān)系。一個(gè)典型的例子就是不少人在初次見到收音機(jī)時(shí),會(huì)認(rèn)為那個(gè)匣子里藏了個(gè)小人,因?yàn)檫@個(gè)解釋比所謂 “無線電” 等天書般的解釋好懂多了。由于人工智能的新功能往往是以前只有人類智能才能完成的,不了解內(nèi)情的觀察者難免會(huì)按人類行為來解釋其工作原理和過程。伊莉莎效應(yīng)在大語言模型中尤為顯著,因?yàn)槲覀儗?duì)他人是否具有各種認(rèn)知功能(理解、推理、情感、意識(shí)等等)的判斷常常是通過和這個(gè)人的對(duì)話完成的,因此如果一個(gè)系統(tǒng)能夠很好地復(fù)現(xiàn)人類的對(duì)話能力,就會(huì)一攬子 “表現(xiàn)” 出很多其它認(rèn)知功能,盡管它并不真的擁有這些功能。
一定有讀者會(huì)問 “你怎么知道它沒有那些功能?”,但完整回答這個(gè)問題需要對(duì)上述認(rèn)知功能的詳細(xì)討論,而那是遠(yuǎn)超本文所能做的。因此,我這里只簡單分析 “ChatGPT能進(jìn)行邏輯推理” 這個(gè)結(jié)論。ChatGPT的確在很多例子中表現(xiàn)出良好的邏輯推理能力,但在另一些例子中卻明顯地邏輯混亂,而二者的基本差別往往是訓(xùn)練數(shù)據(jù)的差異,即ChatGPT關(guān)于前一種例子有大量訓(xùn)練數(shù)據(jù),但對(duì)后一種例子缺乏了解。根據(jù)公認(rèn)的定義,邏輯推理是基于知識(shí)的結(jié)構(gòu)或者說模式的,而與其內(nèi)容無關(guān)。比如說從 “A是B” 和 “B是C” 中可以推出“A是C”,而這和A,B,C各自代表什么具體概念無關(guān),更不用說系統(tǒng)關(guān)于它們各有多少數(shù)據(jù)了。因此,ChatGPT在 “推理” 中表現(xiàn)出的話題相關(guān)性就暴露了它并不真能進(jìn)行邏輯推理,而只是通過模仿人類言語行為,往往會(huì)正確描述某些推理過程。這種分析同樣適用于其它認(rèn)知功能。我們甚至可以說 ChatGPT “不解決問題,但總結(jié)人們對(duì)問題的解決”。這在某種意義下的確可以說成是解決問題的一個(gè) “通用” 方法,和 “不解決問題,但解決提出問題的人” 有異曲同工之妙。
我的結(jié)論
我認(rèn)為大語言模型的確有重大理論和應(yīng)用價(jià)值,但和智能模型基本是兩碼事,因?yàn)槎叩难芯磕繕?biāo)就不一樣,而這又導(dǎo)致了許多其它差異。智能是不能僅僅通過對(duì)人類語言行為的模仿來實(shí)現(xiàn)的,而像PaLM-E和GPT-4那樣將感知運(yùn)動(dòng)行為加進(jìn)來也不足以解決核心問題。即使只談對(duì)語言的處理,語言模型是把語言本身當(dāng)作模擬對(duì)象,而智能模型則是把語言當(dāng)作通信工具和知識(shí)來源。具體說來,大語言模型的首要目標(biāo)是像一般人那樣說話,而智能系統(tǒng)在使用語言時(shí)的首要目標(biāo)是根據(jù)系統(tǒng)自身需要完成當(dāng)前的通信任務(wù),在這個(gè)前提之下才會(huì)考慮符合常人的語言使用習(xí)慣。由此造成的差別就是智能系統(tǒng)未必會(huì)用大多數(shù)人所選擇的方式來完成一個(gè)句子,而是要表達(dá)自己的特定觀點(diǎn),即使這個(gè)觀點(diǎn)尚未被別人表達(dá)過也是這樣。我這篇文章所表達(dá)的觀點(diǎn)顯然和當(dāng)前對(duì)ChatGPT的普遍評(píng)論不符,但有興趣的讀者不妨用本文的標(biāo)題詢問ChatGPT 或其它大語言模型,然后將其回復(fù)和本文比較一下,看看哪個(gè)更有資格被看成是由智能系統(tǒng)所生成的。
參考文獻(xiàn)
[1] “On Defining Artificial Intelligence”, Pei Wang, Journal of Artificial General Intelligence, 10(2):1-37, 2019
[2] 當(dāng)你談?wù)撊斯ぶ悄軙r(shí),到底在談?wù)撌裁?,王培,《賽先生》 2015-08-06
[3] “Computing Machinery and Intelligence”, Alan Turing, Mind 49: 433-460, 1950
[4] Artificial General Intelligence, Goertzel, B. and Pennachin, C. (eds.), Springer, New York, 2007
[5] “Introduction: Aspects of artificial general intelligence”, Wang, P. and Goertzel, B., in Advance of Artificial General Intelligence, pp. 1–16, Goertzel, B. and Wang, P. (eds.), IOS Press, Amsterdam, 2007
[6] 計(jì)算機(jī)不是只會(huì) “計(jì)算”,圖靈機(jī)也不是一臺(tái)“機(jī)器”, 王培, 《返樸》 2020-06-02
[7] Non-Axiomatic Reasoning System: Exploring the Essence of Intelligence, Pei Wang, Ph. D. Dissertation, Indiana University, 1995
[8] 圖靈測試是人工智能的標(biāo)準(zhǔn)嗎?王培,《賽先生》 2016-05-23
注:上述8篇文章,除有鏈接的外,其余皆可在作者主頁
https://cis.temple.edu/~pwang/papers.html下載
本文受科普中國·星空計(jì)劃項(xiàng)目扶持
出品:中國科協(xié)科普部
監(jiān)制:中國科學(xué)技術(shù)出版社有限公司、北京中科星河文化傳媒有限公司