Science重磅：人怎樣學(xué)會(huì)語(yǔ)言的？AI給出驚人的線索！

在兒童時(shí)期，一個(gè)人是怎樣學(xué)會(huì)“第一個(gè)單詞”的？又是如何把“聽(tīng)到的”和“看到的”的事物聯(lián)系起來(lái)的？
長(zhǎng)久以來(lái)，盡管人們針對(duì)這一話題進(jìn)行了廣泛的討論，并提出了多種假設(shè)，但相關(guān)研究結(jié)果缺乏對(duì)現(xiàn)實(shí)世界的普適性。

如今，一種新的人工智能（AI）模型，或許可以給我們提供一些更有說(shuō)服力的線索。

由紐約大學(xué)數(shù)據(jù)科學(xué)中心研究科學(xué)家 Wai Keen Vong 領(lǐng)導(dǎo)的研究團(tuán)隊(duì)，基于一名兒童（baby S）一年多（從 6 個(gè)月到 25 個(gè)月）第一視角錄制的視頻和音頻數(shù)據(jù)，訓(xùn)練了一個(gè)多模態(tài)人工智能系統(tǒng)——基于兒童視角的對(duì)比學(xué)習(xí)（Child’s View for Contrastive Learning，CVCL）模型，為人類早期語(yǔ)言學(xué)習(xí)提供了新的見(jiàn)解。

圖｜6 個(gè)月大的 baby S 佩戴著頭戴式攝像機(jī)。（來(lái)源：Wai Keen Vong）

更重要的是，該研究不僅為了解兒童如何學(xué)習(xí)語(yǔ)言和概念提供了一個(gè)有價(jià)值的框架，而且對(duì)在下一代多模態(tài)人工智能系統(tǒng)在語(yǔ)言和視覺(jué)表征之間建立聯(lián)系，以及開(kāi)發(fā)能以更像人類的方式學(xué)習(xí)語(yǔ)言的人工智能系統(tǒng)至關(guān)重要。

相關(guān)研究論文以“Grounded language acquisition through the eyes and ears of a single child”為題，已發(fā)表在權(quán)威科學(xué)期刊 Science 上。

“我們首次展示了，根據(jù)來(lái)自一個(gè)兒童的現(xiàn)實(shí)生活真實(shí)場(chǎng)景輸入進(jìn)行訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，可以學(xué)會(huì)將單詞與它們的視覺(jué)對(duì)應(yīng)物聯(lián)系起來(lái)，” Vong 說(shuō)，“我們的研究結(jié)果表明，最近的算法進(jìn)步與一個(gè)孩子的自然體驗(yàn)是如何有潛力重塑我們對(duì)早期語(yǔ)言和概念獲取的理解的。”

“經(jīng)典爭(zhēng)論”有望被解決

盡管 GPT-4 等大模型可以學(xué)習(xí)和使用人類語(yǔ)言，但它們是從天文數(shù)字般的語(yǔ)言輸入中學(xué)習(xí)的，比兒童在學(xué)習(xí)如何理解和使用一種語(yǔ)言時(shí)接受的要多得多，兒童每年只能接收數(shù)百萬(wàn)字的文本。

而且，大約在 6-9 個(gè)月大時(shí)，兒童開(kāi)始學(xué)習(xí)第一個(gè)單詞，便能把聽(tīng)到的單詞和看到的事物聯(lián)系起來(lái)。
這就涉及到一個(gè)有關(guān)兒童學(xué)習(xí)語(yǔ)言需要哪些要素的經(jīng)典爭(zhēng)論——

兒童在學(xué)習(xí)語(yǔ)言時(shí)能在多大程度上依賴于觀察和經(jīng)驗(yàn)（即通過(guò)相對(duì)通用的學(xué)習(xí)機(jī)制從感官輸入中學(xué)習(xí)）？又有多少需要更強(qiáng)的天生或先天學(xué)習(xí)傾向（即歸納偏見(jiàn)）？

“歸納偏見(jiàn)”（inductive biases）是機(jī)器學(xué)習(xí)和認(rèn)知科學(xué)領(lǐng)域中的一個(gè)重要概念，是指算法在學(xué)習(xí)過(guò)程中對(duì)某些解決方案的天然偏好或預(yù)設(shè)傾向。這種偏見(jiàn)影響了算法從數(shù)據(jù)中歸納和學(xué)習(xí)的方式，在沒(méi)有足夠多信息的情況下，可以幫助算法做出合理的假設(shè)或決策。
“歸納偏見(jiàn)”對(duì)于算法的有效性至關(guān)重要，有助于算法在接收新數(shù)據(jù)后做出更合理的預(yù)測(cè)，避免因過(guò)于依賴訓(xùn)練數(shù)據(jù)的特定特征而導(dǎo)致泛化能力變差，即在新數(shù)據(jù)上表現(xiàn)不佳。

例如，假設(shè)一個(gè)機(jī)器學(xué)習(xí)模型的任務(wù)是根據(jù)以往的天氣數(shù)據(jù)預(yù)測(cè)明天的天氣。如果這個(gè)模型有歸納偏見(jiàn)，認(rèn)為天氣模式通常是連續(xù)的（即今天的天氣狀況會(huì)影響到明天的天氣），那么它在做出預(yù)測(cè)時(shí)就會(huì)依據(jù)這個(gè)偏見(jiàn)。

紐約大學(xué)數(shù)據(jù)科學(xué)中心和心理學(xué)系助理教授、論文作者之一 Brenden Lake 認(rèn)為，通過(guò)使用人工智能模型研究?jī)和媾R的實(shí)際語(yǔ)言學(xué)習(xí)問(wèn)題，人類或許可以解決關(guān)于兒童學(xué)習(xí)單詞所需成分的經(jīng)典爭(zhēng)論。

為此，他們利用安裝在 baby S 頭部的輕便攝像頭，記錄了總時(shí)長(zhǎng)超過(guò) 60 小時(shí)的第一人稱視角學(xué)習(xí)過(guò)程的視頻。

這些視頻記錄了大約 25 萬(wàn)個(gè)單詞實(shí)例（即交流中使用的單詞數(shù)量，很多都是重復(fù)的），這些單詞與兒童在聽(tīng)到這些詞時(shí)所看到的畫面相關(guān)聯(lián)，涵蓋了從進(jìn)餐、讀書到玩耍等不同階段的多種活動(dòng)。

然后，研究團(tuán)隊(duì)基于這些數(shù)據(jù)訓(xùn)練了一個(gè)多模態(tài)神經(jīng)網(wǎng)絡(luò)，即前面提到的 CVCL 模型。

圖｜CVCL 模型架構(gòu)和評(píng)估程序。（來(lái)源：該論文）

據(jù)論文描述，CVCL 模型由兩個(gè)獨(dú)立的模塊組成：視覺(jué)編碼器處理單幀視頻，語(yǔ)言編碼器處理轉(zhuǎn)錄的面向兒童的語(yǔ)言。兩者結(jié)合起來(lái)，并使用對(duì)比學(xué)習(xí)算法進(jìn)行訓(xùn)練，從而學(xué)習(xí)有用的輸入特征及其跨模態(tài)關(guān)聯(lián)。例如，當(dāng)父母在兒童面前說(shuō)話時(shí)，使用的某些詞很可能指的是兒童能看到的某些東西，也就是通過(guò)聯(lián)系視覺(jué)和語(yǔ)言線索來(lái)培養(yǎng)理解能力。

然而，令人驚訝的是，基于有限的數(shù)據(jù)，CVCL 模型真的學(xué)會(huì)了大量單詞和概念。

Vong 解釋說(shuō)：“這為模型提供了關(guān)于哪些單詞應(yīng)該與哪些對(duì)象關(guān)聯(lián)的線索。結(jié)合這些線索，就是對(duì)比學(xué)習(xí)能夠逐漸確定哪些詞與哪些視覺(jué)內(nèi)容相匹配，并捕捉到孩子學(xué)習(xí)第一個(gè)詞的過(guò)程的關(guān)鍵?！?/p>

針對(duì)這一結(jié)果，Lake 表示，“看起來(lái)，僅通過(guò)學(xué)習(xí)，我們可以獲得的東西比通常認(rèn)為的要多?！?/strong>