版權(quán)歸原作者所有,如有侵權(quán),請聯(lián)系我們

ChatGPT如何“思考”——科學(xué)家競相破解大型語言模型背后的謎團(tuán)

北京科協(xié)
AI

圖片來源:視覺中國

科技日報(bào)記者 劉霞

北京時間5月14日凌晨,美國開放人工智能研究中心(OpenAI)發(fā)布了其下一代大型語言模型GPT-4o,人工智能(AI)領(lǐng)域再起硝煙。

盡管AI一詞已很普及,但其內(nèi)部運(yùn)作方式仍像黑箱操作一樣,是一個謎。因?yàn)锳I依賴機(jī)器學(xué)習(xí)算法,而先進(jìn)的機(jī)器學(xué)習(xí)算法使用模擬人腦結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),信息在不同神經(jīng)元間傳遞,以人類不易理解的方式內(nèi)化數(shù)據(jù),缺乏可視化和透明度。

這個問題對ChatGPT等大型語言模型(LLM)來說尤其嚴(yán)重,部分原因在于它們規(guī)模龐大,有些LLM擁有數(shù)千億甚至上萬億個參數(shù)。

英國《自然》雜志網(wǎng)站在15日的報(bào)道中指出,為洞悉LLM的黑箱操作,科學(xué)家正對AI系統(tǒng)進(jìn)行逆向工程。他們掃描LLM的“大腦”,以揭示它們在做什么、如何做以及為什么這樣做等謎團(tuán)。

談話療法

由于聊天機(jī)器人可以進(jìn)行對話,一些研究人員就讓模型自我解釋,以了解其工作原理。這種方法類似于心理學(xué)中使用的“談話療法”。

德國斯圖加特大學(xué)計(jì)算機(jī)科學(xué)家蒂洛·哈根德夫表示,人腦和LLM都像是一個“黑箱”,而心理學(xué)有能力研究它。

去年,哈根德夫發(fā)表了一篇關(guān)于“機(jī)器心理學(xué)”的文章。他認(rèn)為,通過將LLM視為人類主體,讓其參與對話,可以闡明其復(fù)雜行為。

面對復(fù)雜問題,人類在潛意識里會進(jìn)行分步驟推理。受此啟發(fā),谷歌團(tuán)隊(duì)2022年引入了“思維鏈提示”,以描述一種讓LLM展示其“思維”的方法。

簡單來說,思維鏈提示是一種特殊的上下文學(xué)習(xí)。不同于標(biāo)準(zhǔn)提示只給出輸入—輸出,思維鏈提示還會額外增加推理過程。

該方法在GPT-3等三個大型語言模型上都得到了驗(yàn)證:對比標(biāo)準(zhǔn)提示,新方法在一系列算術(shù)推理任務(wù)上的準(zhǔn)確率都有了顯著提高。但美國紐約大學(xué)研究人員的一項(xiàng)最新研究表明:LLM并沒有利用思維鏈的推理能力,它只是偷偷加了計(jì)算。

美國東北大學(xué)計(jì)算機(jī)科學(xué)家戴維·鮑表示,盡管以研究人類的方式研究LLM有點(diǎn)奇怪,但兩者的行為卻以令人驚訝的方式重疊。在過去兩年里,許多科學(xué)家將用于人類的問卷和實(shí)驗(yàn)應(yīng)用于LLM,測量了其人格、推理、偏見、道德價(jià)值觀、創(chuàng)造力、情緒、服從性等。結(jié)果顯示,在許多情況下,機(jī)器能復(fù)制人類行為。但在有些情況下,它們的行為與人類行為不一樣。例如,LLM比人類更容易受到暗示,其行為也會隨著問題措辭的不同而發(fā)生巨大變化。

腦部掃描

一些科學(xué)家從神經(jīng)科學(xué)領(lǐng)域汲取技巧,以此來探索LLM的內(nèi)部工作原理。

為研究聊天機(jī)器人是如何進(jìn)行欺騙的,美國卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)專家安迪·鄒及其合作者詢問了LLM,并觀察了它們神經(jīng)元的激活情況。鄒指出,這有點(diǎn)像對人類進(jìn)行腦部神經(jīng)成像掃描,也有點(diǎn)像使用測謊儀。

研究人員多次讓LLM撒謊或說實(shí)話,并測量了神經(jīng)元活動模式的差異。然后,每當(dāng)向模型提出一個新問題時,他們都可以觀察其活動,并判斷答案是否真實(shí)。在一個簡單任務(wù)中,該方法的準(zhǔn)確率超過90%。鄒表示,此類系統(tǒng)可以實(shí)時檢測出LLM不誠實(shí)行為。

鮑及其同事則開發(fā)了掃描和編輯人工智能神經(jīng)網(wǎng)絡(luò)的方法,包括一種他們稱之為因果追蹤的技術(shù),以確定AI“大腦”中以特定方式回答問題的部分。

鮑指出,人工神經(jīng)網(wǎng)絡(luò)的好處在于,可以在它們身上做神經(jīng)科學(xué)家夢寐以求的實(shí)驗(yàn),比如可以觀察每一個神經(jīng)元、運(yùn)行數(shù)百萬次網(wǎng)絡(luò)、進(jìn)行各種瘋狂的測量和干預(yù),且做這些都不必獲得同意書。

打破不可解釋性

鄒和鮑等人提出LLM掃描技術(shù)采用自上而下的方法,將概念或事實(shí)歸因于潛在的神經(jīng)表征。還有一些科學(xué)家則使用自下而上的方法,即觀察神經(jīng)元并詢問它們代表什么。

神經(jīng)元的不可解釋性,一直是AI領(lǐng)域的“老大難”問題。2023年,來自Anthropic公司的一個團(tuán)隊(duì)提出了一種方法,成功將512個神經(jīng)元分解成了4096個可解釋特征,從而讓其具有了可解釋性。

研究人員表示,他們這一方法很有可能克服AI不可解釋性這一巨大障礙。一旦人類了解LLM工作原理,就能很容易地判斷其是否安全,從而決定它是否應(yīng)該被社會和企業(yè)采用。

不過,鄒表示,盡管這種方法很有價(jià)值,但不太適合解釋更復(fù)雜的AI行為。

盡管研究人員仍在努力弄清楚AI如何工作,但人們越來越達(dá)成一致意見:AI公司應(yīng)該努力為其模型提供解釋,政府也應(yīng)該制定相關(guān)法規(guī)來執(zhí)行這一點(diǎn)。

評論
張有元
少傅級
2024-05-19
科普中國網(wǎng)友
已關(guān)注
2024-05-19
2243
太師級
謝謝分享
2024-05-19