AlphaGeometry：DeepMind 大算力再造奇跡，但「算力代替智力」或許并非最優(yōu)解

作者：李寶珠

編輯：三羊

封面圖來源：Google DeepMind

DeepMind 用算力堆出奇跡？被夸上天的 AlphaGeometry 含金量有多高

近日，谷歌 DeepMind 的 Alpha 系列再添新成員——AlphaGeometry，依舊聲勢浩大，「里程碑」、「史詩級(jí)」、「逼近人類」等贊美之詞溢出屏幕。那么，這個(gè)號(hào)稱奧數(shù)能力金牌級(jí)的 AI 系統(tǒng)到底有多少含金量呢？

AlphaGeometry 由谷歌 DeepMind 團(tuán)隊(duì)和紐約大學(xué)的研究人員共同研發(fā)，**將神經(jīng)語言模型 (neural language model) 與符號(hào)引擎 (symbolic deduction engine) 相結(jié)合，**能夠解決復(fù)雜的幾何問題，并且水平接近人類。

在對(duì) 30 道國際奧林匹克數(shù)學(xué)競賽 (IMO) 幾何題的基準(zhǔn)測試中，在給定時(shí)間內(nèi) AlphaGeometry 解決了其中的 25 道題，之前 SOTA 的「吳方法」解決了 10 道，而人類 IMO 金牌得主平均可以解決 25.9 個(gè)問題。

誠然，自 AlphaGo 面世以來，伴隨著多次面向不同學(xué)科的革新性突破，「DeepMind 出品，必屬精品」的定位逐漸在人們心中扎根。但同時(shí)，業(yè)內(nèi)也不乏理性、辯證的聲音——算力替代智力固然可喜，但實(shí)際應(yīng)用價(jià)值更加重要。所以，借著 AlphaGeometry 的發(fā)布，我們想淺談一下，這到底是算力優(yōu)勢下的狂歡，還是 AI for Science 的探路。

值得一提的是，**我們采訪到了北京大學(xué)智能學(xué)院教授林宙辰，針對(duì)相關(guān)學(xué)術(shù)問題進(jìn)行了探討與學(xué)習(xí)。**林宙辰教授曾先后在南開大學(xué)、北京大學(xué)、香港理工大學(xué)攻讀數(shù)學(xué)和應(yīng)用數(shù)學(xué)專業(yè)，而后又回到了北京大學(xué)數(shù)學(xué)學(xué)院攻讀博士學(xué)位，開始進(jìn)入人工智能領(lǐng)域。（點(diǎn)擊查看林宙辰教授專訪）

表達(dá)與計(jì)算量：AI for Math 的兩大挑戰(zhàn)

林宙辰教授表示：“過去，數(shù)學(xué)定理的「表達(dá)」與大規(guī)模的計(jì)算量是 AI 進(jìn)行數(shù)學(xué)定理證明的兩大挑戰(zhàn)。”

“首先，作為十分抽象化、且高度依賴邏輯推理的學(xué)科，數(shù)學(xué)擁抱 AI 的第一步就是要解決「表達(dá)」問題，將數(shù)學(xué)定理表達(dá)為計(jì)算機(jī)可以計(jì)算的方式是后續(xù) AI 應(yīng)用的基礎(chǔ)?！?/p>

“AlphaGeometry 所針對(duì)的幾何問題，「表達(dá)」的難度屬于數(shù)學(xué)中較低的一種，解析幾何、代數(shù)幾何的出現(xiàn)，其實(shí)已經(jīng)實(shí)現(xiàn)了通過數(shù)值來表示幾何形狀和幾何對(duì)象間的關(guān)系，加之吳文俊院士在 20 世紀(jì) 70 年代所提出的「數(shù)學(xué)機(jī)械化」，也在一定程度上為平面幾何定理與機(jī)器語言之間構(gòu)建了連接橋梁。”

“其次，吳文俊院士提出的「吳方法」以及傳統(tǒng)的Gr?bner基等方法，已經(jīng)從理論上解決了平面幾何定理證明的問題，但是卻囿于算力，換言之，由于存儲(chǔ)量、計(jì)算量大，尤其是在面對(duì)比較難的平面幾何問題時(shí)，操作空間會(huì)呈指數(shù)級(jí)增長，所以過往的很多方法都難以處理高難度問題?！?/p>

“計(jì)算量大的問題對(duì)于「財(cái)大氣粗」的 DeepMind 而言顯然不是主要障礙，主要困難在于如何避免操作空間指數(shù)級(jí)增長，此時(shí)機(jī)器學(xué)習(xí)方法可以幫上忙?！?/p>

具體而言，AlphaGeometry 基于 1 億個(gè)合成數(shù)據(jù)進(jìn)行訓(xùn)練，無需人類演示即可自主應(yīng)對(duì)復(fù)雜的幾何學(xué)挑戰(zhàn)，并生成人類可閱讀的證明。

如下圖所示，以我國中小學(xué)生最熟悉的「等腰定理」為例，想要證明 ∠ABC=∠BCA，需要先手動(dòng)將問題轉(zhuǎn)化為計(jì)算機(jī)語言，進(jìn)而將其輸入到 AlphaGeometry。

AlphaGeometry 通過運(yùn)行符號(hào)推演引擎啟動(dòng)證明搜索，該引擎從定理前提中「窮盡」地推演出新的陳述，直到定理得到證明或新的陳述被用盡。如果符號(hào)推演引擎未能找到證明，語言模型就會(huì)構(gòu)建一個(gè)輔助點(diǎn)，增加可證明的條件，進(jìn)而重新開始通過符號(hào)引擎搜索證明。如此循環(huán)，直到找到解決方案。

解決方案將會(huì)被自動(dòng)解析為人類可閱讀的語言，所以還能夠進(jìn)行驗(yàn)證、評(píng)估。

值得一提的是，AlphaGeometry 使用了合成數(shù)據(jù)進(jìn)行模型訓(xùn)練，解決了相關(guān)數(shù)據(jù)庫匱乏的問題。

研究人員通過在各種隨機(jī)定理前提上使用現(xiàn)有的符號(hào)引擎，利用 10 萬個(gè) CPU 運(yùn)行了 72 小時(shí)后，獲得了大約 5 億個(gè)合成的定理證明示例，進(jìn)行形式規(guī)范化及去重后，最終得到了 1 億個(gè)定理證明示例，其中有 900 萬個(gè)示例涉及至少一個(gè)輔助構(gòu)造，許多證明步驟超過 200 步，是國際奧林匹克數(shù)學(xué)競賽幾何題平均證明長度的 4 倍。

合成數(shù)據(jù)生成過程

為了對(duì)比測試 AlphaGeometry 解決實(shí)際問題的能力，研究人員嘗試將自 2000 年以來的 IMO 競賽中的幾何問題轉(zhuǎn)化為符號(hào)引擎可讀的機(jī)器語言，并發(fā)現(xiàn)其中只有 75% 可以成功表達(dá)，進(jìn)而形成了一個(gè)由 30 道經(jīng)典幾何問題組成的測試集 IMO-AG-30。

每個(gè)問題都有不同的運(yùn)行時(shí)間，這是因?yàn)槠渫茖?dǎo)閉包大小各不相同。研究人員發(fā)現(xiàn)，運(yùn)行時(shí)間與問題的難度并不相關(guān)。例如，IMO 2019 P6 比 IMO 2008 P1a 難得多，但要在 IMO 時(shí)限內(nèi)求解，所需的并行化時(shí)間卻要少得多。

由于語言模型解碼過程會(huì)返回 k 個(gè)不同的序列，描述 k 個(gè)可供選擇的輔助結(jié)構(gòu)，研究人員在 k 個(gè)選項(xiàng)上進(jìn)行集束搜索 (beam search)，使用每個(gè)集束的得分作為其值函數(shù)。這種方法具有很強(qiáng)的并行性，在有并行計(jì)算資源的情況下，可以大幅提高搜索速度。

研究人員發(fā)現(xiàn)，在 GPU V100 加速語言模型有四個(gè)并行副本的情況下，解決所有 25 個(gè)問題并保持在規(guī)定時(shí)間內(nèi)的最少并行 CPU 數(shù)量如下圖所示：

10 個(gè)不同的模型/方法，在 IMO-AG-30 測試集中的表現(xiàn)如下圖所示。有意思的是，GPT-4 在測試中竟一道題都沒有做對(duì)。

算力替代智力的背后，應(yīng)用價(jià)值才是重點(diǎn)

最近兩天，網(wǎng)絡(luò)上鋪天蓋地的各類報(bào)道已經(jīng)將 AlphaGeometry 的成果剖白得淋漓盡致，其影響力無需贅述，所以我們更希望能夠探究，喧鬧過后，AlphaGeometry 能為科研、為 AI 應(yīng)用發(fā)展帶來哪些實(shí)際價(jià)值？

對(duì)此，林宙辰教授表示：“**目前來看，AlphaGeometry 能夠像 AlphaGo 一樣成為「老師」，在教學(xué)方面起到更大的輔助作用。**此外，AlphaGeometry 在模型性能方面的突破不可否認(rèn)，其更是進(jìn)一步展示了「大力出奇跡」——強(qiáng)大的算力優(yōu)勢造就了強(qiáng)悍的模型性能，這也在某種程度上進(jìn)一步為「崇尚」算力的研究人員、企業(yè)增添了信心?！?/p>

不過，正如林宙辰教授所言，在 AI 領(lǐng)域，盡管我們已經(jīng)無數(shù)次見證了「算力替代智力」的有效性，但最終邁向行業(yè)專家的最后1% 的突破還是很難靠 AI 來實(shí)現(xiàn)的。

所以，就目前而言，無論是 AlphaGeometry，亦或 GPT 模型等其他 AI 工具，在人們的日常生活以及科研工作中，仍是「亦師亦友」的存在，靈活使用 AI 工具已是大勢所趨，如何將算力造就的「奇跡」應(yīng)用于實(shí)際問題才是人類難以被取代的價(jià)值所在。

借古鑒今，AI 工具的快速崛起與計(jì)算機(jī)的普及有著很多相似之處，例如革命性的工作方式轉(zhuǎn)變，正勢如破竹地替代傳統(tǒng)方法，逐漸成為職場能力的考核標(biāo)準(zhǔn)……但對(duì)比之下，AI 工具的局限性也更加凸顯，那就是特異性。

林宙辰教授認(rèn)為：“目前的 AI 工具缺乏統(tǒng)一性，即使只針對(duì)數(shù)學(xué)學(xué)科，面向數(shù)論和面向幾何學(xué)所開發(fā)的 AI 工具就已經(jīng)存在很大差別，更不用提跨學(xué)科的AI工具了。AI 工具還沒有像當(dāng)今的計(jì)算機(jī)一樣，成為基礎(chǔ)底座，可以方便取用。目前的計(jì)算機(jī)語言有 C 語言、Java、Python等，完全可以基于其中一種語言解決數(shù)學(xué)、物理、化學(xué)等多學(xué)科的問題，這體現(xiàn)了其通用性，但是 AI 工具則不然，光看 Alpha 系列便可知一二?！?/p>

所以，林宙辰教授認(rèn)為：“未來，當(dāng) AI 工具可以抽象出來可以重用時(shí)，AI for Science 才能夠「大行其道」?！?/p>

這也是 HyperAI超神經(jīng)在持續(xù)追蹤 AI for Science 發(fā)展進(jìn)程時(shí)所觀察到的現(xiàn)象，部分課題組或研究團(tuán)隊(duì)會(huì)在本學(xué)科成員之外，專門招聘一位主攻 AI 的成員，負(fù)責(zé)開發(fā)研究中需要的 AI工具，而Science 部分則還是交由傳統(tǒng)的科研人員來完成。

毫無疑問，AI 對(duì)科研進(jìn)程的幫助與提升已經(jīng)日益明顯，正在成為新趨勢，但這種 AI+Science 的團(tuán)隊(duì)模式又是否是長久之計(jì)呢？

林宙辰教授認(rèn)為：“未來，一方面需要將 AI 工具的使用門檻降低，達(dá)到一定的統(tǒng)一性，使得 Science 人員也能夠針對(duì)不同的問題自行組合使用 AI 工具的組件，就像計(jì)算機(jī)編程一樣；另一方面，Science 人員也需要逐步提升使用 AI工具的能力，才能充分發(fā)揮AI的威力?！?/p>

道阻且長，行之將至。AI for Science 由DeepMind 等大廠引發(fā)，加之國家政策推進(jìn)，已經(jīng)開始了漫漫征程，其中的荊棘需要科研與產(chǎn)業(yè)界共同肅清，才能夠真正在落地中為人類發(fā)展創(chuàng)造價(jià)值。

最后，感謝北京大學(xué)智能學(xué)院林宙辰教授對(duì)筆者撰文提供的幫助與支持。目前林宙辰教授的課題組正在招聘博士研究生，歡迎符合要求的學(xué)生將簡歷發(fā)送至：zlin@pku.edu.cn

我信奉的信條是物理學(xué)家路德維?！げㄆ澛拿裕簺]有什么比一個(gè)好的理論更實(shí)用的了。我現(xiàn)在想招數(shù)學(xué)能力強(qiáng)（但這并不意味著你必須來自數(shù)學(xué)系）、對(duì)理論分析非常感興趣的博士研究生，以便與我一起享受如何優(yōu)雅地使用數(shù)學(xué)解決實(shí)際問題。歡迎發(fā)送簡歷給我。

——林宙辰