文心4.0，啟動(dòng)大模型時(shí)代的飛輪效應(yīng)

從物理學(xué)到經(jīng)濟(jì)學(xué)、商學(xué)當(dāng)中，有一個(gè)著名的“飛輪效應(yīng)”（Flywheel Effect），是指剛開始推動(dòng)飛輪旋轉(zhuǎn)時(shí)，需要花費(fèi)非常大的力氣卻轉(zhuǎn)速很慢，而一旦速度達(dá)到某個(gè)臨界點(diǎn)后，飛輪就會(huì)非常輕松地高速運(yùn)轉(zhuǎn)。這一原理能應(yīng)用到方方面面，比如健身最難熬的是前幾天，一旦形成習(xí)慣就會(huì)越來越輕松。

一個(gè)企業(yè)，一個(gè)行業(yè)要顯現(xiàn)飛輪效應(yīng)，需要讓各個(gè)業(yè)務(wù)模塊、技術(shù)模塊之間形成如齒輪咬合般的帶動(dòng)關(guān)系。初期要承受巨大的探索壓力，而當(dāng)飛輪踏上正軌，就會(huì)發(fā)展迅猛，領(lǐng)先優(yōu)勢不斷加大。

AI大模型，正顯現(xiàn)出如此前互聯(lián)網(wǎng)產(chǎn)業(yè)一樣的“飛輪效應(yīng)”。

10月17日，以“生成未來”為主題的百度世界2023在北京首鋼園舉辦。其間，百度CEO李彥宏表示，“大模型正成為新型工業(yè)化的重要推動(dòng)力”，并且表示，文心大模型4.0實(shí)現(xiàn)了基礎(chǔ)模型的全面升級(jí)，在理解、生成、邏輯和記憶能力上都有著明顯提升，綜合水平“與GPT-4相比毫不遜色”。

為什么在極短的時(shí)間內(nèi)，業(yè)界關(guān)注重點(diǎn)就從“中國能否有大模型”，變成了“文心大模型與GPT-4”并駕齊驅(qū)？文心大模型飛速進(jìn)化背后的奧秘是什么？

同樣在百度世界大會(huì)期間，百度首席技術(shù)官王海峰解讀了文心大模型4.0背后的關(guān)鍵技術(shù)和最新進(jìn)展。

在這當(dāng)中，我們能讀懂文心大模型如何全維度發(fā)力，造就了屬于AI時(shí)代的飛輪效應(yīng)。

技術(shù)飛輪，文心大模型4.0全面進(jìn)化

文心大模型已經(jīng)顯現(xiàn)出飛輪效應(yīng)的證據(jù)是多方面的。從體驗(yàn)效果、用戶規(guī)模、落地場景三個(gè)最主要領(lǐng)域來考察，都可以發(fā)現(xiàn)文心大模型處在難以置信的進(jìn)化速度當(dāng)中。

王海峰介紹，文心大模型4.0的理解、生成、邏輯、記憶四大能力都有顯著提升，9月已開始小流量上線，過去一個(gè)多月效果又提升了近30%。8月31日文心一言面向全社會(huì)開放至今，用戶規(guī)模已經(jīng)達(dá)到4500萬、開發(fā)者5.4萬、場景4300個(gè)、應(yīng)用825個(gè)、插件超過500個(gè)。

在各界非常關(guān)注的代碼生成領(lǐng)域，基于文心大模型研制的智能代碼助手Comate，在百度內(nèi)部應(yīng)用效果良好，整體代碼采納率達(dá)到40%，高頻用戶的代碼采納率達(dá)到60%。目前階段，百度每天的新增代碼中有20%是由Comate所生成。

而這些數(shù)字，還在快速增長。

文心大模型能夠快速更新至4.0版本，并且體驗(yàn)與成績不斷提升，背后的邏輯是什么？

答案在于，百度通過多年在深度學(xué)習(xí)基礎(chǔ)技術(shù)以及模型訓(xùn)練、推理、應(yīng)用等方面的布局積累，已經(jīng)構(gòu)筑了大模型層面的全棧技術(shù)優(yōu)勢。換言之，百度已經(jīng)率先度過了飛輪效應(yīng)的投入期。聚集起來的技術(shù)動(dòng)能不斷累加，讓文心大模型的“技術(shù)飛輪”高速運(yùn)轉(zhuǎn)。

縱觀文心大模型的升級(jí)之路，就可以清楚地看到飛輪效應(yīng)的運(yùn)作模式。文心大模型自誕生起，就準(zhǔn)確把握了知識(shí)增強(qiáng)和產(chǎn)業(yè)級(jí)兩大關(guān)鍵突破點(diǎn)，既集成了百度的AI技術(shù)優(yōu)勢，又找準(zhǔn)了未來的可持續(xù)發(fā)力方向。今年5月，作為文心一言的基礎(chǔ)模型，文心大模型升級(jí)到3.5版本，就在基礎(chǔ)模型升級(jí)、精調(diào)技術(shù)創(chuàng)新、知識(shí)點(diǎn)增強(qiáng)、邏輯推理增強(qiáng)、插件機(jī)制等方面實(shí)現(xiàn)了全面突破。而到4.0版本階段，其基本技術(shù)架構(gòu)與3.0和3.5版本一脈相承，并且在多個(gè)關(guān)鍵技術(shù)進(jìn)一步突破。回顧文心大模型的升級(jí)歷程，可以發(fā)現(xiàn)在練算法效率方面，3月份以來文心已累計(jì)提升3.6倍，訓(xùn)練穩(wěn)定性方面，周均訓(xùn)練有效率已超過98%。

帶著百度超過十年積累的AI技術(shù)與研發(fā)矩陣，文心大模型4.0展現(xiàn)出了巨大的升級(jí)幅度。我們可以將其關(guān)鍵節(jié)點(diǎn)，總結(jié)為三個(gè)強(qiáng)化：

1.模型強(qiáng)化。

模型訓(xùn)練、推理能力，是大模型的基礎(chǔ)，也是大模型走向產(chǎn)業(yè)化的核心。在這方面，文心大模型4.0延續(xù)了此前的高速進(jìn)化模式。通過在萬卡算力上運(yùn)行飛槳平臺(tái)，構(gòu)筑集群基礎(chǔ)設(shè)施和調(diào)度系統(tǒng)、飛槳框架的軟硬協(xié)同優(yōu)化，支持了文心大模型的穩(wěn)定高效訓(xùn)練。

同時(shí)，百度還構(gòu)建了多維數(shù)據(jù)體系，形成了數(shù)據(jù)挖掘、分析、合成、標(biāo)注、評(píng)估閉環(huán)，可以充分釋放數(shù)據(jù)價(jià)值，大幅提升模型效果，并且基于有監(jiān)督精調(diào)、偏好學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等技術(shù)進(jìn)行多階段對(duì)齊，保證模型更好與人類的判斷和選擇對(duì)齊，再通過可再生訓(xùn)練技術(shù)完成增量式的參數(shù)調(diào)優(yōu)，節(jié)省了訓(xùn)練資源和時(shí)間，加快了模型迭代速度。

由此可見，文心大模型保持高效、大幅的迭代，原因是由多方面構(gòu)成的。算力平臺(tái)、數(shù)據(jù)平臺(tái)、訓(xùn)練工具，以及一系列新型模型訓(xùn)練技術(shù)都參與其中。尤其與飛槳的聯(lián)合調(diào)優(yōu)，不斷扮演著更加重要的角色。

2.知識(shí)強(qiáng)化。

文心大模型實(shí)現(xiàn)了準(zhǔn)確率好，效率也高，關(guān)鍵在于知識(shí)點(diǎn)增強(qiáng)技術(shù)的運(yùn)用。而在文心大模型4.0階段，知識(shí)點(diǎn)增強(qiáng)技術(shù)開始應(yīng)用于輸入和輸出的雙階段。在用戶輸入問題時(shí)，文心4.0會(huì)拆解回答問題所需的知識(shí)點(diǎn)，進(jìn)而在搜索引擎、知識(shí)圖譜、數(shù)據(jù)庫中查找準(zhǔn)確知識(shí)，再將知識(shí)組裝進(jìn)Prompt送入大模型。另一方面，大模型還將對(duì)輸出結(jié)果進(jìn)行反思，從生成結(jié)果總結(jié)知識(shí)點(diǎn)，進(jìn)而通過以上方式進(jìn)行確認(rèn)驗(yàn)證，對(duì)結(jié)果差錯(cuò)進(jìn)行修正。

如此一來，相當(dāng)于大模型既要理解用戶提到的知識(shí)，又將反思自身輸出的知識(shí)。我們發(fā)現(xiàn)大模型偶爾會(huì)“胡說八道”，甚至懷疑輸出結(jié)果，知識(shí)點(diǎn)增強(qiáng)的雙向運(yùn)用，將極大提升生成內(nèi)容準(zhǔn)確率。

3.機(jī)制強(qiáng)化。

近段時(shí)間以來，智能體機(jī)制得到了行業(yè)的廣泛關(guān)注，成為大模型發(fā)展新的風(fēng)口。在這一方面，百度進(jìn)一步研發(fā)了智能體機(jī)制，包括理解、規(guī)劃、反思和進(jìn)化，能夠做到可靠執(zhí)行、自我進(jìn)化，并將智能體的思考過程白盒化。從而讓AI可以具有與人類相近的理性思考能力，由此可以自主完成復(fù)雜任務(wù)，在環(huán)境中持續(xù)學(xué)習(xí)實(shí)現(xiàn)自主進(jìn)化。

可以看到，文心大模型的核心技術(shù)升級(jí)環(huán)環(huán)相扣，彼此推動(dòng)。在大模型訓(xùn)練效率、AIGC效果、前沿技術(shù)探索等方面構(gòu)成了正向的驅(qū)動(dòng)循環(huán)。比如說，文心與飛槳的聯(lián)合優(yōu)化，目前可以看到價(jià)值越來越大，對(duì)于模型迭代效率提升、模型成本降低等方面有著巨大的作用，而這就是將百度潛心打造十年的深度學(xué)習(xí)開發(fā)平臺(tái)能力，釋放到了大模型當(dāng)中。

高投入，廣積累、堅(jiān)持前沿探索，把核心技術(shù)組成環(huán)環(huán)相扣的齒輪。

這種技術(shù)戰(zhàn)略的堅(jiān)定篤行，正在全球AI賽道中進(jìn)化著文心大模型的飛輪效應(yīng)。

應(yīng)用飛輪，行業(yè)落地全面深化

從技術(shù)飛輪向外看，大模型必須帶動(dòng)場景的飛輪旋轉(zhuǎn)，才能最終讓技術(shù)獲得價(jià)值。在這方面，可以看到文心大模型正在破解應(yīng)用道路上的關(guān)鍵難題：深度。

從目前來看，文心大模型帶來的應(yīng)用價(jià)值，已經(jīng)能給出肯定的回答。在百度世界大會(huì)現(xiàn)場，王海峰分享了兩個(gè)大模型的應(yīng)用案例。

其一是百度與中國國家圖書館展開戰(zhàn)略合作。利用國家圖書館擁有的全球最大古代方志資源，文心大模型通過學(xué)習(xí)古代方志與家譜數(shù)據(jù)，從而幫助全球華人獲取尋根線索，實(shí)現(xiàn)尋根愿望。在這一場景中，我們可以看到使用了方志這種極少見、非傳統(tǒng)的數(shù)據(jù)資料，極度考驗(yàn)大模型的理解與邏輯能力。而最終文心大模型經(jīng)受了考驗(yàn)，構(gòu)筑了海外華人夢回鄉(xiāng)梓的智能之橋。

其二是百度與國家跳水隊(duì)合作，基于文心一言等百度大模型技術(shù)，幫助國家跳水隊(duì)實(shí)現(xiàn)AI輔助訓(xùn)練系統(tǒng)全面升級(jí)。大模型通過掌握豐富的跳水知識(shí)，理解和執(zhí)行教練員和運(yùn)動(dòng)員的復(fù)雜指令，及時(shí)對(duì)運(yùn)動(dòng)員的動(dòng)作進(jìn)行實(shí)時(shí)打分、完成精準(zhǔn)量化分析，提供有價(jià)值的智能化指導(dǎo)。

這兩個(gè)場景，全面展示了文心大模型4.0的場景應(yīng)用深度。在技術(shù)不斷提升的情況下，大模型的行業(yè)落地門檻不斷降低，應(yīng)用空間不斷加大。各行業(yè)都愿意來和百度合作，探索大模型的可能性。

這些行業(yè)的意愿與探索，形成了應(yīng)用合力，正在千行百業(yè)中深化著文心大模型的飛輪效應(yīng)。

人才飛輪，大模型人才培養(yǎng)全面強(qiáng)化

大模型時(shí)代的最終需求是什么？從2012年以來開啟的AI熱潮其實(shí)早就告訴了我們答案：智能化，最終靠人才。巨大的人才缺口、難以獲得的教育資源、不連貫的產(chǎn)學(xué)研合作，始終是困擾AI技術(shù)發(fā)展的根本難題。

為了解決這個(gè)問題，需要各界的攜手發(fā)力，也需要頭雁企業(yè)的抉擇與擔(dān)當(dāng)。我們還記得，百度早在2020年就提出了5年為全社會(huì)培養(yǎng)500萬AI人才的目標(biāo)。如今來看，這一目標(biāo)的提出和推進(jìn)，對(duì)今天中國大模型事業(yè)的發(fā)展起到了底座與引擎的作用。在百度世界大會(huì)現(xiàn)場，王海峰公布了百度AI人才培養(yǎng)的最新數(shù)據(jù)，面向5年培養(yǎng)500萬AI人才的目標(biāo)，截至目前百度已經(jīng)培養(yǎng)了420萬AI人才。但顯然，大模型的到來將加大AI人才缺口，給AI人才培養(yǎng)帶來新的課題與挑戰(zhàn)。

在這方面，可以看到百度主動(dòng)承擔(dān)起了大模型時(shí)代的人才培養(yǎng)承諾。為了高強(qiáng)度培養(yǎng)了解大模型技術(shù)，適應(yīng)大模型發(fā)展需求的人才，王海峰發(fā)布了百度人才培養(yǎng)的“星河計(jì)劃”。他表示：“我們將與產(chǎn)學(xué)研各界密切合作，深化產(chǎn)教融合，為社會(huì)再培養(yǎng)500萬大模型人才，讓人工智能科技的‘創(chuàng)新之花’，結(jié)出更多‘產(chǎn)業(yè)之果’，服務(wù)國家戰(zhàn)略，服務(wù)社會(huì)發(fā)展，服務(wù)人民福祉。”

人才是持續(xù)發(fā)展的根本，是創(chuàng)新可能性的來源。持續(xù)的人才培養(yǎng)投入，不斷完善和升級(jí)的人才培養(yǎng)模式，都強(qiáng)化了這種原動(dòng)力。

來自“星河計(jì)劃”中的500萬大模型人才，將在更廣闊的未來，強(qiáng)化文心大模型的飛輪效應(yīng)。

一個(gè)飛輪，萬個(gè)飛輪

從一個(gè)算力節(jié)點(diǎn)，一項(xiàng)訓(xùn)練方案，一項(xiàng)算法機(jī)制的創(chuàng)新，到千萬家企業(yè)的參與，千萬個(gè)行業(yè)的參與，千萬名開發(fā)者的參與。文心大模型的飛輪結(jié)構(gòu)正在變得愈發(fā)緊密，聯(lián)接范圍變得更加廣闊。

一項(xiàng)大模型核心技術(shù)的升級(jí)，或許就將通過某個(gè)Prompt改變一個(gè)人的生活，通過某個(gè)AI原生應(yīng)用影響一家企業(yè)的發(fā)展，通過某個(gè)落地場景升級(jí)一個(gè)行業(yè)的生產(chǎn)力。當(dāng)技術(shù)、產(chǎn)業(yè)、人才的飛輪全速轉(zhuǎn)動(dòng)，我們就將進(jìn)入真正的大模型時(shí)代。

文心大模型4.0的飛輪效應(yīng)，其實(shí)是一個(gè)縮影。其明確從啟動(dòng)期進(jìn)入飛速提升期，意味著中國大模型產(chǎn)業(yè)的整體進(jìn)化速度更快、核心競爭力更強(qiáng)，從全球AI機(jī)遇的參與者逐漸變成引領(lǐng)者。

中國大模型的技術(shù)正不斷加快，核心創(chuàng)新正不斷增強(qiáng)，從文心大模型4.0的理解、生成、邏輯、記憶能力全面提升中就可以看到。

中國大模型的產(chǎn)業(yè)門檻不斷下降，各行業(yè)的AI原生應(yīng)用可能性極大增強(qiáng)。在國家圖書館、中國跳水隊(duì)的智能化嘗試中就可以看到。

中國大模型的人才培養(yǎng)路徑更加清晰，人才供給更加完善，創(chuàng)新動(dòng)力源源不絕，在500萬大模型人才培養(yǎng)計(jì)劃中就可以看到。

目前的實(shí)際情況是，中國大模型產(chǎn)業(yè)正在踏上正軌。領(lǐng)軍企業(yè)有能力也有雄心，在大模型時(shí)代完成更大的探索和突破。文心大模型4.0可以與GPT-4并駕齊驅(qū)，答案正在于此。

文心大模型的飛輪，帶動(dòng)百度的AI飛輪；百度的一個(gè)飛輪，又會(huì)通過各種平臺(tái)、應(yīng)用、工具與合作通道將影響力擴(kuò)散，帶動(dòng)千行百業(yè)的萬個(gè)飛輪。

文心4.0的飛輪轉(zhuǎn)動(dòng)，中國智能化的飛輪轟鳴。

大模型的列車，正疾馳在智能中國的鐵軌上。去下一站，去更遠(yuǎn)的一站，去星辰大海之間。