隨著生成式AI技術(shù)的快速發(fā)展,搜索引擎正經(jīng)歷一場深刻的變革,逐步進化為智能生產(chǎn)工具。生成式AI搜索的興起,為搜索引擎行業(yè)帶來新的增長空間。傳統(tǒng)的搜索引擎主要依賴關(guān)鍵詞匹配,向用戶展示一系列相關(guān)鏈接,而生成式AI搜索正在顛覆這一模式。它不僅具備對語義和上下文的深刻理解能力,更能直接生成精確無誤的答案,為用戶提供前所未有的高效、便捷的搜索體驗。本文將介紹生成式AI搜索的產(chǎn)品形態(tài)、技術(shù)原理、市場競爭格局,并淺析其未來發(fā)展趨勢和面臨的挑戰(zhàn)。
1、生成式AI搜索產(chǎn)品概述
在搜索引擎的演進歷程中,用戶從PC端搜索向移動端APP內(nèi)搜索遷移,而當(dāng)前大模型技術(shù)的應(yīng)用更是將搜索轉(zhuǎn)變?yōu)橐环N開放式、生成式的智能問答和多輪交互過程,顯著增強了交互性和智能性。傳統(tǒng)搜索引擎在結(jié)果準(zhǔn)確性、用戶語境理解、實時更新及生成式AI技術(shù)應(yīng)用等方面存在局限。進入生成式AI搜索階段,搜索以用戶為中心,注重準(zhǔn)確理解搜索意圖,力求實現(xiàn)無縫銜接的端到端任務(wù)處理,具備語義理解、個性化推薦、跨模態(tài)及跨語言檢索、內(nèi)容生成等功能。
生成式AI搜索產(chǎn)品主要類型包括?:
一是互聯(lián)網(wǎng)搜索?;ヂ?lián)網(wǎng)搜索是當(dāng)前生成式AI搜索引擎的一種重要形式,它主要面向互聯(lián)網(wǎng)上的海量公開信息進行搜索。這類搜索引擎包括傳統(tǒng)搜索引擎的升級版本,如百度(百度搜索AI探索版)、微軟(NewBing)、谷歌(Bard)。同時,也涵蓋了一些基于對話式的創(chuàng)新AI搜索應(yīng)用,如Perplexity AI、秘塔AI,這些平臺通過技術(shù)與用戶體驗深度融合,不斷通過創(chuàng)新功能吸引用戶,并試圖挑戰(zhàn)傳統(tǒng)搜索引擎的地位。
二是平臺內(nèi)嵌搜索。平臺內(nèi)嵌搜索是另一種常見的生成式AI搜索引擎類型。它通常作為平臺的一個功能模塊存在,專門用于搜索平臺內(nèi)的私有數(shù)據(jù)。這類搜索引擎的核心優(yōu)勢在于能夠利用平臺積累的大量用戶行為數(shù)據(jù)、偏好、歷史搜索記錄等信息,為用戶提供定制化的搜索結(jié)果。如小紅書的達芬奇,通過AI技術(shù)分析用戶的偏好和需求,優(yōu)化搜索結(jié)果,提供精準(zhǔn)的內(nèi)容推薦。
三是企業(yè)內(nèi)部搜索。企業(yè)內(nèi)部搜索是生成式AI搜索引擎在企業(yè)級應(yīng)用中的體現(xiàn)。它主要處理企業(yè)的內(nèi)部數(shù)據(jù),如文檔、郵件、報告等非結(jié)構(gòu)化數(shù)據(jù)。這些數(shù)據(jù)通常對于企業(yè)的運營和決策至關(guān)重要,但由于數(shù)量龐大且格式多樣,傳統(tǒng)的搜索方法往往難以有效地提取和利用這些信息。AI搜索通過對這些數(shù)據(jù)的深入理解和處理,能夠幫助企業(yè)員工更高效地從海量的企業(yè)內(nèi)部數(shù)據(jù)中提取所需信息,從而提升工作效率和決策質(zhì)量。
2、核心技術(shù)原理
生成式AI搜索引擎的核心技術(shù)包括自然語言處理(NLP)、深度學(xué)習(xí)和知識圖譜等。這些技術(shù)使得AI能夠理解查詢的語義,跨越關(guān)鍵詞匹配的局限,通過上下文關(guān)聯(lián)為用戶提供更為精準(zhǔn)的答案。其通過以下幾個步驟來實現(xiàn)其功能:
①理解查詢意圖:利用自然語言處理技術(shù),準(zhǔn)確理解用戶查詢的意圖,突破傳統(tǒng)關(guān)鍵詞匹配局限。
②檢索并處理數(shù)據(jù):通過訪問大量數(shù)據(jù)源,結(jié)合知識圖譜或數(shù)據(jù)庫,快速從中篩選出相關(guān)信息。
③生成回答:結(jié)合基于大模型的生成式AI技術(shù),對結(jié)查詢結(jié)果進行總結(jié),生成自然語言的回答,而非簡單的鏈接列表。
④個性化推薦:根據(jù)用戶的歷史行為、偏好和上下文,定制個性化的搜索結(jié)果。
生成式AI搜索引擎通過深度整合傳統(tǒng)搜索引擎與AI語義理解技術(shù),結(jié)合特定領(lǐng)域數(shù)據(jù)源與索引庫,借助大模型生成能力,提供高效精準(zhǔn)的搜索解決方案,尤其在處理復(fù)雜查詢時展現(xiàn)出超越傳統(tǒng)搜索的優(yōu)勢。其核心競爭力在于數(shù)據(jù)質(zhì)量與數(shù)量,而自建索引庫對于確保內(nèi)容準(zhǔn)確性與時效性至關(guān)重要,是提升生成式AI搜索準(zhǔn)確性的關(guān)鍵。
圖1 傳統(tǒng)搜索處理流程與AI搜索處理流程對比
生成式AI搜索的底層機制基于“檢索增強生成”(RAG),結(jié)合傳統(tǒng)搜索引擎API與自建索引庫的檢索,并通過大模型進行內(nèi)容閱讀與總結(jié)歸納,直接提供用戶答案。當(dāng)前生成式AI搜索產(chǎn)品多依賴傳統(tǒng)搜索引擎API作為互聯(lián)網(wǎng)數(shù)據(jù)支持,但不是所有傳統(tǒng)搜索引擎都開放接口,大部分創(chuàng)業(yè)企業(yè)都是使用了Bing的對外接口,如Perplexity、秘塔、鏈企等,國內(nèi)如百度和360都不開放API接口。同時,利用生成式大模型如ChatGPT等API進行推理與生成,根據(jù)不同業(yè)務(wù)場景進行問題的語義理解、分流、流程設(shè)計,選擇每個場景或流程最適合的大小模型來推理或生成,如360一次AI搜索有9次大模型的調(diào)用。AI搜索創(chuàng)業(yè)公司大部分會有一些自己特定領(lǐng)域的數(shù)據(jù)源和索引庫,來增加自己的差異化競爭力。比如秘塔AI的播客和文庫、360改造了原來的搜索索引庫等。
3、市場競爭格局
隨著人工智能技術(shù)的不斷發(fā)展,“生成式人工智能+搜索引擎”成為一條新賽道,競爭日益激烈。搜索引擎市場涌現(xiàn)出多種多樣的產(chǎn)品和應(yīng)用,形成了一個生機勃勃的產(chǎn)業(yè)生態(tài)。各參與者從不同層面切入,力求占據(jù)一席之地。
傳統(tǒng)搜索引擎廠商:通過整合AI技術(shù),優(yōu)化傳統(tǒng)搜索體驗,憑借其在技術(shù)、數(shù)據(jù)、資金等方面的優(yōu)勢,擴大其在生成式AI領(lǐng)域的競爭優(yōu)勢,同時在 AI 搜索市場占據(jù)重要地位。微軟將ChatGPT與搜索引擎整合推出“新必應(yīng)”,首次展示了生成式人工智能在搜索領(lǐng)域的應(yīng)用實踐和發(fā)展前景;百度推出“文心一言”并整合到搜索服務(wù)中。
大模型廠商:憑借生成式AI技術(shù)進入搜索領(lǐng)域,推出結(jié)合對話與搜索的工具,依賴強大的技術(shù)能力,為AI搜索提供核心算法支持。如OpenAI推出的AI搜索工具SearchGPT,可以實時訪問來自互聯(lián)網(wǎng)的信息,旨在為用戶提供更具時效性和更準(zhǔn)確的信息。月之暗面推出“Kimi探索版”,在用戶輸入關(guān)鍵字或一個問題進行搜索時,主頁面顯示的是AI生成的總結(jié)回答,而頁面右側(cè)是“網(wǎng)頁搜索”欄,展示了包括圖片、AI閱讀的網(wǎng)頁來源。
互聯(lián)網(wǎng)廠商:依托其深厚的應(yīng)用基礎(chǔ)與優(yōu)勢,密集布局生成式AI搜索,眾多應(yīng)用紛紛推出與AI搜索緊密相關(guān)的服務(wù)。例如知乎AI搜索產(chǎn)品知乎直答上線專業(yè)搜索功能;快手APP的搜索欄內(nèi)上線“智能問答”服務(wù),由AI幫助用戶搜索和回答相關(guān)問題。甚至同一公司的不同部門也在爭相推出各自的AI搜索產(chǎn)品。例如,字節(jié)跳動旗下的抖音、今日頭條和飛書分別針對不同的用戶需求與場景進行探索。飛書通過開發(fā)本地搜索引擎,提升用戶在信息查找時的便捷性,而抖音電商則借助AI技術(shù)優(yōu)化其導(dǎo)購搜索功能。
創(chuàng)業(yè)公司:以創(chuàng)新的用戶體驗和快速迭代能力崛起,為搜索市場注入新活力,滿足個性化和專業(yè)化需求。例如,夸克以其簡約化的產(chǎn)品設(shè)計、一站式服務(wù)以及在垂類細分場景的優(yōu)秀表現(xiàn),受到了用戶的廣泛關(guān)注和喜愛;Perplexity 等廠商也通過獨特的技術(shù)和產(chǎn)品特點,在 AI 搜索市場占據(jù)了一席之地。
4、生成式AI搜索未來展望
AI 技術(shù)與應(yīng)用的集中爆發(fā)讓生成式AI 搜索行業(yè)邁入高速發(fā)展的新階,隨著創(chuàng)新產(chǎn)品持續(xù)涌現(xiàn),生成式AI搜索正逐步重塑傳統(tǒng)搜索引擎的市場格局。據(jù)Gartner預(yù)測,到2026年,傳統(tǒng)搜索引擎的訪問量可能下降25%,而AI搜索產(chǎn)品的用戶將快速增長,逐步逼近超級APP的用戶閾值。同時,生成式AI搜索產(chǎn)品形態(tài)迎來升級,搜索引擎不再僅僅局限于信息獲取工具的角色,而是向信息一體化處理產(chǎn)品形態(tài)躍遷,致力于實現(xiàn)跨模態(tài)搜索體驗。未來,生成式AI搜索將集搜索、整合、提煉、創(chuàng)作等多功能于一體,成為全能型的智能助手,引領(lǐng)行業(yè)的新標(biāo)桿。
盡管生成式AI搜索引擎展現(xiàn)出廣闊的市場前景,但其發(fā)展仍面臨諸多挑戰(zhàn)。從技術(shù)層面看,國內(nèi)產(chǎn)品在技術(shù)成熟度、原創(chuàng)性及創(chuàng)新能力上,相較于國外同類產(chǎn)品存在顯著差距。市場維度上,商業(yè)化路徑尚在探索之中,尚未形成成熟的商業(yè)模式,加之算力需求的急劇增長,帶來了嚴峻的成本挑戰(zhàn)。在數(shù)據(jù)方面,高質(zhì)量數(shù)據(jù)的獲取與處理技術(shù)的不足,已成為制約生成式AI搜索技術(shù)進一步發(fā)展的關(guān)鍵瓶頸。在安全領(lǐng)域,數(shù)據(jù)隱私和安全問題備受用戶關(guān)注,搜索結(jié)果的權(quán)威性與準(zhǔn)確性、用戶隱私保護及內(nèi)容真實性等問題亟待解決。
[參考文獻]
[1] 盤點國內(nèi)可用的AI搜索引擎
[2] 《AI搜索行業(yè)發(fā)展報告》賽迪研究院
[3] 大廠競賽AI搜索,押注下一個“百度”
[4] OpenAI發(fā)布AI搜索原型SearchGPT,正面對壘谷歌
[5] 拆解SearchGPT后,我們發(fā)現(xiàn)了AI搜索的壁壘、突破和未來
[6] AI搜索專題報告:大模型商業(yè)落地“第一束光”
[7] 【原創(chuàng)研究】崛起,生成式AI搜索
作者:陳夢瑤
單位:中國移動研究院