版權(quán)歸原作者所有,如有侵權(quán),請(qǐng)聯(lián)系我們

生成式AI搜索:未來(lái)已來(lái),但挑戰(zhàn)何在?

中移科協(xié)
原創(chuàng)
有用的科技知識(shí)又增加了
收藏

隨著生成式AI技術(shù)的快速發(fā)展,搜索引擎正經(jīng)歷一場(chǎng)深刻的變革,逐步進(jìn)化為智能生產(chǎn)工具。生成式AI搜索的興起,為搜索引擎行業(yè)帶來(lái)新的增長(zhǎng)空間。傳統(tǒng)的搜索引擎主要依賴關(guān)鍵詞匹配,向用戶展示一系列相關(guān)鏈接,而生成式AI搜索正在顛覆這一模式。它不僅具備對(duì)語(yǔ)義和上下文的深刻理解能力,更能直接生成精確無(wú)誤的答案,為用戶提供前所未有的高效、便捷的搜索體驗(yàn)。本文將介紹生成式AI搜索的產(chǎn)品形態(tài)、技術(shù)原理、市場(chǎng)競(jìng)爭(zhēng)格局,并淺析其未來(lái)發(fā)展趨勢(shì)和面臨的挑戰(zhàn)。

1、生成式AI搜索產(chǎn)品概述

在搜索引擎的演進(jìn)歷程中,用戶從PC端搜索向移動(dòng)端APP內(nèi)搜索遷移,而當(dāng)前大模型技術(shù)的應(yīng)用更是將搜索轉(zhuǎn)變?yōu)橐环N開放式、生成式的智能問(wèn)答和多輪交互過(guò)程,顯著增強(qiáng)了交互性和智能性。傳統(tǒng)搜索引擎在結(jié)果準(zhǔn)確性、用戶語(yǔ)境理解、實(shí)時(shí)更新及生成式AI技術(shù)應(yīng)用等方面存在局限。進(jìn)入生成式AI搜索階段,搜索以用戶為中心,注重準(zhǔn)確理解搜索意圖,力求實(shí)現(xiàn)無(wú)縫銜接的端到端任務(wù)處理,具備語(yǔ)義理解、個(gè)性化推薦、跨模態(tài)及跨語(yǔ)言檢索、內(nèi)容生成等功能。

生成式AI搜索產(chǎn)品主要類型包括?:

一是互聯(lián)網(wǎng)搜索?;ヂ?lián)網(wǎng)搜索是當(dāng)前生成式AI搜索引擎的一種重要形式,它主要面向互聯(lián)網(wǎng)上的海量公開信息進(jìn)行搜索。這類搜索引擎包括傳統(tǒng)搜索引擎的升級(jí)版本,如百度(百度搜索AI探索版)、微軟(NewBing)、谷歌(Bard)。同時(shí),也涵蓋了一些基于對(duì)話式的創(chuàng)新AI搜索應(yīng)用,如Perplexity AI、秘塔AI,這些平臺(tái)通過(guò)技術(shù)與用戶體驗(yàn)深度融合,不斷通過(guò)創(chuàng)新功能吸引用戶,并試圖挑戰(zhàn)傳統(tǒng)搜索引擎的地位。

二是平臺(tái)內(nèi)嵌搜索。平臺(tái)內(nèi)嵌搜索是另一種常見的生成式AI搜索引擎類型。它通常作為平臺(tái)的一個(gè)功能模塊存在,專門用于搜索平臺(tái)內(nèi)的私有數(shù)據(jù)。這類搜索引擎的核心優(yōu)勢(shì)在于能夠利用平臺(tái)積累的大量用戶行為數(shù)據(jù)、偏好、歷史搜索記錄等信息,為用戶提供定制化的搜索結(jié)果。如小紅書的達(dá)芬奇,通過(guò)AI技術(shù)分析用戶的偏好和需求,優(yōu)化搜索結(jié)果,提供精準(zhǔn)的內(nèi)容推薦。

三是企業(yè)內(nèi)部搜索。企業(yè)內(nèi)部搜索是生成式AI搜索引擎在企業(yè)級(jí)應(yīng)用中的體現(xiàn)。它主要處理企業(yè)的內(nèi)部數(shù)據(jù),如文檔、郵件、報(bào)告等非結(jié)構(gòu)化數(shù)據(jù)。這些數(shù)據(jù)通常對(duì)于企業(yè)的運(yùn)營(yíng)和決策至關(guān)重要,但由于數(shù)量龐大且格式多樣,傳統(tǒng)的搜索方法往往難以有效地提取和利用這些信息。AI搜索通過(guò)對(duì)這些數(shù)據(jù)的深入理解和處理,能夠幫助企業(yè)員工更高效地從海量的企業(yè)內(nèi)部數(shù)據(jù)中提取所需信息,從而提升工作效率和決策質(zhì)量。

2、核心技術(shù)原理

生成式AI搜索引擎的核心技術(shù)包括自然語(yǔ)言處理(NLP)、深度學(xué)習(xí)和知識(shí)圖譜等。這些技術(shù)使得AI能夠理解查詢的語(yǔ)義,跨越關(guān)鍵詞匹配的局限,通過(guò)上下文關(guān)聯(lián)為用戶提供更為精準(zhǔn)的答案。其通過(guò)以下幾個(gè)步驟來(lái)實(shí)現(xiàn)其功能:

①理解查詢意圖:利用自然語(yǔ)言處理技術(shù),準(zhǔn)確理解用戶查詢的意圖,突破傳統(tǒng)關(guān)鍵詞匹配局限。

②檢索并處理數(shù)據(jù):通過(guò)訪問(wèn)大量數(shù)據(jù)源,結(jié)合知識(shí)圖譜或數(shù)據(jù)庫(kù),快速?gòu)闹泻Y選出相關(guān)信息。

③生成回答:結(jié)合基于大模型的生成式AI技術(shù),對(duì)結(jié)查詢結(jié)果進(jìn)行總結(jié),生成自然語(yǔ)言的回答,而非簡(jiǎn)單的鏈接列表。

④個(gè)性化推薦:根據(jù)用戶的歷史行為、偏好和上下文,定制個(gè)性化的搜索結(jié)果。

生成式AI搜索引擎通過(guò)深度整合傳統(tǒng)搜索引擎與AI語(yǔ)義理解技術(shù),結(jié)合特定領(lǐng)域數(shù)據(jù)源與索引庫(kù),借助大模型生成能力,提供高效精準(zhǔn)的搜索解決方案,尤其在處理復(fù)雜查詢時(shí)展現(xiàn)出超越傳統(tǒng)搜索的優(yōu)勢(shì)。其核心競(jìng)爭(zhēng)力在于數(shù)據(jù)質(zhì)量與數(shù)量,而自建索引庫(kù)對(duì)于確保內(nèi)容準(zhǔn)確性與時(shí)效性至關(guān)重要,是提升生成式AI搜索準(zhǔn)確性的關(guān)鍵。

圖1 傳統(tǒng)搜索處理流程與AI搜索處理流程對(duì)比

生成式AI搜索的底層機(jī)制基于“檢索增強(qiáng)生成”(RAG),結(jié)合傳統(tǒng)搜索引擎API與自建索引庫(kù)的檢索,并通過(guò)大模型進(jìn)行內(nèi)容閱讀與總結(jié)歸納,直接提供用戶答案。當(dāng)前生成式AI搜索產(chǎn)品多依賴傳統(tǒng)搜索引擎API作為互聯(lián)網(wǎng)數(shù)據(jù)支持,但不是所有傳統(tǒng)搜索引擎都開放接口,大部分創(chuàng)業(yè)企業(yè)都是使用了Bing的對(duì)外接口,如Perplexity、秘塔、鏈企等,國(guó)內(nèi)如百度和360都不開放API接口。同時(shí),利用生成式大模型如ChatGPT等API進(jìn)行推理與生成,根據(jù)不同業(yè)務(wù)場(chǎng)景進(jìn)行問(wèn)題的語(yǔ)義理解、分流、流程設(shè)計(jì),選擇每個(gè)場(chǎng)景或流程最適合的大小模型來(lái)推理或生成,如360一次AI搜索有9次大模型的調(diào)用。AI搜索創(chuàng)業(yè)公司大部分會(huì)有一些自己特定領(lǐng)域的數(shù)據(jù)源和索引庫(kù),來(lái)增加自己的差異化競(jìng)爭(zhēng)力。比如秘塔AI的播客和文庫(kù)、360改造了原來(lái)的搜索索引庫(kù)等。

3、市場(chǎng)競(jìng)爭(zhēng)格局

隨著人工智能技術(shù)的不斷發(fā)展,“生成式人工智能+搜索引擎”成為一條新賽道,競(jìng)爭(zhēng)日益激烈。搜索引擎市場(chǎng)涌現(xiàn)出多種多樣的產(chǎn)品和應(yīng)用,形成了一個(gè)生機(jī)勃勃的產(chǎn)業(yè)生態(tài)。各參與者從不同層面切入,力求占據(jù)一席之地。

傳統(tǒng)搜索引擎廠商:通過(guò)整合AI技術(shù),優(yōu)化傳統(tǒng)搜索體驗(yàn),憑借其在技術(shù)、數(shù)據(jù)、資金等方面的優(yōu)勢(shì),擴(kuò)大其在生成式AI領(lǐng)域的競(jìng)爭(zhēng)優(yōu)勢(shì),同時(shí)在 AI 搜索市場(chǎng)占據(jù)重要地位。微軟將ChatGPT與搜索引擎整合推出“新必應(yīng)”,首次展示了生成式人工智能在搜索領(lǐng)域的應(yīng)用實(shí)踐和發(fā)展前景;百度推出“文心一言”并整合到搜索服務(wù)中。

大模型廠商:憑借生成式AI技術(shù)進(jìn)入搜索領(lǐng)域,推出結(jié)合對(duì)話與搜索的工具,依賴強(qiáng)大的技術(shù)能力,為AI搜索提供核心算法支持。如OpenAI推出的AI搜索工具SearchGPT,可以實(shí)時(shí)訪問(wèn)來(lái)自互聯(lián)網(wǎng)的信息,旨在為用戶提供更具時(shí)效性和更準(zhǔn)確的信息。月之暗面推出“Kimi探索版”,在用戶輸入關(guān)鍵字或一個(gè)問(wèn)題進(jìn)行搜索時(shí),主頁(yè)面顯示的是AI生成的總結(jié)回答,而頁(yè)面右側(cè)是“網(wǎng)頁(yè)搜索”欄,展示了包括圖片、AI閱讀的網(wǎng)頁(yè)來(lái)源。

互聯(lián)網(wǎng)廠商:依托其深厚的應(yīng)用基礎(chǔ)與優(yōu)勢(shì),密集布局生成式AI搜索,眾多應(yīng)用紛紛推出與AI搜索緊密相關(guān)的服務(wù)。例如知乎AI搜索產(chǎn)品知乎直答上線專業(yè)搜索功能;快手APP的搜索欄內(nèi)上線“智能問(wèn)答”服務(wù),由AI幫助用戶搜索和回答相關(guān)問(wèn)題。甚至同一公司的不同部門也在爭(zhēng)相推出各自的AI搜索產(chǎn)品。例如,字節(jié)跳動(dòng)旗下的抖音、今日頭條和飛書分別針對(duì)不同的用戶需求與場(chǎng)景進(jìn)行探索。飛書通過(guò)開發(fā)本地搜索引擎,提升用戶在信息查找時(shí)的便捷性,而抖音電商則借助AI技術(shù)優(yōu)化其導(dǎo)購(gòu)搜索功能。

創(chuàng)業(yè)公司:以創(chuàng)新的用戶體驗(yàn)和快速迭代能力崛起,為搜索市場(chǎng)注入新活力,滿足個(gè)性化和專業(yè)化需求。例如,夸克以其簡(jiǎn)約化的產(chǎn)品設(shè)計(jì)、一站式服務(wù)以及在垂類細(xì)分場(chǎng)景的優(yōu)秀表現(xiàn),受到了用戶的廣泛關(guān)注和喜愛;Perplexity 等廠商也通過(guò)獨(dú)特的技術(shù)和產(chǎn)品特點(diǎn),在 AI 搜索市場(chǎng)占據(jù)了一席之地。

4、生成式AI搜索未來(lái)展望

AI 技術(shù)與應(yīng)用的集中爆發(fā)讓生成式AI 搜索行業(yè)邁入高速發(fā)展的新階,隨著創(chuàng)新產(chǎn)品持續(xù)涌現(xiàn),生成式AI搜索正逐步重塑傳統(tǒng)搜索引擎的市場(chǎng)格局。據(jù)Gartner預(yù)測(cè),到2026年,傳統(tǒng)搜索引擎的訪問(wèn)量可能下降25%,而AI搜索產(chǎn)品的用戶將快速增長(zhǎng),逐步逼近超級(jí)APP的用戶閾值。同時(shí),生成式AI搜索產(chǎn)品形態(tài)迎來(lái)升級(jí),搜索引擎不再僅僅局限于信息獲取工具的角色,而是向信息一體化處理產(chǎn)品形態(tài)躍遷,致力于實(shí)現(xiàn)跨模態(tài)搜索體驗(yàn)。未來(lái),生成式AI搜索將集搜索、整合、提煉、創(chuàng)作等多功能于一體,成為全能型的智能助手,引領(lǐng)行業(yè)的新標(biāo)桿。

盡管生成式AI搜索引擎展現(xiàn)出廣闊的市場(chǎng)前景,但其發(fā)展仍面臨諸多挑戰(zhàn)。從技術(shù)層面看,國(guó)內(nèi)產(chǎn)品在技術(shù)成熟度、原創(chuàng)性及創(chuàng)新能力上,相較于國(guó)外同類產(chǎn)品存在顯著差距。市場(chǎng)維度上,商業(yè)化路徑尚在探索之中,尚未形成成熟的商業(yè)模式,加之算力需求的急劇增長(zhǎng),帶來(lái)了嚴(yán)峻的成本挑戰(zhàn)。在數(shù)據(jù)方面,高質(zhì)量數(shù)據(jù)的獲取與處理技術(shù)的不足,已成為制約生成式AI搜索技術(shù)進(jìn)一步發(fā)展的關(guān)鍵瓶頸。在安全領(lǐng)域,數(shù)據(jù)隱私和安全問(wèn)題備受用戶關(guān)注,搜索結(jié)果的權(quán)威性與準(zhǔn)確性、用戶隱私保護(hù)及內(nèi)容真實(shí)性等問(wèn)題亟待解決。

[參考文獻(xiàn)]

[1] 盤點(diǎn)國(guó)內(nèi)可用的AI搜索引擎

[2] 《AI搜索行業(yè)發(fā)展報(bào)告》賽迪研究院

[3] 大廠競(jìng)賽AI搜索,押注下一個(gè)“百度”

[4] OpenAI發(fā)布AI搜索原型SearchGPT,正面對(duì)壘谷歌

[5] 拆解SearchGPT后,我們發(fā)現(xiàn)了AI搜索的壁壘、突破和未來(lái)

[6] AI搜索專題報(bào)告:大模型商業(yè)落地“第一束光”

[7] 【原創(chuàng)研究】崛起,生成式AI搜索

作者:陳夢(mèng)瑤

單位:中國(guó)移動(dòng)研究院

評(píng)論
科普中國(guó)●yling
庶吉士級(jí)
生成式AI帶來(lái)機(jī)遇的同時(shí)其發(fā)展仍面臨諸多挑戰(zhàn)。技術(shù)上的數(shù)據(jù)質(zhì)量把控與模型泛化提升很關(guān)鍵,社會(huì)層面的倫理、法律問(wèn)題也不容忽視。只有大家齊心協(xié)力,通過(guò)持續(xù)研究、跨領(lǐng)域合作并秉持倫理原則,才能讓它更好地服務(wù)人類,創(chuàng)造更加美好的未來(lái)。
2024-12-08
科普科普知識(shí)的搖籃!
大學(xué)士級(jí)
隨著科學(xué)技術(shù)的發(fā)展,生成式AI搜索正改變搜索引擎行業(yè),有互聯(lián)網(wǎng)、平臺(tái)內(nèi)嵌、企業(yè)內(nèi)部等產(chǎn)品形態(tài),多主體競(jìng)爭(zhēng)激烈,前景廣闊,但面臨技術(shù)、市場(chǎng)、數(shù)據(jù)、安全等挑戰(zhàn),發(fā)展之路仍需探索。
2024-12-08
科普中國(guó)●yling
庶吉士級(jí)
生成式AI搜索行業(yè)高速發(fā)展,將成全能智能助手引領(lǐng)行業(yè),但面臨諸多挑戰(zhàn):技術(shù)上國(guó)內(nèi)較國(guó)外有差距;市場(chǎng)方面商業(yè)化不成熟、算力成本高;數(shù)據(jù)上高質(zhì)量數(shù)據(jù)及處理技術(shù)不足;安全領(lǐng)域存在隱私、準(zhǔn)確性等問(wèn)題待解決。
2024-12-08