AI 模型百家爭(zhēng)鳴，如果集中精力做一個(gè)，是不是更容易成功?

在2023年初，ChatGPT似乎掀起了一股AI大模型風(fēng)。從2月以來(lái)，國(guó)內(nèi)多家公司也推出了自己的大模型。

我們熟悉的有百度的文心一言、阿里的通義千問(wèn)、華為的盤(pán)古、騰訊的混元，等等。除此之外，很多的科技企業(yè)、學(xué)校機(jī)構(gòu)都在制作自己的大模型。比如，北京智源研究院的悟道2.0，中科院自動(dòng)化所的紫東太初、復(fù)旦大學(xué)的MOSS、清華大學(xué)的ChatGLM。

這么多大模型的名字聽(tīng)著就讓人覺(jué)得頭暈。如果這些機(jī)構(gòu)全部集中精力做一個(gè)模型，其實(shí)不是更容易成功？

圖源：unsplash.com

這么想自然有一定道理。但縱觀人工智能的發(fā)展史。多種技術(shù)、多條路線共同探索，也是讓人工智能能夠快速發(fā)展，能夠一次又一次沖破“寒冬”的原因之一。

想了解技術(shù)多元化對(duì)人工智能發(fā)展的好處，首先要從符號(hào)主義與連接主義說(shuō)起。

讓計(jì)算機(jī)“變聰明”

在1956年“達(dá)特茅斯會(huì)議”上，人工智能作為一門(mén)新興的學(xué)科被確立下來(lái)。一代代科學(xué)家們投入到了讓計(jì)算機(jī)“變聰明”的研究道路上。但“變聰明”這件事太過(guò)抽象，具體要如何實(shí)現(xiàn)呢？

其實(shí)早在達(dá)特茅斯會(huì)議之前，人們就已經(jīng)開(kāi)始探索了。而在這個(gè)過(guò)程中，出現(xiàn)了幾條不同的路線，其中“符號(hào)主義”和“連接主義”是兩種重要且有代表性的路線。

符號(hào)主義的想法是人的智能主要體現(xiàn)在高層的推理方面：“智能的基礎(chǔ)是知識(shí)，智能的核心是知識(shí)的表示與推理”。而知識(shí)和邏輯推理可以轉(zhuǎn)化成數(shù)學(xué)符號(hào)來(lái)表示，而它們的推理、運(yùn)算過(guò)程，同樣可以用數(shù)學(xué)公式符號(hào)來(lái)表達(dá)（正因如此，這一學(xué)派才被稱為“符號(hào)主義”）。

符號(hào)主義最典型的技術(shù)是“專家系統(tǒng)”。專家系統(tǒng)背后的想法是，把某個(gè)領(lǐng)域的知識(shí)、邏輯以符號(hào)的形式表示出來(lái)，整理成知識(shí)庫(kù)和推理機(jī)。根據(jù)輸入的條件，專家系統(tǒng)能用知識(shí)庫(kù)里面的知識(shí)和推理機(jī)里既定的邏輯推理方法，一步步推理得出知識(shí)庫(kù)中沒(méi)有但是又正確結(jié)果。

在1955年，一款名叫“邏輯理論家”的程序出現(xiàn)了，這款程序，能夠推演《數(shù)學(xué)原理》里面52個(gè)定理中的38個(gè)，并且對(duì)一些定理還給出了更簡(jiǎn)潔的證明方法。

這個(gè)程序，甚至被一些人稱為“第一個(gè)人工智能程序”。自人工智能出現(xiàn)很長(zhǎng)一段時(shí)間里，符號(hào)主義都在人工智能領(lǐng)域占據(jù)重要地位，甚至“人工智能”這個(gè)詞也是符號(hào)學(xué)派為主的科學(xué)家們起的新名字。

當(dāng)然，在符號(hào)主義大大發(fā)展的同時(shí)，其他賦予計(jì)算機(jī)“智力”的探索也沒(méi)有停止，比如連接主義也在同步發(fā)展。

連接主義與人工神經(jīng)網(wǎng)絡(luò)

連接主義有點(diǎn)類(lèi)似于仿生學(xué)，是通過(guò)從底層到上層的方法來(lái)研究并且模仿人類(lèi)大腦的結(jié)構(gòu)，進(jìn)而解釋人類(lèi)的智力行為。

連接主義認(rèn)為，微觀的神經(jīng)節(jié)之間的活動(dòng)最終涌現(xiàn)出了宏觀認(rèn)知智能。這個(gè)思路也比較符合其他科學(xué)領(lǐng)域的從下到上的方法論：比如用底層的物理知識(shí)來(lái)解釋高層的化學(xué)反應(yīng)原理一樣。它的發(fā)展，催生出了今天人工智能領(lǐng)域最重要的技術(shù)之一——人工神經(jīng)網(wǎng)絡(luò)。

圖源：unsplash.com

1943年，沃倫·麥克洛克和沃爾特·皮茨提出了一種類(lèi)似于生物神經(jīng)元的數(shù)學(xué)模型——MP神經(jīng)元模型。這個(gè)模型其實(shí)就是模仿神經(jīng)元細(xì)胞，對(duì)輸入的信號(hào)進(jìn)行處理，并給出特定的信息。

在1949年，神經(jīng)心理學(xué)家赫布發(fā)現(xiàn)，人類(lèi)大腦中的神經(jīng)元之間傳遞的信號(hào)強(qiáng)度并不是一成不變的而是“可塑的”。這個(gè)理論，后來(lái)被人們稱為“赫布規(guī)則”，在人工神經(jīng)網(wǎng)絡(luò)的發(fā)展上具有重要地位。

在MP神經(jīng)元模型和赫布規(guī)則的基礎(chǔ)上，1958年，羅森布拉特建立了感知器模型，這個(gè)模型被稱為最早的“具有學(xué)習(xí)能力”的人工神經(jīng)網(wǎng)絡(luò)。這個(gè)神經(jīng)網(wǎng)絡(luò)被美國(guó)海軍寄予厚望，并持重金打造了硬件機(jī)器，希望它能成為新一代的神經(jīng)計(jì)算機(jī)。這個(gè)項(xiàng)目是美國(guó)海軍的重要項(xiàng)目。

但由于當(dāng)時(shí)的算力和技術(shù)的限制，人們很快就發(fā)現(xiàn)，感知器的功能太有限了，只能解決非常簡(jiǎn)單的線性分類(lèi)問(wèn)題。

麻省理工大學(xué)的馬文·閔斯基（MarvinMinsky）和西莫·帕波特 (SeymourPapert) （也是少兒編程最早的倡導(dǎo)者）寫(xiě)書(shū)公開(kāi)聲稱“人工神經(jīng)網(wǎng)絡(luò)用處非常有限，甚至連簡(jiǎn)單的‘異或’問(wèn)題都無(wú)法解決?！?/p>

在二十世紀(jì)六十年代末，人工神經(jīng)網(wǎng)絡(luò)的研究陷入了低谷。而幾乎就在同一時(shí)期，投資者們也開(kāi)始意識(shí)到，之前人們期待的“人工智能大爆發(fā)”并未到來(lái)。

比如1958年時(shí)候，就有科學(xué)家認(rèn)為，10年之內(nèi)，我們就能讓計(jì)算機(jī)成為國(guó)際象棋冠軍（實(shí)際上這件事在1997年才實(shí)現(xiàn)比預(yù)計(jì)晚了將近30年）。在1970年，有科學(xué)家認(rèn)為“3~8年之內(nèi)，就能有一臺(tái)普通人智力的機(jī)器人。”但這顯然是做不到的，直到今天我們都無(wú)法造出這樣一臺(tái)機(jī)器。

這些“美好的未來(lái)”并未實(shí)現(xiàn)，使得政府和投資者們也大大削減了研發(fā)經(jīng)費(fèi)，人工智能迎來(lái)了第一個(gè)寒冬。

AI寒冬

但好在人工智能領(lǐng)域有多條技術(shù)路線。在寒冬之下，連接主義的人工神經(jīng)網(wǎng)絡(luò)發(fā)展艱難，符號(hào)主義的專家系統(tǒng)卻悄然興起。

在1972年，一款叫MYCIN的專家系統(tǒng)出現(xiàn)了，它能夠基于病人的癥狀，推理出合適的治療方案。

圖源：unsplash.com

比如，MYCIN里面記錄了多種內(nèi)科疾病的癥狀和病因，同時(shí)還有每種疾病適用什么樣的藥物，哪些藥物之間會(huì)相互反應(yīng)。如果一個(gè)人拉肚子了，只要輸入對(duì)應(yīng)的癥狀（比如體溫、血常規(guī)數(shù)據(jù)、持續(xù)時(shí)間等等），MYCIN就能推理出他所患的疾病，并且開(kāi)具合適的藥物。

MYCIN給出的治療方案“可接受性評(píng)分”跟人類(lèi)專家的相差無(wú)幾（MYCIN為65%，五位人類(lèi)專家為42.5%~62.5%）。

除了MYCIN，另一款名叫XCON的專家系統(tǒng)幫助DEC公司每年節(jié)省上千萬(wàn)美元的成本（XCON可以理解成一種專業(yè)的訂單處理系統(tǒng)）。看到專家系統(tǒng)有實(shí)打?qū)嵉慕?jīng)濟(jì)效益，其他公司也在二十世紀(jì)八十年代開(kāi)始效仿，紛紛建立自己的專家系統(tǒng)以節(jié)約成本。

但隨著專家系統(tǒng)的普及，它的弊端也逐漸顯現(xiàn)，比如，專家系統(tǒng)知識(shí)庫(kù)里的知識(shí)也不會(huì)自動(dòng)更新，專家系統(tǒng)的維護(hù)成本很高。

專家系統(tǒng)很快就陷入了僵局，而在此時(shí)，連接主義的人工神經(jīng)網(wǎng)絡(luò)迎來(lái)了自己的“文藝復(fù)興。

在二十世紀(jì)七八十年代，陸續(xù)有科學(xué)家發(fā)現(xiàn)了“反向傳播算法”的重要性。在1982年，保羅·韋布斯將反向傳播算法應(yīng)用到多層感知器中，這對(duì)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展非常重要，我們今天的人工神經(jīng)網(wǎng)絡(luò)，幾乎都離不開(kāi)反向傳播算法。

由此可以看出，無(wú)論在人工智能的寒冬還是復(fù)興時(shí)期，符號(hào)主義和連接主義的研究都在繼續(xù)，這給人工智能技術(shù)取得飛躍和突破提供了條件。如果沒(méi)有這些多元化的研究為基礎(chǔ)，人工智能的研究可能會(huì)深陷在某一條道路中難以前進(jìn)。

當(dāng)然了，除了人工智能技術(shù)本身，其他行業(yè)的突破，同樣也會(huì)促進(jìn)人工智能領(lǐng)域的發(fā)展。比如，在二十世紀(jì)九十年代以后，芯片技術(shù)飛速發(fā)展，計(jì)算機(jī)的算力得以迅速提升，這對(duì)人工智能的發(fā)展來(lái)說(shuō)也至關(guān)重要。

比如二十世紀(jì)九十年代以前，即便有了反向傳播算法，想訓(xùn)練層數(shù)非常多的（超過(guò)5層）的深度神經(jīng)網(wǎng)絡(luò)會(huì)非常困難，因此人工神經(jīng)網(wǎng)絡(luò)一度也被支持向量機(jī)所取代。而在2000年前后，GPU的出現(xiàn)讓人工神經(jīng)網(wǎng)絡(luò)（主要是深度神經(jīng)網(wǎng)絡(luò)）的訓(xùn)練速度大幅提升，再加上互聯(lián)網(wǎng)的普及帶來(lái)了大量可供AI學(xué)習(xí)的數(shù)據(jù)，深度學(xué)習(xí)技術(shù)開(kāi)始嶄露頭角。

BERT與GPT

到了人工智能技術(shù)飛速發(fā)展的今天，多元化的研究依然能帶來(lái)意想不到的突破。比如今天我們所熟悉的ChatGPT，正是多種研究齊頭并進(jìn)的受益者。

在2017年，GoogleBrain的科學(xué)家們發(fā)表了一篇名為《AttentionIsAllYouNeeded》的論文，提出了Transformer模型。

簡(jiǎn)單的說(shuō)，Transformer是一種能夠讓計(jì)算機(jī)更好地“讀懂”人類(lèi)語(yǔ)言的模型。它引入了“注意力”和“自注意力”機(jī)制，類(lèi)似于我們看書(shū)時(shí)候，會(huì)把注意力集中在比較難理解的片段、詞句上，并且綜合上下文的意思，來(lái)理解這些片段、詞句。

基于Transformer人們繼續(xù)開(kāi)發(fā)了多種大模型，在2018年Google推出了BERT模型。在同一年，OpenAI也推出了GPT模型，這兩個(gè)模型有很多相似之處，但也有一些區(qū)別。

簡(jiǎn)單的說(shuō)BERT更擅長(zhǎng)于理解文本中的詞義，而GPT更擅長(zhǎng)于生成文本。

BERT能夠從一個(gè)單詞的前后兩側(cè)來(lái)理解它的含義，有點(diǎn)像考試中的填空題。比如：“我的寵物是一只會(huì)叫的（），它愛(ài)啃骨”。BERT非常擅長(zhǎng)從空格的前后判斷出，這里的詞最可能是“狗”。

而GPT則是單向的，像我們閱讀一樣從左到右分析，并且預(yù)測(cè)出下一個(gè)單詞。比如“我的寵物是一只會(huì)叫的狗，它愛(ài)（）”，GPT能夠根據(jù)前文信息補(bǔ)全后面的內(nèi)容。

BERT出現(xiàn)之后，因?yàn)樗谡Z(yǔ)義理解方面有著非常優(yōu)秀的表現(xiàn)，在自然語(yǔ)言處理方面大放異彩。而在2018年到2020年，GPT模型并沒(méi)有像今天這樣受人關(guān)注，但它的研究沒(méi)有因此停步。

在2019年、2020年，OpenAI相繼推出了GPT2.0、GPT3.0。在GPT3.0的時(shí)候，GPT的參數(shù)達(dá)到了1750億，訓(xùn)練樣本超過(guò)40TB，GPT3.0涌現(xiàn)出了比之前的GPT模型更強(qiáng)的理解力和生成能力。

在GPT3.5又加入了人類(lèi)標(biāo)記的訓(xùn)練方法，性能又有了進(jìn)一步的提升。而在ChatGPT出現(xiàn)之后，越來(lái)越多的人了解到了GPT這項(xiàng)技術(shù)，這也再次把人工智能推到了人類(lèi)技術(shù)發(fā)展的舞臺(tái)中央。

每一項(xiàng)研究都值得重視

由此可以看出，在整個(gè)人工智能發(fā)展的過(guò)程中，多元化的研究和發(fā)展給人工智能技術(shù)帶來(lái)了更多的可能性。比如在二十世紀(jì)六十年代到九十年代，專家系統(tǒng)、人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)同步發(fā)展，一項(xiàng)技術(shù)陷入困境，會(huì)有其他技術(shù)興起。

對(duì)于整個(gè)人工智能領(lǐng)域是如此，而如果聚焦于大模型這樣的領(lǐng)域也是如此。在自然語(yǔ)言處理領(lǐng)域，科學(xué)家們也并沒(méi)有因?yàn)锽ERT的效果突出，就冷落了GPT。這才給了ChatGPT在2023年讓人們?nèi)吮M皆知的機(jī)會(huì)。

除了GPT和BERT，在大模型領(lǐng)域還有很多模型在研究、發(fā)展中。這些模型中的某項(xiàng)技術(shù)、某些成果可能在未來(lái)會(huì)給自然語(yǔ)言處理甚至是這個(gè)AI行業(yè)帶來(lái)顛覆性的改變。

因此，回到最開(kāi)頭的問(wèn)題，如果所有的公司、機(jī)構(gòu)集中精力和資源去訓(xùn)練一個(gè)模型，確實(shí)有機(jī)會(huì)造出一個(gè)超級(jí)大模型。但在這個(gè)過(guò)程中，可能會(huì)失去一部分寶貴的“技術(shù)多樣性”。各個(gè)公司的商業(yè)化考量，可能也會(huì)在客觀上促成AI的多元化發(fā)展。

參考文獻(xiàn)

[1]中國(guó)大百科全書(shū)

[2]斯坦福哲學(xué)百科全書(shū)

[3]MCCULLOCHWS,PITTSW.Alogicalcalculusoftheideasimmanentinnervousactivity[J].BulletinofMathematicalBiophysics,1943,5:115-133.

[4]HEBBDOTheOrganizationofBehavior:ANeuropsychologicalTheory[M].LawrenceErlbaumAssociates,NewJersey,1949.

[5]ROSENBLATTF.Theperceptron:Probabilisticmodelforinformationstorageandorganizationinthebrain[J].PsychologicalReview,1958,65(6):386-408.

[6]Simon&Newell1958,p.7?8quotedinCrevier1993,p.108.

[7]YuVL,FaganLM,WraithSM,ClanceyWJ,ScottAC,HanniganJ,BlumRL,BuchananBG,CohenSN.Antimicrobialselectionbyacomputer.Ablindedevaluationbyinfectiousdiseasesexperts.JAMA.1979Sep21;242(12):1279-82.PMID:480542.

[8]VaswaniA,ShazeerN,ParmarN,etal.Attentionisallyouneed[J].Advancesinneuralinformationprocessingsystems,2017,30.

作者丨秦曾昌 北京航空航天大學(xué)教授

田達(dá)瑋 科普作者

審核丨于旸 騰訊安全玄武實(shí)驗(yàn)室負(fù)責(zé)人