治理“生成式人工智能”，相當于要管人的思想

治理“生成式人工智能”，相當于要管人的思想

誕生于1946年的電子計算機，把人類帶入了“智能紀元”。它是一種“意識工具”，不同于人類以往所有的“物質(zhì)工具”。2010年以來，算力資源的量變帶來質(zhì)變，到了2023年，這一變化終于使更多普通人得以感知，也帶來了巨大的治理挑戰(zhàn)。這方面，中國已經(jīng)開始行動。4月11日，國家互聯(lián)網(wǎng)信息辦公室起草的《生成式人工智能服務(wù)管理辦法（征求意見稿）》向社會公開征求意見，意見反饋截止時間為2023年5月10日。

觀察者網(wǎng)就相關(guān)話題采訪清華大學電子工程系博士、中科院工程序列任職資格評審委員會主任、北京東方通科技股份有限公司首席科學家謝耘，實錄如下：

觀察者網(wǎng)：3月份以來，基于OpenAI自然語言大模型GPT3.5的ChatGPT成為焦點。它不但引爆輿論、席卷國內(nèi)資本市場，而且讓國家互聯(lián)網(wǎng)信息辦公室迅速起草《生成式人工智能服務(wù)管理辦法（征求意見稿）》并公開征求意見。我們也想請您就這個話題做一些討論，您認為，從社會治理角度來說，挑戰(zhàn)主要來自哪里？

謝耘：這是一個比較大也比較深刻的話題。我此前在不同場合說過，信息技術(shù)為人類帶來了一種“意識工具”，它不同于人類以往所有的“物質(zhì)工具”，因此，誕生于1946年的電子計算機把人類帶入了“智能紀元”。只不過，它之前的能力還比較弱小，很多人沒有意識到這種變化的重要性，但是2010年以來，算力資源的量變帶來質(zhì)變，到了2023年，這一變化終于使更多普通人得以感知。為了便于理解，我想稍微展開一下，先從信息技術(shù)的本質(zhì)說起?，F(xiàn)在主流的科技界認為，信息是構(gòu)成世界的三大要素之一，一是物質(zhì)，一是能量，一是信息。雖然這個說法寫進了標準的教科書，但我認為這是錯的，至少“信息技術(shù)”涉及的信息不是客觀的。舉個例子，人類曾經(jīng)擁有的儲藏知識信息最集中的地方是什么？是圖書館。那么，假設(shè)人類消失了，圖書館里所有的藏品還具有任何“信息”的意義嗎？那些紙上印的也罷，數(shù)字化的也罷，它還會和客觀世界的任何東西發(fā)生互動嗎？所以，信息是人的意識層面的東西。

再來談計算機，計算機本質(zhì)上是用于對數(shù)字化的信息做可編程的邏輯數(shù)值計算與處理，其中有兩個要素，第一，是數(shù)字化的信息；第二，對邏輯數(shù)值計算與處理。信息，它既是人的意識活動的產(chǎn)物，也是人的意識活動的最核心要素，信息本質(zhì)上是意識范疇的存在，而與信息相關(guān)的活動，本質(zhì)上都是意識性的活動。程序，是人們對邏輯數(shù)值的計算與處理的操作，把這些操作排成序列，用它來處理信息。這個過程屬于物質(zhì)性過程還是意識性過程？顯然是意識性的過程，它把原來在大腦里進行的意識過程外化，變成一段程序，交給計算機去做。這是我基本的分析邏輯。第一，信息屬于意識范疇；第二，與信息相關(guān)的過程本質(zhì)上都是意識過程；第三，計算機程序是人的意識的一種外化，計算機運行的過程，其實是一種意識性的過程。原先，所有的意識都局限在人類每個人的腦袋里，計算機的出現(xiàn)讓意識從我們的大腦里蹦出來，從而脫離了我們的大腦，可以由計算機的CPU去做，所以，信息技術(shù)應(yīng)用本質(zhì)上就是人的內(nèi)意識的外化，我管它叫“外意識”。這就是計算機的“意識性工具”的本質(zhì)。

回望人類科學技術(shù)發(fā)展的總過程，科技是第一生產(chǎn)力，人類文明的發(fā)展是由工具的不斷進步來推動的，直到電子計算機出現(xiàn)之前，我們工具的主線是作用于物質(zhì)對象。人類演化幾十萬年以來，我們所有的工具都是物質(zhì)性的工具，這不是說工具本身是物質(zhì)，而是說這個工具的作用是物質(zhì)性的作用，概無例外。直到1946年，計算機出現(xiàn)，人類第一次有了一個意識性的工具。這個工具作用的對象不是物質(zhì)，而是作用在意識對象上。從此開始，主線發(fā)生了分叉，人類擁有了兩種工具，一種是物質(zhì)性的工具，一種是意識性的工具。這兩種工具不是割裂開的，意識性的工具是建立在物質(zhì)科學基礎(chǔ)之上的，但反過來，意識性的工具，又可以植入到物質(zhì)性的工具里，比如讓汽車變成智能汽車。

所以我認為，人類文明從1946年開始進入了一個全新的紀元。但是，人類創(chuàng)造計算機的時候，沒有完全意識到這件事情，一是由于思維慣性，因為我們之前所有的工具都是物質(zhì)性的工具；二是計算機誕生之初還很弱，沒有展現(xiàn)出那么強的顛覆性。直到2010年，計算機的算力從量變積累到了質(zhì)變。1976年，美國制造了第一臺超級計算機，運算速度是每秒1億次浮點運算，中國1983年造了第一臺超級計算機，也是每秒1億次浮點運算。這都是當年的國之重器，這樣的算力，只能勉強處理圖片，但我們今天的每部手機都能處理視頻，這不是一個數(shù)量級的進步。

在2010年前，信息產(chǎn)業(yè)業(yè)界最大的事情往往是英特爾發(fā)布了新的處理器，今天，沒有人再關(guān)心處理器的問題，因為算力極大豐富了。也就是在2010年前后，大數(shù)據(jù)應(yīng)用涌現(xiàn)了，因為算力能夠支撐了；人工智能熱起來了，因為人工智能本質(zhì)上是一個數(shù)據(jù)統(tǒng)計技術(shù)，也需要大量算力。2010年之后，計算機硬件的能力不再制約軟件的發(fā)展，信息技術(shù)產(chǎn)業(yè)“意識性”的特質(zhì)，自此才逐步顯現(xiàn)出來，無論是區(qū)塊鏈，還是深度學習的人工神經(jīng)網(wǎng)絡(luò)，這些創(chuàng)新都是不受物理規(guī)律限制的，因為它是一種意識范疇的創(chuàng)新?；氐侥愕膯栴}，“生成式人工智能”帶來的挑戰(zhàn)，實際上起始于1946年“智能紀元”的開端，它是人類社會共同面臨的一次變革，只不過現(xiàn)在才顯現(xiàn)出來。計算機是一個意識工具，這是一個非常本質(zhì)的事情，帶來的挑戰(zhàn)非常大，要治理“生成式人工智能”，相當于要管人的思想。幾千年來，人類對于怎么管理物質(zhì)還是積累了足夠多的經(jīng)驗，一旦涉及到精神意識層面，其實就有點亂。從倫理、道德、宗教、意識形態(tài)、各路學說等等，都是這樣，這不光是中國的問題，美國對互聯(lián)網(wǎng)的治理同樣亂象叢生，因為人類沒有對意識領(lǐng)域的治理積累足夠的經(jīng)驗。觀察者網(wǎng)：我插一個小問題，您剛才舉的一個例子說，圖書館是人類信息的集中地，如果我們順著這個思路，那么在人類發(fā)展的歷史中，其實已經(jīng)有若干次這樣的信息爆炸，也伴隨著時代變化的挑戰(zhàn)，首先是出現(xiàn)文字，然后是紙的發(fā)明，接著是印刷術(shù)，然后是活字印刷術(shù)，那么計算機或者人工智能帶來最新的一次信息爆炸，一是必然帶來社會變革，二是只是一系列挑戰(zhàn)之一，能否這樣理解？謝耘：我們可以說，這些某種意義上也是信息的革命，比如出現(xiàn)文字，但它只是“信息”的記錄和傳播，也就是說記錄和傳播“意識的產(chǎn)物”，比如報紙上的文章，它已經(jīng)是靜態(tài)的東西了。但信息技術(shù)處理的是意識的活動，它是“活的”，在這個意義上，它完全上了一個檔次。觀察者網(wǎng)：能不能認為這是生產(chǎn)力發(fā)展對生產(chǎn)關(guān)系的一個挑戰(zhàn)？謝耘：我覺得這要從兩方面看，首先，它是生產(chǎn)力的一種發(fā)展，傳統(tǒng)的生產(chǎn)力指的是通過物質(zhì)性工具創(chuàng)造物質(zhì)財富的手段，那么，信息技術(shù)作為意識性工具，它能賦能物質(zhì)性工具，提高其創(chuàng)造物質(zhì)財富的能力。信息技術(shù)的發(fā)展已經(jīng)讓所有人受益。幾年前施瓦布提出“第四次工業(yè)革命”，新材料、新能源等等領(lǐng)域的新發(fā)展，背后真正的推動力都是信息技術(shù)。近年來，材料科學發(fā)展突飛猛進，因為計算機可以做大量模擬，不像傳統(tǒng)那樣需要做大量物理、化學實驗，節(jié)省大量時間和資源成本。再比如說醫(yī)療，現(xiàn)在的影像醫(yī)學與人工智能的結(jié)合速度非常快，極大提升了診斷效率。信息技術(shù)解決了工業(yè)社會一直無法解決的一對矛盾，就是大規(guī)模生產(chǎn)與個性化無法統(tǒng)一的問題。信息技術(shù)賦能產(chǎn)業(yè)鏈之后，大規(guī)模的個性化生產(chǎn)成為可能。而且，定制化生產(chǎn)的衣服比標準化生產(chǎn)的衣服還要便宜。因為在標準化生產(chǎn)中，產(chǎn)能的安排遠落后于市場需求變化，往往導(dǎo)致大量的庫存積壓，這些成本最后仍然要平攤到消費者頭上，但是實現(xiàn)定制化柔性制造以后，按需生產(chǎn)就成為可能。所以在以后的社會里，即使一個人不懂信息技術(shù)，他仍然非?？赡苁芤嬗谛畔⒓夹g(shù)，實現(xiàn)很多個人的發(fā)展和追求。因為信息技術(shù)會成為社會的一個公共基礎(chǔ)，讓所有人受益。同時，信息技術(shù)的另外一個屬性并不促進物質(zhì)生產(chǎn)，而是直接介入了意識形態(tài)，比如電子游戲、AIGC等等，雖然沒有產(chǎn)生物質(zhì)財富，但也能產(chǎn)生經(jīng)濟活動。

觀察者網(wǎng)：這是否會產(chǎn)生一個“空轉(zhuǎn)”的問題呢？因為雖然我們進入了“暴力計算”時代，算力極大豐富，但是算力仍然要消耗物質(zhì)世界大量的能源和資源。這就在全人類社會的層面上產(chǎn)生了一個效率問題，如果不能提升社會的生產(chǎn)力，而只是產(chǎn)生一個夢境在“空轉(zhuǎn)”的話，這在資本邏輯上是成立的，但是會在物質(zhì)層面帶來大量的“浪費”。

謝耘：這是一個風險，人類的意識借助計算機擴展到社會各個領(lǐng)域，而且空前地被加強了，這可能會讓人類更加脫離物質(zhì)層面，沉浸在意識世界里，顛來倒去地搞一些東西，也就是你說的“空轉(zhuǎn)”。在農(nóng)業(yè)社會，我們的生存空間基本上就是一個自然世界；在工業(yè)社會，絕大多數(shù)人生活在城市，城市是一個人工世界，這個時候人類和自然是一種對立的關(guān)系，人類要征服自然，要剝奪自然；到智能紀元之后，我們的生存空間變得更復(fù)雜，出現(xiàn)了一個虛擬的網(wǎng)絡(luò)空間，所以人類今天的生存空間是自然空間、人工物質(zhì)空間和虛擬網(wǎng)絡(luò)空間，這三個空間的復(fù)合?，F(xiàn)在，很多人試圖把網(wǎng)絡(luò)空間獨立化，也就是“元宇宙”，在這個虛擬空間里我們確實可以不受物理規(guī)律限制，完全自由地暢行。

但這還是會遇到物質(zhì)的制約，“暴力計算”需要消耗大量能源，制造芯片也需要現(xiàn)實產(chǎn)能，人對算力的追求幾乎可以是無限的，現(xiàn)有資源是不可能匹配無限的。同時，還出現(xiàn)了一個非常嚴重的問題：人與自然分離的傾向。我們看到過新聞，有的孩子沉迷電子游戲產(chǎn)生各種各樣的問題，實際上不僅是孩子，這是一個關(guān)于生命意義的非常深刻的哲學層面的問題。物質(zhì)世界和虛擬世界是什么關(guān)系？人類和虛擬世界是什么關(guān)系？我們要不要離物質(zhì)世界越來越遠，進入到由思維創(chuàng)造的意識世界里面去？

觀察者網(wǎng)：這是不是跟“物質(zhì)第一性”還是“意識第一性”有關(guān)的話題，我會聯(lián)想到馬克思當時對資本主義的批判，因為資本主義的生產(chǎn)方式就是資本家的意志強加于物質(zhì)生產(chǎn)之上，所謂“木腦袋倒立在地上自己跳舞”，不管這個物質(zhì)世界的“實然”是怎樣的，它就是追求一個意識的“應(yīng)然”的資本增殖。

謝耘：對，按照馬克思的說法，資本最后追求的是資本無限增殖這么一個虛無縹緲的目的。所謂資本增殖，其實就是脫離實質(zhì)的物質(zhì)生產(chǎn)，就活在意識世界里面。如果按照這個邏輯，我們面臨的挑戰(zhàn)非常大、非?，F(xiàn)實、而且非常本質(zhì)，甚至觸及到人類生存的價值問題。比如“數(shù)字孿生”，是人類又創(chuàng)造出另外一個和現(xiàn)實世界一樣的世界嗎？不是的。物質(zhì)世界和虛擬世界之間是一個映像的關(guān)系，而不是孿生的關(guān)系。

什么叫孿生？是指兩個世界是對等的關(guān)系。你的照片和你是對等的關(guān)系嗎？不是，它是映像的關(guān)系。所以，當我們把物質(zhì)世界信息化，放到虛擬世界里之后，它只是物質(zhì)世界里的一個映像，而絕不是一個孿生。第二，兩者也不是同一關(guān)系。同一關(guān)系是兩者密不可分，但現(xiàn)實世界與虛擬世界不是密不可分。舉個例子，區(qū)塊鏈產(chǎn)業(yè)化的謊言之一就是物品溯源，區(qū)塊鏈的系統(tǒng)的數(shù)據(jù)是高度可信任、可追溯、不可篡改的，但這三個屬性僅僅是指向區(qū)塊鏈中的數(shù)據(jù)，而我們要溯源的是物質(zhì)世界中的商品，區(qū)塊鏈中的數(shù)據(jù)能和物質(zhì)世界中的商品在時空上牢牢綁在一起嗎？做不到。所以，對信息技術(shù)要辯證地看，它是人類意識性的工具，意識可以反作用于物質(zhì)，但意識世界不是物質(zhì)世界。

觀察者網(wǎng)：很有趣，能不能再談一下“生成式人工智能”相對于信息技術(shù)的一般性和特殊性在哪里？為什么這次突然讓大眾對它產(chǎn)生了強烈的感知？

謝耘：我覺得這一次引起大眾的強烈反應(yīng)，就在于大家發(fā)現(xiàn)機器確實能和你說話。給大眾的震撼更多是一種感性體驗帶來的。從技術(shù)本質(zhì)上來講，人工智能這一輪進步并不是因為我們對智能原理有了新的認識，包括大模型等等的技術(shù)核心主要還是依賴于大量的數(shù)據(jù)統(tǒng)計，在這一點上，目前大家是有共識的。假設(shè)這個結(jié)論是正確的話，那就要說一下數(shù)據(jù)統(tǒng)計的技術(shù)能做到什么和不能做到什么。從信息論的角度來講，數(shù)據(jù)統(tǒng)計作為一種信息處理方式，它輸出的信息量一定小于輸入的信息量，也就是說，它不可能產(chǎn)生更多的信息。第二，它輸出的信息本質(zhì)上都包含在輸入的信息當中。這句話非常重要，只不過它把輸入的某些信息做了進行了篩選、過濾、組合，或者以新的方式展示。換句話說，它只是在輸入的集合當中做事情，其產(chǎn)出也沒超出這個集合。但是，因為模型的信息量非常大，所以對于一個人類個體來講，他會覺得很新鮮。但是相對于向機器輸入的大量數(shù)據(jù)來講，這些信息在本質(zhì)層面不是什么新鮮的東西，沒有增加新的東西給這個世界，這一點非常重要。

觀察者網(wǎng)：我們原來去訓(xùn)練人工智能，期望的一個方向是它能夠給我們確定性的結(jié)果，告訴我們一個精確的東西，從而推動產(chǎn)業(yè)應(yīng)用。但ChatGPT不是，它正是犧牲了精確性，來使大眾感覺它是一個“真人”。

謝耘：其實人類在用到人工智能這種統(tǒng)計方法之前，我們都希望工具給出一個確定性的結(jié)果，包括用計算機做計算。但現(xiàn)在基于統(tǒng)計的這些人工智能的方法，給出的是概率性的結(jié)果，所以，我們不能把它和以前的工具和方法等量齊觀地去看待。

觀察者網(wǎng)：既然它是一個意識的工具，我們是不是需要擔心來自少數(shù)人的意識，尤其是可能來自境外的意識，通過信息技術(shù)的賦能，來影響多數(shù)人的思維和行為的方式？

謝耘：確實非常危險，這不僅是社會問題，首先還是個體問題，如果一個人沒有很強的獨立意識的話，是很容易被別人左右的。信息技術(shù)的發(fā)展讓影響他人的意識這件事變得更加高效，甚至更加隱蔽。機器學習或者機器搜索出來的結(jié)果，不是中立的，它是被人訓(xùn)練出來的，它有人的“外意識”的本質(zhì)。

觀察者網(wǎng)：但是像傳統(tǒng)的教育，其實也是這樣的一個過程，只是現(xiàn)在它產(chǎn)生了一個效率上的提升，是不是能夠這樣理解？

謝耘：它影響的規(guī)?？涨?，借助網(wǎng)絡(luò)，可以輕易實現(xiàn)復(fù)制、傳播等等，在一件事情規(guī)模有限的時候，社會對它進行管理是比較容易的，如果規(guī)模巨大之后，管理是非常困難的。

觀察者網(wǎng)：那么如果站在政府立場要去治理它，可以有哪些抓手呢？

謝耘：我確實沒有站在政府的角度仔細考慮過到底該怎么治理的問題，但是虛擬空間有其賴以存在的一個基礎(chǔ)和兩個錨點。這是否能作為治理的抓手？我們可以討論。

首先，構(gòu)建虛擬空間的基礎(chǔ)就是邏輯數(shù)值計算。其次，它有兩個錨點，一個錨點是人，人類在創(chuàng)造這個空間，空間中的東西最終又被人所利用；第二個錨點是物質(zhì)世界，人的意識不能獨立于物質(zhì)世界而存在，虛擬世界作為“外意識”，其信息同樣來源于物質(zhì)世界，信息從物質(zhì)世界進入虛擬空間，在虛擬空間被處理完之后，又回到物質(zhì)世界，應(yīng)用在物質(zhì)世界之上。所以整個虛擬世界有一個基本的內(nèi)在的基礎(chǔ)，有兩個外部的錨點，不論它怎么發(fā)展，這三個要素是不會變的。

觀察者網(wǎng)：能不能從“兩個錨點”的視角來看這次的《生成式人工智能服務(wù)管理辦法（征求意見稿）》？

謝耘：不論利用信息技術(shù)做什么，終歸應(yīng)當是服務(wù)于人，也就是服務(wù)于我們真實社會的，這是一個基本的出發(fā)點。要治理“生成式人工智能”，一個抓手當然是“人”，也就是現(xiàn)有的社會秩序。所以《征求意見稿》開宗明義，其依據(jù)是一系列現(xiàn)有法律和行政法規(guī)制定；其次，“研發(fā)、利用生成式人工智能產(chǎn)品，面向中華人民共和國境內(nèi)公眾提供服務(wù)的，適用本辦法”，這就是說，不但本土相關(guān)企業(yè)要守規(guī)矩，境外的公司的相關(guān)產(chǎn)品或服務(wù)如果要進來，也要守規(guī)矩。在《征求意見稿》中非常強調(diào)技術(shù)提供者的責任，把技術(shù)提供者作為主要管理目標。因為意識性工具和物質(zhì)性工具不一樣，物質(zhì)性工具的生產(chǎn)者，一般生產(chǎn)一個靜態(tài)的東西，只要產(chǎn)品符合標準，就完成了主體責任；而意識性工具提供者的產(chǎn)品很難界定，它是一個“活的”東西，所以必須持續(xù)強調(diào)技術(shù)提供者的責任。另外，如果針對技術(shù)使用者，可能執(zhí)法成本太高，因為那是面對不特定的多數(shù)人，而技術(shù)提供者由于受物質(zhì)條件限制，必然是少數(shù)“中心化”的大型企業(yè)，擁有龐大的資產(chǎn)和能力，也依賴其他組織的能源和資源供給，把它們作為治理抓手，也等于抓住了“物質(zhì)世界”這個錨點。我認為值得商榷的是第四條第四款，“利用生成式人工智能生成的內(nèi)容應(yīng)當真實準確，采取措施防止生成虛假信息”，可能征求意見稿的起草者還沒有明確理解“意識性工具”的特點，要求意識確保“正確”是不具有可操作性的。

觀察者網(wǎng)：最后一個問題，在這樣的一個大趨勢當中，個人應(yīng)該做怎樣的努力？對于學生或者年輕人，你有什么建議？

謝耘：我有三個建議，第一，如果真的要想查準確的資料，建議不要放棄傳統(tǒng)的搜索工具，那樣能直接查到原始的資料，可以看到原始資料到底它講了什么，而不是通過生成人工智能組合出來的一個答案，因為組合就有信息的損失。如果真的做嚴肅工作，查原始資料還是非常重要的，找到原汁原味第一手的東西，就不至于受有意或者無意的誤導(dǎo)。第二，在使用生成式人工智能工具的時候，一定要記住，得到的答案不一定對，要堅持存疑，我建議使用時還是要用其他的渠道加以印證，防止自己被數(shù)據(jù)統(tǒng)計導(dǎo)致的概率性或算法本身固有的其他局限給誤導(dǎo)。第三，即使生成式人工智能可以幫你干很多事，但不要依賴它。對于人的智能來說，用進廢退是一個規(guī)律，只有通過不斷實踐，對問題的認識才會不斷深化。即使是一些基礎(chǔ)的事情，也應(yīng)該把它當做一種必要的鍛煉，才能避免智力的退化，我發(fā)現(xiàn)在互聯(lián)網(wǎng)時代，智力退化是一種比較普遍的現(xiàn)象。

作者：謝耘 中國科學院工程序列任職資格評審委員會主任