Nature最新研究：AI比人類更懂“人類心理”？

一項新的研究發(fā)現(xiàn)，人工智能（AI）或許具備了人類特有的能力之一，即“心智理論”（Theory of Mind，ToM）。

也就是說，在追蹤人類的心理狀態(tài)方面，比如“發(fā)現(xiàn)錯誤想法”“理解間接言語”“識別失禮”等，GPT（GPT-4、GPT-3.5）和 Llama 2 在特定情況下的表現(xiàn)，已被證明接近甚至超過了人類。

這些發(fā)現(xiàn)不僅表明大型語言模型（LLMs）展示出了與人類心理推理輸出一致的行為，而且還突出了系統(tǒng)測試的重要性，從而確保在人類智能和人工智能之間進行非表面的比較。

相關(guān)研究論文以“Testing theory of mind in large language models and humans”為題，已發(fā)表在 Nature 子刊 Nature Human Behaviour 上。

GPT 更懂“誤導(dǎo)”，Llama 2 更懂“禮貌”

心智理論，是一個心理學(xué)術(shù)語，是一種能夠理解自己以及周圍人類的心理狀態(tài)的能力，這些心理狀態(tài)包括情緒、信仰、意圖、欲望、假裝等，自閉癥通常被認為是患者缺乏這一能力所導(dǎo)致的。

以往，心智理論這一能力被認為是人類特有的。但除了人類之外，包括多種靈長類動物，如黑猩猩，以及大象、海豚、馬、貓、狗等，都被認為可能具備簡單的心智理論能力，目前仍有爭議。

最近，諸如 ChatGPT 這樣的大型語言模型（LLMs）的快速發(fā)展引發(fā)了一場激烈的爭論，即這些模型在心智理論任務(wù)中表現(xiàn)出的行為是否與人類行為一致。

在這項工作中，來自德國漢堡-埃彭多夫大學(xué)醫(yī)學(xué)中心的研究團隊及其合作者，反復(fù)測試了兩個系列的 LLMs（GPT 和 Llama 2）的不同心智理論能力，并將它們的表現(xiàn)與 1907 名人類參與者進行比較。

他們發(fā)現(xiàn)，GPT 模型在識別間接要求、錯誤想法和誤導(dǎo)三方面的表現(xiàn)，可以達到甚至超越人類的平均水平，而 Llama 2 的表現(xiàn)還不如人類。

在識別失禮方面，Llama 2 要強于人類，但 GPT 表現(xiàn)不佳。

研究團隊認為，Llama 2 表現(xiàn)好是因為回答的偏見程度較低，而不是因為真的對失禮敏感，GPT 表現(xiàn)較差其實是因為對堅持結(jié)論的超保守態(tài)度，而不是因為推理錯誤。

圖庫版權(quán)圖片，轉(zhuǎn)載使用可能引發(fā)版權(quán)糾紛

AI 的心智理論已達人類水平？

在論文的討論部分，研究團隊對 GPT 模型在識別不當(dāng)言論任務(wù)中的表現(xiàn)進行了深入分析，實驗結(jié)果支持了 GPT 模型在識別不當(dāng)言論方面存在過度保守的假設(shè)，而不是推理能力差。當(dāng)問題以可能性的形式提出時，GPT 模型能夠正確識別并選擇最可能的解釋。

同時，他們也通過后續(xù)實驗揭示了 LLaMA2-70B 的優(yōu)越性可能是由于其對無知的偏見，而不是真正的推理能力。

此外，他們還指出了未來研究的方向，包括進一步探索 GPT 模型在實時人機交互中的表現(xiàn)，以及這些模型的決策行為如何影響人類的社會認知。

他們提醒道，盡管 LLM 在心智理論任務(wù)上的表現(xiàn)堪比人類，但并不意味著它們具有人類般的能力，也代表它們能掌握心智理論。

盡管如此，他們也表示，這些結(jié)果是未來研究的重要基礎(chǔ)，并建議進一步研究 LLM 在心理推斷上的表現(xiàn)會如何影響個體在人機交互中的認知。

論文鏈接：

https://www.nature.com/articles/s41562-024-01882-z