超導(dǎo)材料搜索效率提升5倍！佛羅里達大學等用深度學習變革材料發(fā)現(xiàn)，成果登Nature子刊

在科幻電影「阿凡達」中的潘多拉星球，那座被綠色藤蔓纏繞、懸浮于云端的哈利路亞山，無疑給觀眾留下了深刻的印象。其懸浮的奧秘，就在于山間蘊藏的室溫超導(dǎo)礦石「Unobtanium」。電影中，人類為了搶奪這種地球上不存在的至寶，不惜摧毀納美人的家園。雖然這只是一個虛構(gòu)的故事，但現(xiàn)實中，物理學家們對超導(dǎo)材料的渴望與追求，卻絲毫不亞于電影中的人類對「Unobtanium」的執(zhí)著。因為從理論上來講，超導(dǎo)材料能夠提供永不枯竭的能量供應(yīng)。

研究人員對超導(dǎo)材料的研究在 2023 年達到了一個小高潮。當時，韓國團隊宣稱發(fā)現(xiàn)了室溫超導(dǎo)材料 LK-99，一時間引起了全球的廣泛關(guān)注，甚至被一些人視為繼 ChatGPT 之后的又一重大技術(shù)突破。盡管最終這一發(fā)現(xiàn)被證實是一場烏龍，但它卻讓超導(dǎo)材料的熱度再次飆升，也讓人們看到了這一領(lǐng)域巨大的潛力。

而隨著 AI for Science 的興起，人們開始大膽設(shè)想：能否借助 AI 技術(shù)來發(fā)現(xiàn)室溫超導(dǎo)材料？從理論上講，這是完全可行的，雖然仍存在挑戰(zhàn)，但已經(jīng)有一些研究團隊在這方面邁出了重要的一步。例如，美國佛羅里達大學和田納西大學的研究人員，通過深度學習模型 BETE-NET，成功預(yù)測了金屬的電聲相互作用 Eliashberg 譜函數(shù) α2F(ω)，并將搜索高 Tc 超導(dǎo)體的效率提高了 5 倍。這一成果不僅為超導(dǎo)材料的發(fā)現(xiàn)提供了新的思路和方法，也為 AI 技術(shù)在材料科學領(lǐng)域的應(yīng)用樹立了典范。

相關(guān)成果以「Accelerating superconductor discovery through tempered deep learning of the electron-phonon spectral function」為題，發(fā)表于學術(shù)期刊 npj Computational Materials。

超導(dǎo)材料的困境：訓練數(shù)據(jù)集和機器學習技術(shù)的「兩難抉擇」
人工智能模型對超導(dǎo)體的有效性，通常取決于兩個關(guān)鍵因素：訓練數(shù)據(jù)集和機器學習技術(shù)的選擇。只有解決了這兩個關(guān)鍵要素，才能更好地推動超導(dǎo)材料的研究和發(fā)展，為未來的科技創(chuàng)新奠定堅實基礎(chǔ)。然而，這兩大方向均面臨著諸多困難。

首先，能夠快速準確估算金屬超導(dǎo)性質(zhì)的模型，通常需要從材料信息學數(shù)據(jù)庫中獲取數(shù)萬個數(shù)據(jù)點。然而，與其他數(shù)據(jù)庫不同，要開發(fā)相應(yīng)的大規(guī)模 α2F(ω) 數(shù)據(jù)集卻難上加難。這不僅是因為其成本過高，還因為缺乏一套標準化的密度泛函理論參數(shù)（例如 k 點和 q 點密度、平滑值等），來準確計算 α2F(ω)。鑒于這些障礙，科學家更需要一套能夠有效處理小數(shù)據(jù)集的機器學習技術(shù)，以突破當前的困境，推動超導(dǎo)性質(zhì)估算模型的發(fā)展。

其次，在超導(dǎo)性研究領(lǐng)域，研究人員在使用此類模型時經(jīng)常面臨一個重大挑戰(zhàn)：可用的數(shù)據(jù)集通常是不均勻的，并且數(shù)量有限。長期以來，超導(dǎo)材料的研究主要依賴于包含實驗 Tc 值的知名「SuperCon」數(shù)據(jù)庫來解決超導(dǎo)性質(zhì)有限數(shù)據(jù)這一難題。然而，該數(shù)據(jù)庫存在諸多問題，如充斥著重復(fù)條目、值得商榷的數(shù)值以及不明確的化學式等。這種大型、全面數(shù)據(jù)集匱乏的現(xiàn)象，不僅大大限制了新型超導(dǎo)材料的開發(fā)，還嚴重阻礙了超導(dǎo)材料在能源傳輸、交通領(lǐng)域的磁懸浮以及醫(yī)學成像中強大超導(dǎo)磁體等方面具有的變革潛力。

盡管已經(jīng)出現(xiàn)了一批材料結(jié)構(gòu)和計算 α2F(ω) 的數(shù)據(jù)庫，如格拉茨理工大學理論與計算物理研究所提出的僅包含高壓氫化物的 Superhydra 數(shù)據(jù)庫，德國哈雷物理研究所推出的專注于赫斯勒超導(dǎo)體的數(shù)據(jù)庫，葡萄牙科英布拉大學物理系研究人員基于 7,000 次電子-聲子計算訓練的模型，以及美國國家標準與技術(shù)研究所開發(fā)的包含 626 種動態(tài)穩(wěn)定材料及其相關(guān) α2F(ω) 的數(shù)據(jù)庫，但這些數(shù)據(jù)庫在預(yù)測 α2F(ω) 時的表現(xiàn)依然欠佳。

為了更好地解決這些問題，佛羅里達大學和田納西大學的研究人員在本研究中通過創(chuàng)建一個全面的 Eliashberg 譜函數(shù)數(shù)據(jù)集，并利用現(xiàn)代深度學習技術(shù)開發(fā)穩(wěn)健模型，成功解決了這兩個關(guān)鍵要素，為超導(dǎo)材料的研究和發(fā)展開辟了新的道路。這一成果不僅為超導(dǎo)材料的研究提供了新的方法和工具，也為未來的科技創(chuàng)新和應(yīng)用奠定了堅實的基礎(chǔ)。
BETE-NET：可在數(shù)據(jù)有限的情況下，顯著拓展計算探索的邊界

在計算電子-聲子耦合時，需要確保用于計算 Kohn-Sham 波函數(shù)的 k 點網(wǎng)格與用于計算聲子的 q 點網(wǎng)格相匹配。為了解決數(shù)據(jù)集的問題，該研究首先提出了一種標準化選擇 k 和 q 網(wǎng)格的算法，可基于用戶提供的 k 和 q 點密度生成網(wǎng)格，而不是使用固定網(wǎng)格來處理不同單位晶胞體積的材料。通過這種方法，研究人員不僅提高了數(shù)據(jù)的均勻性和質(zhì)量，還確保了數(shù)據(jù)集的廣泛適用性，最終生成了一個包含 818 種動態(tài)穩(wěn)定材料的高質(zhì)量電子-聲子計算的全面數(shù)據(jù)庫。緊接著，研究人員將 818 種動態(tài)穩(wěn)定材料按照 80%-20% 的比例劃分為訓練集和測試集。
在評估了數(shù)據(jù)集的質(zhì)量之后，為了應(yīng)對數(shù)據(jù)庫規(guī)模有限這一深度學習問題，研究人員進一步設(shè)計了 BETE-NET。如下圖所示，BETE-NET 模型通過將晶體結(jié)構(gòu)轉(zhuǎn)換為圖，并結(jié)合原子序數(shù)、原子質(zhì)量、原子間距離以及位點投影的 PhDOS 信息，通過一系列卷積 (Convolution) 和門控塊 (Gated-block) 操作，最終通過池化操作 (Pooling) 生成 α2F(ω) 的預(yù)測。通過引入 PhDOS 信息，模型的預(yù)測性能得到了顯著提升。這種設(shè)計不僅充分利用了晶體結(jié)構(gòu)的信息，還結(jié)合了材料的振動特性，使得模型在預(yù)測超導(dǎo)材料的 α2F(ω)時更加準確和可靠。最終，該研究訓練了 3 個變體：

* CSO（僅晶體結(jié)構(gòu)）變體：模型的基礎(chǔ)網(wǎng)絡(luò)，僅使用晶體結(jié)構(gòu)信息進行預(yù)測。

* CPD（粗 PhDOS）變體：模型引入了位點投影的聲子態(tài)密度 (PhDOS) 信息，進一步提高了模型的預(yù)測性能。

* FPD（細 PhDOS）變體：使用了更精細的 q 網(wǎng)格計算 PhDOS，進一步提高了模型對材料振動特性的捕捉能力。

BETE-NET 架構(gòu)

在有限數(shù)據(jù)的情況下，模型容易快速過擬合。盡管傳統(tǒng)機器學習認為過擬合對模型的泛化能力有害，但許多深度學習模型在訓練到近乎零損失時，仍能保持良好的泛化誤差。這種現(xiàn)象被稱為「雙重下降」，可以視為一種受控的過擬合。如下圖所示，雙重下降現(xiàn)象包含 3 個階段：經(jīng)典階段 (Classical Rigime)、臨界階段 (Critical Regime) 和現(xiàn)代階段 (Modern Regime)，并且每個階段的損失景觀圖在插圖中進行了展示。通過繪制這些損失景觀圖，研究人員提出了一種合理的方法來直觀地解釋神經(jīng)網(wǎng)絡(luò)的偏差和方差，從而為雙重下降現(xiàn)象提供了定性解釋。

雙重下降現(xiàn)象的 3 個階段

該研究進一步在篩選高 Tc 材料方面得到了驗證。首先，研究將所有 Tc^DFT≥5K 的材料定義為高 T 材料，最終有 33 種材料符合這一標準。接著，研究繪制了每個模型的精確召回率曲線。結(jié)果表明，CPD 和 FPD 模型獲得的平均精度 (AP) 幾乎是隨機分類器的 5 倍。這表明，這些模型在識別高 Tc 材料方面表現(xiàn)出色，顯著優(yōu)于隨機分類器，從而驗證了模型在實際應(yīng)用中的有效性和可靠性。

高 Tc 材料的篩選

綜上所述，BETE-NET 模型堪稱特定領(lǐng)域知識與先進深度學習技術(shù)完美融合的典范，它能夠在數(shù)據(jù)有限的情況下，高效預(yù)測金屬的電聲相互作用 Eliashberg 譜函數(shù) α2F(ω)，不僅顯著拓展了計算探索的邊界，更有望通過助力新型超導(dǎo)體的發(fā)現(xiàn)，帶來具有變革性的社會影響。

等變神經(jīng)網(wǎng)絡(luò)：助力材料界的 AlphaFold 誕生

有趣的是，就在本研究發(fā)布后不久，1 月 17 日，微軟 CEO 納德拉親自站臺，宣布旗下 MatterGen 模型登上 Nature 雜志。這一模型能夠超越目前已知材料，利用 AI 發(fā)現(xiàn)針對特定需求的新材料。這標志著材料設(shè)計領(lǐng)域迎來了新的范式：從傳統(tǒng)的數(shù)據(jù)庫篩選，轉(zhuǎn)變?yōu)楦鶕?jù)需求提示直接生成新材料。有網(wǎng)友驚呼：「材料界的 AlphaFold 來了」。

值得注意的是，MatterGen 模型的關(guān)鍵在于其獨特的擴散模型架構(gòu)。在這一擴散過程中，MatterGen 模型采用的是等變分數(shù)網(wǎng)絡(luò)，這也是本研究在學習 α2F(ω) 時所選用的模型，主要負責從擴散過程中恢復(fù)出原始的晶體結(jié)構(gòu)，即去噪過程。

等變神經(jīng)網(wǎng)絡(luò)在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，加入了等變性的約束要求。網(wǎng)絡(luò)中的每一種操作都要求是等變的，因此整個網(wǎng)絡(luò)是一個等變映射。事實上，等變神經(jīng)網(wǎng)絡(luò)已經(jīng)成為材料領(lǐng)域 AI for Science 研究的主流。
去年 9 月，日本東北大學和麻省理工學院的研究人員推出了一種新型人工智能工具 GNNOpt。通過集成等變神經(jīng)網(wǎng)絡(luò)，GNNOpt 利用 944 種材料組成的小型數(shù)據(jù)集實現(xiàn)了高質(zhì)量的預(yù)測，成功識別出 246 種太陽能轉(zhuǎn)換效率超過 32% 的材料，以及 296 種具有高量子權(quán)重的量子材料，極大地加速了能源和量子材料的發(fā)現(xiàn)。
去年 8 月，清華大學徐勇、段文暉課題組提出了神經(jīng)網(wǎng)絡(luò)密度泛函理論 (neural-network DFT) 框架。該研究將等變神經(jīng)網(wǎng)絡(luò)以材料結(jié)構(gòu)信息的嵌入作為輸入條件，進而輸出哈密頓量矩陣，從而統(tǒng)一了神經(jīng)網(wǎng)絡(luò)中損失函數(shù)的最小化與密度泛函理論中的能量泛函優(yōu)化。相比傳統(tǒng)的有監(jiān)督學習方法，這一框架具有更高的準確性和效率，為發(fā)展深度學習 DFT 方法開辟了新的途徑。此前，該研究團隊還提出了 xDeepH(extended DeepH) 方法，通過深度等變神經(jīng)網(wǎng)絡(luò)框架來表示磁性材料的DFT哈密頓量，從而進行高效的電子結(jié)構(gòu)計算。

如今，等變神經(jīng)網(wǎng)絡(luò)正引領(lǐng)超導(dǎo)材料領(lǐng)域邁向全新的研究范式。超導(dǎo)材料的研究與應(yīng)用已不再局限于實驗室，正逐步融入實際生活，其市場潛力也在持續(xù)釋放。據(jù)預(yù)測，全球超導(dǎo)材料市場規(guī)模將持續(xù)擴大，到 2027 年有望增至 192 億歐元。隨著等變神經(jīng)網(wǎng)絡(luò)等 AI 技術(shù)與超導(dǎo)材料的深度融合，人類正觸碰科技的「躍遷點」，開啟一個充滿無限可能的新時代。