0.36秒即可完成一次高分辨率全球海洋預(yù)報！國防科技大學(xué)推出「羲和」大模型，性能超越主流數(shù)值預(yù)報系統(tǒng)

在近日舉行的第 20 屆 CCF HPC China 2024 大會上，第六屆海洋數(shù)值預(yù)報與高性能計算論壇圓滿落幕。在該論壇中，國防科技大學(xué)氣象海洋學(xué)院汪祥課題組助理研究員韓毅以「羲和：數(shù)據(jù)驅(qū)動的全球渦可分辨海洋環(huán)境預(yù)報大模型」為主題帶來了深度分享。HyperAI超神經(jīng)在不違原意的前提下，整理了演講的核心內(nèi)容，以下為演講實錄。

「碳」基智能進(jìn)化「硅」基智能，海洋環(huán)境智能預(yù)報大模型蓄勢待發(fā)

天氣預(yù)報一直是人們?nèi)粘Ｉ畈豢苫蛉钡囊徊糠?。過去，基于物理驅(qū)動的數(shù)值預(yù)報可以通過接收全球天、地、海、空的各種氣象觀測資料，并在超級計算機上對這些資料進(jìn)行融合處理，進(jìn)而求解一組描述大氣運動的偏微分方程，從而預(yù)報未來天氣變化。

嚴(yán)格來講，被稱為「優(yōu)美的」、「天才的」數(shù)值預(yù)報技術(shù)已有近 120 年的歷史。1980 年代以來，隨著衛(wèi)星、雷達(dá)、飛機和地面觀測系統(tǒng)的日趨成熟，大氣數(shù)據(jù)激增，此外，高性能計算機算力也不斷提升，數(shù)值天氣預(yù)報的準(zhǔn)確率得到了顯著提高。

自 2020 年以來，隨著人工智能技術(shù)的快速發(fā)展，通過融合高分辨率遙感觀測技術(shù)、再分析技術(shù)和物聯(lián)網(wǎng)觀測技術(shù)等，人工智能預(yù)報大模型開始在氣象預(yù)報領(lǐng)域嶄露頭角。

對此，韓毅博士形象地將這兩種方法稱為「碳」基智能、「硅」基智能，在他看來，傳統(tǒng)物理方程是基于人腦歸納總結(jié)各類數(shù)據(jù)提出，而智能預(yù)報大模型則是基于人工神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)蘊含于大量數(shù)據(jù)中的物理規(guī)律。

近年來，以深度學(xué)習(xí)為代表的人工智能技術(shù)在氣象預(yù)報領(lǐng)域取得了重要進(jìn)展，涌現(xiàn)了一系列氣象智能預(yù)報大模型，比如英偉達(dá)的 FourCastNet、谷歌的 GraphCast、華為的盤古、上海人工智能實驗室的風(fēng)烏和復(fù)旦大學(xué)的伏羲等。

盡管氣象預(yù)報領(lǐng)域的智能模型取得了顯著成就，但在海洋環(huán)境預(yù)報方面，仍然缺乏能夠與現(xiàn)有業(yè)務(wù)系統(tǒng)相媲美的全球海洋環(huán)境預(yù)報大模型。然而，海洋預(yù)報的重要性毋庸置疑，它不僅影響著航海與漁業(yè)，也是保障沿海地區(qū)安全和經(jīng)濟發(fā)展的關(guān)鍵因素，構(gòu)建海洋大模型勢在必行。

當(dāng)前海洋環(huán)境智能大預(yù)報面臨的主要挑戰(zhàn)有兩個方面。首先，海洋被大陸和島嶼分割成多個具有不同特征的相對獨立區(qū)域，準(zhǔn)確建模這些區(qū)域的內(nèi)部變化規(guī)律和相互影響機制頗具挑戰(zhàn)。其次，海洋過程與現(xiàn)象的尺度小于氣象，如何在有效的計算開銷和時間成本內(nèi)，模擬更小尺度的海洋過程現(xiàn)象是當(dāng)下的難點。

聚焦主流數(shù)據(jù)集，「羲和」可實現(xiàn) 1/12° 高分辨率海洋環(huán)境預(yù)報

為了應(yīng)對這些挑戰(zhàn)，國防科技大學(xué)氣象海洋學(xué)院聯(lián)合復(fù)旦大學(xué)大氣與海洋科學(xué)系、中南大學(xué)計算機學(xué)院等單位，成功研制了首個數(shù)據(jù)驅(qū)動的全球 1/12° 高分辨率海洋環(huán)境預(yù)報大模型「羲和」，該模型預(yù)報準(zhǔn)確率可達(dá)世界先進(jìn)數(shù)值預(yù)報業(yè)務(wù)系統(tǒng)水平，目前已在多個相關(guān)業(yè)務(wù)單位部署應(yīng)用。相關(guān)研究成果以「XiHe: A Data-Driven Model for Global Ocean Eddy-Resolving Forecasting」為題已發(fā)表預(yù)印版。

為了多維度對模型的性能進(jìn)行深入探索，韓毅博士重點強調(diào)了團隊對于數(shù)據(jù)集選擇的思考。他表示，「羲和」通過利用 1993 年至 2017 年的 25 年 GLORYS12 海洋再分析數(shù)據(jù)、ERA5 海表面風(fēng)場數(shù)據(jù)，以及 CMEMS 提供的海表面溫度衛(wèi)星觀測數(shù)據(jù)進(jìn)行訓(xùn)練，從大量數(shù)據(jù)中學(xué)習(xí)海洋環(huán)境運行規(guī)律。

「羲和」能夠預(yù)報海表面溫度、海表面高度，以及 23 層的海溫、鹽度、海流等多種海洋要素。

「羲和」在 Swin-Transformer 架構(gòu)的基礎(chǔ)上，引入了 Ocean-Land Mask 機制和組傳播機制，由 Ocean-specific Transformer 模塊、下采樣模塊和上采樣模塊等部分構(gòu)成。

具體來看，Ocean-specific Transformer 模塊是「羲和」海洋預(yù)報大模型的核心，它由 5 個連續(xù)的 Ocean-Specific Block、1 個 down-sampling block、1 個 up-sampling block 構(gòu)成。每個 block 中包括多個連續(xù)的局部空間信息提取模塊 (Local Spatial Information Extraction) 和全局空間信息提取模塊 (Global Spatial Information Extraction)，用于從樣本中抽取局部和全局海洋信息。

在功能實現(xiàn)上，局部空間信息提取模塊 (local spatial information extraction module) 利用窗口注意力機制，將自注意力的計算范圍限定在局部窗口內(nèi)，有效降低計算高分辨率數(shù)據(jù)全局自注意力的高額開銷。

全局空間信息提取模塊 (Global Spatial Information Extraction module) 允許跨窗口的信息交換，以捕獲遠(yuǎn)距離區(qū)域間的全局關(guān)聯(lián)信息學(xué)習(xí)(海洋過程之間的遙相關(guān)信息)。此外，它基于 Gpvit 可實現(xiàn)特征相似區(qū)塊的分組聚合，從而對具有相同特性的海域進(jìn)行共同建模。

值得一提的是，「羲和」海洋預(yù)報大模型還特別設(shè)計了 Ocean-land Masking 機制，用于在自注意力機制的計算過程中排除陸地部分?jǐn)?shù)據(jù)的干擾，使模型更專注于海洋規(guī)律的學(xué)習(xí)，并且降低模型訓(xùn)練的計算量。

各項評測均超越數(shù)值預(yù)報系統(tǒng)，「羲和」預(yù)報時長可達(dá) 30 天

在評測方面，「羲和」以法國麥卡托預(yù)報中心的 GLORYS12 再分析數(shù)據(jù)作為初始場，進(jìn)行了為期兩年 (2019 年-2020 年) 的預(yù)報實驗。

同時，「羲和」還對印度洋、大西洋、太平洋等關(guān)鍵區(qū)域的海洋指標(biāo)進(jìn)行預(yù)測。評測結(jié)果表明，「羲和」與觀測數(shù)據(jù)的相關(guān)性較高，能夠?qū)崿F(xiàn)有效的預(yù)報效果，進(jìn)一步證明了其在海洋預(yù)報領(lǐng)域的先進(jìn)性和實用性。

具體而言，研究人員使用權(quán)威的世界海洋環(huán)境業(yè)務(wù)預(yù)報系統(tǒng)評測框架 IV-TT，以及浮標(biāo)陣列和衛(wèi)星等觀測數(shù)據(jù)等進(jìn)行模型評測。

以 IV-TT 評測為例，「羲和」在海水溫度剖面、鹽度剖面、海表流場、海平面高度等關(guān)鍵評測要素上，相較于法國 PSY4、加拿大 GIOPS、澳大利亞 OceanMPAS (BLK)、英國 FOAM 等當(dāng)前世界主流的業(yè)務(wù)預(yù)報系統(tǒng)，可實現(xiàn)更高的精度，預(yù)報時長可達(dá) 30 天。

在 IV-TT 評測中，「羲和」在海洋溫度變量、鹽度變量預(yù)報的所有時間段均優(yōu)于其所對比的數(shù)值預(yù)報系統(tǒng)。

「羲和」對 2019 年 1 月 1 日至 2020 年 12 月 31 日的時間范圍內(nèi)的 15m 深度洋流經(jīng)緯向分量，進(jìn)行不同時間的預(yù)報，結(jié)果發(fā)現(xiàn)，相比于 PSY4，「羲和」在緯向與經(jīng)向分量預(yù)報效果分別提升 9.95% 和 11.16%。

在海洋溫度鹽度變量預(yù)報，海表面異常預(yù)報中，「羲和」智能預(yù)報模型的 RMSE 總體最小，優(yōu)于其他數(shù)值預(yù)報系統(tǒng)。

在溫度廓線方面，研究發(fā)現(xiàn)，100m 以下時，「羲和」優(yōu)于其他用于對比的數(shù)值預(yù)報系統(tǒng)；但在 0-100m 內(nèi)，「羲和」稍弱于 FOAM 和 GIOPS，和 BLK 水平相當(dāng)，并略強于 PSY4。

在鹽度廓線方面，「羲和」在所有評測內(nèi)容上均優(yōu)于用于對比的數(shù)值預(yù)報系統(tǒng)。

在海表面溫度 (SST) -大尺度分布特征分析方面，「羲和」30 天預(yù)報結(jié)果的海表溫度、大尺度特征，與所觀測數(shù)據(jù)一致。

在海流評測中，研究人員對阿古拉斯洋流、黑潮、北大西洋環(huán)流進(jìn)行預(yù)測，結(jié)果發(fā)現(xiàn)，「羲和」對海流方向和流速的預(yù)報效果同樣出色，這證明了其對大尺度海洋現(xiàn)象的擬合能力。

海流流速預(yù)報對比結(jié)果，箭頭指示海洋流動方向，顏色深淺代表海洋流速強度

韓毅博士表示，「羲和」憑借其高性能、快速推理、長期時效和新穎架構(gòu)等創(chuàng)新特點，在各項評測標(biāo)準(zhǔn)中表現(xiàn)出了卓越的性能，僅需 0.36 秒即可完成一次全球海洋預(yù)報，但海洋大模型的預(yù)報準(zhǔn)確度仍然需要提高。

例如，可以提高大模型的參數(shù)量，讓其從十億級向百億級發(fā)展；也可以提高模型分辨率，讓其從 10 公里向公里級不斷發(fā)展；還可以發(fā)展端到端預(yù)報模型，讓其從衛(wèi)星、浮標(biāo)、潛標(biāo)的觀測數(shù)據(jù)直接跳躍到預(yù)報；亦或在模型中融合物理機制，讓模型更好地反應(yīng)中小尺度物理過程與現(xiàn)象。而以上這些，需要更大的算力，更高分辨率、更高時間跨度的數(shù)據(jù)，更需要業(yè)界的一起努力。