0.36秒即可完成一次高分辨率全球海洋預(yù)報(bào)！國防科技大學(xué)推出「羲和」大模型，性能超越主流數(shù)值預(yù)報(bào)系統(tǒng)

在近日舉行的第 20 屆 CCF HPC China 2024 大會(huì)上，第六屆海洋數(shù)值預(yù)報(bào)與高性能計(jì)算論壇圓滿落幕。在該論壇中，國防科技大學(xué)氣象海洋學(xué)院汪祥課題組助理研究員韓毅以「羲和：數(shù)據(jù)驅(qū)動(dòng)的全球渦可分辨海洋環(huán)境預(yù)報(bào)大模型」為主題帶來了深度分享。HyperAI超神經(jīng)在不違原意的前提下，整理了演講的核心內(nèi)容，以下為演講實(shí)錄。

「碳」基智能進(jìn)化「硅」基智能，海洋環(huán)境智能預(yù)報(bào)大模型蓄勢(shì)待發(fā)

天氣預(yù)報(bào)一直是人們?nèi)粘Ｉ畈豢苫蛉钡囊徊糠?。過去，基于物理驅(qū)動(dòng)的數(shù)值預(yù)報(bào)可以通過接收全球天、地、海、空的各種氣象觀測資料，并在超級(jí)計(jì)算機(jī)上對(duì)這些資料進(jìn)行融合處理，進(jìn)而求解一組描述大氣運(yùn)動(dòng)的偏微分方程，從而預(yù)報(bào)未來天氣變化。

嚴(yán)格來講，被稱為「優(yōu)美的」、「天才的」數(shù)值預(yù)報(bào)技術(shù)已有近 120 年的歷史。1980 年代以來，隨著衛(wèi)星、雷達(dá)、飛機(jī)和地面觀測系統(tǒng)的日趨成熟，大氣數(shù)據(jù)激增，此外，高性能計(jì)算機(jī)算力也不斷提升，數(shù)值天氣預(yù)報(bào)的準(zhǔn)確率得到了顯著提高。

自 2020 年以來，隨著人工智能技術(shù)的快速發(fā)展，通過融合高分辨率遙感觀測技術(shù)、再分析技術(shù)和物聯(lián)網(wǎng)觀測技術(shù)等，人工智能預(yù)報(bào)大模型開始在氣象預(yù)報(bào)領(lǐng)域嶄露頭角。

對(duì)此，韓毅博士形象地將這兩種方法稱為「碳」基智能、「硅」基智能，在他看來，傳統(tǒng)物理方程是基于人腦歸納總結(jié)各類數(shù)據(jù)提出，而智能預(yù)報(bào)大模型則是基于人工神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)蘊(yùn)含于大量數(shù)據(jù)中的物理規(guī)律。

近年來，以深度學(xué)習(xí)為代表的人工智能技術(shù)在氣象預(yù)報(bào)領(lǐng)域取得了重要進(jìn)展，涌現(xiàn)了一系列氣象智能預(yù)報(bào)大模型，比如英偉達(dá)的 FourCastNet、谷歌的 GraphCast、華為的盤古、上海人工智能實(shí)驗(yàn)室的風(fēng)烏和復(fù)旦大學(xué)的伏羲等。

盡管氣象預(yù)報(bào)領(lǐng)域的智能模型取得了顯著成就，但在海洋環(huán)境預(yù)報(bào)方面，仍然缺乏能夠與現(xiàn)有業(yè)務(wù)系統(tǒng)相媲美的全球海洋環(huán)境預(yù)報(bào)大模型。然而，海洋預(yù)報(bào)的重要性毋庸置疑，它不僅影響著航海與漁業(yè)，也是保障沿海地區(qū)安全和經(jīng)濟(jì)發(fā)展的關(guān)鍵因素，構(gòu)建海洋大模型勢(shì)在必行。

當(dāng)前海洋環(huán)境智能大預(yù)報(bào)面臨的主要挑戰(zhàn)有兩個(gè)方面。首先，海洋被大陸和島嶼分割成多個(gè)具有不同特征的相對(duì)獨(dú)立區(qū)域，準(zhǔn)確建模這些區(qū)域的內(nèi)部變化規(guī)律和相互影響機(jī)制頗具挑戰(zhàn)。其次，海洋過程與現(xiàn)象的尺度小于氣象，如何在有效的計(jì)算開銷和時(shí)間成本內(nèi)，模擬更小尺度的海洋過程現(xiàn)象是當(dāng)下的難點(diǎn)。

聚焦主流數(shù)據(jù)集，「羲和」可實(shí)現(xiàn) 1/12° 高分辨率海洋環(huán)境預(yù)報(bào)

為了應(yīng)對(duì)這些挑戰(zhàn)，國防科技大學(xué)氣象海洋學(xué)院聯(lián)合復(fù)旦大學(xué)大氣與海洋科學(xué)系、中南大學(xué)計(jì)算機(jī)學(xué)院等單位，成功研制了首個(gè)數(shù)據(jù)驅(qū)動(dòng)的全球 1/12° 高分辨率海洋環(huán)境預(yù)報(bào)大模型「羲和」，該模型預(yù)報(bào)準(zhǔn)確率可達(dá)世界先進(jìn)數(shù)值預(yù)報(bào)業(yè)務(wù)系統(tǒng)水平，目前已在多個(gè)相關(guān)業(yè)務(wù)單位部署應(yīng)用。相關(guān)研究成果以「XiHe: A Data-Driven Model for Global Ocean Eddy-Resolving Forecasting」為題已發(fā)表預(yù)印版。

為了多維度對(duì)模型的性能進(jìn)行深入探索，韓毅博士重點(diǎn)強(qiáng)調(diào)了團(tuán)隊(duì)對(duì)于數(shù)據(jù)集選擇的思考。他表示，「羲和」通過利用 1993 年至 2017 年的 25 年 GLORYS12 海洋再分析數(shù)據(jù)、ERA5 海表面風(fēng)場數(shù)據(jù)，以及 CMEMS 提供的海表面溫度衛(wèi)星觀測數(shù)據(jù)進(jìn)行訓(xùn)練，從大量數(shù)據(jù)中學(xué)習(xí)海洋環(huán)境運(yùn)行規(guī)律。

「羲和」能夠預(yù)報(bào)海表面溫度、海表面高度，以及 23 層的海溫、鹽度、海流等多種海洋要素。

「羲和」在 Swin-Transformer 架構(gòu)的基礎(chǔ)上，引入了 Ocean-Land Mask 機(jī)制和組傳播機(jī)制，由 Ocean-specific Transformer 模塊、下采樣模塊和上采樣模塊等部分構(gòu)成。

具體來看，Ocean-specific Transformer 模塊是「羲和」海洋預(yù)報(bào)大模型的核心，它由 5 個(gè)連續(xù)的 Ocean-Specific Block、1 個(gè) down-sampling block、1 個(gè) up-sampling block 構(gòu)成。每個(gè) block 中包括多個(gè)連續(xù)的局部空間信息提取模塊 (Local Spatial Information Extraction) 和全局空間信息提取模塊 (Global Spatial Information Extraction)，用于從樣本中抽取局部和全局海洋信息。

在功能實(shí)現(xiàn)上，局部空間信息提取模塊 (local spatial information extraction module) 利用窗口注意力機(jī)制，將自注意力的計(jì)算范圍限定在局部窗口內(nèi)，有效降低計(jì)算高分辨率數(shù)據(jù)全局自注意力的高額開銷。

全局空間信息提取模塊 (Global Spatial Information Extraction module) 允許跨窗口的信息交換，以捕獲遠(yuǎn)距離區(qū)域間的全局關(guān)聯(lián)信息學(xué)習(xí)(海洋過程之間的遙相關(guān)信息)。此外，它基于 Gpvit 可實(shí)現(xiàn)特征相似區(qū)塊的分組聚合，從而對(duì)具有相同特性的海域進(jìn)行共同建模。

值得一提的是，「羲和」海洋預(yù)報(bào)大模型還特別設(shè)計(jì)了 Ocean-land Masking 機(jī)制，用于在自注意力機(jī)制的計(jì)算過程中排除陸地部分?jǐn)?shù)據(jù)的干擾，使模型更專注于海洋規(guī)律的學(xué)習(xí)，并且降低模型訓(xùn)練的計(jì)算量。

各項(xiàng)評(píng)測均超越數(shù)值預(yù)報(bào)系統(tǒng)，「羲和」預(yù)報(bào)時(shí)長可達(dá) 30 天

在評(píng)測方面，「羲和」以法國麥卡托預(yù)報(bào)中心的 GLORYS12 再分析數(shù)據(jù)作為初始場，進(jìn)行了為期兩年 (2019 年-2020 年) 的預(yù)報(bào)實(shí)驗(yàn)。

同時(shí)，「羲和」還對(duì)印度洋、大西洋、太平洋等關(guān)鍵區(qū)域的海洋指標(biāo)進(jìn)行預(yù)測。評(píng)測結(jié)果表明，「羲和」與觀測數(shù)據(jù)的相關(guān)性較高，能夠?qū)崿F(xiàn)有效的預(yù)報(bào)效果，進(jìn)一步證明了其在海洋預(yù)報(bào)領(lǐng)域的先進(jìn)性和實(shí)用性。

具體而言，研究人員使用權(quán)威的世界海洋環(huán)境業(yè)務(wù)預(yù)報(bào)系統(tǒng)評(píng)測框架 IV-TT，以及浮標(biāo)陣列和衛(wèi)星等觀測數(shù)據(jù)等進(jìn)行模型評(píng)測。

以 IV-TT 評(píng)測為例，「羲和」在海水溫度剖面、鹽度剖面、海表流場、海平面高度等關(guān)鍵評(píng)測要素上，相較于法國 PSY4、加拿大 GIOPS、澳大利亞 OceanMPAS (BLK)、英國 FOAM 等當(dāng)前世界主流的業(yè)務(wù)預(yù)報(bào)系統(tǒng)，可實(shí)現(xiàn)更高的精度，預(yù)報(bào)時(shí)長可達(dá) 30 天。

在 IV-TT 評(píng)測中，「羲和」在海洋溫度變量、鹽度變量預(yù)報(bào)的所有時(shí)間段均優(yōu)于其所對(duì)比的數(shù)值預(yù)報(bào)系統(tǒng)。

「羲和」對(duì) 2019 年 1 月 1 日至 2020 年 12 月 31 日的時(shí)間范圍內(nèi)的 15m 深度洋流經(jīng)緯向分量，進(jìn)行不同時(shí)間的預(yù)報(bào)，結(jié)果發(fā)現(xiàn)，相比于 PSY4，「羲和」在緯向與經(jīng)向分量預(yù)報(bào)效果分別提升 9.95% 和 11.16%。

在海洋溫度鹽度變量預(yù)報(bào)，海表面異常預(yù)報(bào)中，「羲和」智能預(yù)報(bào)模型的 RMSE 總體最小，優(yōu)于其他數(shù)值預(yù)報(bào)系統(tǒng)。

在溫度廓線方面，研究發(fā)現(xiàn)，100m 以下時(shí)，「羲和」優(yōu)于其他用于對(duì)比的數(shù)值預(yù)報(bào)系統(tǒng)；但在 0-100m 內(nèi)，「羲和」稍弱于 FOAM 和 GIOPS，和 BLK 水平相當(dāng)，并略強(qiáng)于 PSY4。

在鹽度廓線方面，「羲和」在所有評(píng)測內(nèi)容上均優(yōu)于用于對(duì)比的數(shù)值預(yù)報(bào)系統(tǒng)。

在海表面溫度 (SST) -大尺度分布特征分析方面，「羲和」30 天預(yù)報(bào)結(jié)果的海表溫度、大尺度特征，與所觀測數(shù)據(jù)一致。

在海流評(píng)測中，研究人員對(duì)阿古拉斯洋流、黑潮、北大西洋環(huán)流進(jìn)行預(yù)測，結(jié)果發(fā)現(xiàn)，「羲和」對(duì)海流方向和流速的預(yù)報(bào)效果同樣出色，這證明了其對(duì)大尺度海洋現(xiàn)象的擬合能力。

海流流速預(yù)報(bào)對(duì)比結(jié)果，箭頭指示海洋流動(dòng)方向，顏色深淺代表海洋流速強(qiáng)度

韓毅博士表示，「羲和」憑借其高性能、快速推理、長期時(shí)效和新穎架構(gòu)等創(chuàng)新特點(diǎn)，在各項(xiàng)評(píng)測標(biāo)準(zhǔn)中表現(xiàn)出了卓越的性能，僅需 0.36 秒即可完成一次全球海洋預(yù)報(bào)，但海洋大模型的預(yù)報(bào)準(zhǔn)確度仍然需要提高。

例如，可以提高大模型的參數(shù)量，讓其從十億級(jí)向百億級(jí)發(fā)展；也可以提高模型分辨率，讓其從 10 公里向公里級(jí)不斷發(fā)展；還可以發(fā)展端到端預(yù)報(bào)模型，讓其從衛(wèi)星、浮標(biāo)、潛標(biāo)的觀測數(shù)據(jù)直接跳躍到預(yù)報(bào)；亦或在模型中融合物理機(jī)制，讓模型更好地反應(yīng)中小尺度物理過程與現(xiàn)象。而以上這些，需要更大的算力，更高分辨率、更高時(shí)間跨度的數(shù)據(jù)，更需要業(yè)界的一起努力。