AI大模型狂飆的背后，竟要靠“綠色計(jì)算”實(shí)現(xiàn)可持續(xù)發(fā)展？

當(dāng)前，人工智能（AI）已廣泛應(yīng)用于眾多領(lǐng)域，包括計(jì)算機(jī)視覺、自然語言處理、時(shí)間序列分析和語音合成等。

在深度學(xué)習(xí)時(shí)代，尤其是隨著大型語言模型（LLMs）的出現(xiàn)，大多數(shù)研究人員的注意力都集中在追求新的最先進(jìn)（SOTA）結(jié)果上，使得模型規(guī)模和計(jì)算復(fù)雜性不斷增加。

對(duì)高計(jì)算能力的需求帶來了更高的碳排放，也阻礙了資金有限的中小型公司和研究機(jī)構(gòu)的參與，從而破壞了研究的公平性。

為了應(yīng)對(duì) AI 在計(jì)算資源和環(huán)境影響方面的挑戰(zhàn)，綠色計(jì)算（Green Computing）已成為一個(gè)熱門研究課題。

近日，螞蟻集團(tuán)攜手國(guó)內(nèi)眾多高校和研究機(jī)構(gòu)共同發(fā)布一項(xiàng)調(diào)查報(bào)告，系統(tǒng)地概述了綠色計(jì)算所使用的技術(shù)，并提出了一個(gè)綠色計(jì)算框架，其中包括以下四個(gè)關(guān)鍵組成部分：

綠色衡量指標(biāo)（Measures of Greenness）：衡量智能系統(tǒng)所需計(jì)算資源的關(guān)鍵因素和方法。常見的測(cè)量指標(biāo)包括直接指標(biāo)，如運(yùn)行時(shí)間、電力消耗和模型大小，也包括間接指標(biāo)，如碳排放。

節(jié)能 AI（Energy-Efficient AI）：優(yōu)化 AI 模型整個(gè)生命周期的節(jié)能方法，包括模型設(shè)計(jì)、訓(xùn)練、推理，還包括針對(duì)大型語言模型的優(yōu)化技術(shù)，從而減少訓(xùn)練和推理的功耗。

節(jié)能計(jì)算系統(tǒng)（Energy-Efficient Computing Systems）：優(yōu)化計(jì)算系統(tǒng)資源消耗的技術(shù)，包括集群資源調(diào)度、分區(qū)和數(shù)據(jù)管理優(yōu)化。

可持續(xù)性 AI 應(yīng)用（AI for Sustainability）：采用 AI 來提高可持續(xù)性的應(yīng)用，包括用于環(huán)境效益（用于環(huán)境的綠色計(jì)算）和提高工程效率（用于工程的綠色計(jì)算）的應(yīng)用。環(huán)境綠色計(jì)算包括利用衛(wèi)星成像 CV 監(jiān)測(cè)空氣污染排放和碳封存估計(jì)等應(yīng)用，工程綠色計(jì)算包括優(yōu)化數(shù)據(jù)庫(kù)安全加密等。

該研究指出，“這一新的研究方向有可能解決資源限制和 AI 發(fā)展之間的沖突?！?/p>

相關(guān)研究論文以“On the Opportunities of Green Computing: A Survey”為題，已發(fā)表在預(yù)印本網(wǎng)站 arXiv 上。

論文鏈接：

https://arxiv.org/abs/2311.00447

從眾多 AI 算法的訓(xùn)練和推理案例中，模型大小、參數(shù)調(diào)優(yōu)和訓(xùn)練數(shù)據(jù)成為影響計(jì)算資源的三大主要因素。在這基礎(chǔ)上，該研究總結(jié)了六種常見的“環(huán)保性”測(cè)量方法，包括運(yùn)行時(shí)間、模型大小、FPO/FLOPS（浮點(diǎn)運(yùn)算操作數(shù)）、硬件功耗、能源消耗以及碳排放。

用于跟蹤“環(huán)保性”測(cè)量的工具包括 tfprof、綠色算法、CodeCarbon、Carbontracker 以及自動(dòng) AI 模型環(huán)保性跟蹤工具包。

在圖像分類、目標(biāo)檢測(cè)和其他 AI 任務(wù)中，一些傳統(tǒng)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，如 LeNet、VGG、GoogleNet 等，雖然取得了不錯(cuò)的性能，但卻需要過多的計(jì)算資源。因此，該研究提出使用 Depth-wise Separable Convolution、Fire Convolution、Flattened Convolution 以及Shrinked Convolution 等方法來解決這一問題。

此外，在開發(fā)基于圖數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)方面，該研究還提出了 ImprovedGCN，其中包含 GCN 的主要必要組成部分。另外，該研究還推薦了另外一種神經(jīng)網(wǎng)絡(luò)——SeHGNN，用于匯總預(yù)先計(jì)算的鄰近表示，降低了復(fù)雜性，避免了在每個(gè)訓(xùn)練周期中重復(fù)聚合鄰近頂點(diǎn)的冗余操作。

在時(shí)間序列分類方面，目前常用的集成學(xué)習(xí)方法需要大量計(jì)算資源。為此，研究建議使用LightTS 和 LightCTS 兩種方法來解決這個(gè)問題。

另外，Transformer 是一個(gè)強(qiáng)大的序列模型，但隨著序列長(zhǎng)度的增加，其需要的時(shí)間和內(nèi)存呈指數(shù)級(jí)增長(zhǎng)。自注意力（Self-Attention）類型的網(wǎng)絡(luò)在處理長(zhǎng)序列時(shí)需要大量?jī)?nèi)存和計(jì)算資源。為此，研究建議使用 Effective Attention 以及 EdgeBERT 和 R2D2 兩種模型來應(yīng)對(duì)這一挑戰(zhàn)。

除了特定神經(jīng)網(wǎng)絡(luò)組件的設(shè)計(jì)，還有一些通用策略可以用于高效的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，例如低秩模塊策略、靜態(tài)參數(shù)共享、動(dòng)態(tài)網(wǎng)絡(luò)和超級(jí)網(wǎng)絡(luò)等策略。這些策略可以無縫地集成到任何參數(shù)化結(jié)構(gòu)中。

在模型訓(xùn)練方面，研究總結(jié)了有效訓(xùn)練范式、訓(xùn)練數(shù)據(jù)效率以及超參數(shù)優(yōu)化三個(gè)方面的方法。為了實(shí)現(xiàn)綠色 AI，降低神經(jīng)網(wǎng)絡(luò)的能源消耗，可以采用模型剪枝、低秩分解、量化和蒸餾等有效方法。

在節(jié)能計(jì)算系統(tǒng)方面，研究簡(jiǎn)要介紹了包括優(yōu)化云數(shù)據(jù)庫(kù)資源利用、硬件和軟件協(xié)同設(shè)計(jì)等多方面的解決方案，這些原則也同樣適用于數(shù)據(jù)分析領(lǐng)域，包括利用混合查詢優(yōu)化和機(jī)器學(xué)習(xí)等技術(shù)，以提高處理過程的能源效率。

值得注意的是，綠色計(jì)算強(qiáng)調(diào)的是 AI 不僅在其自身的開發(fā)和運(yùn)行中應(yīng)具備能源效率，還應(yīng)積極參與各種綠色應(yīng)用領(lǐng)域，以解決環(huán)境和可持續(xù)性挑戰(zhàn)。

研究指出，AI 能夠有效地從監(jiān)測(cè)數(shù)據(jù)、遙感數(shù)據(jù)和氣象數(shù)據(jù)中提取有用信息，其中涵蓋了空氣污染監(jiān)測(cè)、碳封存估算、碳價(jià)格預(yù)測(cè)等眾多領(lǐng)域，從而為決策和行動(dòng)提供指導(dǎo)。

目前，盡管綠色計(jì)算已經(jīng)在能源效率和碳減排方面取得成功，但計(jì)算資源仍然成為產(chǎn)業(yè)增長(zhǎng)的瓶頸。為此，該研究提出了一些未來研究方向，包括在模型評(píng)估中加入“綠色度”測(cè)量，制定廣泛接受的綠色度評(píng)估框架，探索更小但更高效的語言模型，以及鼓勵(lì)更多工業(yè)應(yīng)用以降低對(duì)環(huán)境的影響。

另外，研究指出，綠色計(jì)算的未來將依賴于學(xué)術(shù)界、產(chǎn)業(yè)界和政府的共同努力，以實(shí)現(xiàn)環(huán)境可持續(xù)性和 AI 效率的平衡發(fā)展。政策支持、創(chuàng)新合作和最佳實(shí)踐分享將是推動(dòng)這一領(lǐng)域進(jìn)一步發(fā)展的關(guān)鍵。

作者：閆一米 編輯：學(xué)術(shù)君