版權(quán)歸原作者所有,如有侵權(quán),請聯(lián)系我們

算力頂天地,存力納乾坤:國家超級計(jì)算濟(jì)南中心的一體兩面

腦極體
原創(chuàng)
從技術(shù)協(xié)同到產(chǎn)業(yè)革命,從智能密鑰到已知盡頭
收藏

提起山東,大家第一時(shí)間想到的可能是五岳之首泰山?!对娊?jīng)》有云,泰山巖巖,魯邦所瞻,形容的就是泰山令人高山仰止的巍峨。時(shí)移事易,到了2022年,以“算賦百業(yè) 力導(dǎo)未來”為主題的首屆中國算力大會在山東濟(jì)南召開,全國計(jì)算領(lǐng)域人士聚在一起,看到的則是一座頂天立地的算力高山——國家超級計(jì)算濟(jì)南中心,成為新的齊魯?shù)貥?biāo)。

濟(jì)南市作為“中國算谷”,國家超級計(jì)算濟(jì)南中心是其算力支撐機(jī)構(gòu)之一,我國首臺完全采用自主處理器研制的千萬億次超級計(jì)算機(jī)“神威·藍(lán)光”,就誕生于此。

以前,大部分人都很關(guān)心算力發(fā)展,而國家超級計(jì)算濟(jì)南中心的實(shí)踐說明,數(shù)據(jù)存力更是算力價(jià)值的前提和基礎(chǔ),發(fā)揮算力價(jià)值之前,首先要構(gòu)建“數(shù)據(jù)存力”。國家超級計(jì)算濟(jì)南中心不僅是算力巔峰,還是存力標(biāo)桿,比如目前已經(jīng)在山河超級計(jì)算集群中落地了分布式存儲創(chuàng)新架構(gòu)。

20世紀(jì)50年代,馮諾伊曼在《101頁報(bào)告》中提出了計(jì)算機(jī)的核心:存儲、計(jì)算、控制,奠定了現(xiàn)代計(jì)算機(jī)的體系結(jié)構(gòu)。從此,算力和存力作為兩大高相關(guān)資源,其協(xié)同發(fā)展成為計(jì)算產(chǎn)業(yè)繞不開的主題。以新加坡、日本、加拿大等國為例,每1GB存儲空間對應(yīng)的算力可達(dá)1GFlops,存力和算力相對均衡。國家超級計(jì)算濟(jì)南中心的山河超級計(jì)算集群,能夠提供超850PFlops的算力,總的存儲資源池目前也達(dá)到了245PB規(guī)模。

如果說算力支撐著千行百業(yè)計(jì)算需求,那么存力就是容納吞吐著澎湃算力的乾坤。國家超級計(jì)算濟(jì)南中心,給了我們一個(gè)契機(jī),在東數(shù)西算工程正式啟動(dòng)的元年,去探尋存算協(xié)同發(fā)展的答案:數(shù)字經(jīng)濟(jì)所需要的算力應(yīng)該由怎樣的存力來承載?而算力與存力的協(xié)同發(fā)展,究竟能給國家重大科研和經(jīng)濟(jì)發(fā)展帶來哪些不可替代的貢獻(xiàn)?

道法自然:頂天立地的超算中心

了解國家超級計(jì)算濟(jì)南中心需要怎樣的存力,首先需要知道它承載了怎樣的計(jì)算。

《史記集解》記載,泰山“天高不可及,冀近神靈也”,國家超級計(jì)算濟(jì)南中心所承擔(dān)的計(jì)算任務(wù),也有著類似的高水平,主要是解決其他計(jì)算機(jī)解決不了的挑戰(zhàn)性問題,有著“頂天立地”的作用。

國家科研領(lǐng)域,超算中心服務(wù)于國家重大科研需求,主要應(yīng)用于生物計(jì)算、氣候模擬、類腦研究、災(zāi)害預(yù)報(bào)、新藥研發(fā)、基因研究、航空航天、自動(dòng)駕駛等領(lǐng)域,這些研究的特征之一就是數(shù)據(jù)密集,對于算力的需求十分龐大。以國家超級計(jì)算濟(jì)南中心的山河超級計(jì)算平臺為例:該平臺服務(wù)于山東省大科學(xué)計(jì)劃與大科學(xué)工程,為新一代信息技術(shù)、現(xiàn)代海洋、新能源新材料、高端裝備、醫(yī)養(yǎng)健康等產(chǎn)業(yè)提供算力支撐,要求性能高、算得快。

國計(jì)民生領(lǐng)域,超算中心的算力應(yīng)用涉及國計(jì)民生、科技創(chuàng)新,是支撐產(chǎn)業(yè)轉(zhuǎn)型升級的戰(zhàn)略性基礎(chǔ)設(shè)施,因此,在滿足國家科研任務(wù)對性能的巔峰要求之外,超算中心還要兼顧成本普惠、綠色低功耗等需求,支撐數(shù)字經(jīng)濟(jì)浪潮中層出不窮的應(yīng)用創(chuàng)新與計(jì)算需求。國家超級計(jì)算濟(jì)南中心就有多個(gè)計(jì)算平臺,承載著關(guān)乎國計(jì)民生的眾多應(yīng)用,對區(qū)域科研水平提高和數(shù)字經(jīng)濟(jì)發(fā)展,發(fā)揮著重要價(jià)值。

從 “頂天立地”的趨勢中不難看出,超算中心已經(jīng)成為衡量國家綜合實(shí)力的標(biāo)準(zhǔn)之一,也是各國科技戰(zhàn)略的必爭之地。以對自然環(huán)境和生態(tài)的模擬、基礎(chǔ)物理和生命科學(xué)等問題求解為己任的國家超級計(jì)算中心,自然也需要與之相匹配的存儲能力,包括:底層技術(shù)的自主創(chuàng)新、靈活擴(kuò)展的存儲容量、高效吞吐的存儲效率等。

國家超級計(jì)算中心作為存力的最佳試驗(yàn)場,濟(jì)南已經(jīng)率先邁出了探索的步伐。

吐納天地:存力中見數(shù)字乾坤

算力作為生產(chǎn)力,支撐社會經(jīng)濟(jì)的數(shù)字化轉(zhuǎn)型升級,而存力作為數(shù)據(jù)地基,在每一次吐故納新之中,助力數(shù)字經(jīng)濟(jì)行穩(wěn)致遠(yuǎn)。數(shù)據(jù)存力不僅以存儲容量為核心,還包含性能表現(xiàn)、安全可靠、綠色低碳在內(nèi)的綜合能力。數(shù)據(jù)存力成為數(shù)字經(jīng)濟(jì)背景下,全社會全產(chǎn)業(yè)發(fā)展的重要指標(biāo)。

那么,國家超級計(jì)算中心究竟需要怎樣的存力呢?國家超級計(jì)算濟(jì)南中心總工程師王繼彬在此次大會“以‘?dāng)?shù)’踐行,創(chuàng)新存儲架構(gòu)護(hù)航超算科技創(chuàng)新”的主題演講中指出,濟(jì)南超算率先落地應(yīng)用了創(chuàng)新的分布式存儲架構(gòu),已經(jīng)有一些經(jīng)過驗(yàn)證的關(guān)鍵指標(biāo):

一、安全可靠。作為國家的戰(zhàn)略性基礎(chǔ)設(shè)施,國家超級計(jì)算中心的安全可靠有兩層含義,一是底層技術(shù)的安全可靠,在新的國際形勢下,國家超級計(jì)算濟(jì)南中心承載著眾多科研任務(wù),尤其需要存儲領(lǐng)域的原創(chuàng)技術(shù),如材料介質(zhì)、高性能處理器等的系統(tǒng)創(chuàng)新,守護(hù)數(shù)據(jù)基石;二是日常運(yùn)行中的安全可靠,要求良好的容災(zāi)能力,在各類風(fēng)險(xiǎn),比如自然災(zāi)害、網(wǎng)絡(luò)襲擊、人為失誤等情況下,仍然保持業(yè)務(wù)不斷,數(shù)據(jù)不丟。

濟(jì)南中心所承載的國家對地觀測科學(xué)數(shù)據(jù)中心,每天需要對TB級的實(shí)時(shí)衛(wèi)星數(shù)據(jù)進(jìn)行集中存儲和計(jì)算,過程中不允許中斷,珍貴數(shù)據(jù)長期存儲不能丟失。濟(jì)南超算基于分布式存儲構(gòu)建的數(shù)據(jù)存儲系統(tǒng),能夠做到7*24小時(shí)業(yè)務(wù)不中斷,跨節(jié)點(diǎn)保護(hù)數(shù)據(jù)安全,很好地支撐了這一高可靠需求。

二、性能表現(xiàn)。大科學(xué)領(lǐng)域HPC應(yīng)用對存力的容量和效率提出了更高要求,一方面,科學(xué)計(jì)算的數(shù)據(jù)規(guī)模龐大,需要的存儲容量也越大,1臺基因測序儀每年產(chǎn)生的數(shù)據(jù)可達(dá)8.5PB,需要超前規(guī)劃、靈活擴(kuò)容,比如濟(jì)南超算的山河超級計(jì)算平臺,作為服務(wù)山東省大科學(xué)計(jì)劃與大科學(xué)工程的重大科學(xué)裝置,總存儲資源池就達(dá)到了245PB;另一方面,科學(xué)計(jì)算的存算數(shù)據(jù)交互頻繁,計(jì)算任務(wù)長,應(yīng)用負(fù)載多元化,訪存空間不規(guī)則,對存儲系統(tǒng)的吞吐性能要求很高。因此,濟(jì)南超算與華為合作,基于華為OceanStor Pacific分布式高性能并行存儲,實(shí)現(xiàn)了業(yè)內(nèi)1.3倍的性能提升,在IO500 10節(jié)點(diǎn)打榜中獲得全球第一的榜單成績。數(shù)據(jù)存得下、流得動(dòng),是存力的基礎(chǔ)指標(biāo),為科學(xué)計(jì)算發(fā)揮支撐作用。

三、統(tǒng)一管理。隨著數(shù)據(jù)應(yīng)用場景增多、AI技術(shù)的成熟,智能計(jì)算、云平臺等新業(yè)務(wù)成為主流,因此需要多個(gè)計(jì)算平臺針對不同應(yīng)用輸出不同算力。面對異構(gòu)計(jì)算和多樣化應(yīng)用,傳統(tǒng)超算中心多個(gè)計(jì)算集群部署多套存儲的方式容易遭遇瓶頸,比如海量數(shù)據(jù)在不同的資源池中,會形成數(shù)據(jù)孤島,給協(xié)同分析、價(jià)值挖掘帶來阻礙。因此,濟(jì)南超算基于分布式存儲,構(gòu)建了統(tǒng)一數(shù)據(jù)底座,率先打造出山東省超算互聯(lián)數(shù)據(jù)一張圖。通過全局統(tǒng)一的數(shù)據(jù)視圖和管理策略,實(shí)現(xiàn)不同集群之間的多協(xié)議互通,讓數(shù)據(jù)能夠跨域、跨集群、跨設(shè)備共享與流動(dòng),從而助力科學(xué)計(jì)算的數(shù)據(jù)價(jià)值挖掘與協(xié)同分析,加速科技創(chuàng)新。比如山河超級計(jì)算平臺,就實(shí)現(xiàn)了文件、對象和大數(shù)據(jù)融合存儲以及數(shù)據(jù)的跨域流動(dòng)。

基于分布式存儲創(chuàng)新架構(gòu),國家超級計(jì)算濟(jì)南中心聯(lián)合合作伙伴,完成了一系列關(guān)于存力的實(shí)踐探索,展現(xiàn)出存力與科學(xué)計(jì)算、數(shù)字經(jīng)濟(jì)相結(jié)合的意義。可以肯定的是,超算中心的頂天立地,靠的不是算力的一枝獨(dú)秀,而是算力與存力的協(xié)同發(fā)展。

筑基未來:雙輪驅(qū)動(dòng)使能數(shù)字經(jīng)濟(jì)

聽起來,超算中心主要服務(wù)于高精尖科研,那么濟(jì)南超算的存力實(shí)踐,對普通人來說有意義嗎?中國有句話叫“已識乾坤大,猶憐草木青”,存力不僅能包羅容納科學(xué)世界的壯闊,同樣也是支撐著每一個(gè)人、每一個(gè)企業(yè)、每一座城市的數(shù)字底座,隨著數(shù)字經(jīng)濟(jì)的騰飛,滋養(yǎng)我們習(xí)以為常的日常生活、一草一木。

舉個(gè)例子,大家應(yīng)該都了解“東數(shù)西算”工程的價(jià)值,全國算力一張網(wǎng)的逐漸落成,將切實(shí)帶來產(chǎn)業(yè)升級、生活提升、經(jīng)濟(jì)發(fā)展,讓東西部居民都為之受益。而濟(jì)南超算的分布式存儲架構(gòu)創(chuàng)新實(shí)踐,對于方興未艾的東數(shù)西算工程就有著極為重要的參考意義。

我們知道,“東數(shù)西算”工程旨在構(gòu)建一個(gè)集數(shù)據(jù)中心、云計(jì)算和大數(shù)據(jù)于一體的新型國家計(jì)算網(wǎng)絡(luò),這張算力資源網(wǎng)絡(luò)的本質(zhì)是以數(shù)載算,通過數(shù)據(jù)流通、分析和消費(fèi),讓算力轉(zhuǎn)化為GDP產(chǎn)值和社會民生的優(yōu)化。而數(shù)據(jù)能否存得下、存得好、流得動(dòng)、高能效,都取決于存力。

而東西部數(shù)據(jù)中心間的數(shù)據(jù)流動(dòng),就有一系列問題是需要通過存力提升來解決的:

比如前面提到濟(jì)南超算不同計(jì)算集群中的數(shù)據(jù)孤島問題,在東西部的數(shù)據(jù)流動(dòng)時(shí)也同樣存在。通過分布式存儲,實(shí)現(xiàn)跨域數(shù)據(jù)安全高效流動(dòng)和共享,能夠提高東西部的數(shù)據(jù)利用率和協(xié)同效率,讓算力更充分地發(fā)揮GDP帶動(dòng)作用。

再比如,全國算力一張網(wǎng)形成之后,數(shù)據(jù)卻是散落在各處的,如果沒有跨地域統(tǒng)一的元數(shù)據(jù)管理,則無法支撐東西部并行分析,數(shù)據(jù)存儲能效比不高,算力基礎(chǔ)設(shè)施也就無法取得最大效益。這時(shí)候濟(jì)南超算所落地的統(tǒng)一元數(shù)據(jù)管理等經(jīng)驗(yàn),存力一張網(wǎng)結(jié)合算力一張網(wǎng)等技術(shù),將使得管理效率大大提升。

存力和算力,是數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展的一體兩面,隨著超算互聯(lián)網(wǎng)和“東數(shù)西算”工程的持續(xù)推進(jìn),存力升級必將成為數(shù)字基礎(chǔ)設(shè)施的演進(jìn)方向。

國家超級計(jì)算濟(jì)南中心率先打開錦囊,進(jìn)入了數(shù)據(jù)驅(qū)動(dòng)第四范式的全新階段。不難發(fā)現(xiàn),無論高精尖的科研創(chuàng)新,還是接地氣的民生福祉,都藏在存力這個(gè)吐納天地的“乾坤袋”中。

接下來,我們將看到中國科技在算力與存力的雙輪驅(qū)動(dòng)下,不斷鼎革天地。