中科院李國(guó)齊：一文梳理類(lèi)腦計(jì)算的前世今生

本文來(lái)源：智源社區(qū)

導(dǎo)讀：眾所周知，人類(lèi)大腦活動(dòng)是復(fù)雜而連續(xù)的動(dòng)力學(xué)過(guò)程，其復(fù)雜程度遠(yuǎn)超當(dāng)前算力資源所能模擬的上限。大腦約有1000億個(gè)神經(jīng)元，100萬(wàn)億個(gè)突觸，平均突觸連接的長(zhǎng)度約10-1000微米。假設(shè)每1微米連接用1個(gè)微分方程近似，初略估算人類(lèi)大腦約具有1000萬(wàn)億-10億億參數(shù)（該參數(shù)可能被低估）。

類(lèi)腦計(jì)算的核心在于借鑒生物神經(jīng)系統(tǒng)的信息處理模式或結(jié)構(gòu)，進(jìn)而構(gòu)建相應(yīng)的計(jì)算理論、芯片體系結(jié)構(gòu)以及應(yīng)用模型與算法，類(lèi)腦計(jì)算被認(rèn)為是后摩爾時(shí)代最為重要的發(fā)展方向之一，或有可能成為未來(lái)智能計(jì)算的突破口。

在智源研究院青源Talk第16期活動(dòng)中，中科院自動(dòng)化所李國(guó)齊研究員做了題為“類(lèi)腦計(jì)算的研究進(jìn)展和展望”的報(bào)告分享。李國(guó)齊首先介紹了類(lèi)腦計(jì)算的基本概念，而后從類(lèi)腦計(jì)算系統(tǒng)的模型算法、軟件、芯片以及數(shù)據(jù)等多個(gè)方面介紹了當(dāng)前類(lèi)腦計(jì)算系統(tǒng)的最新研究進(jìn)展，最后對(duì)類(lèi)腦計(jì)算系統(tǒng)的發(fā)展趨勢(shì)進(jìn)行總結(jié)與展望。

作者簡(jiǎn)介 ：李國(guó)齊，中國(guó)科學(xué)院自動(dòng)化所研究員，博士生導(dǎo)師，北京智源人工智能研究院青年科學(xué)家。李國(guó)齊在Nature、Nature Communications、Proceedings of the IEEE、IEEE TPAMI等期刊和ICLR、NeurIPS、AAAI、CVPR等會(huì)議上發(fā)表論文 150余篇；出版國(guó)內(nèi)類(lèi)腦計(jì)算領(lǐng)域早期學(xué)術(shù)專(zhuān)著1部；論文在 Google 學(xué)術(shù)上被引用 4500余次。2017 年入選北京市自然科學(xué)基金優(yōu)秀青年人才，2018 年獲得中國(guó)指揮與控制學(xué)會(huì)科學(xué)技術(shù)一等獎(jiǎng)，2019 年入選北京智源人工智能研究院“智源學(xué)者”，2021年獲得福建省科技進(jìn)步二等獎(jiǎng)，2021 年獲得北京市杰出青年基金資助，2022年入選中科院“百人計(jì)劃”；其參與的類(lèi)腦芯片理論、架構(gòu)和工具鏈的工作曾入選2019年中國(guó)科學(xué)十大進(jìn)展和2020年世界人工智能十大進(jìn)展。

整理：王光華

編輯：李夢(mèng)佳

01

什么是類(lèi)腦計(jì)算？

類(lèi)腦計(jì)算是近些年來(lái)崛起的新興研究領(lǐng)域，與人工智能、機(jī)器學(xué)習(xí)等領(lǐng)域類(lèi)似，很難對(duì)其進(jìn)行準(zhǔn)確定義，目前業(yè)內(nèi)尚沒(méi)有普遍認(rèn)可的類(lèi)腦計(jì)算概念定義。

李國(guó)齊指出，類(lèi)腦計(jì)算的描述性定義為“指受人腦信息處理方式啟發(fā)，以更通用的人工智能和高效智能邊緣端/云端為目標(biāo)構(gòu)建信息系統(tǒng)的技術(shù)總稱(chēng)”。類(lèi)腦計(jì)算希望融合腦科學(xué)、計(jì)算神經(jīng)科學(xué)、認(rèn)知科學(xué)甚至統(tǒng)計(jì)物理等學(xué)科的知識(shí)來(lái)解決現(xiàn)有傳統(tǒng)計(jì)算技術(shù)的一些問(wèn)題，進(jìn)而構(gòu)建更加通用、高效、智能的新穎信息系統(tǒng)。

狹義類(lèi)腦計(jì)算是指神經(jīng)形態(tài)計(jì)算，主要是研制神經(jīng)形態(tài)芯片以支持源自計(jì)算神經(jīng)科學(xué)的脈沖神經(jīng)網(wǎng)絡(luò)（Spiking Neural Networks， SNN）；廣義類(lèi)腦計(jì)算也包括存內(nèi)計(jì)算、憶阻器芯片甚至研制AI 芯片以支持傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks ，ANN）。因此，類(lèi)腦計(jì)算的研究與發(fā)展與人工智能一樣也需要從模型算法、軟件、芯片和數(shù)據(jù)等各個(gè)方向協(xié)同展開(kāi)。

02

類(lèi)腦計(jì)算模型：突破神經(jīng)科學(xué)與AI的鴻溝

當(dāng)前，神經(jīng)科學(xué)與人工智能之間存在著巨大鴻溝，神經(jīng)科學(xué)側(cè)重于重構(gòu)大腦內(nèi)部的精細(xì)結(jié)構(gòu)和生理細(xì)節(jié)，人工智能則側(cè)重于通過(guò)對(duì)神經(jīng)結(jié)構(gòu)進(jìn)行數(shù)學(xué)抽象以實(shí)現(xiàn)計(jì)算的高效性。

因此，人工智能和神經(jīng)科學(xué)如何交叉融合成為一個(gè)艱巨挑戰(zhàn)。類(lèi)腦計(jì)算中，脈沖神經(jīng)網(wǎng)絡(luò)兼具了生物合理性和計(jì)算高效性，或可以為人工智能提供新范式。簡(jiǎn)單地，可以認(rèn)為SNN = ANN + Neuronal Dynamics。如何尋找兼具生物合理性與計(jì)算高效性的脈沖神經(jīng)元模型，以及如何建立脈沖神經(jīng)元模型與AI任務(wù)之間的關(guān)系是類(lèi)腦計(jì)算領(lǐng)域的核心問(wèn)題。

當(dāng)前，SNN普遍采用LIF神經(jīng)元作為構(gòu)建神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)單元。原因在于，LIF神經(jīng)元是一種典型的綜合模型，既具備IF模型的簡(jiǎn)單易用性，又能像H-H神經(jīng)元模型那樣模擬生物神經(jīng)元豐富的生理學(xué)特性。

眾所周知，ANN和SNN各具特點(diǎn)，互有所長(zhǎng)。ANN能夠充分利用現(xiàn)有計(jì)算機(jī)的計(jì)算特性，以神經(jīng)元狀態(tài)表示信息，在空間域傳遞信息，主要操作為密集矩陣向量乘法，相比之下，SNN采用脈沖序列表示信息，在空間域和時(shí)間域兩個(gè)維度傳遞信息，主要操作為事件驅(qū)動(dòng)的稀疏加法，兼具計(jì)算高效性和生物可信性。

03

類(lèi)腦學(xué)習(xí)算法

與ANN訓(xùn)練相比，SNN的高效訓(xùn)練面臨著諸多問(wèn)題與挑戰(zhàn)，例如脈沖神經(jīng)元中復(fù)雜的時(shí)空動(dòng)力過(guò)程、脈沖神經(jīng)元之間傳遞的脈沖信息不可導(dǎo)、脈沖退化和訓(xùn)練精度損失等。當(dāng)前，SNN訓(xùn)練方法主要包括無(wú)監(jiān)督學(xué)習(xí)、間接有監(jiān)督學(xué)習(xí)和直接有監(jiān)督學(xué)習(xí)三類(lèi)。這些訓(xùn)練方法嘗試從不同的角度解決上述問(wèn)題和挑戰(zhàn)。

1.基于STDP的無(wú)監(jiān)督學(xué)習(xí)

基于脈沖時(shí)間依賴(lài)的突觸可塑性 （Spike Timing Dependent Plasticity, STDP）能夠控制大腦神經(jīng)元之間權(quán)重連接更新，是一種典型的無(wú)監(jiān)督學(xué)習(xí)方法。通俗的說(shuō)，兩個(gè)神經(jīng)元的發(fā)放時(shí)間越近，他們之間的綁定關(guān)系就越緊密。如上圖所示，當(dāng)兩個(gè)神經(jīng)元先后激活時(shí)，具備緊密先后關(guān)系的雙方會(huì)加強(qiáng)聯(lián)系，而具備相反關(guān)系的雙方就會(huì)削弱聯(lián)系，因此神經(jīng)元之間往往建立單向加強(qiáng)聯(lián)系。

如果兩個(gè)神經(jīng)元同時(shí)激活，則他們與共同的下游神經(jīng)元之間形成了更加緊密的聯(lián)系，這樣兩者為同級(jí)神經(jīng)元，且相互之間具備間接關(guān)系。例如，通過(guò)STDP規(guī)則結(jié)合Winner-Take-All（WTA）構(gòu)成的學(xué)習(xí)模型是一種簡(jiǎn)單有效的無(wú)監(jiān)督學(xué)習(xí)方式。

具體地，在輸入層將圖片轉(zhuǎn)換為脈沖序列（脈沖發(fā)放率正比于像素值），神經(jīng)元以全連接形式前向連接，接受興奮性輸入，并采用STDP規(guī)則更新，并與抑制性神經(jīng)元后向一對(duì)一連接，對(duì)其產(chǎn)生側(cè)向抑制 （即soft WTA），并通過(guò)自適應(yīng)閾值平衡脈沖發(fā)放率。

STDP模型通過(guò)局部調(diào)整規(guī)則進(jìn)行學(xué)習(xí)，在神經(jīng)形態(tài)芯片上容易進(jìn)行分布式實(shí)現(xiàn)并具備在線學(xué)習(xí)能力。但是，局部突觸可塑性不足以解釋突觸個(gè)體的改變?nèi)绾螀f(xié)調(diào)神經(jīng)系統(tǒng)的整體目標(biāo)的實(shí)現(xiàn)。同時(shí)，李國(guó)齊也指出，這種無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練方法存在著難以獲得高性能網(wǎng)絡(luò)，無(wú)法在大規(guī)模深度神經(jīng)網(wǎng)絡(luò)中使用等問(wèn)題。

2.基于ANN轉(zhuǎn)SNN的間接有監(jiān)督學(xué)習(xí)

ANN-converted SNN方法是指訓(xùn)練一個(gè)ANN模型，而后將學(xué)習(xí)完成后的ANN權(quán)重遷移到具有相同結(jié)構(gòu)的SNN中。其基本思想是，利用SNN平均脈沖發(fā)放率來(lái)近似表示ANN中的 ReLU激活值。

因此，ANN-converted SNN方法存在著模型精度與模型仿真步長(zhǎng)T之間的tradeoff問(wèn)題。該方法利用有監(jiān)督信號(hào)在原始ANN模型中進(jìn)行梯度反向傳播訓(xùn)練，然后將其轉(zhuǎn)換成SNN模型，因此是一種間接有監(jiān)督學(xué)習(xí)。

ANN-converted SNN方法可擴(kuò)展性強(qiáng)，容易將新出現(xiàn)的或大規(guī)模的ANN網(wǎng)絡(luò)結(jié)構(gòu)轉(zhuǎn)換為相應(yīng)的SNN版本。一般地，仿真時(shí)間步數(shù)T越大，SNN平均脈沖發(fā)放率越接近ANN中的激活值，兩種模型之間的誤差也就越小，從而實(shí)現(xiàn)ANN-SNN幾乎“無(wú)損”轉(zhuǎn)換。但過(guò)長(zhǎng)的時(shí)間步數(shù)T會(huì)導(dǎo)致訓(xùn)練和推理效率下降，SNN的功耗優(yōu)勢(shì)也隨之降低。此外，李國(guó)齊指出，由于這種方法本質(zhì)上是利用SNN去逼近ANN，在轉(zhuǎn)換的過(guò)程中會(huì)丟失SNN中可利用的時(shí)間依賴(lài)信號(hào)，因此可能會(huì)導(dǎo)致其應(yīng)用場(chǎng)景相對(duì)受限。

3.SNN直接有監(jiān)督學(xué)習(xí)的發(fā)展

為避免上述兩種訓(xùn)練方法的局限性，解決SNN無(wú)法有效訓(xùn)練的難題，李國(guó)齊及其團(tuán)隊(duì)較早的提出STBP（Spatio-Temporal Backpropagation）等SNN直接訓(xùn)練方法。

直接訓(xùn)練算法難點(diǎn)在于SNN復(fù)雜的時(shí)空動(dòng)力學(xué)特性及脈沖發(fā)放不可微分問(wèn)題。李國(guó)齊團(tuán)隊(duì)提出的解決思路是，將脈沖神經(jīng)元的微分方程形式轉(zhuǎn)換為便于計(jì)算機(jī)仿真的差分方程形式，將信息沿時(shí)間、空間空維度同時(shí)展開(kāi)，并采用脈沖梯度逼近方法。由于近似替代函數(shù)保留了脈沖發(fā)放的“非線性特征”，其梯度逼近曲線具有一定的魯棒性。

STBP雖然解決了SNN網(wǎng)絡(luò)中進(jìn)行反向傳播訓(xùn)練的梯度替代問(wèn)題，但其仍然只能訓(xùn)練不超過(guò)10層的小規(guī)模網(wǎng)絡(luò)。其中主要問(wèn)題在于，一旦網(wǎng)絡(luò)加深，先比較于ANN，脈沖神經(jīng)元的二進(jìn)制激活方式及其復(fù)雜的時(shí)空動(dòng)態(tài)更容易帶來(lái)網(wǎng)絡(luò)的梯度消失或爆炸問(wèn)題。

通過(guò)進(jìn)一步分析SNN中的時(shí)空動(dòng)態(tài)特性可知，建立神經(jīng)元膜電勢(shì)和閾值之間的平衡，以獲得一個(gè)合適的網(wǎng)絡(luò)脈沖發(fā)放率對(duì)網(wǎng)絡(luò)的性能至關(guān)重要。過(guò)低的發(fā)放率可能會(huì)導(dǎo)致有效信息不足，而過(guò)高的發(fā)放率則會(huì)降低SNN網(wǎng)絡(luò)對(duì)輸入的區(qū)分度。

因此，李國(guó)齊團(tuán)隊(duì)進(jìn)一步提出了結(jié)合脈沖神經(jīng)元閾值的BN算法，即Threshold-dependent BN方法(TDBN)，緩解了制約SNN的規(guī)模瓶頸問(wèn)題，首次將SNN的網(wǎng)絡(luò)規(guī)模提升至50層，在ImageNet等大規(guī)模數(shù)據(jù)集上取得具有競(jìng)爭(zhēng)性的性能，并證明了該方法可緩解深度SNN的梯度消失與爆炸問(wèn)題。

盡管TDBN提升了SNN的規(guī)模，但相對(duì)于傳統(tǒng)ANN中動(dòng)輒數(shù)百層的深度網(wǎng)絡(luò)，性能仍然捉襟見(jiàn)肘，不足以在大規(guī)模數(shù)據(jù)集上與ANN進(jìn)行競(jìng)爭(zhēng)。為了進(jìn)一步提升SNN的網(wǎng)絡(luò)表達(dá)能力，擴(kuò)大網(wǎng)絡(luò)規(guī)模從而提升任務(wù)性能，借鑒經(jīng)典的ResNet結(jié)構(gòu)是似乎一種可行的方法。

但是，直接復(fù)制ResNet結(jié)構(gòu)到SNN中（Vanilla Res-SNN）存在著脈沖退化問(wèn)題，即網(wǎng)絡(luò)越深，精度越低。因此，李國(guó)齊團(tuán)隊(duì)提出了一種將LIF神經(jīng)元放置在殘差塊中，并在不同層神經(jīng)元的膜電勢(shì)之間建立shortcut的新穎Ms-Rse-SNN結(jié)構(gòu)。并利用dynamical isometry理論證明了所提出的結(jié)構(gòu)不存在脈沖退化問(wèn)題。在相對(duì)廣泛的范圍內(nèi)解決了大規(guī)模SNN直接訓(xùn)練問(wèn)題（482層 CIFAR-10,104層 ImageNet），后者取得Top-1 76%分類(lèi)準(zhǔn)確率的SOTA結(jié)果。

此外，根據(jù)SNN處理數(shù)據(jù)的不同，采用data-dependent的處理方式，可以為直接訓(xùn)練SNN在一些任務(wù)中帶來(lái)額外的性能增益。例如，在神經(jīng)形態(tài)視覺(jué)任務(wù)中，事件流數(shù)據(jù)往往具有稀疏、不均勻特性。

根據(jù)這一觀察，李國(guó)齊團(tuán)隊(duì)提出了一種時(shí)間注意力脈沖神經(jīng)網(wǎng)絡(luò)，根據(jù)事件流在不同時(shí)刻的輸入信噪比，結(jié)合時(shí)間注意力機(jī)制，使用SNN以數(shù)據(jù)驅(qū)動(dòng)的方式來(lái)進(jìn)行任務(wù)處理，可以在進(jìn)一步降低網(wǎng)絡(luò)能耗的基礎(chǔ)上帶來(lái)性能提升。實(shí)驗(yàn)結(jié)果表明，即使去掉一半的輸入，SNN的性能基本能夠維持不變或略有提升?？偠灾?，當(dāng)前SNN已經(jīng)進(jìn)入大規(guī)模深層模型和算法的發(fā)展階段，并將在傳統(tǒng)人工智能領(lǐng)域中多種下游任務(wù)得到進(jìn)一步的應(yīng)用。

04

類(lèi)腦計(jì)算軟件

類(lèi)腦計(jì)算軟件框架與工具通常包括神經(jīng)形態(tài)芯片工具鏈、神經(jīng)系統(tǒng)仿真模擬和SNN學(xué)習(xí)框架等三個(gè)方面的內(nèi)容，具體可參考清華大學(xué)張悠慧教授在IEEE Transactions on High Performance Computing的綜述論文觀點(diǎn)。

神經(jīng)形態(tài)芯片工具鏈目前尚處于早期階段，存在軟件與硬件緊密耦合，通用性、自動(dòng)化程度不高，使用便捷性差等許多問(wèn)題。神經(jīng)系統(tǒng)軟件仿真框架能夠詳細(xì)模擬生物神經(jīng)網(wǎng)絡(luò)，但要求用戶(hù)具有一定的計(jì)算神經(jīng)科學(xué)基礎(chǔ)。

現(xiàn)有的仿真工具軟件框架通常用C語(yǔ)言開(kāi)發(fā)，缺乏跨平臺(tái)能力，也缺乏對(duì)各種后端硬件的深度優(yōu)化的支持。并且，這些軟件通常為CPU和GPU等商業(yè)硬件而設(shè)計(jì)，并不支持不同類(lèi)型的神經(jīng)形態(tài)芯片。SNN學(xué)習(xí)框架的目標(biāo)是，將深度學(xué)習(xí)框架開(kāi)發(fā)的便利性與SNN的特點(diǎn)相結(jié)合，充分利用深度學(xué)習(xí)領(lǐng)域的各種資源，對(duì)SNN網(wǎng)絡(luò)訓(xùn)練進(jìn)行加速，相關(guān)工作基本處于前期并且不夠穩(wěn)定，更無(wú)法適應(yīng)不同的軟件和硬件接口，即使基于GPU架構(gòu)開(kāi)發(fā)也難以充分利用SNN本身的特性進(jìn)行加速。

05

類(lèi)腦計(jì)算芯片

從功能角度看，類(lèi)腦芯片主要分為四類(lèi)：

主要支持人工神經(jīng)網(wǎng)絡(luò)（TPU、寒武紀(jì)、華為昇騰等）的深度學(xué)習(xí)加速器；

主要支持脈沖神經(jīng)網(wǎng)絡(luò)（TrueNorth、Loihi、達(dá)爾文等芯片）的神經(jīng)形態(tài)芯片；

支持人工/脈沖神經(jīng)網(wǎng)絡(luò)的異構(gòu)融合芯片（Tianjinc芯片）；

以及支持神經(jīng)元編程的腦仿真模擬芯片（SpiNNaker、 ROLLS、 Loihi等芯片 ）和具備低時(shí)延、高動(dòng)態(tài)的神經(jīng)形態(tài)相機(jī)為代表的感知芯片。

類(lèi)腦芯片的體系架構(gòu)包括主流深度學(xué)習(xí)加速器采用的存算分離架構(gòu)，主流眾核去中心化架構(gòu)芯片的近存計(jì)算架構(gòu)，以及存內(nèi)計(jì)算芯片、憶阻器芯片等所采用的存算一體架構(gòu)。從芯片設(shè)計(jì)的角度來(lái)看，采用路由器連接的多核架構(gòu)的芯片的可擴(kuò)展性更好，多個(gè)功能核獨(dú)立工作，核間周期性地同步和共享數(shù)據(jù)。因此可支持的網(wǎng)絡(luò)規(guī)模更大，應(yīng)用范圍更廣的SNN。

采用單純數(shù)字信號(hào)的小規(guī)模單核芯片可以采用存內(nèi)計(jì)算進(jìn)行矩陣向量乘，具備同步、異步設(shè)計(jì)流程，往往具備較高的能效和較低的靜態(tài)功耗，且更便于技術(shù)遷移，但神經(jīng)元與突觸的規(guī)模受限。數(shù)?；旌闲∫?guī)模單核芯片采用數(shù)字異步脈沖路由，利用存內(nèi)數(shù)字計(jì)算方法進(jìn)行矩陣向量乘法，采用模擬膜電位進(jìn)行激活與更新，因此能效最高，但也存在神經(jīng)元與突觸數(shù)量少和設(shè)計(jì)不方便等問(wèn)題。

06

類(lèi)腦計(jì)算數(shù)據(jù)

眾所周知，深度學(xué)習(xí)發(fā)展四要素為算法、算力、開(kāi)發(fā)工具以及大規(guī)模的數(shù)據(jù)。在深度學(xué)習(xí)領(lǐng)域，成百上千個(gè)開(kāi)源數(shù)據(jù)集覆蓋分類(lèi)、檢測(cè)、跟蹤、自然語(yǔ)言等，極大地促進(jìn)了深度學(xué)習(xí)的繁榮。

相比之下，類(lèi)腦數(shù)據(jù)集十分匱乏，現(xiàn)有的數(shù)據(jù)集主要包括四類(lèi)：

第一類(lèi)是通過(guò)轉(zhuǎn)換算法將ANN數(shù)據(jù)集轉(zhuǎn)變?yōu)槭录盘?hào)數(shù)據(jù)集，典型數(shù)據(jù)集包括基于ImageNet轉(zhuǎn)換而來(lái)的ES-ImageNet，基于UCF101轉(zhuǎn)化的事件信號(hào)數(shù)據(jù)集ES-UCF101，基于BDD100K轉(zhuǎn)化的事件信號(hào)數(shù)據(jù)集BDD100K-DVS等；

第二類(lèi)是利用神經(jīng)形態(tài)相機(jī)DVS將圖像或視頻數(shù)據(jù)庫(kù)轉(zhuǎn)化為事件數(shù)據(jù)集，比如N-MNIST、CIFA10-DVS等數(shù)據(jù)集；

第三類(lèi)是通過(guò)神經(jīng)形態(tài)相機(jī)DVS直接拍攝獲取的數(shù)據(jù)集，比如DVS-Gesture、PKU-DDD17-CAR、Gen1 Detection、1Mpx Detection、PKU-DAVIS-SOD等；最后一類(lèi)是其它類(lèi)型的類(lèi)腦數(shù)據(jù)集，比如EEG數(shù)據(jù)集、腦機(jī)接口(BCI)相關(guān)的數(shù)據(jù)集、幀數(shù)據(jù)和事件的混合數(shù)據(jù)等。

07

類(lèi)腦系統(tǒng)發(fā)展趨勢(shì)

最后，李國(guó)齊結(jié)合自己的思考總結(jié)了類(lèi)腦計(jì)算的未來(lái)發(fā)展趨勢(shì)，并對(duì)類(lèi)腦系統(tǒng)框架進(jìn)行了總結(jié)。

在模型算法方面，不僅可以通過(guò)增加模型參數(shù)、網(wǎng)絡(luò)深度或?qū)挾仁沟肧NN模型變大變強(qiáng)，更重要的提供向內(nèi)增加神經(jīng)元復(fù)雜程度的能力支撐，縮減神經(jīng)科學(xué)與人工智能之間存在的鴻溝。因此，構(gòu)造包含更豐富動(dòng)力學(xué)的神經(jīng)元模型、神經(jīng)網(wǎng)絡(luò)及對(duì)應(yīng)的算法是未來(lái)的重要方向。

在類(lèi)腦軟件方面，如何提升SNN的研究生態(tài)是未來(lái)發(fā)展的必經(jīng)之路，重要的方向包括神經(jīng)形態(tài)工具鏈的軟硬件去耦合、SNN訓(xùn)練加速框架、及高效的神經(jīng)系統(tǒng)仿真和模擬等。在類(lèi)腦數(shù)據(jù)方面，如何構(gòu)建具備稀疏事件特征、具備豐富的時(shí)間尺度/空間尺度特征的大規(guī)模多模態(tài)混合數(shù)據(jù)集十分重要。

在類(lèi)腦芯片方面，主要關(guān)注神經(jīng)形態(tài)芯片如何進(jìn)行更高效的感知、存儲(chǔ)和計(jì)算，如何構(gòu)建融合感存算一體化的計(jì)算系統(tǒng)。研究更高效的芯片架構(gòu)、研制更具有類(lèi)腦元素的芯片功能也是未來(lái)發(fā)展的重要方向。芯片架構(gòu)上可以探索類(lèi)腦芯片的分層存儲(chǔ)體系、高效在線學(xué)習(xí)架構(gòu)及其與其它硬件平臺(tái)的高效兼容能力；芯片功能上可以探索如何融入更多的算子支持比如微分方程、線性方程求解，以及如何在算子層面上支持更類(lèi)腦的神經(jīng)元模型和網(wǎng)絡(luò)結(jié)構(gòu)等。

李國(guó)齊認(rèn)為，類(lèi)腦系統(tǒng)的總體框架包括類(lèi)腦的模型、算法、軟件以及芯片，并結(jié)合豐富類(lèi)腦數(shù)據(jù)構(gòu)造的計(jì)算系統(tǒng)，在人工智能領(lǐng)域可以朝著高效云端/邊緣端類(lèi)腦計(jì)算系統(tǒng)的構(gòu)造方向發(fā)展，在腦科學(xué)領(lǐng)域可利用現(xiàn)有的超算服務(wù)器集群進(jìn)行神經(jīng)動(dòng)力學(xué)的仿真和模擬，構(gòu)建更為復(fù)雜的腦仿真和神經(jīng)模擬系統(tǒng)。