版權(quán)歸原作者所有，如有侵權(quán)，請(qǐng)聯(lián)系我們

NLP訓(xùn)練中的分布式算子研究

上傳時(shí)間：2023-11-22 15:21

CCF計(jì)算機(jī)科普

自然語言處理

由中國(guó)計(jì)算機(jī)學(xué)會(huì)主辦，提供優(yōu)質(zhì)的計(jì)算機(jī)科普內(nèi)容。

視頻簡(jiǎn)介：隨著NLP語料越來越豐富，對(duì)于模型的訓(xùn)練效率提出了更高的要求。分布式訓(xùn)練，是當(dāng)前NLP任務(wù)中面臨的重要挑戰(zhàn)。本次分享會(huì)介紹在分布式訓(xùn)練任務(wù)中的數(shù)據(jù)并行、模型并行、算子并行，以及和國(guó)產(chǎn)芯片生態(tài)的適配與融合。

內(nèi)容資源由項(xiàng)目單位提供

請(qǐng) 科普中國(guó)APP發(fā)表評(píng)論或查看更多評(píng)論