版權歸原作者所有，如有侵權，請聯(lián)系我們

用于點壓縮的高效率分層熵模型

上傳時間：2023-11-19 17:56

CCF計算機科普

深度學習

由中國計算機學會主辦，提供優(yōu)質(zhì)的計算機科普內(nèi)容。

視頻簡介：為了提升注意力模型的計算效率，我們提出了一種分層注意力結構。它的復雜度與上下文規(guī)模呈線性關系，同時仍然可以實現(xiàn)全局感受。此外，分組上下文結構，解決了自回歸式模型引起的串行編碼問題，而且?guī)缀醪粫饓嚎s性能的損失。實驗證明該模型實現(xiàn)了最先進的壓縮性能，同時相較于大規(guī)模自回歸式熵模型而言顯著減少了解碼時間。

內(nèi)容資源由項目單位提供

請科普中國APP發(fā)表評論或查看更多評論