[科普中國]-信息容量

信息容量指信道能傳輸信息的最大能力，在電氣工程學(xué)、計算機科學(xué)、信息論中，信道容量（Channel capacity，又譯通道容量）是指在一個信道中能夠可靠地傳送信息時可達(dá)速率的最小上界。所謂可靠傳輸指的是可以以任意小的錯誤率傳遞信息。根據(jù)有噪信道編碼定理，信道容量是可以誤差概率任意小地達(dá)到的給定信道的極限信息率。信道容量的單位為比特每秒、奈特每秒等等。

簡介在電氣工程學(xué)、計算機科學(xué)、信息論中，信道容量（Channel capacity，又譯通道容量）是指在一個信道中能夠可靠地傳送信息時可達(dá)速率的最小上界。所謂可靠傳輸指的是可以以任意小的錯誤率傳遞信息。根據(jù)有噪信道編碼定理，信道容量是可以誤差概率任意小地達(dá)到的給定信道的極限信息率。信道容量的單位為比特每秒、奈特每秒等等。

香農(nóng)在第二次世界大戰(zhàn)期間發(fā)展出信息論，為信道容量提了定義，并且提供了計算信道容量的數(shù)學(xué)模型。香農(nóng)指出，信道容量是信道的輸入與輸出的互信息量的最大值，而相應(yīng)的輸入分布稱為最佳輸入分布。1

定義X代表已傳送信號的隨機變量，Y代表已收到信號的隨機變量。代表已知X的情況下Y的條件分布，為信道的內(nèi)在固定屬性。于是依據(jù)如下性質(zhì)

邊緣分布的選取完全決定了聯(lián)合分布，這就能導(dǎo)出互信息。信道容量定義為

其中上確界針對對所有可能的值。2

有噪信道編碼定理有噪信道編碼定理表明，對任意的ε > 0以及傳輸速率R小于信道容量C，在塊長度足夠大的情況下，總有一種在速率為R下傳輸?shù)木幋a和解碼方案，它的誤差概率小于ε。另外，對于任何大于信道容量的速率，隨著塊長度趨近于無窮，接受者的誤差概率也趨于1。2

參見信息論

信息熵

信道

有噪信道編碼定理

本詞條內(nèi)容貢獻(xiàn)者為:

張磊 - 副教授 - 西南大學(xué)