[科普中國(guó)]-互信息

互信息(Mutual Information)是信息論里一種有用的信息度量，它可以看成是一個(gè)隨機(jī)變量中包含的關(guān)于另一個(gè)隨機(jī)變量的信息量，或者說(shuō)是一個(gè)隨機(jī)變量由于已知另一個(gè)隨機(jī)變量而減少的不肯定性1。

定義設(shè)兩個(gè)隨機(jī)變量 的聯(lián)合分布為 ，邊際分布分別為 ，互信息 是聯(lián)合分布 與乘積分布 的相對(duì)熵，2即

含義互信息與多元對(duì)數(shù)似然比檢驗(yàn)以及皮爾森 校驗(yàn)有著密切的聯(lián)系3。

信息的含義信息是物質(zhì)、能量、信息及其屬性的標(biāo)示。逆維納信息定義

信息是確定性的增加。逆香農(nóng)信息定義

信息是事物現(xiàn)象及其屬性標(biāo)識(shí)的集合。

互信息的含義信息論中的互信息

一般而言，信道中總是存在著噪聲和干擾，信源發(fā)出消息x，通過(guò)信道后信宿只可能收到由于干擾作用引起的某種變形的y。信宿收到y(tǒng)后推測(cè)信源發(fā)出x的概率，這一過(guò)程可由后驗(yàn)概率p(x|y)來(lái)描述。相應(yīng)地，信源發(fā)出x的概率p(x)稱為先驗(yàn)概率。我們定義x的后驗(yàn)概率與先驗(yàn)概率比值的對(duì)數(shù)為y對(duì)x的互信息量（簡(jiǎn)稱互信息）4。

根據(jù)熵的連鎖規(guī)則，有

因此，

這個(gè)差叫做X和Y的互信息，記作I(X;Y)。

按照熵的定義展開可以得到：

性質(zhì)互信息的性質(zhì)(1) 對(duì)稱性——I(xi ;yj) = I(yj ;xi)

(2) X與Y獨(dú)立時(shí)——I(xi ;yj) = 0

(3) I(xi;yj) 可為正、負(fù)、0

I(xi;yj) 可為正、負(fù)、0的舉例

設(shè)yj代表“閃電”，則

當(dāng)xi代表“打雷”時(shí)，I(xi/yj) = 0，I(xi;yj) = I(xi) >0

當(dāng)xi代表“下雨”時(shí)，I(xi/yj) > 0

當(dāng)xi代表“霧天”時(shí)，I(xi/yj) = I(xi)，I(xi;yj) = 0

當(dāng)xi代表“飛機(jī)正點(diǎn)起飛”時(shí)，I(xi/yj)>I(xi)，I(xi;yj)