[科普中國]-圖像熵

圖像熵（image entropy）是圖像“繁忙”程度的估計(jì)值。

定義圖像熵表示為圖像灰度級(jí)集合的比特平均數(shù)，單位比特/像素，也描述了圖像信源的平均信息量。對(duì)于離散形式的二維圖像，其信息熵的計(jì)算公式為：1

對(duì)于上式，其中，pi 為每一灰度級(jí)出現(xiàn)的概率。

熵指的是體系的混亂的程度，對(duì)焦良好的圖像的熵大于沒有清晰對(duì)焦的圖像，因此可以用熵作為一種對(duì)焦評(píng)價(jià)標(biāo)準(zhǔn)。熵越大，圖像越清晰。

圖像的熵是一種特征的統(tǒng)計(jì)形式，它反映了圖像中平均信息量的多少，表示圖像灰度分布的聚集特征，卻不能反映圖像灰度分布的空間特征，為了表征這種空間特征，可以在一維熵的基礎(chǔ)上引入能夠反映灰度分布空間特征的特征量來組成圖像的二維熵。

熵的特性可以用很少的標(biāo)準(zhǔn)來描述熵的特性，將在下面列出。任何滿足這些假設(shè)的熵的定義均正比以下形式

其中，K是與選擇的度量單位相對(duì)應(yīng)的一個(gè)正比常數(shù)。

下文中，pi= Pr(X=xi)且

連續(xù)性該量度應(yīng)連續(xù)，概率值小幅變化只能引起熵的微小變化。

對(duì)稱性符號(hào)xi重新排序后，該量度應(yīng)不變。

極值性當(dāng)所有符號(hào)有同等機(jī)會(huì)出現(xiàn)的情況下，熵達(dá)到最大值（所有可能的事件同等概率時(shí)不確定性最高）。

等概率事件的熵應(yīng)隨符號(hào)的數(shù)量增加。

可加性熵的量與該過程如何被劃分無關(guān)。

最后給出的這個(gè)函數(shù)關(guān)系刻畫了一個(gè)系統(tǒng)與其子系統(tǒng)的熵的關(guān)系。如果子系統(tǒng)之間的相互作用是已知的，則可以通過子系統(tǒng)的熵來計(jì)算一個(gè)系統(tǒng)的熵。

給定n個(gè)均勻分布元素的集合，分為k個(gè)箱（子系統(tǒng)），每個(gè)里面有b1, ...,bk個(gè)元素，合起來的熵應(yīng)等于系統(tǒng)的熵與各個(gè)箱子的熵的和，每個(gè)箱子的權(quán)重為在該箱中的概率。

對(duì)于正整數(shù)bi其中b1+ ... +bk=n來說，

選取k=n，b1= ... =bn= 1，這意味著確定符號(hào)的熵為零：Η1(1) = 0。這就是說可以用n進(jìn)制熵來定義n個(gè)符號(hào)的信源符號(hào)集的效率。參見信息冗余。

進(jìn)一步性質(zhì)熵滿足以下性質(zhì)，借由將熵看成“在揭示隨機(jī)變量X的值后，從中得到的信息量（或消除的不確定性量）”，可來幫助理解其中一些性質(zhì)。

增減一概率為零的事件不改變熵：

可用琴生不等式證明

具有均勻概率分布的信源符號(hào)集可以有效地達(dá)到最大熵logb(n)：所有可能的事件是等概率的時(shí)候，不確定性最大。

計(jì)算 (X,Y)得到的熵或信息量（即同時(shí)計(jì)算X和Y）等于通過進(jìn)行兩個(gè)連續(xù)實(shí)驗(yàn)得到的信息：先計(jì)算Y的值，然后在你知道Y的值條件下得出X的值。寫作

如果Y=f(X)，其中f是確定性的，那么Η(f(X)|X) = 0。應(yīng)用前一公式Η(X,f(X))就會(huì)產(chǎn)生

所以Η(f(X)) ≤ Η(X)，因此當(dāng)后者是通過確定性函數(shù)傳遞時(shí)，變量的熵只能降低。

如果X和Y是兩個(gè)獨(dú)立實(shí)驗(yàn)，那么知道Y的值不影響我們對(duì)X值的認(rèn)知（因?yàn)閮烧擢?dú)立，所以互不影響）：

兩個(gè)事件同時(shí)發(fā)生的熵不大于每個(gè)事件單獨(dú)發(fā)生的熵的總和，且僅當(dāng)兩個(gè)事件是獨(dú)立的情況下相等。更具體地說，如果X和Y是同一概率空間的兩個(gè)隨機(jī)變量，而(X,Y)表示它們的笛卡爾積，則

在前兩條熵的性質(zhì)基礎(chǔ)上，很容易用數(shù)學(xué)證明這一點(diǎn)。

信息熵在信息論中，熵（英語：entropy）是接收的每條消息中包含的信息的平均量，又被稱為信息熵、信源熵、平均自信息量。這里，“消息”代表來自分布或數(shù)據(jù)流中的事件、樣本或特征。（熵最好理解為不確定性的量度而不是確定性的量度，因?yàn)樵诫S機(jī)的信源的熵越大。）來自信源的另一個(gè)特征是樣本的概率分布。這里的想法是，比較不可能發(fā)生的事情，當(dāng)它發(fā)生了，會(huì)提供更多的信息。由于一些其他的原因，把信息（熵）定義為概率分布的對(duì)數(shù)的相反數(shù)是有道理的。事件的概率分布和每個(gè)事件的信息量構(gòu)成了一個(gè)隨機(jī)變量，這個(gè)隨機(jī)變量的均值（即期望）就是這個(gè)分布產(chǎn)生的信息量的平均值（即熵）。熵的單位通常為比特，但也用Sh、nat、Hart計(jì)量，取決于定義用到對(duì)數(shù)的底。

采用概率分布的對(duì)數(shù)作為信息的量度的原因是其可加性。例如，投擲一次硬幣提供了1 Sh的信息，而擲m次就為m位。更一般地，你需要用log2(n)位來表示一個(gè)可以取n個(gè)值的變量。

在1948年，克勞德·艾爾伍德·香農(nóng)將熱力學(xué)的熵，引入到信息論，因此它又被稱為香農(nóng)熵。

對(duì)比信息熵的意義：信源的信息熵H是從整個(gè)信息源的統(tǒng)計(jì)特性來考慮的。它是從評(píng)價(jià)意義上來表征信息源的總體特征的。對(duì)于某特定的信息源，其信息熵只有一個(gè)。不同的信息源因統(tǒng)計(jì)特性不同，其熵也不同。

圖像的信息熵的意義：它表征圖像灰度分布的聚集特性，卻不能反映圖像灰度分布的空間特征，為了表征這種空間特征，可以在一維熵的基礎(chǔ)上引入能夠反映灰度分布空間特征的特征量來組成圖像的二維熵。

參見熵 (生態(tài)學(xué))

熵 (熱力學(xué))

熵編碼

麥克斯韋妖

本詞條內(nèi)容貢獻(xiàn)者為:

曹慧慧 - 副教授 - 中國礦業(yè)大學(xué)