[科普中國]-費希爾信息

費希爾信息（Fisher Information）（有時簡稱為信息[1]）是一種測量可觀察隨機(jī)變量X攜帶的關(guān)于模型X的分布的未知參數(shù)θ的信息量的方法。形式上，它是方差得分，或觀察到的信息的預(yù)期值。在貝葉斯統(tǒng)計中，后驗?zāi)Ｊ降臐u近分布取決于Fisher信息，而不依賴于先驗（根據(jù)Bernstein-von Mises定理，Laplace為指數(shù)族預(yù)測）。[2]統(tǒng)計學(xué)家Ronald Fisher強(qiáng)調(diào)了Fisher信息在最大似然估計漸近理論中的作用（遵循Francis Ysidro Edgeworth的一些初步結(jié)果）。 Fisher信息也用于Jeffreys先驗的計算，用于貝葉斯統(tǒng)計。Fisher信息矩陣用于計算與最大似然估計相關(guān)聯(lián)的協(xié)方差矩陣。它也可以用于測試統(tǒng)計的制定，例如Wald測試。

定義品質(zhì)函數(shù)的方差稱為費希爾信息，用表示，定義為：

其中，為品質(zhì)函數(shù)，其均值為零。1

介紹Fisher信息是一種測量可觀察隨機(jī)變量X攜帶的關(guān)于X的概率所依賴的未知參數(shù)θ的信息量的方式。 令f（X;θ）為X的概率密度函數(shù)（或概率質(zhì)量函數(shù)），條件是θ的值。 這也是θ的似然函數(shù)。 它描述了在給定已知的θ值的情況下觀察給定樣本X的概率。 如果f相對于θ的變化急劇地達(dá)到峰值，則很容易從數(shù)據(jù)中指示θ的“正確”值，或者等效地，數(shù)據(jù)X提供關(guān)于參數(shù)θ的大量信息。 如果似然f是平坦的并且展開，則需要許多很多樣本（如X）來估計使用整個采樣群體獲得的θ的實際“真實”值。 這表明研究了關(guān)于θ的某種方差。

應(yīng)用實驗的優(yōu)化設(shè)計Fisher信息廣泛用于最佳實驗設(shè)計。由于估計器 - 方差和Fisher信息的互易性，最小化方差對應(yīng)于最大化信息。

當(dāng)線性（或線性化）統(tǒng)計模型具有多個參數(shù)時，參數(shù)估計器的均值是向量，其方差是矩陣。方差矩陣的逆被稱為“信息矩陣”。因為參數(shù)矢量的估計量的方差是矩陣，所以“最小化方差”的問題是復(fù)雜的。統(tǒng)計學(xué)家使用統(tǒng)計理論，使用實值匯總統(tǒng)計數(shù)據(jù)壓縮信息矩陣;作為實值函數(shù)，這些“信息標(biāo)準(zhǔn)”可以最大化。

傳統(tǒng)上，統(tǒng)計學(xué)家通過考慮協(xié)方差矩陣（無偏估計量）的一些匯總統(tǒng)計量來評估估計量和設(shè)計，通常具有正實數(shù)值（如行列式或矩陣跡線）。使用正實數(shù)帶來了幾個優(yōu)點：如果單個參數(shù)的估計具有正方差，則方差和Fisher信息都是正實數(shù);因此它們是非負(fù)實數(shù)的凸錐的成員（其非零成員在同一個錐體中具有倒數(shù)）。對于幾個參數(shù)，協(xié)方差矩陣和信息矩陣是在Loewner（L?wner）階下在部分有序向量空間中非負(fù)定對稱矩陣的凸錐的元素。該錐體在矩陣加法和反演下以及在正實數(shù)和矩陣的乘法下閉合。 Pukelsheim出現(xiàn)了矩陣?yán)碚摵蚅oewner秩序的論述。

傳統(tǒng)的最優(yōu)性標(biāo)準(zhǔn)是信息矩陣的不變量，在不變量理論意義上;在代數(shù)上，傳統(tǒng)的最優(yōu)性標(biāo)準(zhǔn)是（Fisher）信息矩陣的特征值的函數(shù)（參見最優(yōu)設(shè)計2）。

杰弗里斯先前在貝葉斯統(tǒng)計中在貝葉斯統(tǒng)計中，F(xiàn)isher信息用于計算Jeffreys先驗，這是連續(xù)分布參數(shù)的標(biāo)準(zhǔn)無信息先驗。

計算神經(jīng)科學(xué)Fisher信息已被用于發(fā)現(xiàn)神經(jīng)代碼準(zhǔn)確性的界限。在那種情況下，X通常是表示低維變量θ（例如刺激參數(shù)）的許多神經(jīng)元的聯(lián)合響應(yīng)。特別是研究了相關(guān)性在神經(jīng)反應(yīng)噪聲中的作用。

物理定律的推導(dǎo)費舍爾信息在弗里登提出的有爭議的原則中起著核心作用，該原則是物理定律的基礎(chǔ)，這一主張一直存在爭議。

機(jī)器學(xué)習(xí)Fisher信息用于機(jī)器學(xué)習(xí)技術(shù)，如彈性權(quán)重合并，它可以減少人工神經(jīng)網(wǎng)絡(luò)中的災(zāi)難性遺忘。

本詞條內(nèi)容貢獻(xiàn)者為:

方正 - 副教授 - 江南大學(xué)