[科普中國]-費雪線性判別

在模式識別中，費雪線性判別（Fisher's linear discriminant）是一種線性判別方法。

簡介在模式識別中，費雪線性判別（Fisher's linear discriminant）是一種線性判別方法，其意圖是將d維空間中的數(shù)據(jù)點投影到c-1維空間上去，使得不同類的樣本點在這個空間上的投影盡量分離，同類的盡量緊湊。1

兩類情況在二類判別時，費雪線性判別將d維空間中的數(shù)據(jù)點投影到一條直線上去，使得不同類的樣本點在這條直線上的投影盡量分離，同類的樣本點在這條直線上盡量緊湊。假設(shè)有兩類樣本集的類別為ω1，樣本數(shù)為n1，的類別為ω2，樣本數(shù)為n2。定義樣本均值mi和類內(nèi)散布Si。

投影直線的方向向量為w，樣本投影在直線上的值為y。則可得兩類樣本投影后的均值和類內(nèi)散布為，i=1,2。

在兩個類別的分布是多元正態(tài)分布，且協(xié)方差矩陣相同時，根據(jù)貝葉斯決策理論，，并且w0是一個與w和先驗概率有關(guān)的常數(shù)。我們可以用樣本均值與樣本協(xié)方差去估計ui和Σ。更一般地說，如果我們對投影后的數(shù)據(jù)進行平滑，或用一維高斯函數(shù)進行擬合，ω0就位于使兩類的后驗概率相同的位置上。

多類情況費雪線性判別在面對二類判別時，將兩類樣本向一條直線投影，也就是將數(shù)據(jù)從d維空間向1維空間投影。這樣在面對c個類的判別時，所要做就是將數(shù)據(jù)從d維空間向c-1維空間投影。這就需要推廣投影方程、類間散布矩陣SB和類內(nèi)散布矩陣SW。從d維空間向c-1維空間的投影是通過c-1投影方程進行的：

這里的為第i類的樣本集。設(shè)，c-1個方程可以更簡練地表達：

這里的為第i類的樣本的投影向量集。類間散布矩陣SB和類內(nèi)散布矩陣SW可以由總體散布矩陣ST和總體均值向量m推導得到：

可以證明，當W的列向量wi是的廣義特征向量時，可以使得J(w)最大。因為SB中c個秩為1或0的矩陣相加，而且其中只有c-1個矩陣是相互獨立的。所以SB的秩最多為c-1。所以最多只有c-1個特征向量是非零的。

應用人臉識別在人臉識別中，每一個人臉圖像具有大量的像素點。LDA主要用來將特征減少到一個可以處理的數(shù)目在進行分類。每一個新的維度都是原先像素值的線性組合，這就構(gòu)成了一個模板。這樣獲得的線性組合被稱為Fisher faces,而通過主成分分析獲得的則稱為特征臉。

本詞條內(nèi)容貢獻者為:

曹慧慧 - 副教授 - 中國礦業(yè)大學