跳至內容

協方差矩陣

本頁使用了標題或全文手工轉換
維基百科,自由的百科全書
中心為 (0, 0) 的一個二元高斯概率密度函數,協方差矩陣為 [ 1.00, 0.50 ; 0.50, 1.00 ]。
一個左下右上方向標準差為 3,正交方向標準差為 1 的多元高斯分佈的樣本點。由於 xy 分量共變(即相關),xy 的方差不能完全描述該分佈;箭頭的方向對應的協方差矩陣的特徵向量,其長度為特徵值的平方根。

統計學概率論中,協方差矩陣(covariance matrix)是一個方陣,代表着任兩列隨機變量英語Multivariate random variable間的協方差,是協方差的直接推廣。

定義

[編輯]

定義 — 
概率空間 是定義在 上的兩列實數隨機變量序列

若二者對應的期望值分別為:

則這兩列隨機變量間的協方差矩陣為:

將之以矩形表示的話就是:

根據測度積分的線性性質,協方差矩陣還可以進一步化簡為:

矩陣表示法

[編輯]

以上定義所述的隨機變量序列 ,也可分別以用行向量 表示,換句話說:

這樣的話,對於 個定義在 上的隨機變量 所組成的矩陣 , 定義:

也就是說

那上小節定義的協方差矩陣就可以記為:

所以協方差矩陣也可對 來定義:

術語與符號分歧

[編輯]

也有人把以下的 稱為協方差矩陣:

但本頁面沿用威廉·費勒的說法,把 稱為 的方差(variance of random vector),來跟 作區別。這是因為:

換句話說, 的對角線由隨機變量 方差所組成。據此,也有人也把 稱為方差-協方差矩陣(variance–covariance matrix)。

更有人因為方差離差的相關性,含混的將 稱為離差矩陣

性質

[編輯]

有以下的基本性質:

  1. 半正定的和對稱的矩陣。
  2. ,則有
  3. 是獨立的,則有

儘管協方差矩陣很簡單,可它卻是很多領域裏的非常有力的工具。它能導出一個轉換矩陣,這個矩陣能使數據完全去相關(decorrelation)。從不同的角度看,也就是說能夠找出一組最佳的基以緊湊的方式來表達數據。(完整的證明請參考瑞利商)。 這個方法在統計學中被稱為主成分分析(principal components analysis),在圖像處理中稱為Karhunen-Loève 轉換(KL-轉換)。

複隨機向量

[編輯]

均值為的複隨機純量變量的方差定義如下(使用共軛複數):

其中複數的共軛記為

如果 是一個複列向量,則取其共軛轉置,得到一個方陣:

其中為共軛轉置, 它對於純量也成立,因為純量的轉置還是純量。

估計

[編輯]

多元正態分佈的協方差矩陣的估計的推導非常精緻. 它需要用到譜定義以及為什麼把純量看做矩陣的跡更好的原因。參見協方差矩陣的估計

外部連結

[編輯]