高斯-馬可夫定理(英語:Gauss-Markov Theorem),在統計學中陳述的是在線性迴歸模型中,如果線性模型滿足高斯馬可夫假定,則迴歸係數的「最佳線性不偏估計」(BLUE,英語:Best Linear unbiased estimator)就是普通最小平方法估計。[1]最佳估計是指相較於其他估計量有更小變異數的估計量,同時把對估計量的尋找限制在所有可能的線性不偏估計量中。此外,誤差也不一定需要滿足獨立同分布或常態分布。
本定理主要以卡爾·弗里德里希·高斯和安德烈·馬可夫命名,雖然高斯的貢獻要遠比馬可夫的重要。高斯以獨立常態分布的假設推導出了結果,而馬可夫將假設放寬到了上述的形式。
簡單(一元)線性迴歸模型[編輯]
對於簡單(一元)線性迴歸模型,
![{\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon }](https://wikimedia.org/api/rest_v1/media/math/render/svg/6cb959b5bbd33712a20f8f2d298a9d9f94491b15)
其中
和
是非隨機但不能觀測到的母數,
是非隨機且可觀測到的一般變量,
是不可觀測的隨機變數,或稱為隨機誤差或噪音,
是可觀測的隨機變數。
高斯-馬可夫定理的假設條件是:
- 在母體模型中,各變量關係為
(線性於母數)
- 我們具有服從於上述模型的隨機樣本,樣本容量為n(隨機抽樣),
- x的樣本結果為非完全相同的數值(解釋變量的樣本有波動),
- 對於給定的解釋變量,誤差的期望值為零,換言之
(零條件均值),
- 對於給定的解釋變量,誤差具有相同的變異數,換言之
(同變異數性)。
則對
和
的最佳線性不偏估計為,
![{\displaystyle {\hat {\beta }}_{1}={\frac {\sum {x_{i}y_{i}}-{\frac {1}{n}}\sum {x_{i}}\sum {y_{i}}}{\sum {x_{i}^{2}}-{\frac {1}{n}}(\sum {x_{i}})^{2}}}={\frac {\widehat {{\text{Cov}}\left(x,y\right)}}{{\hat {\sigma _{x}}}^{2}}}={\hat {\rho }}_{xy}{\frac {\hat {\sigma _{x}}}{\hat {\sigma _{y}}}},\quad {\hat {\beta }}_{0}={\overline {y}}-{\hat {\beta }}_{1}\,{\overline {x}}\ .}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4fb4dbbc33b60f771b1bb7b97d715e3ff4b725b9)
多元線性迴歸模型[編輯]
對於多元線性迴歸模型,
, ![{\displaystyle x_{i0}=1;\quad i=1,\dots n.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5d6a52ba5302fb53d742b201cf12b1993f1e7ed5)
使用矩陣形式,線性迴歸模型可簡化記為
,其中採用了以下記號:
(觀測值向量,Vector of Responses),
(設計矩陣,Design Matrix),
(母數向量,Vector of Parameters),
(隨機誤差向量,Vectors of Error)。
高斯-馬可夫定理的假設條件是:
,
(零均值),
,(同變異數且獨立),其中
為n階單位矩陣(Identity Matrix)。
則對
的最佳線性不偏估計為
![{\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y} }](https://wikimedia.org/api/rest_v1/media/math/render/svg/e4fec6025b3b69c980dd2ad327a6196a15ac6509)
首先,注意的是這裡數據是
而非
,我們希望找到
對於
的線性估計量,記作
![{\displaystyle {\hat {\boldsymbol {\beta }}}=\mathbf {M} +\mathbf {N} \mathbf {Y} }](https://wikimedia.org/api/rest_v1/media/math/render/svg/513883af3e4c2656b9c00c77caa06a0260a1f200)
其中
,
,
和
分別是
,
,
和
矩陣。
根據零均值假設所得,
![{\displaystyle {\rm {E}}\left({\hat {\boldsymbol {\beta }}}\mid \mathbf {X} \right)=\mathbf {M} +\mathbf {N} {\rm {E}}\left(\mathbf {Y} \mid \mathbf {X} \right)=\mathbf {M} +\mathbf {N} \mathbf {X} {\boldsymbol {\beta }}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2d9899bedad4dc4300d0ebdf6aeb756486c75a54)
其次,我們同時限制尋找的估計量為不偏的估計量,即要求
,因此有
(零矩陣),![{\displaystyle \mathbf {N} \mathbf {X} =\mathbf {I_{p+1}} }](https://wikimedia.org/api/rest_v1/media/math/render/svg/a7391edd8591493036a66da82df64f4d8d76fc03)
參考資料[編輯]
外部連結[編輯]