統計學中,半參數回歸包括結合了參數模型和非參數模型的回歸模型。它們通常用於完全非參數模型可能表現不佳的情況,或者研究人員希望使用參數模型,但與回歸子集有關的函數形式或誤差密度不為人知的情況。半參數回歸模型是半參數建模的一種特殊類型。半參數模型包含參數成分,依賴於參數假設,可能會出現規範誤差與不一致的情況。
目前已有許多不同的半參數回歸方法。最流行的方法是部分線性模型、指數模型和變係數模型。
部分線性模型[編輯]
部分線性模型如下
![{\displaystyle Y_{i}=X'_{i}\beta +g\left(Z_{i}\right)+u_{i},\,\quad i=1,\ldots ,n,\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f280a51ab6ab93967f39a2fbb68d756829c92387)
其中
是因變量,
是解釋變量的
向量,
是未知參數的
向量,
。部分線性模型的參數部分由參數向量
給出,而非參數部分是未知函數
。假設數據與
獨立同分佈,模型允許未知形式的條件異方差誤差過程
。這類模型由Robinson (1988)提出,並由Racine & Li (2007)擴展到處理分類協變量。
這種方法先獲得
的
一致估計量,然後用適當的非參數回歸方法,從
對
的非參數回歸中推出
的估計量。[1]
指數模型[編輯]
單一指數模型的形式是
![{\displaystyle Y=g\left(X'\beta _{0}\right)+u,\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6e49d8e4dfd6d6ae11ba072df7b4861b8abf9178)
其中
、
、
的定義與上文相同,誤差項
滿足
。單一指數模型得名於模型的參數部分
,是純量單指數。非參數部分是未知函數
。
市村法[編輯]
市村(1993)提出的單一指數模型法如下。考慮
連續情形,給定函數
的已知形式,
可用非線性最小二乘法估計,使函數
![{\displaystyle \sum _{i=1}\left(Y_{i}-g\left(X'_{i}\beta \right)\right)^{2}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a2a4401876c519d1fa176fb1252effda5ae2c2a0)
最小化。
的函數形式未知,需要估計。對給定
值,函數估計值可用核密度估計得到,為
![{\displaystyle G\left(X'_{i}\beta \right)=E\left(Y_{i}|X'_{i}\beta \right)=E\left[g\left(X'_{i}\beta _{o}\right)|X'_{i}\beta \right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d21cdc6067923ca45be6d2c4f973099d282e2715)
市村(1993)建議用下式估計
:
![{\displaystyle {\hat {G}}_{-i}\left(X'_{i}\beta \right),\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ed9d84abfc9d6a2807c619bd1ca690f5730c4f5b)
為
的留一非參數核估計量.
Klein與Spady估計量[編輯]
Klein & Spady (1993)提出,若因變量
是二元的,並假設
、
獨立,則可用最大似然估計法估計
。對數似然函數為
![{\displaystyle L\left(\beta \right)=\sum _{i}\left(1-Y_{i}\right)\ln \left(1-{\hat {g}}_{-i}\left(X'_{i}\beta \right)\right)+\sum _{i}Y_{i}\ln \left({\hat {g}}_{-i}\left(X'_{i}\beta \right)\right),}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0a97070f7d3dafc6b3e483751feee7a231ab9a31)
其中
是留一估計量。
平滑係數/變係數模型[編輯]
Hastie & Tibshirani (1993)提出了一種平滑係數模型
![{\displaystyle Y_{i}=\alpha \left(Z_{i}\right)+X'_{i}\beta \left(Z_{i}\right)+u_{i}=\left(1+X'_{i}\right)\left({\begin{array}{c}\alpha \left(Z_{i}\right)\\\beta \left(Z_{i}\right)\end{array}}\right)+u_{i}=W'_{i}\gamma \left(Z_{i}\right)+u_{i},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fffa2e742bb1fba95ff29601f5377786d1a73b84)
其中
是
向量,
是
的未定平滑函數向量。
可表為
![{\displaystyle \gamma \left(Z_{i}\right)=\left(E\left[W_{i}W'_{i}|Z_{i}\right]\right)^{-1}E\left[W_{i}Y_{i}|Z_{i}\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fd5c918e525d12f689d67314413047594f3378ce)
- ^ See Li and Racine (2007) for an in-depth look at nonparametric regression methods.
參考文獻[編輯]
- Robinson, P.M. Root-n Consistent Semiparametric Regression. Econometrica (The Econometric Society). 1988, 56 (4): 931–954. JSTOR 1912705. doi:10.2307/1912705.
- Li, Qi; Racine, Jeffrey S. Nonparametric Econometrics: Theory and Practice. Princeton University Press. 2007. ISBN 978-0-691-12161-1.
- Racine, J.S.; Qui, L. A Partially Linear Kernel Estimator for Categorical Data. Unpublished Manuscript, Mcmaster University. 2007.
- Ichimura, H. Semiparametric Least Squares (SLS) and Weighted SLS Estimation of Single Index Models. Journal of Econometrics. 1993, 58 (1–2): 71–120. doi:10.1016/0304-4076(93)90114-K.
- Klein, R. W.; R. H. Spady. An Efficient Semiparametric Estimator for Binary Response Models. Econometrica (The Econometric Society). 1993, 61 (2): 387–421. CiteSeerX 10.1.1.318.4925
. JSTOR 2951556. doi:10.2307/2951556.
- Hastie, T.; R. Tibshirani. Varying-Coefficient Models. Journal of the Royal Statistical Society, Series B. 1993, 55: 757–796.