统计学中,半参数回归包括结合了参数模型和非参数模型的回归模型。它们通常用于完全非参数模型可能表现不佳的情况,或者研究人员希望使用参数模型,但与回归子集有关的函数形式或误差密度不为人知的情况。半参数回归模型是半参数建模的一种特殊类型。半参数模型包含参数成分,依赖于参数假设,可能会出现规范误差与不一致的情况。
目前已有许多不同的半参数回归方法。最流行的方法是部分线性模型、指数模型和变系数模型。
部分线性模型[编辑]
部分线性模型如下
![{\displaystyle Y_{i}=X'_{i}\beta +g\left(Z_{i}\right)+u_{i},\,\quad i=1,\ldots ,n,\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f280a51ab6ab93967f39a2fbb68d756829c92387)
其中
是因变量,
是解释变量的
向量,
是未知参数的
向量,
。部分线性模型的参数部分由参数向量
给出,而非参数部分是未知函数
。假设数据与
独立同分布,模型允许未知形式的条件异方差误差过程
。这类模型由Robinson (1988)提出,并由Racine & Li (2007)扩展到处理分类协变量。
这种方法先获得
的
一致估计量,然后用适当的非参数回归方法,从
对
的非参数回归中推出
的估计量。[1]
指数模型[编辑]
单一指数模型的形式是
![{\displaystyle Y=g\left(X'\beta _{0}\right)+u,\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6e49d8e4dfd6d6ae11ba072df7b4861b8abf9178)
其中
、
、
的定义与上文相同,误差项
满足
。单一指数模型得名于模型的参数部分
,是标量单指数。非参数部分是未知函数
。
市村法[编辑]
市村(1993)提出的单一指数模型法如下。考虑
连续情形,给定函数
的已知形式,
可用非线性最小二乘法估计,使函数
![{\displaystyle \sum _{i=1}\left(Y_{i}-g\left(X'_{i}\beta \right)\right)^{2}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a2a4401876c519d1fa176fb1252effda5ae2c2a0)
最小化。
的函数形式未知,需要估计。对给定
值,函数估计值可用核密度估计得到,为
![{\displaystyle G\left(X'_{i}\beta \right)=E\left(Y_{i}|X'_{i}\beta \right)=E\left[g\left(X'_{i}\beta _{o}\right)|X'_{i}\beta \right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d21cdc6067923ca45be6d2c4f973099d282e2715)
市村(1993)建议用下式估计
:
![{\displaystyle {\hat {G}}_{-i}\left(X'_{i}\beta \right),\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ed9d84abfc9d6a2807c619bd1ca690f5730c4f5b)
为
的留一非参数核估计量.
Klein与Spady估计量[编辑]
Klein & Spady (1993)提出,若因变量
是二元的,并假设
、
独立,则可用最大似然估计法估计
。对数似然函数为
![{\displaystyle L\left(\beta \right)=\sum _{i}\left(1-Y_{i}\right)\ln \left(1-{\hat {g}}_{-i}\left(X'_{i}\beta \right)\right)+\sum _{i}Y_{i}\ln \left({\hat {g}}_{-i}\left(X'_{i}\beta \right)\right),}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0a97070f7d3dafc6b3e483751feee7a231ab9a31)
其中
是留一估计量。
平滑系数/变系数模型[编辑]
Hastie & Tibshirani (1993)提出了一种平滑系数模型
![{\displaystyle Y_{i}=\alpha \left(Z_{i}\right)+X'_{i}\beta \left(Z_{i}\right)+u_{i}=\left(1+X'_{i}\right)\left({\begin{array}{c}\alpha \left(Z_{i}\right)\\\beta \left(Z_{i}\right)\end{array}}\right)+u_{i}=W'_{i}\gamma \left(Z_{i}\right)+u_{i},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fffa2e742bb1fba95ff29601f5377786d1a73b84)
其中
是
向量,
是
的未定平滑函数向量。
可表为
![{\displaystyle \gamma \left(Z_{i}\right)=\left(E\left[W_{i}W'_{i}|Z_{i}\right]\right)^{-1}E\left[W_{i}Y_{i}|Z_{i}\right].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fd5c918e525d12f689d67314413047594f3378ce)
- ^ See Li and Racine (2007) for an in-depth look at nonparametric regression methods.
参考文献[编辑]
- Robinson, P.M. Root-n Consistent Semiparametric Regression. Econometrica (The Econometric Society). 1988, 56 (4): 931–954. JSTOR 1912705. doi:10.2307/1912705.
- Li, Qi; Racine, Jeffrey S. Nonparametric Econometrics: Theory and Practice. Princeton University Press. 2007. ISBN 978-0-691-12161-1.
- Racine, J.S.; Qui, L. A Partially Linear Kernel Estimator for Categorical Data. Unpublished Manuscript, Mcmaster University. 2007.
- Ichimura, H. Semiparametric Least Squares (SLS) and Weighted SLS Estimation of Single Index Models. Journal of Econometrics. 1993, 58 (1–2): 71–120. doi:10.1016/0304-4076(93)90114-K.
- Klein, R. W.; R. H. Spady. An Efficient Semiparametric Estimator for Binary Response Models. Econometrica (The Econometric Society). 1993, 61 (2): 387–421. CiteSeerX 10.1.1.318.4925
. JSTOR 2951556. doi:10.2307/2951556.
- Hastie, T.; R. Tibshirani. Varying-Coefficient Models. Journal of the Royal Statistical Society, Series B. 1993, 55: 757–796.