7.4 稳健线性回归*

2019-07-21

| 机器学习 | | 线性回归 , 稳健性 , 厚尾 | 评论

返回本章目录

在回归模型中，使用零均值和常数方差的高斯分布对噪声进行建模是很常见的。 \(\epsilon_i \sim \mathcal{N}(0,\sigma^2)\) ，其中 \(\epsilon_i=y_i-\boldsymbol{w}^T \boldsymbol{x}_i\) 。 在这种情况下，最大化拟然等价于最小化残差平方和。 但是，如果我们的数据中存在异常值，则可能导致拟合不良，如图7.6（a）所示。 （异常值是图底部的点。）这是因为平方误差以二次方处理偏差，因此远离线的点对拟合的影响大于线附近的点。