虽然岭回归是计算点估计的有用方法，但有时我们想要计算关于 \(\boldsymbol{w}\) 和 \(\sigma^2\) 的完全后验。 为简单起见，我们首先假设噪声方差 \(\sigma^2\) 是已知的，因此我们专注于计算 \(p(\boldsymbol{w}| \mathcal{D},\sigma^2)\) 。 然后在7.6.3节我们将考虑一般情况，也就是计算 \(p(\boldsymbol{w},\sigma^2|\mathcal{D})\) 。 我们假设始终是高斯似然模型。 以稳健拟然执行贝叶斯推断也是可能的，但需要更高级的技术（参见练习24.5）。
...最大拟然估计(MLE)的一个问题是它可能导致过拟合。 在本节中，我们将讨论一种通过使用高斯先验的最大后验估计(MAP)的方法来改善此问题。 为简单起见，我们假设高斯似然，而不是稳定性拟然。
...在回归模型中，使用零均值和常数方差的高斯分布对噪声进行建模是很常见的。 \(\epsilon_i \sim \mathcal{N}(0,\sigma^2)\) ，其中 \(\epsilon_i=y_i-\boldsymbol{w}^T \boldsymbol{x}_i\) 。 在这种情况下，最大化拟然等价于最小化残差平方和。 但是，如果我们的数据中存在异常值，则可能导致拟合不良，如图7.6（a）所示。 （异常值是图底部的点。）这是因为平方误差以二次方处理偏差，因此远离线的点对拟合的影响大于线附近的点。
...估计统计模型参数的常用方法是计算MLE，其定义为
\[ \hat{\boldsymbol{\theta}} \overset{\Delta}{=} \underset{\boldsymbol{\theta}}{\rm argmax} \log p(\mathcal{D}|\boldsymbol{\theta}) \tag{7.4} \] ...正如我们在1.4.5节中讨论的那样，线性回归是一个形如下式的模型
\[ p(y|\boldsymbol{x},\boldsymbol{\theta})=\mathcal{N}(y | \boldsymbol{w}^T\boldsymbol{x},\sigma^2) \tag{7.1} \] ...线性回归是统计学和（监督）机器学习的“驮马(work horse)”。 当对核或其他形式的基函数进行扩展时，它也能模拟非线性关系。 当用伯努利或广义伯努利分布代替高斯分布输出时，它可以用于分类，我们将在下面看到这点。 因此，详细研究这个模型是值得的。
...
评论