7.2 模型选择
评论
正如我们在1.4.5节中讨论的那样，线性回归是一个形如下式的模型
\[ p(y|\boldsymbol{x},\boldsymbol{\theta})=\mathcal{N}(y | \boldsymbol{w}^T\boldsymbol{x},\sigma^2) \tag{7.1} \]只用输入的一些非线性函数 \(\boldsymbol{\phi}(\boldsymbol{x})\) 代替 \(\boldsymbol{x}\) ，就可以用线性回归以模拟非线性关系。 也就是说，可用如下模型
\[ p(y|\boldsymbol{x},\boldsymbol{\theta})=\mathcal{N}(y | \boldsymbol{w}^T\boldsymbol{\phi}(\boldsymbol{x}),\sigma^2) \tag{7.2} \]这被称为基函数扩展(basis function expansion)。 （注意，模型在参数 \(\boldsymbol{w}\) 中仍然是线性的，因此它仍然被称为线性回归; 这一点的重要性将在下面变得清晰。）一个简单的例子是多项式基函数，其模型形如
\[ \boldsymbol{\phi}(\boldsymbol{x}) = [1,x,x^2,\dots,x^d]\tag{7.3} \]图1.18说明了改变 \(d\) 的效果：增加阶数 \(d\) 使我们能够创建越来越复杂的函数。
我们还可以将线性回归应用于多个输入。 例如，考虑将温度建模为位置的函数。 图7.1（a）绘制了 \(\mathbb{E} [y | \boldsymbol{x}] = w_0 + w_1 x_1 + w_2 x_2\) ，图7.1（b）绘制了 \(\mathbb{E} [y | \boldsymbol{x}] = w_0 + w_1 x_1 + w_2 x_2+w_3 x_1^2+w_4 x_2^2\) 。
图7.1 线性回归应用于2d数据。 垂直轴是温度，水平轴是房间内的位置。 数据由加利福尼亚州伯克利的英特尔实验室的一些遥感元素收集（数据由Romain Thibaux提供）。 （a）拟合平面的形式 \(\hat{f}(\boldsymbol{x})= w_0 + w_1 x_1 + w_2 x_2\) 。 （b）温度数据拟合形式 \(\hat{f}(\boldsymbol{x})= w_0 + w_1 x_1 + w_2 x_2+w_3 x_1^2+w_4 x_2^2\) 的二次曲面由_surfaceFitDemo_生成。