虽然岭回归是计算点估计的有用方法，但有时我们想要计算关于 \(\boldsymbol{w}\) 和 \(\sigma^2\) 的完全后验。 为简单起见，我们首先假设噪声方差 \(\sigma^2\) 是已知的，因此我们专注于计算 \(p(\boldsymbol{w}| \mathcal{D},\sigma^2)\) 。 然后在7.6.3节我们将考虑一般情况，也就是计算 \(p(\boldsymbol{w},\sigma^2|\mathcal{D})\) 。 我们假设始终是高斯似然模型。 以稳健拟然执行贝叶斯推断也是可能的，但需要更高级的技术（参见练习24.5）。
...后验 \(p(\boldsymbol{\theta} | \mathcal{D})\) 总结了我们所知道的关于未知量 \(\boldsymbol{\theta}\) 的一切。 在本节中，我们将讨论一些可以从概率分布中导出的简单量，例如后验。这些摘要统计数据通常比完整联合更容易理解和可视化。
...在上一节中，我们讨论了如何推断硬币"正面"出现的概率。在本节中，我们推广这些结果，以推断出有 \(K\) 面的骰子出现第 \(k\) 面的概率。这似乎是另一种玩具练习，但将在后面看到, 我们的研究方法将被广泛用于分析文本数据，生物序列数据等。
...在给定一离散观察序列的情况下, 数字游戏涉及从有限假设空间推断出离散变量的分布, \(h \in \mathcal{H}\) 。这使计算变得特别简单：我们只需要求和，乘和除。然而，在许多应用中，未知参数是连续的，因此假设空间是 \(\mathbb{R}^K\) 的某个子集, 其中 \(K\) 是参数的个数. 这使数学变得复杂，因为我们必须用积分代替和。但是，基本思路是一样的。
...考虑孩子如何学习理解单词的含义，例如“狗”。据推测，孩子的父母指出了这个概念的正面例子，说“看着可爱的小狗！”或“小心小狗”等等。然而，他们提供反面的例子是不太可能的，“看看那只非狗“?。当然，在积极的学习过程中可能会得到负面的例子 - 孩子说“看狗”，父母说“那是猫，亲爱的，不是狗” - 但心理学研究表明，人们可以仅从正面例子来学习概念（Xu和Tenenbaum 2007）。
...
评论