5.6 经验贝叶斯
评论
在分层贝叶斯模型中，我们需要计算多个级别潜在变量的后验。 例如，在两级模型中，我们需要计算
\[ p(\boldsymbol{\eta}, \boldsymbol{\theta} | \mathcal{D}) \propto p(\mathcal{D} | \boldsymbol{\theta}) p(\boldsymbol{\theta} | \boldsymbol{\eta}) p(\boldsymbol{\eta}) \tag{5.78} \] ...
预测
3.5 朴素贝叶斯分类器
在本节中，我们将讨论如何对离散值特征的向量进行分类， \(\boldsymbol{x} \in {1,\dots,K}^D\) ，其中 \(K\) 是每个特征的值域数， \(D\) 是特征的数量。我们将使用生成方法。这要求我们指定类条件分布 \(p(\boldsymbol{x} | y=c)\) 。最简单的方法是假设特征是条件独立的, 对给定类标签。这使我们可以将类条件密度写成一维密度的乘积:
\[ p(\boldsymbol{x} | y=c, \boldsymbol{\theta}) = \prod_{j=1}^D {p(\boldsymbol{x}_j | y=c, \theta_{jc}) } \tag{3.54} \]此模型被称为 朴素贝叶斯分类器 （NBC）。
...3.4 狄利克雷-多项模型
在上一节中，我们讨论了如何推断硬币"正面"出现的概率。在本节中，我们推广这些结果，以推断出有 \(K\) 面的骰子出现第 \(k\) 面的概率。这似乎是另一种玩具练习，但将在后面看到, 我们的研究方法将被广泛用于分析文本数据，生物序列数据等。
...3.3 贝塔-二项模型
在给定一离散观察序列的情况下, 数字游戏涉及从有限假设空间推断出离散变量的分布, \(h \in \mathcal{H}\) 。这使计算变得特别简单：我们只需要求和，乘和除。然而，在许多应用中，未知参数是连续的，因此假设空间是 \(\mathbb{R}^K\) 的某个子集, 其中 \(K\) 是参数的个数. 这使数学变得复杂，因为我们必须用积分代替和。但是，基本思路是一样的。
...