6.4 估计器的理想属性
评论
由于频率派决策理论没有提供选择最佳估计器的自动方法，我们需要提出其他启发式方法来选择它们。 在本节中，我们将讨论我们所希望估计器应该具有的一些属性。 不幸的是，我们将看到我们无法同时实现所有这些属性。
...
估计器
6.3 频率派决策理论
在频率派或经典决策理论中，存在一个损失函数和一个拟然，但没有先验因而没有后验或后验预期损失。 因此，与贝叶斯情况不同，没有自动推导出最优估计器的方法。 相反，在频率派方法中，我们可以自由选择我们想要的任何估计器或决策程序 \(\delta：\mathcal{X} \to \mathcal{A}\) 。
选择估计器后，我们将其预期损失或风险定义如下：
\[ R(\theta^{\\*},\delta)\overset{\Delta}{=}\mathbb{E}_{p(\tilde{\mathcal{D}}|\theta^{\\*})}\left[L(\theta^{\\*},\delta(\tilde{\mathcal{D}}))\right]=\int{L(\theta^{\\*},\delta(\tilde{\mathcal{D}}))p(\tilde{\mathcal{D}}|\theta^{\\*})d\tilde{\mathcal{D}}} \tag{6.9} \] ...6.2 估计器的采样分布
在频率派统计中，通过将估计器 \(\delta\) 应用在某些数据 \(\mathcal{D}\) 来计算参数估计 \(\hat{\boldsymbol{\theta}}\) ，因此 \(\hat{\boldsymbol{\theta}}=δ(\mathcal{D})\) 。 该参数被视为固定的，并且数据被视为随机的，这与贝叶斯方法完全相反。 可以通过计算估计器的采样分布来测量参数估计的不确定性。 为了理解这个概念，想象从一些真实模型 \(p(·|\boldsymbol{\theta}^*)\) 中采样许多不同的数据集 \(\mathcal{D}^{(s)}\) ，即让 \(\mathcal{D}^{(s)}= \left\{x_i^{(s)}\right\}_{i=1}^N\) ，其中 \(x_i^s \sim p(·|\boldsymbol{\theta}^*)\) ， \(\boldsymbol{\theta}^*\) 是真实参数。 这里 \(s = 1:S\) 已采样数据集的索引， \(N\) 是每个这样的数据集的大小。 现在将估计器 \(\hat{\theta}(·)\) 应用到每个 \(\mathcal{D}^{(s)}\) 以获得一组估计 \(\{\hat{\boldsymbol{\theta}}(\mathcal{D}^{(s)})\}\) 。 当我们让 \(S\to \infty\) 时，在 \(\hat{\theta}(·)\) 上诱导的分布就是估计器的采样分布。 我们将在后面的章节中讨论使用采样分布的各种方法。 但首先我们描绘了两种计算采样分布本身的方法。
...