重抽样方法

5.0 基本问题

• 交叉验证常用的误差估计方法？

• 验证集方法存在的问题有哪些？

• 留⼀交叉验证的测试误差估计的均值如何计算？

• 留⼀交叉验证和验证集方法的比较？

• 使⽤交叉验证的目的是什么？是对MSE的真值感兴趣吗？

• LOOCV方法和k折方法的异同点？如何进行偏差-方差的均衡？

• 对于分类问题，交叉验证的评判标准是什么？

• 使⽤KNN分类器时，使用训练错误率还是交叉验证错误率对K值进行选择？为什么？

• 自助法适用的条件？

5.1 交叉验证法

评价一个模型的表现过程称为模型评价。

为一个模型选择合适的光滑度的过程称为模型选择。

5.1.1 验证集的方法

将可用的样本集随机分为两部分: 训练集 和 验证集（或保留集）。

模型在训练集上拟合，拟合后的模型用于预测验证集中的观察值的响应。产生的验证集的误差提供了测试误差的估计值。

例如随机分成两半:左侧为训练集，右侧为验证集。

缺点包括：

• 测试错误率的验证法估计的波动很大，取决于具 体的哪些观测包含在训练集中，哪些包含在验证 集中。

• 只有观测数据的一个子集，即训练集，被用来拟合模型。

• 因此，验证集错误率可能会高估在整个数据集上拟合模型所得到的测试误差。

5.1.2 K-折（K-fold）交叉验证法

将数据随机分成 K 个大小（基本）相等的组。我们留出一组，如第k组，在剩下的 K - 1 组拟合出模型。然后用第k组测试模型得MSE。

对每一个k = 1, 2, …, K 重复上述步骤，然后将结果 进行组合。

对测试均方误差的估计为：

$$CV_{(k)}=\frac{1}{k}\sum_{i=1}^k MSE_i$$

复习一下：

$$MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{f}(x_i))^2$$

在实践中，一般令 k=5或者10

当 k=n 时，变成“留一法”交叉验证LOOCV方法，即一个样本就是一组。但是LOOCV方法的缺点是：

• 计算量大

• 偏差最小，但是每一折的估计都高度相关，因此可能有很大的方差。

尽管CV方法有时会低估测试均方误差的真值，但从CV曲线可以正确预测测试均方误差曲线的最小值点。

5.1.3 分类问题的交叉验证

在分类问题中，错误率写作：

$$CV_{(n)}=\frac{1}{n} \sum_{i=1}^n I(y_i \neq \hat{y}_i)$$

5.2 自助法

自助法（Bootstrap）是一种灵活而强大的统计工具， 可用于量化给定估计量或统计学习方法的不确定性。

bootstrap方法允许我们使用计算机来模拟获得新数据集的过程，这样我们就可以在不产生额外样本的情况下评估我们估计的变化性。

通过对原始数据集有放回重复抽样来获得不同的数据集。

“bootstrap数据集”中的每一个都是通过有 放回抽样创建的，大小与我们的原始数据集相同。 因此，一些观察结果可能会在给定的bootstrap数 据集中出现不止一次，而一些则根本不会出现。

利用公式估计bootstrap估计的标准误差：

$$SE_B(\hat{\alpha})=\sqrt { \frac{1}{B-1} \sum_{r=1}^B ( \hat{\alpha}^{*r} - \bar{\hat{\alpha}}^* )^2 }$$

$$\bar{\hat{\alpha}}^*=\frac{1}{B}\sum_{r=1}^B\hat{\alpha}^{*r}$$

• 其中，B代表生成几个数据集

• $\hat{\alpha}^{*r}$ 代表对应的生成数据集 $Z^{*r}$ 生成的估计值

如果数据是一个时间序列，我们不能简单 地对观测数据进行有放回抽样。相反，我们可以创建连续观察的区块，并对这些区块进行有放回抽取。然后我们将采样的块拼一起， 以获得一个bootstrap数据集。

每个bootstrap样本都与原始数据有显著的重叠。 大约三分之二的原始数据点出现在每个bootstrap 样本中。这将导致bootstrap严重低估真实的预测误差。

对数据集D采样 m 次生成训练集 D’，某个观测没被采到的概率是

$$\lim_{m\to\inf}(1-\frac{1}{m})^m=\frac{1}{e}=0.368$$