Skip to content

6.0 导言

原文 The Elements of Statistical Learning
翻译 szcf-weiya
时间 2017-01-28
更新 2018-07-18
状态 Done

这章中我们描述一类回归技巧,这类技巧能够通过某种方式实现在定义域 $\IR^p$ 中估计回归函数 $f(X)$ 的灵活性,这种方式是在每个查询点 $x_0$ 处分别拟合不同但简单的模型。仅仅使用离目标点很近的观测点来拟合这个简单的模型,这种方式得到的估计函数 $\hat f(X)$ 在 $\IR^p$ 是光滑的。这个局部化可以通过一个加权的函数或者 核 (kernel) 函数 $K_\lambda(x_0,x_i)$ 来实现,核函数是基于 $x_i$ 到 $x_0$ 的距离赋予一个权重。核 $K_\lambda$ 一般地通过参数 $\lambda$ 来编号,参数 $\lambda$ 规定了邻域的宽度。原则上,这些 基于记忆性 (memory-based) 的方法需要很少或者不需要训练;所有的工作在 赋值 (evaluation) 阶段便完成了。根据训练集唯一需要确定的参数是 $\lambda$。然而,该模型是整个训练数据集。

我们也讨论更加一般类别的基于核的技巧,它们与其他章节中结构化的方法联系在一起了,这在密度估计和分类中很有用。

本章中的技巧不应该与最近使用最多的“核方法”混淆。这章中,核大多作为局部化的工具。我们在 5.8 节14.5.4 节18.5 节第 12 章讨论核方法;在这些部分,核在一个高维的(隐式的)特征空间中计算内积,而且被用于正规化非线性建模中。我们将在本章的 6.7 节的最后将这些方法联系起来。

Comments