Skip to content

10.2 Boosting 拟合可加模型

原文 The Elements of Statistical Learning
翻译 szcf-weiya
发布 2017-02-08
更新 2017-08-26, 2018-02-28
状态 Done

Boosting 的成功真的不是很神秘.关键在于 (10.1) 式.

weiya 注:Recall

Boosting 是在一组基本的“基”函数集合中拟合 加性展开 (additive expansions) 的方法.这里基函数是单个的分类器 $G_m(x)\in \{-1,1\}$.更一般地,基函数展开式采用下列形式

其中 $\beta_m,m=1,2,\ldots,M$ 是展开的系数,$b(x;\gamma)\in \IR$ 是普通的关于多元变量 $x$ 的简单函数,$\gamma$ 是其参数.我们在 第 5 章 中详细讨论了基的展开.

类似的加性展开是本书介绍的许多学习方法的核心:

  • 在单层神经网络中(第 11 章),$b(x;\gamma)=\sigma(\gamma_0+\gamma_1^Tx)$,其中 $\sigma(t)=1/(1+e^{-t})$ 是 sigmoid 函数,并且 $\gamma$ 参量化输入变量的线性组合.
  • 在信号处理中,小波(5.9.1 节)用 $\gamma$ 参量化“母”微波的位置和偏移量是很流行的选择.多元自适应回归样条(9.4 节)采用截断幂样条基函数,其中 $\gamma$ 对变量和结点的值进行参量化.
  • 对于树,$\gamma$ 对中间结点的分离变量和分离点以及终止结点的预测值进行参量化.

一般地,通过使训练数据上的平均损失函数最小化来拟合这些模型,比如平方误差或者基于概率的损失函数, 对于许多损失函数 $L(y,f(x))$ 和/或基函数 $b(x;\gamma)$,这需要 计算密集型的 (computationally intensive) 数值优化技术.

weiya 注:computationally intensive

引用什么是计算密集型(computationally intensive)? - 知乎的回答

程序系统大部分在做计算、逻辑判断、循环导致 cpu 占用率很高的情况,称之为计算密集型;频繁网络传输、读取硬盘及其他 io 设备称之为 io 密集型

然而,当可以快速求解只有一个单一的基函数的子问题时,经常可以找到简单的替代方案,单一的基函数为

Comments