Skip to content

5.6 非参逻辑斯蒂回归

原文 The Elements of Statistical Learning
翻译 szcf-weiya
发布 2017-09-14
更新 2018-03-26, 2018-07-10
状态 Done

5.4 节的光滑样条问题 (5.9) 是在回归的背景下提出来的.可以非常直接地将其推广到其他领域.这里我们考虑单个定量输入变量 $X$ 的逻辑斯蒂回归.模型为

这表明

以光滑化的方式对 $f(x)$ 进行拟合会得到条件概率 $\Pr(Y=1\mid x)$ 的光滑估计,它可以用来分类或者风险评分.

我们构造如下的带惩罚的对数似然准则

其中 $p(x)=\Pr(Y=1\mid x)$.上述表达式的第一项为基于二项分布的对数似然.在 5.4 节中使用的类似的参数证明了最优的 $f$ 是结点在无重复的 $x$ 处的有限维自然样条.这意味着我们可以表示成 $f(x)=\sum_{j=1}^NN_j(x)\theta_j$.我们比较一阶微分和二阶微分

其中 $\mathbf p$ 是元素为 $p(x_i)$ 的 $N$ 维向量,$\mathbf W$ 是权重为 $p(x_i)(1-p(x_i)$ 的对角矩阵.(5.31) 的一阶微分关于 $\theta$ 是非线性的,所以我们需要运用和 4.4.1 节一样的迭代算法.采用类似用于线性逻辑斯蒂回归的 (4.23) 和 (4.26) 的 Newton-Raphson 算法,更新的等式可以写成

weiya 注:Recall

也可以用拟合值表示更新

参考 (5.12) 和 (5.14) 式,

weiya 注:Recall

我们看到更新的操作对工作响应变量 (working response) $\mathbf z$ 拟合了加权光滑样条(练习 5.12).

weiya 注:Ex. 5.12

已解决,详见 Issue 107: Ex. 5.12

式 (5.34) 的形式很有指导意义.它试图用任何非参(加权)回归算子代替 $\mathbf S_{\lambda,w}$,并且得到一般的非参逻辑斯蒂回归模型的族.尽管这里 $x$ 是一维的,但这个过程可以很自然地推广到高维的 $x$.这些拓展是 广义可加模型 (generalized additive models) 的核心,我们将在第 9 章中讨论.

Comments