Skip to content

11.6 例子:模拟数据

原文 The Elements of Statistical Learning
翻译 szcf-weiya
发布 2017-02-08
更新 2017-12-28

更新笔记

@2017-12-28 挺惭愧的!直到今天才认真地从零开始写了个简单的神经网络代码,具体代码详见Notebook for Simple Neural Network.对于本节的例子,我也写了份代码试图重现书中的结果,代码详见Notebook for this Section

我们从两个可加误差模型 $Y=f(X)+\varepsilon$ 中产生数据: 这里 $X^T=(X_1,X_2,\ldots,X_p)$,每个 $X_j$ 是标准高斯变量,第一个模型中 $p=2$,第二个模型中 $p=10$.

对于sigmoid模型,$a_1=(3,3),a_2=(3,-3)$;对于径向模型,$\phi(t)=(1/2\pi)^{1/2}exp(-t^2/2)$.$\varepsilon_1$和$\varepsilon_2$都是高斯误差,选择方差使得两个模型的信噪比都为4. 我们取大小为100的训练集和大小为10000的测试集.我们采用权重系数衰减和不同的隐藏单元来拟合神经网络,然后记录10个随机初始权重系数值情形下的平均测试误差$E_{Test}(Y-\hat f(X))^2$.虽然只产生了一个训练集,但是结果是“平均”的训练集的典型.测试误差展示在图11.6中.注意到0个隐藏层单元指的是线性最小二乘回归.神经网络对于sigmoid函数之和的模型拟合效果很好,而且当有两个神经元时效果最好,非常接近贝叶斯误差率.(回忆一下,回归的平方误差的贝叶斯误差率是误差的方差;这张图中是测试误差相对于贝叶斯误差的比例)然而,注意到更多的隐藏层单元,很快便出现了过拟合,而且有些权重系数的初始值比线性模型(0个隐藏单元)拟合得还差.即便是2个隐藏单元的情形,10个权重系数的初始值中有两个的结果不好于线性模型,证实了多重初始值的重要性.

图11.6 模拟数据例子的测试误差相对于贝叶斯误差(水平虚线)的箱线图.左图的真实函数是两个sigmoid函数之和,右图是径向函数.对于具有所指示单元数目的单个隐藏层神经网络,显示10个不同起始权重的测量误差.

在某种程度上径向函数对于神经网络是最困难的,因为它是球对称且没有偏好的方向.我们可以从图11.6的右图中看出在这种情形下缺失效果很差,测试误差远远超出贝叶斯误差(注意与左图不同的垂直刻度).事实上,因为常值拟合(比如样本均值)的相对误差率达到5(当SNR为4),我们看到神经网络比均值表现得越来越差.

这个例子中我们采用一个固定的系数衰减参数0.0005,表现一个温和的正则化.图11.6的左图的结果表明在更多隐藏单元的情形下需要更多的正则化.

图11.7. 模拟数据例子的测试误差相对于贝叶斯误差的箱线图.真实函数是两个sigmoid函数之和.对于具有所指示单元数目的单个隐藏层神经网络,显示10个不同起始权重的测量误差.两个图分别表示无系数衰减(左边)和强误差衰减$\lambda=0.1$(右图)

图11.7中,我们对两sigmoids和的模型重复实验,左边图没有系数衰减,右边图为更强的系数衰减($\lambda=0.1$).没有系数衰减时,越多的隐藏单元,过拟合变得越严重.系数衰减值$\lambda=0.1$在所有隐藏神经元个数的情形下都能得到好结果,当隐藏单元的个数增加并不表现出过拟合的现象.最后,图11.8显示了含10个隐藏单元神经网络的测试误差随着不同衰减参数的变化.值为0.1时近似是最优的.

图11.8. 对于模拟数据例子的测试误差的箱线图.真实函数为两个sigmoid函数之和.对于具有所指示单元数目的单个隐藏层神经网络,显示10个不同起始权重的测量误差.

总的来说,有两个自由参数需要选择:权重衰减参数$\lambda$和隐藏层的数目$M$.作为一个学习的策略,可以在对应的最小约束模型下固定任一个参数,来确保模型足够丰富,并且运用交叉验证来选择另一个参数.这里最少约束值为0权重衰减和10个隐藏层单元.将图11.7的左图与图11.8相比,我们可以看到测试误差对于系数衰减更不敏感,因此此参数的交叉验证会更好.

Comments