当前位置:主页 > SEO优化 >

神经网络关于优化器的选择问题(Optimizer)

作者: 奕星SEO 分类: SEO优化 发布时间: 2019-08-10 03:11 阅读量:

  其实机器学习训练过程中的本质就是在最小化损失,而在我们定义了损失函数后,优化器就派上了用场,在深度学习中,我们通常就是对于梯度优化,优化的目标就是网络模型里的参数θ(是一个集合,θ1、θ2、θ3 ……)。

  批量梯度下降法,也是梯度下降法最基础的形式,算法的思想是在更新每个参数的时,都使用所有样本进行更新:

  上述也说到了,批量梯度下降每迭代一步,是需要用到训练集的所有数据,如果样本数目很大,速度就会很慢,所有随机梯度下降(SGD)也就顺理成章的引入。

  优点:全局最优解;易于并行实现;从跌代次数上来说,BGD
的迭代次数比较少。

  随机梯度下降法(SGD),与SGD相比,SGD每次更新时对每个样本进行梯度更新,数学表达如下:

  随机梯度下降是通过每个样本来迭代更新一次,如果样本量很大的情况(例如几十万),那么可能只用其中几万条或者几千条的样本,就已经将theta迭代到最优解了,对比上面的批量梯度下降,迭代一次需要用到十几万训练样本,一次迭代不可能最优,如果迭代10次的线次。但是,SGD伴随的一个问题是噪音较BGD要多,使得SGD并不是每次迭代都向着整体最优化方向。

  缺点:准确度下降,并不是全局最优;不易于并行实现。从迭代次数来看,SGD迭代次数较多,在解空间的搜索过程看起来很盲目。

  小批量梯度下降法,是中和了BGD,SGD二者的优缺点,即算法的训练过程较快,而且也要保证最终参数的准确率,MBGD在每次更新参数时候,使用b个样本(b一般为50~256)

  优点:收敛更稳定,另一方面可以充分地利用深度学习库中高度优化的矩阵操作来进行更有效的梯度计算。

  缺点:关于学习率的选择,如果太小,收敛速度就会变慢,如果太大,loss function就会在极小值处不停的震荡甚至偏离。

  1.不过 Mini-batch gradient descent 不能保证很好的收敛性,learning rate 如果选择的太小,收敛速度会很慢,如果太大,loss function 就会在极小值处不停地震荡甚至偏离。(有一种措施是先设定大一点的学习率,当两次迭代之间的变化低于某个阈值后,就减小 learning rate,不过这个阈值的设定需要提前写好,这样的话就不能够适应数据集的特点。)对于非凸函数,还要避免陷于局部极小值处,或者鞍点处,因为鞍点周围的error是一样的,所有维度的梯度都接近于0,SGD 很容易被困在这里。(会在鞍点或者局部最小点震荡跳动,因为在此点处,如果是训练集全集带入即BGD,则优化会停止不动,如果是mini-batch或者SGD,每次找到的梯度都是不同的,就会发生震荡,来回跳动。)

  2.SGD对所有参数更新时应用同样的 learning rate,如果我们的数据是稀疏的,我们更希望对出现频率低的特征进行大一点的更新。LR会随着更新的次数逐渐变小。

  momentum即动量,它模拟的是物体运动时的惯性,即更新的时候在一定程度上保留之前更新的方向,同时利用当前batch的梯度微调最终的更新方向。这样一来,可以在一定程度上增加稳定性,从而学习地更快,并且还有一定摆脱局部最优的能力。

  Momentum中包含以下参数(学习速率 ϵ, 初始参数 θ, 初始速率v, 动量衰减参数α)

  Momentum最好情况下能够将学习速率加速1/(1−α)倍.一般α的取值有0.5,0.9,0.99这几种,分别表示最大速度2倍,10倍,100倍于SGD的算法。.当然,也可以让α的值随着时间而变化,一开始小点,后来再加大.不过这样一来,又会引进新的参数.

  特点: 
 - 前后梯度方向一致时,能够加速学习 
 - 前后梯度方向不一致时,能够抑制震荡

  具体实现需要:学习速率 ϵ, 初始参数 θ, 初始速率v, 动量衰减参数α

  从训练集中的随机抽取一批容量为m的样本{x1,…,xm},以及相关的输出yi

  注意在估算梯度g的时候,参数变成了θ+αv而不是之前的θ,与Momentum唯一区别就是,计算梯度的不同,Nesterov先用当前的速度v更新一遍参数,在用更新的临时参数计算梯度。

  蓝色是 Momentum 的过程,会先计算当前的梯度,然后在更新后的累积梯度后会有一个大的跳跃。而 NAG 会先在前一步的累积梯度上(brown vector)有一个大的跳跃,然后衡量一下梯度做一下修正(red vector),这种预期的更新可以避免我们走的太快。

  Adagrad可以自动变更学习速率,只是需要设定一个全局的学习速率ϵ,但是这并非是实际学习速率,实际的速率如下公式所示:

  所以Adagrad可以对低频的参数做较大的更新,对高频的做较小的更新,也因此,对于稀疏的数据它的表现很好,很好地提高了 SGD 的鲁棒性

  从训练集中的随机抽取一批容量为m的样本{x1,…,xm},以及相关的输出yi


本文链接地址:http://www.seohuizhou.com/seoyouhua/770.html
上一篇:<<忍了十年最终还是被SEO培训营销了
下一篇:直播app制作跨不过去的三方服务内容>>