1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > 线性回归与梯度下降法

线性回归与梯度下降法

时间:2018-06-22 12:54:55

相关推荐

线性回归与梯度下降法

参考资料:

/zlbflying/article/details/48134955

/articles/MRbee2i

/topics/1101

线性回归求价值函数最小,即求以权值为变量的函数的最小值。理论上可用最小二乘法,但其因需要求导,计算机一般无法完成,所以用牛顿法或梯度下降法求解。

梯度下降法可推导出下降最快的方向,通过该方向来更新参数值。

推导出的方向每次更新时用到了所有的样本——批处理梯度下降算法,可用得到全局最优解,但运算量大因此可用每次更新时只用一个样本来更新参数——随机梯度下降算法,减少运算量,但可能在某些样本点使参数更新剧烈变化

线性回归,假设函数

价值函数

梯度下降法求价值函数的参数:步长(学习率)、梯度、迭代

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。