神经网络和深度学习-第二周神经网络基础-第四节:梯度下降法


声明:本文转载自https://my.oschina.net/geekidentity/blog/1595844,转载目的在于传递更多信息,仅供学习交流之用。如有侵权行为,请联系我,我会及时删除。

本系列博客是吴恩达(Andrew Ng)深度学习工程师 课程笔记。全部课程请查看吴恩达(Andrew Ng)深度学习工程师课程目录

在上一节中学习了损失函数,损失函数是衡量单一训练样例的效果,成本函数用于衡量参数w和b的效果,在全部训练集上来衡量。下面我们讨论如何使用梯度下降法,来训练和学习训练集上的参数w和b,使得$J(w,b)$尽可能地小。

这个图中的横轴表示空间参数w和b,在实践中,w可以是更高维的。成本函数$J(w,b)$是在水平轴w和b上的曲面,曲面的高度表示了$J(w,b)$在某一点的值,我们所想要做的就是找到这样的w和b,使其对应的成本函数J值是最小值。可以看到成本函数$J$是一个凸函数,因此我们的成本函数$J(w,b)$之所以是凸函数,其性质是我们使用logistic回归的个特定成本函数$J$的重要原因之一。为了找到更好的参数值,我们要做的就是用某初始值初始化w和b,用图上最上面的小红点表示。

对于logistic回归而言几乎任意初始化方法都有效,通用用0来进行初始化,但对于logistic回归,我们通常不这么做。因为函数是凸的无论在哪里初始化,都应到达同一点或大致相同的点。梯度下降法所做的就是从初始点开始朝最陡的下坡方向走,就像图里一样沿着红点一直走,直到到达或接近全局最优解。

本文发表于2017年12月28日 12:32
(c)注:本文转载自https://my.oschina.net/geekidentity/blog/1595844,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如有侵权行为,请联系我们,我们会及时删除.

阅读 1905 讨论 0 喜欢 0

抢先体验

扫码体验
趣味小程序
文字表情生成器

闪念胶囊

你要过得好哇,这样我才能恨你啊,你要是过得不好,我都不知道该恨你还是拥抱你啊。

直抵黄龙府,与诸君痛饮尔。

那时陪伴我的人啊,你们如今在何方。

不出意外的话,我们再也不会见了,祝你前程似锦。

这世界真好,吃野东西也要留出这条命来看看

快捷链接
网站地图
提交友链
Copyright © 2016 - 2021 Cion.
All Rights Reserved.
京ICP备2021004668号-1