python梯度下降法求极小值

梯度下降算法详解及Python实现.整理

1. 梯度下降法的作用

梯度下降法用来求函数的 极小值 ，且是一种迭代算法，由于计算机效率高，在机器学习中经常使用。梯度下降法常求 凸函数（如机器学习中各种代价函数）的极小值 ，因为凸函数只有一个极小值，使用梯度下降法求得的极小值就是最小值。与其对应的有梯度上升法，用来求函数的极大值，两种方法原理一样，只是计算的过程中正负号不同而已。

2. 梯度下降法和梯度的介绍

梯度就是表示某一函数在该点处的方向导数沿着该方向取得最大值。这个概念比较抽象，我们拿下山做比较，一个人站在山上的某个山腰处，想要以最快的速度下山，那么该怎么最快下山呢？他只要每次沿着当前位置最陡峭最易下山的方向前进一小步，然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去，一直走到觉得我们到了山脚的位置。那么下山最陡的方向就是梯度的 负方向 ，这种方法就是梯度下降法。