什么是梯度？

梯度

假设对于函数f(x)，在其图象中有一点a，在a点的梯度是f(x)增长最快的方向，梯度本身是一种上升的趋势。

梯度下降
概念：对于f(x)，在a点的梯度是f(x)增长最快的方向，那么它的相反方向则是该点下降最快的方向， 梯度下降算法是一种求局部最优解的方法。

原理：将函数比作一个山谷，如下图，我们站在山坡上的某处，往四周看，找出一个方向，使得沿着这个方向向下走一小步，能够下降的最快；刚开始走的步伐可能会大一些，随着越来越接近谷底，步伐也就越来越小，直到最终到达谷底c点。