导数
导数（Derivative），也叫导函数值。又名微商，是微积分中的重要基础概念。当函数y=f（x）的自变量x在一点x0上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在，a即为在x0处的导数，记作f’（x0）或df（x0）/dx。
摘自百度百科
这个概念非常简单，高中数学中也有提到，因此也不再赘述。
偏导数
导数是一元函数的变化率，那么对于二元函数，甚至多元函数，是否有办法来衡量它的变化率呢？
于是偏导数就出现了，它将多元函数中的一个元看作变量，其余元看作常量，然后这样一个多元函数就可以看作是一个一元函数，此时求出的导数就叫做偏导数。
偏导数的意义就是函数值随着某一变量的变化率。
方向导数
偏导数美中不足的就是它是函数值关于某一变量的变化率，从几何上来看，就是图像沿着坐标轴的变化率。
当然仅仅关心坐标轴的变化率是不够的，我们还要关心每一个方向上的变化率，因此就有了方向导数。
其的计算方法与偏导数大致相同，不少微积分或者高数的书上都有，因此此处也不再赘述。
梯度
函数在不断变化中，哪一个方向变化的最快呢？
这就是梯度！
梯度就是表示函数变化最快的方向，利用梯度的这个性质，就出现了梯度下降法。
