动手学深度学习（十一）——深度学习优化器（非常详细的数学说明）+持续更新

Name定义损失函数（Loss Function）定义在每个样本上，一个样本的误差代价函数（Cost Function）定义在整个训练集上，所有样本误差的平均值，即损失函数的平均目标函数（Object Function）最终需要优化的函数。等于经验风险+结构风险（即：CostFuntino+正则化项）