在反向流传的环节,实质是求网络的每个参数关于最终损失函数的梯度,而该梯度可以成是回传的全局梯度和部分梯度之乘。其中梯度代表了层参数的变动,对最终预测损失的影响(变动率),而该变动率实践取决于层参数对下一层输入的影响,以及下一层输入对最终预测损失的影响,两个变动一乘,就是层参数对最终预测损失的影响。
© 版权声明
在反向流传的环节,实质是求网络的每个参数关于最终损失函数的梯度,而该梯度可以成是回传的全局梯度和部分梯度之乘。其中梯度代表了层参数的变动,对最终预测损失的影响(变动率),而该变动率实践取决于层参数对下一层输入的影响,以及下一层输入对最终预测损失的影响,两个变动一乘,就是层参数对最终预测损失的影响。