交叉熵损失函数如何计算
的有关信息介绍如下:
在机器学习中,损失函数用于测量预测类别与真实类别之间的差距,交叉熵损失函数是一种常用的损失函数,本经验介绍了交叉熵损失函数如何计算
当预测类别为二分类时,交叉熵损失函数的计算公式如下图,其中y是真实类别(值为0或1),p是预测类别的概率(值为0~1之间的小数)
计算二分类的交叉熵损失函数的python代码如下图,其中esp是一个极小值,第五行代码clip的目的是保证预测概率的值在0~1之间,下图输出的损失值数组求和后,就是损失函数最后的返回值
当预测类别为多分类时,交叉熵损失函数的计算公式如下图,其中M是类别个数,y是真实类别(值为0或1),直观上理解就是将所有预测正确的概率,分别取对数,相加求和,再添一个负号
计算多分类的交叉熵损失函数的python代码如下图,其中LabelBinarizer的目的是将真实类别做one-hot编码,然后与预测类别概率的对数相乘,对每个类别求和后添加负号,下图输出的损失函数数组的值求和后,就是损失函数最后的返回值
真实类别做one-hot编码后的值,预测类别概率的对数的值,相乘之后的损失函数数组的值如下图,方便理解每一步操作让数值具体发生了哪些变化



