【人工智能导论：模型与算法】信息熵 交叉熵

【人工智能导论：模型与算法】

P124 交叉熵；梯度下降法；学习率

P127 信息熵；信息增益

这几个知识点需要科普一下。梯度下降和学习率在BP部分学习。

交叉熵：度量两个概率分布间的差异性信息。

信息熵：系统有序化程度的一个度量。香农用信息熵的概念来描述信源的不确定度。

信息熵：表示随机变量的不确定性。

条件熵：在一个条件下，随机变量的不确定性。

信息增益： 信息熵 - 条件熵。表示在一个条件下，信息不确定性减少的程度。

信息增益到底怎么理解呢？ - 知乎 (zhihu.com)