为什么使用交叉熵作为逻辑回归的损失函数？

整理以前学习过程中的疑问。

为什么使用交叉熵作为逻辑回归的损失函数？

频率学派的一种估计参数的方法，这种方法适合分类回归任务。

必须要提一下的是，频率学派将参数\(\theta\)​看作一个未知待估计的常数，其目标是使用带一定性质的估计方法求出。

似然函数就是其中的一种方法。

A

拾人牙慧，给出参考

• 如何理解似然函数? - 石溪的回答 - 知乎

• 似然函数 - 维基百科，自由的百科全书 (wikipedia.org)

可以近似的理解为条件概率的逆反

使用已知的事件来估计参数的概率（或者更准确的说：似然）
而使用概率来估计事件发生就是典型的一种条件分布

下面开始论述什么是似然

阅读时注意两点：

• 似然是一种对应已知事件的参数估计，可以近似理解为参数的概率。
• 我们认为参数是一个未知待估计的常数，求其似然只是为了最大似然估计一个最优值而已。

B

逻辑分类的损失函数不使用二乘而是用交叉熵

从最大似然估计的角度说明

论述如下：

C

初学，理解可能有偏颇，不当之处请指出。