softmax基本概念

Softmax是机器学习中一个非常重要的工具，他可以兼容 logistics 算法、可以独立作为机器学习的模型进行建模训练、还可以作为深度学习的激励函数。

　

softmax的介绍

　　　

softmax的作用简单的说就计算一组数值中每个值的占比，公式一般性描述为：
设一共有个用数值表示的分类，其中表示分类的个数。那么softmax计算公式为：
。

 

 

softmax的例子

 

 

看一个例子能更好的理解softmax。
设有三个数值，那么他们的softmax占比为：



计算结果为：

 

基本特性

从上面的计算结果可以看出softmax的一些特性：

1. 归一化：最后的合计为1，每一个分类都是一个小于1的数值。
2. 放大效果：上面的例子中单纯从数值来看，5和1的差距并不大，但是通过指数运算有明显的放大效果，5的占比能到98%以上。
3. 散列性质，每一个比率虽然最后都会进行归一，但是他们放大之前的数值是可以相互不干扰的。