从最优化的角度解析softmax函数

softmax是目前最常用的分类损失函数，本文尝试从最优化的角度来解析softmax交叉熵损失函数 最优化的问题是构建一个目标函数，然后找到使目标函数取得最大或最小值的方法。而目标函数难以优化，所以有了各种smooth方法，例如L1范数取代L0范数、使用sigmoid取代阶跃函数。
多分类的目标函数
对于一个多分类的任务（假设为

C

C

C类），最简单的方法莫过于直接输出一维的类别序号

0...

C

0...C

0...C。这个方法有十分明显的错

从最优化的角度解析softmax函数最先出现在Python成神之路。