tensorflow tf.nn.softmax与tf.nn.softmax_cross_entropy_with_logits的区别
我正在通过tensorflow api文档在这里 。 在张量stream文档中，他们使用了一个名为logits的关键字。 它是什么？ api文档中的很多方法都是这样写的，
tf.nn.softmax(logits, name=None)
现在写的是logits只是logits 。 那么为什么要保留一个不同的名字像logits ？ 我几乎认为这是logics 。 :D 。
另一件事是有两种方法我不能区分。 他们是
tf.nn.softmax(logits, name=None) tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)
他们之间有什么区别？ 文件不清楚。 我知道什么是tf.nn.softmax 。 但不是其他。 一个例子将是非常有帮助的。
Logits仅仅意味着该函数对早期图层的未缩放输出进行操作，并且了解单位的相对比例是线性的。 这意味着，特别是，input的总和可能不等于1，这些值不是概率（你可能有一个input5）。
tf.nn.softmax只产生将softmax函数应用于input张量的结果。 softmax“挤压”input，使sum（input）= 1; 这是一种正常化的方式。 softmax输出的形状与input相同 – 只是将值标准化。 softmax的输出可以被解释为概率。
a = tf.constant(np.array([[.1, .3, .5, .9]])) print s.run(tf.nn.softmax(a)) [[ 0.16838508 0.205666 0.25120102 0.37474789]]
相比之下， tf.nn.softmax_cross_entropy_with_logits在应用softmax函数之后计算结果的交叉熵（但是它以更仔细的math方式整合在一起）。 这与以下结果类似：
sm = tf.nn.softmax(x) ce = cross_entropy(sm)
交叉熵是一个汇总度量标准 – 它将元素相加。 形状[2,5]张量上的tf.nn.softmax_cross_entropy_with_logits的输出形状为[2,1] （第一维被视为批处理）。
如果要进行优化以尽量减less交叉熵，并且在最后一层之后软起来，则应该使用tf.nn.softmax_cross_entropy_with_logits而不是自己做，因为它以math方式覆盖数值不稳定的边angular情况。 否则，你会最终通过在这里和那里添加小的epsilon来入侵它。
（已编辑2016-02-07：如果您有单类标签，对象只能属于一个类，那么现在可以考虑使用tf.nn.sparse_softmax_cross_entropy_with_logits以便您不必将标签转换为稠密一个热门的数组，这个函数是在0.6.0版本之后添加的。）
简洁版本：
假设有两个张量，其中y_hat包含每个类的计算得分（例如，从y = W * x + b）， y_true包含单热编码的真实标签。
y_hat = ... # Predicted label, eg y = tf.matmul(X, W) + b y_true = ... # True label, one-hot encoded
如果你将y_hat的分数解释y_hat标准化的对数概率，那么它们就是logits 。
另外，以这种方式计算的总交叉熵损失：
y_hat_softmax = tf.nn.softmax(y_hat) total_loss = tf.reduce_mean(-tf.reduce_sum(y_true * tf.log(y_hat_softmax), [1]))
本质上等价于用函数softmax_cross_entropy_with_logits()计算的总交叉熵损失：
total_loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(y_hat, y_true))
长版本：
在你的neural network的输出层中，你可能会计算一个包含你的训练实例的类别分数的数组，例如从一个计算y_hat = W*x + b 。 作为一个例子，下面我创build了一个y_hat作为2 x 3数组，其中行对应于训练实例，列对应于类。 所以这里有两个训练实例和三个类。
import tensorflow as tf import numpy as np sess = tf.Session() # Create example y_hat. y_hat = tf.convert_to_tensor(np.array([[0.5, 1.5, 0.1],[2.2, 1.3, 1.7]])) sess.run(y_hat) # array([[ 0.5, 1.5, 0.1], # [ 2.2, 1.3, 1.7]])
请注意，这些值不是标准化的（即行不加1）。 为了对它们进行归一化，我们可以应用softmax函数，将input解释为非归一化对数概率（又称logits ），并输出归一化的线性概率。
y_hat_softmax = tf.nn.softmax(y_hat) sess.run(y_hat_softmax) # array([[ 0.227863 , 0.61939586, 0.15274114], # [ 0.49674623, 0.20196195, 0.30129182]])
充分理解softmax输出的含义是很重要的。 下面我已经显示了一个表格，更清楚地表示上面的输出。 可以看出，例如，训练实例1为“2类”的概率为0.619。 每个训练实例的类概率被归一化，所以每行的总和为1.0。
Pr(Class 1) Pr(Class 2) Pr(Class 3) ,-------------------------------------- Training instance 1 | 0.227863 | 0.61939586 | 0.15274114 Training instance 2 | 0.49674623 | 0.20196195 | 0.30129182
所以，现在我们有每个训练实例的类概率，我们可以取每一行的argmax（）生成最终的分类。 从以上可以看出，训练样例1属于“2类”，训练样例2属于“1类”。
这些分类是否正确？ 我们需要根据训练集的真实标签进行测量。 您将需要一个单独编码的y_true数组，其中行又是训练实例，列是类。 下面我创build了一个示例y_true one-hot数组，其中训练实例1的真实标签是“Class 2”，训练实例2的真实标签是“Class 3”。
y_true = tf.convert_to_tensor(np.array([[0.0, 1.0, 0.0],[0.0, 0.0, 1.0]])) sess.run(y_true) # array([[ 0., 1., 0.], # [ 0., 0., 1.]])
y_hat_softmax的概率分布y_hat_softmax接近y_hat_softmax中的概率分布？ 我们可以使用交叉熵损失来衡量错误。
我们可以逐行计算交叉熵损失并查看结果。 下面我们可以看到，训练样例1损失了0.479，而训练样例2损失了1.200。 这个结果是有道理的，因为在我们上面的例子中， y_hat_softmax表明训练实例1的最高概率是“类2”，它与y_true中的训练实例1相匹配; 然而，训练实例2的预测显示“1类”的最高概率，其与真实类“3类”不匹配。
loss_per_instance_1 = -tf.reduce_sum(y_true * tf.log(y_hat_softmax), reduction_indices=[1]) sess.run(loss_per_instance_1) # array([ 0.4790107 , 1.19967598])
我们真正想要的是所有培训实例的全部损失。 所以我们可以计算：
total_loss_1 = tf.reduce_mean(-tf.reduce_sum(y_true * tf.log(y_hat_softmax), reduction_indices=[1])) sess.run(total_loss_1) # 0.83934333897877944
使用softmax_cross_entropy_with_logits（）
我们可以使用tf.nn.softmax_cross_entropy_with_logits()函数计算总的交叉熵损失，如下所示。
loss_per_instance_2 = tf.nn.softmax_cross_entropy_with_logits(y_hat, y_true) sess.run(loss_per_instance_2) # array([ 0.4790107 , 1.19967598]) total_loss_2 = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(y_hat, y_true)) sess.run(total_loss_2) # 0.83934333897877922
请注意， total_loss_1和total_loss_2产生基本相同的结果，而在最后的数字中会有一些小的差异。 但是，您也可以使用第二种方法：由于softmax_cross_entropy_with_logits()的softmax是为您完成的，因此它只需要less一行代码并累积更less的数字错误。
tf.nn.softmax计算通过softmax层的前向传播。 在计算模型输出的概率时，可以在评估模型时使用它。
tf.nn.softmax_cross_entropy_with_logits计算softmax图层的成本。 它只在训练中使用 。
logit是输出模型的非标准化的对数概率 （在将softmax标准化应用于它们之前输出的值）。
以上答案对于所提问题有足够的描述。
除此之外，Tensorflow已经优化了应用激活function的操作，然后使用自己的激活和成本函数来计算成本。 因此，使用： tf.nn.softmax_cross_entropy() over tf.nn.softmax(); tf.nn.cross_entropy() tf.nn.softmax(); tf.nn.cross_entropy()
您可以在资源密集型模式中find它们之间的显着差异。
