Tag: softmax

TensorFlow：sparse_softmax_cross_entropy_with_logits和softmax_cross_entropy_with_logits有什么区别？

我最近遇到了tf.nn.sparse_softmax_cross_entropy_with_logits ，我无法弄清楚与tf.nn.softmax_cross_entropy_with_logits相比有什么不同。 使用sparse_softmax_cross_entropy_with_logits时，训练向量y必须是单热编码的唯一区别吗？ 读取API我无法find与softmax_cross_entropy_with_logits相比有任何其他区别…但为什么我们需要额外的function呢？ softmax_cross_entropy_with_logits是否与softmax_cross_entropy_with_logits产生相同的结果，如果提供了一个热门编码的训练数据/向量？

为什么使用softmax而不是标准的标准化？

在neural network的输出层中，通常使用softmax函数来近似概率分布： 由于指数的原因，计算起来很昂贵。 为什么不简单地执行一个Z变换，使所有的输出都是正的，然后用所有输出的和除以所有输出之和来归一化呢？

Softmax函数 – python

从Udacity的深度学习阶段来看，y_i的softmax就是简单的指数除以整个Y向量的指数之和： 其中S(y_i)是S(y_i)的softmax函数， e是指数， j是否。 input向量Y中的列。 我已经尝试了以下内容： import numpy as np def softmax(x): """Compute softmax values for each sets of scores in x.""" e_x = np.exp(x – np.max(x)) return e_x / e_x.sum() scores = [3.0, 1.0, 0.2] print(softmax(scores)) 它返回： [ 0.8360188 0.11314284 0.05083836] 但build议的解决scheme是： def softmax(x): """Compute softmax values for each sets of scores in x.""" […]