Tag: 反向传播

理解neural network反向传播

更新：这个问题的一个更好的表述。 我试图理解以异或neural network为例的反向传播algorithm。 对于这种情况，有2个input神经+ 1个偏差，2个神经元在隐层+ 1个偏差，1个输出神经元。 ABA XOR B 1 1 -1 1 -1 1 -1 1 1 -1 -1 -1 我正在使用随机反向传播 。 在读了更多的信息之后，我发现输出单元的错误会传播到隐藏的层上……最初这是令人困惑的，因为当你到达neural network的input层时，每个神经元都会得到一个错误调整来自隐藏层中的两个神经元。 特别是错误分布的方式起初难以掌握。 步骤1计算每个input实例的输出。 步骤2计算输出神经元（在我们的情况下只有一个）和目标值（s）之间的误差： 第2步http://pandamatak.com/people/anand/771/html/img342.gif 步骤3我们使用步骤2中的误差来计算每个隐藏单元的误差h： 第3步http://pandamatak.com/people/anand/771/html/img343.gif “权重kh”是隐藏单元h和输出单元k之间的权重，这很混乱，因为input单元没有与输出单元相关的直接权重。 在看了几个小时的公式之后，我开始思考总结的意思，我开始得出结论，即每个input神经元的权重连接到隐藏层神经元乘以输出误差并总结。 这是一个合乎逻辑的结论，但是这个公式似乎有点混乱，因为它清楚地说明了“权重kh”（输出层k和隐藏层h之间）。 我在这里正确理解一切吗？ 有人可以证实这一点吗？ 什么是input层的O（H）？ 我的理解是，每个input节点都有两个输出：一个input到隐藏层的第一个节点，一个input到第二个节点隐藏层。 哪两个输出应插入公式的O(h)*(1 – O(h))部分？ 第3步http://pandamatak.com/people/anand/771/html/img343.gif