神经网络基础

Cross-Entropy Loss

\[ J(W)=\frac{1}{m}\sum^{m-1}_{i=0}\sum^{n-1}_{j=0} y_{ij}\log(\hat y_{ij}) \]

Backpropagation

denote:

每层的误差项 \(\delta\) 表示的是一个误差向量，每层之间连接的权重 \(W\) 表示的是一个权重矩阵

误差项在反向传播中的递推关系：

（1）输出层与上一层： \[ \delta^L=\nabla_{a^L}C\circ \sigma'(z^L) \] （2）\(l\) 层与 \(l+1\) 层 \[ \delta^{l}=(W^{l+1})^T\delta^{l+1}\circ\sigma'(z^l) \] 根据 Stochastic Gradient Descent 方法，通过误差项来修正权重与偏置：

（1）权重 \[ \frac{\partial C}{\partial W^l_{jk}}=\delta^l_j\cdot a^{l-1}_{k} \] （2）偏置 \[ \frac{\partial C}{\partial b^{l}_j}=\delta^l_j \]