笔记参考和图片来源@hanbingtao：零基础入门深度学习(5) - 循环神经网络

循环神经网络

基本循环神经网络

上图是一个简单的循环神经网络(Recurrent Neural Network），由输入层、一个隐藏层和一个输出层组成。

如果将有 $W$ 的带箭头的圈去掉，它就变成了最普通的全连接神经网络。 $x$ 是一个向量，代表输入层的值。 $s$ 是一个向量，代表隐藏层的值。 $U$ 是输入层到隐藏层的权重矩阵。 $o$ 也是一个向量，代表输出层的值。 $V$ 是隐藏层到输出层的权重矩阵。

循环神经网络的隐藏层的值 $s$ 不仅取决于当前这次的输入 $x$ ，还取决于上一次隐藏层的值 $s$ 。权重矩阵 $W$ 就是隐藏层上一次的值作为这一次的输入的权重。

将上面的图展开，也可以画成下面的样子：

可以看到，这个网络在 $t$ 时刻接收到输入 $x_t$ 之后，隐藏层的值是 $s_t$ ,输出值是 $o_t$ .此外， $s_t$ 的值还取决于 $s_{t-1}$ .

$\begin{align}o_t&=g(Vs_t)\tag{式1}\\s_t&=f(Ux_t+Ws_{t-1})\tag{式2}\end{align}$

式1是输出层的计算公式。输出层是一个全连接层，其中的每个节点都和隐藏层的每个节点相连。 $V$ 是输出层的权重矩阵， $g$ 是激活函数。

式2是隐藏层的计算公式。它是循环层。 $U$ 是输入 $x$ 的权重矩阵， $W$ 是上一次的值 $s_{t-1}$ 作为这一次输入的权重矩阵， $f$ 是激活函数。

循环层和全连接层的区别就是循环层多了一个权重矩阵 $W$ 。

如果将式2反复代入式1，可以得到：

$o_t=Vf(Ux_t+Wf(Ux_{t-1}+Wf(Ux _{t-2}+\cdots)))$

可以看出，循环神经网络的输出值 $o_t$ ,是受前面历次输入值影响的。因此循环神经网络可以往前看任意多个输入值。

双向神经网络

对于语言模型来说，很多时候还需要看下文。此时基本循环神经网络无法进行建模，我们需要双向循环神经网络，如图。

以 $y_2$ 为例：

$y_2=g(VA_2+V'A_2')$

$A_2$ 和 $A_2'$ 则分别计算：

$\begin{aligned}A_2&=f(WA_1+Ux_2)\\A_2'&=f(W'A_3'+U'x_2)\end{aligned}$

可以看出，正向计算时，隐藏层的值 $s_t$ 与 $s_{t-1}$ 有关；反向计算时，隐藏层的值 $s_t'$ 与 $s_{t+1}'$ 有关。最终的输出取决于正向和反向计算的加和。

$\begin{align}o_t&=g(Vs_t+V's_t')\\s_t&=f(Ux_t+Ws_{t-1})\\s_t'&=f(U'x_t+W's_{t+1}')\end{align}$

其中，正向计算(2)和反向计算(3)不共享权重，即 $U$ 和 $U'$ , $W$ 和 $W'$ 都是不同的权重矩阵。

深度循环神经网络

上面的循环神经网络只有一个隐藏层，也可以堆叠两个以上的隐藏层，如左图所示。这样就得到了深度循环神经网络。

将第 $i$ 个隐藏层的值表示为 $s_t^{(i)}$ 、 $s_t'^{(i)}$ ,则深度循环神经网络的计算可表示为：

$\begin{align}o_t&=g(V^{(i)}s_t^{(i)}+V'^{(i)}s_t'^{(i)})\\s_t^{(i)}&=f(U^{(i)}x_t^{(i-1)}+W^{(i)}s_{t-1})\\s_t'^{(i)}&=f(U'^{(i-1)}x_t+W'^{(i)}s_{t+1}')\end{align}$

循环神经网络的训练

循环神经网络的训练算法：BPTT

BPTT算法是针对循环层的训练算法，其基本原理和BP相同，也包含三个步骤：

前向计算每个神经元的输出值
反向传播每个神经元的误差项 $\delta_j$ ，即误差函数 $E_d$ 对神经元 $j$ 的加权输入 $net_j$ 的偏导数
计算每个权重的梯度
用随机梯度下降算法更新权重

循环层如下图所示：

前向计算

$s_t=f(Ux_t+Ws_{t-1})$

假设输入向量 $x$ 的维度是 $m$ ，输出向量 $s$ 的维度是 $n$ ，则矩阵 $U$ 的维度是 $n\times m$ ,矩阵 $W$ 的维度是 $n\times n$ .

上面的式子便可以展开成以下形式：

$\begin{bmatrix}s^t_1\\s^t_2\\\vdots\\s^t_n\end{bmatrix}=f(\begin{bmatrix}u_{11}&u_{12}\quad\cdots &u_{1m}\\u_{21}&u_{22}\quad\cdots &u_{2m}\\\vdots&\qquad\ddots&\vdots\\u_{n1}&u_{n2}\quad\cdots& u_{nm}\end{bmatrix}\begin{bmatrix}x_1\\x_2\\\vdots\\x_m\end{bmatrix}+\begin{bmatrix}\omega_{11}&\omega_{12}\quad\cdots &\omega_{1n}\\\omega_{21}&\omega_{22}\quad\cdots &\omega_{2n}\\\vdots&\qquad\ddots&\vdots\\\omega_{n1}&\omega_{n2}\quad\cdots& \omega_{nn}\end{bmatrix}\begin{bmatrix}s^{t-1}_1\\s^{t-1}_2\\\vdots\\s^{t-1}_n\end{bmatrix})$

误差项的计算

BTPP算法将第 $l$ 层 $t$ 时刻的误差项 $\delta^l_t$ 值沿两个方向传播，一个方向是传递到上一层网络，得到 $\delta_t^{l-1}$ ,这部分只和权重矩阵 $U$ 有关；另一个方向是将其沿时间线传递到初始 $t_1$ 时刻，得到 $\delta_1^l$
，这部分只和权重矩阵 $W$
有关。

用向量 $net_t$

表示神经元在 $t$
时刻的加权输入，因为：

$\begin{aligned}net_t&=Ux_t+Ws_{t-1}\\s_{t-1}&=f(net_{t-1})\end{aligned}$

因此：

$\frac{\partial net_t}{\partial net_{t-1}}=\frac{\partial net_t}{\partial s_{t-1}}\frac{\partial s_{t-1}}{\partial net_{t-1}}$

用 $a$ 表示列向量，用 $a^T$ 表示行向量。上式第一项是向量函数对向量的求导，其结果为雅可比矩阵

$\begin{aligned}\frac{\partial net_t}{\partial s_{t-1}}&=\begin{bmatrix}\frac{\partial net_1^t}{\partial s_1^{t-1}}&\frac{\partial net_1^t}{\partial s_2^{t-1}}&\cdots&\frac{\partial net_1^t}{\partial s_n^{t-1}}\\\frac{\partial net_2^t}{\partial s_1^{t-1}}&\frac{\partial net_2^t}{\partial s_2^{t-1}}&\cdots&\frac{\partial net_2^t}{\partial s_n^{t-1}}\\\vdots&\vdots&\ddots&\vdots\\\frac{\partial net_n^t}{\partial s_1^{t-1}}&\frac{\partial net_n^t}{\partial s_2^{t-1}}&\cdots&\frac{\partial net_n^t}{\partial s_n^{t-1}}\end{bmatrix}\\&=\begin{bmatrix}\omega_{11}&\omega_{12}&\cdots&\omega_{1n}\\\omega_{21}&\omega_{22}&\cdots&\omega_{2n}\\\vdots&\vdots&\ddots&\vdots\\\omega_{n1}&\omega_{n2}&\cdots&\omega_{nn}\end{bmatrix}\\&=W\end{aligned}$

$\begin{aligned} \frac{\partial {s}_{t-1}}{\partial {net}_{t-1}} &= \begin{bmatrix} \frac{\partial s^{t-1}_1}{\partial net^{t-1}_1} & \frac{\partial s^{t-1}_1}{\partial net^{t-1}_2} & \cdots & \frac{\partial s^{t-1}_1}{\partial net^{t-1}_n} \\ \frac{\partial s^{t-1}_2}{\partial net^{t-1}_1} & \frac{\partial s^{t-1}_2}{\partial net^{t-1}_2} & \cdots & \frac{\partial s^{t-1}_2}{\partial net^{t-1}_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial s^{t-1}_n}{\partial net^{t-1}_1} & \frac{\partial s^{t-1}_n}{\partial net^{t-1}_2} & \cdots & \frac{\partial s^{t-1}_n}{\partial net^{t-1}_n} \end{bmatrix} \\ &= \begin{bmatrix} f'(net^{t-1}_1) & 0 & \cdots & 0 \\ 0 & f'(net^{t-1}_2) & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & f'(net^{t-1}_n) \end{bmatrix} \\[10pt] &= \mathrm{diag}\left[f'(net^{t-1})\right] \end{aligned}$

其中 $\text{diag}[a]$ 表示根据向量 $a$ 创建的一个对角矩阵。

最后，将两项合在一起，可得：

$\begin{aligned}\frac{\partial {net}_t}{\partial {net}_{t-1}} &= \frac{\partial {net}_t}{\partial {s}_{t-1}} \cdot \frac{\partial {s}_{t-1}}{\partial {net}_{t-1}} \\[5pt]&= W \cdot \mathrm{diag}\left[f'(net_{t-1})\right] \\&= \begin{bmatrix} \omega_{11} f'(net^{t-1}_1) & \omega_{12} f'(net^{t-1}_2) & \cdots & \omega_{1n} f'(net^{t-1}_n) \\ \omega_{21} f'(net^{t-1}_1) & \omega_{22} f'(net^{t-1}_2) & \cdots & \omega_{2n} f'(net^{t-1}_n) \\ \vdots & \vdots & \ddots & \vdots \\ \omega_{n1} f'(net^{t-1}_1) & \omega_{n2} f'(net^{t-1}_2) & \cdots & \omega_{nn} f'(net^{t-1}_n) \end{bmatrix} \end{aligned}$

上式描述了将 $\delta$ 沿时间向前传递一个时刻的规律。由此可得任意时刻 $k$ 的误差项 $\delta_k$ ：

$\begin{aligned}\delta_k^T &= \frac{\partial E}{\partial \mathbf{net}_k} \\&= \frac{\partial E}{\partial \mathbf{net}_t} \cdot \frac{\partial \mathbf{net}_t}{\partial \mathbf{net}_k} \\&= \frac{\partial E}{\partial \mathbf{net}_t} \cdot \frac{\partial \mathbf{net}_t}{\partial \mathbf{net}_{t-1}} \cdot \frac{\partial \mathbf{net}_{t-1}}{\partial \mathbf{net}_{t-2}} \cdots \frac{\partial \mathbf{net}_{k+1}}{\partial \mathbf{net}_k} \\&= W \, \mathrm{diag}\left[f'(\mathbf{net}_{t-1})\right] \cdot W \, \mathrm{diag}\left[f'(\mathbf{net}_{t-2})\right] \cdots W \, \mathrm{diag}\left[f'(\mathbf{net}_k)\right] \cdot \delta_t^l \\&= \delta_t^T \cdot \prod_{i=k}^{t-1} W \, \mathrm{diag}\left[f'(\mathbf{net}_i)\right]\end{aligned}$

这就是将误差项沿时间反向传播的算法。

循环层的加权输入

$net^l$ 与上一层的**加权输入 $net^{l-1}$ **的关系如下：

$net_t^l=Ua_t^{l-1}+Ws_{t-1}\\a_{t}^{l-1}=f^{l-1}(net_t^{l-1})$

其中 $net_t^l$ 是第 $l$ 层神经元的加权输入（假设第 $l$ 层是循环层）； $net_t^{l-1}$ 是第 $l-1$ 层的加权输入； $a_t^{l-1}$ 是第 $l-1$ 层神经元的输出； $f^{l-1}$ 是第 $l-1$ 层的激活函数。

$\frac{\partial \mathbf{net}_t^l}{\partial \mathbf{net}_t^{l-1}} = \frac{\partial \mathbf{net}_t^l}{\partial \mathbf{a}_t^{l-1}} \cdot \frac{\partial \mathbf{a}_t^{l-1}}{\partial \mathbf{net}_t^{l-1}} = \mathbf{U} \cdot \mathrm{diag}\left[f'^{l-1}(\mathbf{net}_t^{l-1})\right]$

因此，

$\begin{aligned}(\delta_t^{l-1})^T &= \frac{\partial E}{\partial \mathbf{net}_t^{l-1}} \\&= \frac{\partial E}{\partial \mathbf{net}_t^l} \cdot \frac{\partial \mathbf{net}_t^l}{\partial \mathbf{net}_t^{l-1}} \\&= (\delta_t^l)^T \mathbf{U} \, \mathrm{diag}\left[f'^{l-1}(\mathbf{net}_t^{l-1})\right]\end{aligned}$

以上就是将误差项传递到上一层的算法。

权重梯度的计算

最后一步是计算每个权重的梯度。首先，计算误差函数 $E$ 对权重矩阵 $W$ 的梯度 $\frac{\partial E}{\partial W}$

上图是目前为止前两步中已经计算得到的量，包括每个时刻 $t$ 循环层输出的值 $s_t$ ,以及误差项 $\delta_t$ 。

权重矩阵在 $t$ 时刻的梯度：

$\frac{\partial E}{\partial W}=\frac{\partial E}{\partial net_t}\cdot\frac{\partial net_t}{\partial W}$

其中， $\frac{\partial E}{\partial net_t}=\delta_t$ ； $\frac{\partial net_t}{\partial W}=(s_{t-1})^T$ ，因为 $net_t=Ws_{t-1}+Ux_t+b$

因此，

$\begin{aligned}\frac{\partial E}{\partial W}&=\frac{\partial E}{\partial net_t}\cdot\frac{\partial net_t}{\partial W}\\&=\delta_t\cdot s_{t-1}^T\\&= \begin{bmatrix} \delta_1^t s_1^{t-1} & \delta_1^t s_2^{t-1} & \cdots & \delta_1^t s_n^{t-1} \\ \delta_2^t s_1^{t-1} & \delta_2^t s_2^{t-1} & \cdots & \delta_2^t s_n^{t-1} \\ \vdots & \vdots & \ddots & \vdots \\ \delta_n^t s_1^{t-1} & \delta_n^t s_2^{t-1} & \cdots & \delta_n^t s_n^{t-1} \end{bmatrix} \end{aligned}$

其中， $\delta_i^t$ 表示 $t$ 时刻误差项向量的第 $i$ 个分量； $s_i^{t-1}$ 表示 $t-1$ 时刻循环层第 $i$ 个神经元的输出值。

至此，已经求得权重矩阵 $W$ 在 $t$ 时刻的梯度 $\nabla_{W_t}E$ ，最终梯度 $\nabla_WE$ 是各个时刻的梯度之和：

$\nabla_WE=\sum_{i=1}^{t}\nabla_{W_i}E$

上式即为循环层权重矩阵 $W$ 的梯度公式。

同权重矩阵 $W$ 类似，可以求得权重矩阵 $U$ 的计算方法。

$\begin{aligned}\nabla_{U_t} E &=\begin{bmatrix}\delta_1^t x_1^t & \delta_1^t x_2^t & \cdots & \delta_1^t x_m^t \\\delta_2^t x_1^t & \delta_2^t x_2^t & \cdots & \delta_2^t x_m^t \\\vdots & \vdots & \ddots & \vdots \\\delta_n^t x_1^t & \delta_n^t x_2^t & \cdots & \delta_n^t x_m^t\end{bmatrix}\\\nabla_UE&=\sum_{i=1}^t\nabla_{U_i}E\end{aligned}$

RNN的梯度爆炸和消失问题

前面介绍的几种RNN并不能很好的处理较长的序列，主要原因是RNN在训练中很容易发生梯度爆炸和梯度消失问题，这导致训练时梯度不能在较长序列中一直传递下去，从而使RNN无法捕捉到长距离的影响。

原因如下式：

$\delta_k^T = \delta_t^T \cdot \prod_{i=k}^{t-1} W \cdot \mathrm{diag}\left[ f'(net_i) \right]\\ \|\delta_k^T\| \leq \|\delta_t^T\| \cdot \prod_{i=k}^{t-1} \|W\| \cdot \left\| \mathrm{diag}(f'(net_i)) \right\| \\ \|\delta_k^T\| \leq \|\delta_t^T\| \cdot (\beta_W \beta_f)^{t-k}$

上式中 $\beta$ 定义为矩阵模的上界。 $\|\delta_t^T\| \cdot (\beta_W \beta_f)^{t-k}$ 是一个指数函数，如果 $t-k$ 很大，会导致误差项增长或缩小的非常快（取决于 $\beta$ 大于还是小于 $1$ ），这样就会导致相应的梯度爆炸和梯度消失问题。