先简单回顾一下RNN隐层神经元计算公式为：请点击输入图片描述 其中U、W是网络模型的参数，f（.）表示激活函数。RNN隐层神经元的计算由t时刻输入xt，t-1时刻隐层神经元激活值st-1作为输入。
RNN递归神经网络引入不同类型的神经元——递归神经元。这种类型的第一个网络被称为约旦网络（Jordan Network），在网络中每个隐含神经元会收到它自己的在固定延迟（一次或多次迭代）后的输出。除此之外，它与普通的模糊神经网络非常相似。 当然，它有许多变化 — 如传递状态到输入节点，可变延迟等，但主要思想保持不变。
LeNet-5模型 在CNN的应用中，文字识别系统所用的LeNet-5模型是非常经典的模型。LeNet-5模型是1998年，Yann LeCun教授提出的，它是第一个成功大规模应用在手写数字识别问题的卷积神经网络，在MNIST数据集中的正确率可以高达92%。
从神经网络内部信息传递方向来看，可以分为两种类型：前馈型网络和反馈型网络。单纯前馈网络的结构与分层网络结构相同，前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名的。前馈型网络中前一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。
深度神经网络（DNN）是机器学习领域中的一种模型，它模拟了人脑神经元的连接方式，通过分层处理输入数据来学习和预测。DNN的内部结构通常可以分为三个主要部分：输入层、隐藏层和输出层。 输入层：输入层是神经网络的起始部分，负责接收外部数据。
前馈神经网络：这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。如果有多个隐藏层，我们称之为“深度”神经网络。他们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数。
一个是单向性传递，即只能从前一级神经元的轴突末梢传向后一级神经元的树突或细胞体，不能反之。另一个是延时性传递．信息通过突触传递，通常会产生0.5-1ms的延时。 神经元对来自其它神经元的信息有时空综合特性。
RNN，即循环神经网络，以其独特的优势在处理序列数据时展现出惊人的记忆能力。它的核心原理和结构包括单向和双向的简单设计，以及多输入单输出的灵活应用。在文本分类、图像描述和自编码器翻译等任务中，RNN发挥着不可忽视的作用。
循环神经网络（RNN）是数据科学领域处理序列数据的不可或缺工具，其内部的环状连接赋予了它记忆和处理上下文的独特能力。RNN的核心结构由三个部分构成：输入层接收当前时间步的数据，隐藏层（通过循环连接）存储并处理历史信息，而输出层则生成相应的响应。
RNN中的cell其实就是MLP结构中隐藏层的神经元。但是这个神经元有点特殊，它加入了时序的特点，所以不同时间段它的表达是不一样的。 所以，RNN正确的模型结构图应该是这样：横向是不同的时序，纵向是不同的层。这样是不是会更好理解了呢。而LSTM和GRU只是cell的变种形式，总体上RNN的结构是不变的。
LSTM单元与GRU单元是RNN模型中最常见的单元，其内容由输入门、忘记门、和输出门三种结构组合而成。LSTM单元与GRU单元的作用几乎相同，唯一不同的是：相比之下，使用GRU单元会更加简单。QRNN（Quasi-Recurrent Neural Networks） 单元是一种RNN模型的基础单元，它比LSTM单元速度更快。QRNN单元发表于2016年。
GRU是在LSTM上进行简化而得到的，GRU的网络结构如下所示：Zt代表更新门，更新门的作用类似于LSTM中的遗忘门和输入门，它能决定要丢弃哪些信息和要添加哪些新信息。 Rt代表重置门，重置门用于决定丢弃先前信息的程度。
RNN是深度学习在自然语言处理领域中的元老级神经网络，它奠定了神经网络技术在NLP领域的发展方向，其名声仅此于CNN，虽然近年来它已经鲜少露面，但江湖地位不减，就连当红明星GRU和LSTM都是它的变种。
