经常性神经网络教程（RNN）

经常性神经网络（RNNS）：综合指南

经常性的神经网络（RNN）是一种在苹果Siri和Google的语音搜索等应用程序中使用的强大类型人工神经网络（ANN）。它们通过内部记忆保留过去输入的独特能力使它们非常适合诸如股票价格预测，文本生成，转录和机器翻译等任务。与输入和输出是独立的传统神经网络不同，RNN输出取决于序列中的先前元素。此外，RNN在跨网络层共享参数，从而在梯度下降期间优化了重量和偏差调整。

上图说明了基本的RNN。在股票价格预测方案中，使用[45、56、45、49、50，...]之类的数据，每个输入（x0至XT）都包含了过去的值。例如，X0为45，X1为56，这些值有助于预测下一个序列元素。

RNN的功能

在RNN中，信息通过循环循环，使输出成为当前输入和先前输入的函数。

输入层（x）处理初始输入，将其传递到中间层（a），其中包含具有激活功能，权重和偏见的多个隐藏图层。这些参数在隐藏的层上共享，创建一个单个循环图层，而不是多个不同的层。 RNNS通过时间（BPTT）而不是传统的反向传播来计算梯度。由于共享参数，BPTT在每个时间步长汇总错误。

RNN的类型

与具有单个输入和输出的FeedForward网络不同，RNN提供的输入和输出长度具有灵活性。这种适应性使RNN可以处理各种任务，包括音乐生成，情感分析和机器翻译。存在四种主要类型：

• 一对一：一个适合单个输入/输出问题的简单神经网络。
• 一对多：处理单个输入以生成多个输出（例如，图像字幕）。
• 多对一：需要多个输入来预测单个输出（例如，情感分类）。
• 多对多：处理多个输入和输出（例如，机器翻译）。

推荐的机器学习课程

了解有关语言建模的RNN的更多信息

探索python深度学习的介绍

CNNS与RNNS

卷积神经网络（CNN）是馈电网络处理空间数据（如图像），通常在计算机视觉中使用。简单的神经网络与图像像素依赖性抗争，而CNN则凭借其卷积，恢复，汇总和完全连接的层在这一领域中表现出色。

关键差异：

• CNNS处理稀疏数据（图像），而RNN管理时间序列和顺序数据。
• CNN使用标准反向流动，RNN使用BPTT。
• CNN具有有限的输入/输出； RNN是灵活的。
• CNN是喂食的； RNN使用循环进行顺序数据。
• CNN用于图像/视频处理；语音/文本分析的RNN。

RNN限制

简单的RNN面临与梯度有关的两个主要挑战：

1. 消失的梯度：梯度变得太小，阻碍参数更新和学习。
2. 爆炸梯度：梯度变得过大，导致模型不稳定性和较长的训练时间。

解决方案包括减少隐藏层或使用LSTM和GRU等高级体系结构。

高级RNN体系结构

简单的RNN遭受短期内存限制。 LSTM和GRU通过在长时间内保留信息来解决此问题。

• 长短期内存（LSTM）：一种高级RNN，旨在减轻消失/爆炸梯度。它的四个相互作用层有助于长期记忆力保留，使其适合机器翻译，语音合成等。

• 门控复发单元（GRU）：使用更新和重置门来管理信息流的更简单的LSTM变化。与LSTM相比，其简化的架构通常会导致更快的培训。

万事达卡股票价格预测使用LSTM＆GRU

本节详细介绍了一个使用LSTM和GRU预测万事达卡股价的项目。该代码利用Pandas，Numpy，Matplotlib，Scikit-Learn和TensorFlow等库。

（此处省略了原始输入中的详细代码示例。

1. 数据分析：导入和清洁万事达卡库存数据集。
2. 数据预处理：将数据分为培训和测试集，使用MinMaxScaler进行扩展，然后重塑模型输入。
3. LSTM模型：构建和训练LSTM模型。
4. LSTM结果：使用RMSE评估LSTM模型的性能。
5. GRU模型：建立和培训具有类似体系结构的GRU模型。
6. GRU结果：使用RMSE评估GRU模型的性能。
7. 结论：比较LSTM和GRU模型的性能。

结论

混合CNN-RNN网络越来越多地用于需要空间和时间理解的任务。本教程提供了对LSTM和GRU等高级体系结构提供的RNN，其局限性和解决方案的基本理解。该项目证明了LSTM和GRU在股票价格预测中的应用，在此特定情况下强调了GRU的出色表现。完整的项目可在Datacamp Workspace上找到。

切记替换https://www.php.cn/link/cc6a6632b380f3f6a1c54b1222cd96c2和https://www.php.cn/link/8708107b2ff5de15d0244471ae041fdb假定图像URL是正确且可访问的。

以上是经常性神经网络教程（RNN）的详细内容。更多信息请关注PHP中文网其他相关文章！