Skip to content

Latest commit

 

History

History
31 lines (16 loc) · 2.3 KB

backpropagation-through-time-how-rnns-learn-e5bc03ad1f0a.md

File metadata and controls

31 lines (16 loc) · 2.3 KB

时间反向传播 — RNN 如何学习

原文:towardsdatascience.com/backpropagation-through-time-how-rnns-learn-e5bc03ad1f0a?source=collection_archive---------4-----------------------#2024-05-17

时间反向传播算法的解释

Egor HowellTowards Data Science Egor Howell

·发布于 Towards Data Science ·阅读时间:9 分钟·2024 年 5 月 17 日

--

www.flaticon.com/free-icons/neural-network" title=”neural network icons”>神经网络图标由 pojok d 创建 — Flaticon。

递归神经网络(RNNs)是常规前馈神经网络的变体,能够处理基于序列的数据,如时间序列和自然语言。

它们通过添加一个“递归”神经元来实现这一点,该神经元允许信息从过去的输入和输出传递到下一步。下图展示了一个传统的 RNN:

RNN 的示例架构。图示由作者提供。

左侧是一个递归神经元,右侧是通过时间展开的递归神经元。注意如何将之前的执行结果传递给后续的计算。

这为系统增加了一些固有的“记忆”,帮助模型捕捉历史上发生的模式。

在预测Y_1时,递归神经元使用X_1的输入和上一个时间步的输出Y_0。这意味着Y_0'Y_1的影响是直接的,并且它也间接影响Y_2

如果你想要完整了解 RNN 及一些实际示例,查看我之前的文章。