在东谈主工智能的广泛星空中，深度学习以其不凡的智商照亮了普遍规模，而瑕瑜期悲伤聚集（LSTM， Long Short-Term Memory）当作深度学习中一颗美丽的明星，尤为引东谈主选藏。LSTM是轮回神经聚集（RNN）的一种稀疏方法，它以其独有的结构贪图极品熟女，顺利克服了传统RNN在处理长序列数据时容易出现的梯度清除或梯度爆炸问题，从而成为处理时间序列数据、当然言语处理（NLP）等任务的首选器用。本文将深切磋议LSTM的基情愿趣、结构特色、lstm 的门、进修技术以过火在各个规模的平方运用。
1、什么是lstm
LSTM：LSTM（Long Short-Term Memory）是一种稀疏的轮回神经聚集（RNN）架构，用于处理和瞻望时间序列数据中隔断和蔓延绝顶长的热切事件。LSTM通过引入“门”机制（淡忘门、输初学、输外出）来贬责传统RNN在处理长序列时容易出现的梯度清除或梯度爆炸问题，使得LSTM大致更有用地捕捉恒久依赖干系。RNN的问题：存在梯度爆炸和清除的问题，关于长距离的句子的学习恶果不好。
梯度清除：RNN梯度清除是因为激活函数tanh函数的倒数在0到1之间，反向传播时更新前边时刻的参数时，当参数W运行化为小于1的数，则多个(tanh函数’ * W)相乘，将导致求得的偏导极小（小于1的数连乘），从而导致梯度清除。
梯度爆炸：当参数运行化为实足大，使得tanh函数的倒数乘以W大于1，则将导致偏导极大（大于1的数连乘），从而导致梯度爆炸。
总之即是 当 参数大于 1 的时候，1 的n次方 就会出现梯度爆炸，趋近正无限，当参数小于1 的时候，1的N次方 就会出现梯度清除，趋近于0。
2、lstm 的汇聚集构
主要想想是：将信息存储在一个个悲伤细胞中，不同遮掩层的悲伤细胞之间通过极少线性交互酿成一条传送带（图中红线），终了信息的流动。同期引入一种“门”的结构，用来新增或删除悲伤细胞中的信息，插插插插步骤信息的流动。
结构图：
格林童话
x 也即是操作矩阵中对应的元素相乘，因此条目两个相乘矩阵是同型的
+号 则代表进行矩阵加法。
Ct-1 是 现时神经元的输出
从架构图上不错看到主若是三个门单位，淡忘门，输初学 和 输外出。
淡忘门和输初学的输入王人是 现同样间的输入Xt 和 上一个隐层的数据
输外出的输入是现时的输出
3、lstm 的门
上头的是意会下LSTM的结构，底下就要细节先容了，尽量用鄙俚的言语帮你意会，也会附上数学公式，如果能意会就意会，不成意会也不影响。先附上经典的LSTM架构
3.1 输入数据的证实极品熟女
这里重心证实下输入的数据
比如输入是：我爱北京天安门
对输入进行编码【1，2，3，4，5，6，7】（一般不会这样编码，一般是编码为词向量，这里只是为了证实问题）
输入 Xt-1 = 2 则 Xt = 3 ，总共这个词一个句子即是一个序列。
3.2 lstm 的中枢即是三个门函数
再来个浮浅的图，不错一下看到现时细胞使用的函数，独一两个sigmod 和tanh神经聚集层
tanh神经聚集层
输入的数值会被保留在[-1，1]的区间内，
sigmod神经聚集层
输入的数据王人会被攻击为（0，1）的区间内
3.3 淡忘门
淡忘门是认真淡忘悲伤单位Ht-1 中若干牵难忘以保存。
如图：底下具体领略下其中的数学操作
Ht-1 = [0.1，0.2，0.3] 是一个一滑三列的一个矩阵
Xt = [0.6，0.7，0.8] 亦然一个一滑三列的一个矩阵
则[Ht-1，Xt] = [0.1，0.2，0.3，0.6，0.7，0.8] ，即
6 代表一个神经单位，总共这个词函数的模子即是 f = wx +b
Wf 是现时神经单位的参数
bf 是偏置参数
总共这个词神经元的输出通过sigmoid 函数输出全是（0，1）之间的数值，比如[0.4，0.8，0.9]
3.4 输初学
输初学的作用即是往现象信息中添加新东西
输初学包含两部分，同期使用了两个神经元函数。
It 的函数操作何上头的输初学的证实差未几，用以步骤新现象信息的更新经由
Ct 用以步骤输入的数据
最终的输出收尾是上头两步的收尾的一个函数。
Ct 即是现同样刻的输出
Ct-1 是上一个时刻的输出
It 是输初学的更新经由
C"t 是步骤输入的数据
3.5 输外出
咱们需要细目输出什么值。输出将会基于咱们的细胞现象，然则亦然一个过滤后的版块。率先，咱们运行一个 sigmoid 层来细目细胞现象的哪个部分将输出出去。接着，咱们把细胞现象通过 tanh 进行处理并将它和 sigmoid 门的输出相乘，最终咱们只是会输出咱们细目输出的那部分。输外出是输出的悲伤，也即是前边的集会输外出亦然两个神经单位
Ot是要sigmod神经单位
Ht 是Ct 当作输入的tanh单位极品熟女