第130章 十一省理科裸分第一(1) (第3/5页)

经网络。

    距今天已经将近二十年了，可以说是很久远了。

    虽然长短期记忆神经网络在处理长序列文本的时候可能会有一定的优势。

    但实际上当初提出长短期记忆神经网络并不是为了文本处理。

    当时之所以提出长短期记忆神经网络神经网路是为了处理训练传统循环神经网路时可能遇到的梯度消失和梯度爆炸问题。2

    在机器学习中，用基于梯度的学习方法和反向传播训练人工神经网络时。

    有时会遇到梯度消失和梯度爆炸的问题。

    这两种情况都不是研究人员希望看到的情况。

    出现梯度消失或梯度爆炸后，原本的深度学习根本深不起来，只能说是浅度学习。

    个别极端情况，别说浅度学习了，连最起码的机器学习都做不到。

    总而言之，梯度消失和梯度爆炸问题会极大地降低利用神经网络的深度学习的训练效率。

    梯度消失和梯度爆炸问题也是一个极其难缠的问题。

    和神经网络有关的研究人员在1991年就注意到梯度消失和梯度爆炸现象。

    该问题在长短期记忆神经网络出现后得到一定的缓解。

    但还是没有彻底解决梯度消失和梯度爆炸问题。

    除了利用长短期记忆神经网络之外，其他的几种处理梯度消失和梯度爆炸的问题的方式（比如说多级层次结构、利用更快的硬件、利用其他的激活函数