记忆的概念

RNN与LSTM

RNN对之前的数据有记忆，但不可能长期保持这些记忆，否则会带来数据分析和保存的问题。

LSTM是RNN的一种延申，选择性记忆。使用Dropout把最该记忆的学习下来并保存

为什么有了BP、CNN，还需要RNN。  

传统的，输入、输出独立。

RNN引入了“记忆”