使用 LSTM 自动编码器重新创建输入

Question

我正在尝试使用 LSTM 对输入数据进行编码，然后从编码数据中解码/重新创建它。我有 100 个样本需要运行，每个样本有 40 个时间步长和 1260 个特征。我对网络外观的粗略想法如下。将数据输入到 LSTM 层，将其编码到密集层，然后使用最终的 LSTM 作为输出层。

model = Sequential()

model.add(LSTM(100, input_shape=(40, 1260), return_sequences=True))

model.add(Dense(100, activation='softmax'))

model.add(LSTM(1260))

model.compile(loss='mse', optimizer=adam, metrics=['accuracy'])

model.fit(input_train, input_test, epochs=100, batch_size=1, verbose=2)

我尝试过不同的尺寸大小和隐藏层数量，但我无法获得接近 1% 左右的准确度。提前致谢

更新的代码：

timesteps = 40

features = 1260

model = Sequential()

model.add(LSTM(200, input_shape=(timesteps,features)))

model.add(RepeatVector(timesteps))

model.add(TimeDistributed(Dense(features)))

model.add(LSTM(1260, return_sequences=True))

model.summary()

opt = keras.optimizers.Adam(lr=0.001)

model.compile(loss='mse', optimizer=opt, metrics=['accuracy'])

model.fit(input_train, input_test, epochs=200, batch_size=16, verbose=1)

Answer 1

最有可能的是由于引入Dense层而没有跨时间传播其值而引起的错误。keras.layers.RepeatVector()在大多数 LSTM 自动编码器结构中，我观察到在编码器之后和解码器之后使用keras.layers.TimeDistributed(keras.layers.Dense())。尝试复制示例中的结构，然后逐渐修改它们。