在深度学习生成模型中创建掩蔽层

Question

我创建了一个生成模型，它在长度为 129 的填充序列上进行训练。我尝试添加一个遮罩层，但收到以下错误消息：

input_length" is 129, but received input has shape (None, 129, 7905).

vocab_size = 7905

seq_length_sent = 129

这是模型：

model = Sequential() 

model.add(Masking(mask_value=0, input_shape=(seq_length_sent, vocab_size)))

model.add(Embedding(vocab_size, 50, input_length=seq_length_sent)) 

model.add(LSTM(100, return_sequences=True)) 

model.add(LSTM(100))

model.add(Dense(100, activation='relu')) 

model.add(Dense(vocab_size, activation='softmax')) 

print(model.summary())

输入是填充序列，已被标记化，因此每个单词都由一个整数表示。输出词是通过以下代码进行one-hot编码的：

X, y = sequences_sent[:,:-1], sequences_sent[:,-1] 

y = to_categorical(y, num_classes=vocab_size)

这是我第一次制作这样的模型，所以我不确定这种方法是否正确。

Answer 1

问题在于您定义输入形状的位置。我假设您模型的输入是标记化的填充序列。因此，输入不应该是 的形状seq_length_sent*vocab_size，而应该是形状seq_length_sent因此，要解决您的问题，只需更换：model.add(Masking(mask_value=0, input_shape=(seq_length_sent, vocab_size)))和model.add(Masking(mask_value=0, input_shape=(seq_length_sent,)))

Answer 2

输入是填充序列，已被标记化，因此每个单词都由一个整数表示。输出词是通过以下代码进行one-hot编码的：X, y = sequences_sent[:,:-1], sequences_sent[:,-1]  y = to_categorical(y, num_classes=vocab_size)这是我第一次制作这样的模型，所以我不确定这种方法是否正确。

Answer 3

错误来自您定义遮罩层的方式。如果您的输入是填充的单词序列，并且每个单词都是一个热编码，那么您已经正确定义了掩码层。但是，如果您的输入是没有一个热编码的填充词序列，那么您必须将掩码层定义为model.add(Masking(mask_value=0, input_shape=(seq_length_sent,)))代替model.add(Masking(mask_value=0, input_shape=(seq_length_sent,vocab_size))