我似乎无法理解 keras GRU 层中返回状态和返回序列之间的差异。
由于 GRU 单元没有单元状态(它等于输出),那么返回状态与 keras GRU 层中的返回序列有何不同?
更具体地说,我构建了一个编码器-解码器 LSTM 模型,其中包含一个编码器层和一个解码器层。编码器层返回其状态 (return_state = TRUE)
,解码器层使用这些状态作为初始状态 (initial_state = encoder_states)
。
当尝试使用 GRU 层执行此操作时,我不明白编码器层和解码器层之间传递的状态是什么。如果您能澄清这一点,请告诉我。提前致谢。
最佳答案
GRU 层的“状态”通常与“输出”相同。但是,如果您传入 return_state=True
和 return_sequence=True
,则该层的输出将是序列中每个元素之后的输出,但状态只会是之后的状态处理序列的最后一个元素。
这是使用 GRU 层的 seq-2-seq 网络的编码器/解码器示例
#Create layers
encoder_input_layer = Input(shape=(None,))
encoder_embedding_layer = Embedding(len(vocab), THOUGHT_VECTOR_SIZE)
encoder_gru_layer = GRU(THOUGHT_VECTOR_SIZE, return_state=True)
decoder_input_layer = Input(shape=(None,))
decoder_embedding_layer = Embedding(len(vocab), THOUGHT_VECTOR_SIZE)
decoder_gru_layer = GRU(THOUGHT_VECTOR_SIZE, return_sequences=True)
decoder_dense_layer = Dense(len(vocab), activation='softmax')
#connect network
encoder = encoder_embedding_layer(encoder_input_layer)
encoder, encoder_state = encoder_gru_layer(encoder)
decoder = decoder_embedding_layer(decoder_input_layer)
decoder = decoder_gru_layer(decoder, initial_state=encoder_state)
decoder = decoder_dense_layer(decoder)
model = Model([encoder_input_layer, decoder_input_layer], decoder)
但就您而言,这里实际上没有必要使用return_state
,因为来自encoder_gru_layer的输出和状态将是相同的。
关于tensorflow - keras GRU 层中的返回状态和返回序列有什么区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54887411/