我已经在 Tensorflow 中实现了通用句子编码器,现在我正在尝试预测句子的类概率。我也将字符串转换为数组。
代码:
if model.model_type == "universal_classifier_basic":
class_probs = model.predict(np.array(['this is a random sentence'], dtype=object)
错误消息:
InvalidArgumentError (see above for traceback): input must be a vector, got shape: []
[[Node: lambda_1/module_apply_default/tokenize/StringSplit = StringSplit[skip_empty=true, _device="/job:localhost/replica:0/task:0/device:CPU:0"](lambda_1/module_apply_default/RegexReplace_1, lambda_1/module_apply_default/tokenize/Const)]]
欢迎并高度赞赏任何线索、建议或解释。 谢谢:)
最佳答案
这并不像你想的那么容易。通常模型需要一个整数向量作为输入。每个整数代表词汇表中对应单词的索引。例如
vocab = {"hello":0, "world":1}
并且您想将句子“hello world”作为输入提供给网络,那么您应该按如下方式构建向量:
net_input = [vocab.get(word) for word in "hello world".split(" ")]
另请注意,如果您使用小批量训练网络,那么您还需要向要输入网络的向量添加额外的第一维。您可以使用 numpy 轻松完成此操作:
import numpy as np
net_input = np.expand_dims(net_input, 0)
通过这种方式,您的 net_input
具有形状 [1, 2],您可以将其输入网络。
仍然存在一个问题,可能会阻止您向网络提供这样的向量。在训练时,您可能已经为具有精确长度(30、40 个标记)的输入定义了一个占位符。在测试时,您需要匹配该大小,但如果感觉句子不够完整,则需要填充句子,或者如果句子较长,则需要剪切句子。
您可以按如下方式截断或添加填充:
net_input = [old_in[:max_len] + [vocab.get("PAD")] * (max_len - len(old_in[:max_len])] for old_in in net_input]
如果需要,这行代码会将输入old_in[:max_len]
截断为最大可能的len(请注意,如果len小于max_len,python将不会执行任何操作)并填充差值max len 和实际 len ((max_len - len(old_in[:max_len])
) 之间带有填充标记的插槽 (+ [vocab.get("PAD")]
)
希望这有帮助。
如果您的情况并非如此,只需写下对答案的评论,我会尝试找出其他解决方案。
关于python - Keras model.predict 函数给出输入形状错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51848429/