tensorflow - tf.Dataset.from_tensor_slices性能问题

标签 tensorflow machine-learning deep-learning tensorflow-datasets tensorflow-estimator

对于我的输入 fn,我正在填充 tf.Data.Dataset.from_tensor_slices((np.array1, np.array2, np.array3)

我通过调用 dataset.map 来解析它们。结果我返回了我的数据集。

我知道数据集的初始化可能很慢,但是当我调用 tf.estimator train_and_evaluate 函数来训练和评估模型时,它的性能非常糟糕。可能它正在填充每个时期的数据。原因是什么?我怎样才能克服这个问题。您有什么建议?

谢谢。

最佳答案

问题是您正在执行 C++ Python 往返。如果你能尽量避免使用 numpy 。也许尝试使用 tf 记录。

您在 map 功能中到底在做什么?

关于tensorflow - tf.Dataset.from_tensor_slices性能问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52345867/

相关文章:

python - 提前停止使用 tensorflow tf.estimator ?

python - 如何在 python 中保存截断的 svd 模型

python - 无法使用 tensorflow 中的占位符初始化变量

machine-learning - 如何用SVM处理条件特征?

python - Tensorflow 1.8.0 : Wide and Deep Model results are not stable. 随机种子不起作用

tensorflow - 如何在 Keras 中构建这个自定义层?

python - Tensorflow:feed_dict 占位符是 Operation 而不是 Tensor

python - Keras - LSTM 如何 reshape 输入值

python - Keras 提前停止 : Which min_delta and patience to use?

c++ - 如何使用Visual Studio在.cpp文件中#include <torch.extension.h>?