是否有一种简单的方法可以从 tensorflow.data.Dataset
实例中过滤所有包含 nan
值的条目?喜欢 Pandas 中的 dropna
方法吗?
简短示例:
import numpy as np
import tensorflow as tf
X = tf.data.Dataset.from_tensor_slices([[1,2,3], [0,0,0], [np.nan,np.nan,np.nan], [3,4,5], [np.nan,3,4]])
y = tf.data.Dataset.from_tensor_slices([np.nan, 0, 1, 2, 3])
ds = tf.data.Dataset.zip((X,y))
ds = foo(ds) # foo(x) = ?
for x in iter(ds): print(str(x))
我可以为 foo(x)
使用什么来获得以下输出:
(<tf.Tensor: shape=(3,), dtype=float32, numpy=array([0., 0., 0.], dtype=float32)>, <tf.Tensor: shape=(), dtype=float32, numpy=0.0>)
(<tf.Tensor: shape=(3,), dtype=float32, numpy=array([3., 4., 5.], dtype=float32)>, <tf.Tensor: shape=(), dtype=float32, numpy=2.0>)
如果你想自己尝试,here is Google Colab notebook .
最佳答案
我的方法与现有答案略有不同。我没有使用 sum,而是使用了 tf.reduce_any
:
filter_nan = lambda x, y: not tf.reduce_any(tf.math.is_nan(x)) and not tf.math.is_nan(y)
ds = tf.data.Dataset.zip((X,y)).filter(filter_nan)
list(ds.as_numpy_iterator())
[(array([0., 0., 0.], dtype=float32), 0.0),
(array([3., 4., 5.], dtype=float32), 2.0)]
关于python - 过滤 Tensorflow 数据集中的 NaN 值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64157389/