python - 如何在Python数组中生成连续的随机NaN

标签 python arrays pandas dataframe missing-data

假设有一个带有随机数的数组

[[ 1. 3. 4. 5. 1. 2. 5. 7.]
[ 1. 3. 6. 4. 4. 0. 4. 0.]
[ 5. 0. 5. 1. 3. 0. 5. 1.]
[ 2. 1. 5. 4. 6. 1. 3. 4.]
[ 2. 1. 0. 0. 6. 1. 2. 1.]
[ 3. 5. 7. 2. 9. 6. 3. 5.]] 

我想在这个数组中引入4个连续的NaN,如下所示。 另外,NaN 必须占据整个数组的20% 左右,这意味着缺失率为 20%。该数组有 48 个分量,因此需要 10 个 NaN 分量。 应在此数组中引入连续的 NaN block 。

如果可以的话,我想调整一下连续率和缺失率。 (连续率是指连续NaN的个数...)

[[ 1. 3. NaN NaN NaN NaN 5. 7.]
[ 1. 3. 6. 4. 4. 0. 4. 0.]
[ 5. 0. 5. 1. 3. 0. 5. 1.]
[ NaN NaN NaN NaN 6. 1. 3. 4.]
[ 2. 1. 0. 0. 6. 1. 2. 1.]
[ 3. 5. 7. 2. 9. 6. NaN NaN]] 

有很多代码在数组中生成随机 NaN,但我不知道如何用连续 NaN 替换值。 首先感谢您的帮助!

最佳答案

我可以建议这种方法,它远非最佳,但它有效:

## data
import numpy as np
np.random.seed(42)

a = np.array([[1., 3., 4., 5., 1., 2., 5., 7.],
            [1., 3., 6., 4., 4., 0., 4., 0.],
            [5., 0., 5., 1., 3., 0., 5., 1.],
            [2., 1., 5., 4., 6., 1., 3., 4.],
            [2., 1., 0., 0., 6., 1., 2., 1.],
            [3., 5., 7., 2., 9., 6., 3., 5.]])

## NaN statistics definition
nan_ratio = 0.2
nan_seq_len = 4
number_of_nan_seq = int(nan_ratio * a.size / nan_seq_len)
nan_position = np.random.randint(0, a.size-nan_seq_len, size=number_of_nan_seq)

## NaN insertion
nan_indexes = np.ones([nan_position.size, nan_seq_len]) * nan_position[:, np.newaxis] + np.arange(0, nan_seq_len)
a_shape = a.shape
a_flat = a.flatten()
a_flat[nan_indexes.astype('int')] = np.nan
a = a_flat.reshape(a_shape)

输出a:

array([[ 1.,  3.,  4.,  5.,  1.,  2.,  5.,  7.],
       [ 1.,  3.,  6.,  4.,  4.,  0.,  4.,  0.],
       [ 5.,  0.,  5.,  1.,  3.,  0.,  5.,  1.],
       [ 2.,  1.,  5.,  4., nan, nan, nan, nan],
       [ 2.,  1.,  0.,  0.,  6.,  1., nan, nan],
       [nan, nan,  7.,  2.,  9.,  6.,  3.,  5.]])

关于python - 如何在Python数组中生成连续的随机NaN,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60070996/

相关文章:

Python Qt 和多行 qlabel

python - 查找出现两次的最长子串的正则表达式(并且与其双胞胎不相交)

JAVA - 对象无法添加到对象数组 - NullPointerException

java - 需要 java/file IO 方面的帮助

python - Pandas 切片因 DatetimeIndex 标签列表而失败

python - 使用 HDF5 格式将 pandas 数据帧写入 S3

python - Pyglet 的 FPS 是显示器刷新率的一半

java - 无法从字符串转换为字节数组

python - 我如何在不重复计算的情况下计算 python 中数据框的所有唯一值?

Python匹配空格