python-3.x - 使用定制的距离函数从 Pandas Dataframe 创建距离矩阵

Question

我有一个包含两列“id”(唯一标识符)和“date”的 Pandas 数据框，如下所示:

test_df.head()

    id  date
0   N1  2020-01-31
1   N2  2020-02-28
2   N3  2020-03-10

我创建了一个自定义 Python 函数，给定两个日期字符串，它将计算这些日期之间的绝对天数(使用给定的日期格式字符串，例如 %Y-%m-%d)，如下所示:

def days_distance(date_1, date_1_format, date_2, date_2_format):
    """Calculate the number of days between two given string dates

    Args:
        date_1 (str): First date
        date_1_format (str): The format of the first date
        date_2 (str): Second date
        date_2_format (str): The format of the second date

    Returns:
        The absolute number of days between date1 and date2
    """

    date1 = datetime.strptime(date_1, date_1_format)
    date2 = datetime.strptime(date_2, date_2_format)
    return abs((date2 - date1).days)

我想创建一个距离矩阵，对于所有 ID 对，它将计算这些 ID 之间的天数。使用 test_df上面的例子，最终的时间距离矩阵应该如下所示:

    N1    N2    N3
N1  0     28    39
N2  28    0     11
N3  39    11    0

我正在努力寻找一种使用定制距离函数计算距离矩阵的方法，例如我的 days_distance()上面的函数，与 SciPy 提供的标准距离测量相反。
有什么建议？

Answer 1

让我们试试 pdist + squareform 创建一个平方距离矩阵来表示日期时间对象之间的成对差异，最后从这个平方矩阵创建一个新的数据框:

from scipy.spatial.distance import pdist, squareform

i, d = test_df['id'].values, pd.to_datetime(test_df['date'])
df = pd.DataFrame(squareform(pdist(d[:, None])), dtype='timedelta64[ns]', index=i, columns=i)

或者，您也可以使用 numpy 计算距离矩阵广播:

i, d = test_df['id'].values, pd.to_datetime(test_df['date']).values 
df = pd.DataFrame(np.abs(d[:, None] - d), index=i, columns=i)

        N1      N2      N3
N1  0 days 28 days 39 days
N2 28 days  0 days 11 days
N3 39 days 11 days  0 days