python - 返回分布的 z 值 - python

Question

我有一个二元分布，它是从每个 Group 的 xy 点生成的。在 'Int_1','Int_2' .我通过 Norm 对分布进行归一化并将其传递给轮廓以显示 z 值。
我想返回 'Item_X','Item_Y' 中显示的 xy 点处二元分布的 z 值.下图中使用白色散点显示了一个示例。
最终，我将传递 'Item_X','Item_Y' 的 z 值在每个时间点添加到数据框并将其附加回原始 df。

import pandas as pd
import numpy as np
from scipy.stats import multivariate_normal as mvn
import matplotlib.pyplot as plt
from scipy.interpolate import RectBivariateSpline

df = pd.DataFrame({'Int_1': [1.0, 2.0, 1.0, 3.0, 1.0, 2.0, 3.0, 2.0], 
           'Int_2': [1.0, 2.0, 2.0, 2.0, 1.0, 1.0, 1.0, 2.0],
           'Item_X': [0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0],
           'Item_Y': [0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0],               
           'Period': [1, 1, 1, 1, 2, 2, 2, 2],
           'Group': ['A', 'B', 'A', 'B', 'A', 'B', 'A', 'B'],
           'Item': ['Y', 'Y', 'A', 'B', 'A', 'B', 'A', 'B'],
           'id': ['1', '2', '3', '4', '1', '2', '3', '4']})

Group_A = [df[df['Group'] == 'A'][['Int_1','Int_2']].to_numpy()]
Group_B = [df[df['Group'] == 'B'][['Int_1','Int_2']].to_numpy()]
Item = [df[['Item_X','Item_Y']].to_numpy()]

period = df['Period'].drop_duplicates().reset_index(drop = True)

def bivart_func(member_no, location, time_index, group):

  if group == 'A':
    data = Group_A.copy()

  elif group == 'B':
    data = Group_B.copy()

  else:

    return

  if np.all(np.isfinite(data[member_no][[time_index,time_index + 1],:])) & np.all(np.isfinite(Item[0][time_index,:])):

    sxy = (data[member_no][time_index + 1,:] - data[member_no][time_index,:]) / (period[time_index + 1] - period[time_index])

    mu = data[member_no][time_index,:] + sxy * 0.5

    out = mvn.pdf(location,mu) / mvn.pdf(data[member_no][time_index,:],mu)

  else:
    out = np.zeros(location.shape[0])

  return out

xx,yy = np.meshgrid(np.linspace(-10,10,200),np.linspace(-10,10,200))
Z_GA = np.zeros(40000)
Z_GB = np.zeros(40000)

for k in range(1):
  Z_GA += bivart_func(k,np.c_[xx.flatten(),yy.flatten()],0,'A')
  Z_GB += bivart_func(k,np.c_[xx.flatten(),yy.flatten()],0,'B')

fig, ax = plt.subplots(figsize=(8,8))
ax.set_xlim(-10,10)
ax.set_ylim(-10,10)

Z_GA = Z_GA.reshape((200,200))
Z_GB = Z_GB.reshape((200,200))

Norm = xx,yy, (Z_GA - Z_GB)

cfs = ax.contourf(*Norm, cmap = 'magma')

ax.scatter(Item[0][1,0],Item[0][1,1], color = 'white', edgecolor = 'black')

f = RectBivariateSpline(xx[0, :], yy[:, 0], Norm)
z = f(df['Item_X'], df['Item_Y'], grid = False) 
print(z)

Answer 1

Z 分数是一个参数，可让您比较不同的正态分布。任何正态分布都以相同的方式取决于 Z 分数。
Z-score 定义为

概率密度函数为

对于任何发行版，如果您替换 z在f(x)的定义中你总是得到exp(-0.5*z**2)/(sigma * sqrt(2*pi) .
在您的情况下，您有一个概率比率，您可以找到一个类似于它的 z 值的值，但它会有不同的解释。为了做到这一点，我将尝试将正常 PDF 的比率转换为具有不同均值和协方差的缩放正常 PDF。
PDF 作为缩放 PDF 的比率
这在启用 latex 的论坛中更合适，我将用类似 python 的语法编写方程
多元分布可以描述为a * exp(-(x - mu).T @ A @ (x-mu)) 如果你有两个分布的比率，你可以表示为(a1/a2) * exp(-(x - mu2).T @ A1 @ (x-mu2)) / exp(-(x - mu1).T @ A2 @ (x-mu2))因为指数的比率是差的指数exp(-(x - mu2).T @ A1 @ (x-mu2) + (x - mu1).T @ A2 @ (x-mu2))重新排列条款exp(-x.T @ (A1 - A2) @ x + 2 * x.T @ (A1 @ mu1 - A2 @ mu2) + mu1.T @ A1 @ mu2 + mu2.T @ A2 @ mu2)术语 2 * x.T @ (A1 @ mu1 - A2 @ mu2)组合两个线性项，并将定义分布的均值，即项 mu1.T @ A1 @ mu2 + mu2.T @ A2 @ mu2是常数，并将作为分布的常数因子出现。

exp(-(x - mu).T @ A @ (x-mu))

缩放高斯的中心是这样的(A1 - A2)@ mu3 = (A1 @ mu1 - A2 @ mu2)因此mu3 = (A1 - A2).inv() @ (A1 @ mu1 - A2 @ mu2)和 A3=A1-A2如 A3是正定的(所有特征值都是正的)，那么分布将是一个平均mu3的缩放高斯分布

a3 * exp(-(x - mu3).T @ A3 @ (x-mu3))

def combine(C1, C2, mu1, mu2):
  """
    Given two multivariate normal distribution in a n-dimensional space
    C1: Covariance of the first distribution
    C2: Covariance of the second distribution
    mu1: Center of the first distribution
    mu2: Center of the second distribution
  """

  A1 = C1.inv()
  A2 = C2.inv()
  C3 = (A1 - A2).inv()
  mu3 = C3 @ (A1 @ mu1 - A2 @ mu2)
  return C3, mu3

多元 z 值类似
z 值只是指数的负参数的两倍的平方根，因此，给定上面的等式(就 C 而言，协方差矩阵)

def zValue(C, mu, x):
  """
    C:  n x n covariance matrix
    mu: n x 1 center vector
    x:  n x 1 location vector
  """
  return sqrt((x-mu).T @ C.inv() @ (x-mu))

zValue 将是曲线“中心”处的值与给定点之间的比率的函数。如果 A1 - A2 可能是负数不是肯定的正数，这意味着函数在给定点计算 x大于在点 mu3 处评估的函数.