python - 如何用置信区间解释数据点的上限/下限？

Question

给定一个值列表:

>>> from scipy import stats
>>> import numpy as np
>>> x = list(range(100))

使用学生 t 检验，我可以找到 alpha 为 0.1(即 90% 置信度)的均值分布的置信区间:

def confidence_interval(alist, v, itv):
    return stats.t.interval(itv, df=len(alist)-1, loc=v, scale=stats.sem(alist))

x = list(range(100))
confidence_interval(x, np.mean(x), 0.1)

[出去]:

(49.134501289005009, 49.865498710994991)

但是如果我要在每个数据点找到置信区间，例如对于值 10 :

>>> confidence_interval(x, 10, 0.1)
(9.6345012890050086, 10.365498710994991)

应该如何解释值的间隔？ 解释它在统计/数学上是否合理？

它是不是像这样:

At 90% confidence, we know that the data point 10 falls in the interval (9.6345012890050086, 10.365498710994991),

又名。

At 90% confidence, we can say that the data point falls at 10 +- 0.365...

那么我们可以将区间解释为某种数据点的箱线图吗？

Answer 1

简而言之

您的调用给出了未知参数正态定律的平均参数的置信区间，其中您观察了 100 个观察值，平均值为 10，标准差为 29。此外，解释它也不合理，因为您的分布显然不是正常，因为 10 不是观察到的平均值。

TL; 博士

围绕置信区间存在很多误解，其中大部分似乎源于对我们自信的误解。由于您对置信区间的理解存在一些混淆，因此更广泛的解释将使您对您正在处理的概念有更深入的理解，并希望绝对排除任何错误来源。

消除误解

非常简单地设置。我们处于这样一种情况，我们想要估计一个参数，或者更确切地说，我们想要测试一个参数值的假设，参数化随机变量的分布。例如:假设我有一个正态分布变量 X，其平均值为 m，标准差为 sigma，我想测试假设 m=0。

什么是参数检验

这是一个测试随机变量参数假设的过程。由于我们只能访问作为随机变量具体实现的观察值，因此通常通过计算 进行处理。统计这些实现。统计量大致是随机变量实现的函数。让我们称这个函数为 S，我们可以在 x_1,...,x_n 上计算 S，它们与 X 的实现一样多。

因此，您了解 S(X) 也是一个随机变量，具有分布、参数等!这个想法是，对于标准测试，S(X) 遵循一个众所周知的分布，其值被列出。例如:http://www.sjsu.edu/faculty/gerstman/StatPrimer/t-table.pdf

什么是置信区间？

鉴于我们刚才所说的，置信区间的定义将是:测试参数的值范围，这样如果观察是从由该范围内的值参数化的分布生成的，它不会有概率上不可能的。
换句话说，置信区间给出了这个问题的答案:给定以下观察值 x_1,...,x_n n 个 X 的实现，我们是否可以自信地说 X 的分布是由这样的值参数化的。 90%、95% 等……断言置信水平。通常，外部约束固定了这个水平(质量评估的工业规范，科学规范，例如:发现新粒子)。

我认为现在对您来说很直观:

置信水平越高，置信区间越大。例如对于 100% 的置信度，一旦存在一些不确定性，置信区间将涵盖所有可能的值

对于大多数测试，在我不会描述的条件下，我们拥有的观察越多，我们就越能抑制置信区间。

At 90% confidence, we know that the data point 10 falls in the interval (9.6345012890050086, 10.365498710994991)

这样说是错误的，这是最常见的错误来源。 90% 置信区间 从不 意味着估计参数有 90% 的机会落入该区间。当计算区间时，它覆盖参数或不覆盖参数，这不再是概率问题。 90% 是对估计程序可靠性的评估 .

什么是学生测试？

现在让我们来看看你的例子，并根据我们刚才所说的来看看它。您将学生测试应用于您的观察列表。
第一:学生测试旨在测试正态分布随机变量的均值 m 与 之间相等的假设。未知 标准偏差，以及某个值 m_0。

与此检验相关的统计量是 t = (np.mean(x) - m_0)/(s/sqrt(n))其中 x 是您的观察向量，n 是观察次数，s 是 经验标准差。毫不奇怪，这遵循学生分布。

因此，您想要做的是:

为您的样本计算这个统计量，计算与具有这么多自由度的学生分布相关的置信区间，这个 理论均值和置信水平

看看你计算的 t落入该区间，这会告诉您是否可以排除具有这种置信度的平等假设。

我想给你一个练习，但我想我已经足够长了。

总结 scipy.stats.t.interval 的使用.您可以使用以下两种方式之一。使用上面显示的公式计算自己的 t 统计量，并检查 t 是否符合 interval(alpha, df) 返回的区间其中 df 是采样的长度。或者您可以直接拨打interval(alpha, df, loc=m, scale=s)其中 m 是您的经验平均值，s 是经验标准偏差(除以 sqrt(n))。在这种情况下，返回的区间将直接作为均值的置信区间。

因此，在您的情况下，您的调用给出了未知参数正态定律的平均参数的置信区间，其中您观察了 100 个观察值，平均值为 10，stdv 为 29。此外，解释它也不合理，除了我已经指出的解释错误，因为您的分布显然不正常，并且因为 10 不是观察到的平均值。

资源

您可以查看以下资源以进一步了解。

提供快速引用和详细概述的维基百科链接

https://en.wikipedia.org/wiki/Confidence_interval

https://en.wikipedia.org/wiki/Student%27s_t-test

https://en.wikipedia.org/wiki/Student%27s_t-distribution

走得更远

http://osp.mans.edu.eg/tmahdy/papers_of_month/0706_statistical.pdf

我没有读过，但下面的那个似乎很不错。
https://web.williams.edu/Mathematics/sjmiller/public_html/BrownClasses/162/Handouts/StatsTests04.pdf

你还应该查看 p 值，你会发现很多相似之处，希望你在阅读这篇文章后能更好地理解它们。

https://en.wikipedia.org/wiki/P-value#Definition_and_interpretation