P 值是统计推断里被引用最多、也被误解最多的一个数字。先把定义说准确,后面的一切才不会跑偏。
一、准确定义
定义P 值是在原假设成立的前提下,观测到当前样本结果或更极端结果的概率。
注意定义里的两个限定:
- 前提是"原假设成立",不是"数据是真的";
- 计算的是"当前或更极端"的累积概率,不是"恰好等于当前结果"的概率。
二、它与显著性水平的关系
- 显著性水平 α 是事先设定的容许犯第一类错误的概率,常用 0.05;
- P 值由样本事后计算得到;
- P < α 时拒绝原假设,称结果"统计显著";
- P ≥ α 时不能拒绝原假设,但这不等于证明原假设为真。
纪律α 必须在看数据之前确定。看完数据再改 α,等于把显著性"调"出来,属于研究不端。
三、五个常见误读
| 误读 | 为什么错 |
|---|---|
| "P = 0.03 说明原假设为真的概率是 3%" | P 值是"给定原假设下数据的概率",不是"给定数据下原假设的概率",两者方向相反 |
| "P 值越小,效应越大" | P 值同时受样本量影响。样本很大时,极小的实际差异也能得到很小的 P 值 |
| "P 值不显著,说明两组没有差别" | 不显著只说明证据不足以拒绝原假设,可能是样本量不足、功效不够 |
| "P = 0.049 显著,P = 0.051 不显著,二者有本质区别" | 0.05 是人为约定的门槛,P 值在门槛附近的变化不代表结论有质的差异 |
| "统计显著,所以业务上很重要" | 统计显著说的是"不太可能由偶然造成",与实际重要性是两回事,需要看效应量 |
四、正确的报告方式
- 给出效应量(均值差、相关系数、比值比等),而不只给 P 值;
- 给出置信区间,它同时传达方向和精度;
- 说明样本量与检验功效,让读者判断不显著是否是功效不足导致;
- 涉及多重比较时做校正(如 Bonferroni 法),避免假阳性堆积。
一句话总结P 值回答的是"如果什么都没发生,我有多大概率看到这样的数据"。它不回答"我的假设对不对",也不回答"这个差异重不重要"。