当样本量超过 5000 时，scipy.stats.shapiro 会发出警告并返回不可靠的 p 值；本文提供三种可靠替代方案：蒙特卡洛模拟校准、其他适用于大样本的正态性检验（如 normaltest、anderson），以及实际应用中的选择建议。
当样本量超过 5000 时，scipy.stats.shapiro 会发出警告并返回不可靠的 p 值；本文提供三种可靠替代方案：蒙特卡洛模拟校准、其他适用于大样本的正态性检验（如 normaltest、anderson），以及实际应用中的选择建议。
Shapiro-Wilk 检验虽是小样本下最强大的正态性检验方法，但其原生实现对大样本（N > 5000）存在固有限制：scipy.stats.shapiro 在内部使用查表与插值法估算 p 值，当样本量达百万级（如您示例中的 1,048,575）时，该估算将显著失真，因此触发 UserWarning 并提示结果不可信。
✅ 方案一：蒙特卡洛重抽样校准（保留 Shapiro 统计量）
若仍需基于 Shapiro 统计量进行推断（例如因方法一致性要求），可借助 scipy.stats.monte_carlo_test 自行构建置换检验框架，用随机生成的正态样本作为零分布参考：
import numpy as np
from scipy import stats
rng = np.random.default_rng(seed=42)
def shapiro_statistic(x):
return stats.shapiro(x).statistic
# 假设 householdPowerConsumption_analysis.Global_active_power 是您的百万级数组
data = householdPowerConsumption_analysis.Global_active_power
# 执行蒙特卡洛检验（注意：大样本下耗时较长，batch 参数可平衡内存与速度）
result_mc = stats.monte_carlo_test(
data,
rng=rng,
rvs=lambda size: rng.normal(loc=np.mean(data), scale=np.std(data, ddof=1), size=size),
statistic=shapiro_statistic,
vectorized=False,
alternative='less', # Shapiro 统计量越小越偏离正态，故用 'less'
n_resamples=1000, # 建议 ≥1000；生产环境可设为 5000+
batch=50
)
print(f"Monte Carlo p-value: {result_mc.pvalue:.6f}")
⚠️ 注意事项：
- monte_carlo_test 默认假设零假设为标准正态，此处我们通过 rvs 显式指定与原始数据同均值、同标准差的正态分布，更符合实际检验目标；
- vectorized=False 确保 shapiro_statistic 接收一维数组（因 shapiro 不支持批量输入）；
- 对于百万级数据，单次 shapiro 调用已较慢，n_resamples=1000 可能需数分钟；建议在子采样验证逻辑后再全量运行。
✅ 方案二：改用专为大样本设计的正态性检验
Scipy 提供多个在大样本下 p 值渐近更稳健的检验方法，推荐优先选用：
| 方法 | 适用场景 | 特点 |
|---|---|---|
| stats.normaltest | 综合偏度+峰度检验（D’Agostino-Pearson） | 基于卡方近似，N > 20 即较可靠，百万级完全适用 |
| stats.anderson | Anderson-Darling 检验（含临界值表） | 提供多显著性水平临界值，不依赖 p 值，强烈推荐用于大样本 |
| stats.jarque_bera | 偏度-峰度联合检验 | 计算快，但小样本下 Type I 错误率偏高，大样本表现良好 |
示例（推荐组合使用）：
# 快速综合检验
_, p_normal = stats.normaltest(data)
print(f"normaltest p-value: {p_normal:.6e}")
# Anderson-Darling 检验（返回统计量 + 临界值数组 + 显著性水平）
res_anderson = stats.anderson(data, dist='norm')
print(f"Anderson-Darling statistic: {res_anderson.statistic:.6f}")
print("Critical values (15%, 10%, 5%, 2.5%, 1%):", res_anderson.critical_values)
print("Significance levels:", res_anderson.significance_level)
# 若统计量 > 对应临界值，则在该α水平拒绝正态假设
? 实践建议与总结
- 避免对 N > 5000 数据直接调用 shapiro：其 p 值无统计意义，仅统计量（W 值）可作粗略参考；
- 首选 anderson 检验：它不依赖 p 值计算，直接给出不同置信水平下的拒绝阈值，对大样本鲁棒性强，且能直观判断偏离程度；
- 结合可视化验证：无论检验结果如何，务必辅以 Q-Q 图或直方图（如 stats.probplot(data, dist="norm", plot=plt)），因为统计检验在超大样本下极易因微小偏离而显著拒绝 H₀，此时需结合业务语义判断“是否足够正态”；
- 慎用“正态性”本身：在机器学习或建模中，许多算法（如线性回归）真正依赖的是残差正态性或中心极限定理下的渐近性质，而非特征本身的严格正态分布。
综上，面对百万级电力消耗数据的正态性评估，放弃 shapiro 的原生调用，转向 anderson 或 normaltest，并辅以蒙特卡洛校准（如必须保留 Shapiro 框架），才是严谨、高效且可复现的解决方案。
大量免费API接口：立即使用
涵盖生活服务API、金融科技API、企业工商API、等相关的API接口服务。免费API接口可安全、合规地连接上下游，为数据API应用能力赋能！
