怎样在Python NumPy中对带权重的随机样本进行高效抽样？-Python教程-PHP中文网

np.random.choice 的 p 参数要求权重归一化，因为 numpy 将其视为离散概率质量函数（pmf），底层依赖 ∑pᵢ = 1 进行累积分布二分查找或别名法；未归一化会直接报错而非自动修正。

怎样在python numpy中对带权重的随机样本进行高效抽样？

直接用 np.random.choice，但必须传 p 参数且确保权重和为 1；否则会报 ValueError: probabilities do not sum to 1。

为什么 `np.random.choice` 的 `p` 参数要求权重归一化？

NumPy 内部把 p 当作离散概率质量函数（PMF）处理，底层调用的是基于累积分布的二分查找或别名法（Alias Method），数学上要求严格满足 ∑pᵢ = 1。不归一化不是“自动修正”，而是直接抛异常。

常见错误现象：

手动除以 sum(weights) 但用了整数数组，导致除法截断（如 weights // sum(weights)）
用 weights / weights.sum() 但 weights 含负数或 NaN，结果无效
从 pandas Series 拿 .values 后 dtype 变成 object，.sum() 失效

实操建议：

始终显式归一化：p = weights / weights.sum()
加保护：先 np.asarray(weights, dtype=float) 转浮点，再检查 np.any(p 和 <code>np.isnan(p).any()
若原始权重是整数且很大（如计数），归一化后精度无损；但避免用 int64 直接做除法

抽样数量大时，`size` 参数怎么设才不慢？

np.random.choice 的 size 支持标量、元组（如 (1000,) 或 (10, 5)），底层一次生成全部索引，比循环调用快一个数量级。但注意：当 size 超过百万级，内存占用和随机数生成器状态更新可能成为瓶颈。

使用场景与性能提示：

Shadows Python Sensei

Python 最佳实践助手——代码规范、设计模式、性能优化、测试与类型注解。适用于编写或审查 Python 代码。

下载

单次抽 10⁴–10⁶ 样本：直接 size=1000000，最快
需带放回抽样（默认 replace=True）：没问题；若要不放回（replace=False），则 size 不能超过样本总数，且权重不归一化也允许（NumPy 内部按比例采样）
不放回 + 大 size：实际是 O(n log n) 复杂度，比放回慢得多，慎用

示例（高效放回抽样）：

import numpy as np
a = np.array(['A', 'B', 'C'])
weights = np.array([10, 2, 1])
p = weights / weights.sum()
samples = np.random.choice(a, size=100000, p=p)

替代方案：什么时候不该用 `np.random.choice`？

当权重动态变化、需多次小批量抽样，或样本集极大（千万级+）且只取少量样本时，np.random.choice 每次都复制整个 p 数组并构建累积分布，开销反而高。

可考虑的轻量替代：

手写 alias method（如用 numpy-indexed 库的 random_choice），预建表后单次抽样 O(1)
用 scipy.stats.rv_discrete 定义分布，适合需要 PDF/PMF/CDF 全功能的场景，但初始化慢
纯 Python 的 random.choices（Python 3.6+）：接受 weights 不强制归一，语法更松，但纯 Python 循环，大数据量明显慢于 NumPy

关键区别点：