应避免直接将numpy数组传给pandas.to_sql，因其会退化为object列并逐行序列化；正确做法是显式指定列名与dtype、转为tolist()后配合executemany分批插入，并严格控制chunksize和dtype对齐以防止oom。
直接用 np.array 往数据库里塞数据，一定会卡死——NumPy 数组本身不是数据库友好的格式，必须先转换、再分批、再控制内存，否则 to_sql 会默默把整个数组转成 Python 对象列表，触发 OOM 或超长等待。
别直接传 ndarray 给 to_sql
pandas.to_sql 看似能接 np.ndarray，但实际内部会调用 pd.DataFrame 构造器，而 pd.DataFrame(arr) 在遇到非结构化 ndarray（比如 shape 是 (N,) 或 (N, M) 但无列名）时，会退化为 object 类型列，导致后续插入变成逐行 Python 对象序列化，性能断崖式下跌。
- 错误写法：
df = pd.DataFrame(my_ndarray)→ 列类型是object，to_sql插入极慢 - 正确做法：显式指定列名和 dtype，或用
pd.DataFrame(my_ndarray, columns=col_names).astype(dtype_dict) - 更稳方案：用
my_ndarray.tolist()+executemany，跳过 pandas 中间层，尤其适合已知 schema 的场景
用 executemany 前必须 flatten 和 reshape
MySQL/PostgreSQL 的 executemany 只接受二维结构：每行一个元组，每列一个值。而 np.ndarray 可能是 (1000000,)、(100000, 5, 3) 或 (200, 1000, 1000) —— 这些都不能直接喂给 executemany。
- 一维数组：先
arr.reshape(-1, 1)再arr.tolist()，否则tolist()出来是 Python list，不是 tuple 列表 - 高维数组：必须明确降维目标，比如 (N, C, T) 的传感器数据要写入宽表，得先
arr.reshape(N, -1)；若写入长表，则需arr.transpose(0, 2, 1).reshape(-1, C) - dtype 不匹配会导致 MySQL 报
TypeError: not all arguments converted，务必在tolist()前用.astype(np.float64)或.astype(str)强制统一
chunksize 不是越大越好，得看数据库连接和内存
to_sql(chunksize=10000) 看似吞吐高，但可能让单次 INSERT 语句过长，触发 MySQL 的 max_allowed_packet 限制（默认 4MB），或让 PostgreSQL 的 work_mem 不足，反而回滚重试。
- 安全起点：MySQL 设为 1000，PostgreSQL 设为 5000，SQLite 设为 500（因 WAL 锁竞争剧烈）
- 实测建议：用
arr.nbytes // chunksize估算单批内存占用，控制在 2–5 MB 内较稳 - 真正瓶颈常在事务提交频率——
executemany后不commit()，所有数据压在连接缓冲区；批量插入必须配合conn.autocommit = False+ 手动commit()控制粒度
避免隐式 copy 导致的内存翻倍
NumPy 切片默认返回视图（view），但 astype、reshape(-1, ...)、tolist() 全都会强制生成副本。1GB 的 float32 数组调一次 astype(np.float64) 就立刻占 2GB 内存，再 tolist() 又翻倍——这是大数据入库 OOM 的最常见原因。
- 能用
np.float32就别升到float64，数据库字段也配成REAL或FLOAT - 替换
arr.astype(...).tolist()为arr.astype(..., copy=False).tolist()（部分 dtype 支持） - 终极省内存法：用
np.memmap加载大文件，再用生成器分块yield arr[i:i+batch].tolist()，全程不加载全量到内存
最易被忽略的是 dtype 对齐——NumPy 的 int64 写入 MySQL 的 INT 字段会触发隐式转换失败，报错信息却只显示 Incorrect integer value，排查时容易绕远路。动手前先确认数据库字段类型和 NumPy dtype 是否可无损映射。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
