本文介绍如何高效检测 pandas dataframe 中某列（如 'code'）的 nan/null 值，自动记录含空值的完整行数据到 csv 日志文件；若无空值，则输出验证成功提示，并可选执行后续 mysql 数据加载任务。
本文介绍如何高效检测 pandas dataframe 中某列（如 'code'）的 nan/null 值，自动记录含空值的完整行数据到 csv 日志文件；若无空值，则输出验证成功提示，并可选执行后续 mysql 数据加载任务。
在数据清洗与ETL流程中，及时识别并记录缺失值是保障数据质量的关键步骤。针对单列（如示例中的 'Code' 列）进行空值检查时，应避免低效的手动循环，而优先使用 Pandas 内置的向量化方法提升可读性与性能。
✅ 推荐实现方式（简洁、健壮、符合 PEP8）
import pandas as pd
import numpy as np
# 示例数据（注意：原始数据中存在尾部点号，需清洗；此处已修正为标准格式）
df = pd.DataFrame({
'Code': [23.0, 34.0, np.nan, 56.0, 67.0],
'region': ['AA', 'BB', 'Cc', 'BB', '45'],
'role': ['B', 'C', 'A', 'C', 'C'],
'type': ['Y', 'X', 'Z', 'Y', 'Y']
})
# 步骤1：检测 'Code' 列是否存在 NaN
null_mask = df['Code'].isna()
has_nulls = null_mask.any()
if has_nulls:
# 提取所有 Code 为 NaN 的完整行（保留原始索引，便于溯源）
null_rows = df[null_mask].copy()
null_rows.reset_index(drop=True, inplace=True)
# 步骤2：写入 CSV 日志文件（含时间戳更佳，此处简化）
log_filename = "code_null_log.csv"
null_rows.to_csv(log_filename, index=False)
print(f"⚠️ 发现 {len(null_rows)} 行 'Code' 为空值，详情已保存至 {log_filename}")
else:
print("✅ validation successful")
# ✅ 可在此处添加 MySQL 写入逻辑（需安装 pymysql / sqlalchemy）
# 示例（伪代码，需替换为实际连接参数）：
# from sqlalchemy import create_engine
# engine = create_engine('mysql+pymysql://user:pwd@host:3306/dbname')
# df.to_sql('your_table', engine, if_exists='append', index=False)
? 关键说明与注意事项
为什么不用 df.iloc[i, 0] != df.iloc[i, 0]？
虽然 NaN != NaN 为 True 是 Python/NumPy 的特性，但该写法可读性差、易出错，且无法利用 Pandas 向量化优势；Series.isna() 是专为此设计的标准接口，语义清晰、性能更优。保留原始索引 vs 重置索引：
df[null_mask] 默认保留原始行索引（如 2），这对定位源数据非常有用；若需连续序号（如日志编号），再调用 .reset_index(drop=True)。-
日志内容建议增强：
实际生产中，可在日志中额外添加检测时间、字段名、数据源路径等元信息，例如：null_rows['detected_at'] = pd.Timestamp.now() null_rows['column_checked'] = 'Code'
-
扩展性提示：
若需批量检查多列，可封装为函数：def log_nulls_by_column(df: pd.DataFrame, columns: list, log_dir: str = "."): for col in columns: mask = df[col].isna() if mask.any(): df[mask].to_csv(f"{log_dir}/{col}_nulls.csv", index=False)
通过以上方法，您不仅能准确识别并归档空值，还能无缝衔接下游操作（如数据库加载），构建起可靠、可审计的数据质量校验环节。
