如何检测Pandas DataFrame中指定列的空值并生成CSV日志文件-Python教程-PHP中文网

如何检测Pandas DataFrame中指定列的空值并生成CSV日志文件

本文介绍如何高效检测dataframe中某列（如'code'）是否存在nan/null值，若存在则提取对应行并保存为csv日志文件；若无空值，则输出验证成功提示，并可进一步将数据写入mysql数据库。

本文介绍如何高效检测dataframe中某列（如'code'）是否存在nan/null值，若存在则提取对应行并保存为csv日志文件；若无空值，则输出验证成功提示，并可进一步将数据写入mysql数据库。

在数据预处理与ETL流程中，空值校验是关键的质量控制环节。针对Pandas DataFrame中特定列（如本例的 'Code' 列）进行空值检查，并将异常记录结构化输出至日志文件，是保障下游任务健壮性的常见需求。以下提供一套完整、健壮且符合Python 3.6+规范的实现方案。

✅ 正确检测NaN值的方法

需注意：NaN != NaN 是其核心特性，但不推荐直接用 df.iloc[i, 0] != df.iloc[i, 0] 这种隐式判断（易读性差、且对None或pd.NA等其他缺失值类型不兼容）。应优先使用Pandas内置的 isna() 或 isnull() 方法：

QuickBooks Mileage CSV

使用 qbo-mileage CLI 及用户凭证，从 Airtable、Outlook 或 Google Calendar 记录生成 QuickBooks Online 里程 CSV 文件。

下载

import pandas as pd

# 示例数据（已修正原始输入中的格式问题）
df = pd.DataFrame({
    'Code': [23.0, 34.0, float('nan'), 56.0, 67.0],
    'region': ['AA', 'BB', 'Cc', 'BB', '45'],
    'role': ['B', 'C', 'A', 'C', 'C'],
    'type': ['Y', 'X', 'Z', 'Y', 'Y']
})

# 检查 'Code' 列是否存在空值
has_nulls = df['Code'].isna().any()

if has_nulls:
    # 提取所有 'Code' 为空的完整行（保留原始索引，便于溯源）
    null_rows = df[df['Code'].isna()].copy()

    # 可选：添加诊断信息列
    null_rows['log_timestamp'] = pd.Timestamp.now()
    null_rows['validation_column'] = 'Code'

    # 写入CSV日志文件（不保存索引，确保列对齐）
    null_rows.to_csv('null_code_log.csv', index=False, encoding='utf-8')
    print(f"✅ 发现 {len(null_rows)} 行 'Code' 列为空值，日志已保存至 null_code_log.csv")
else:
    print("✅ validation successful")
    # 此处可执行后续操作，例如写入MySQL
    # 示例（需安装 pymysql 或 mysql-connector-python）：
    # from sqlalchemy import create_engine
    # engine = create_engine('mysql+pymysql://user:pass@host:port/dbname')
    # df.to_sql('your_table', con=engine, if_exists='append', index=False)