Clinical Data Cleaner

清洗、验证并标准化临床试验数据，使其符合 CDISC SDTM 标准，满足向 FDA 或 EMA 提交监管申报材料的要求。

快速入门

from scripts.main import ClinicalDataCleaner

# 初始化人口统计学（Demographics）域
cleaner = ClinicalDataCleaner(domain='DM')

# 使用默认设置清洗数据
cleaned = cleaner.clean(raw_data)

# 保存带审计追踪的报告
cleaner.save_report('output.csv')

核心功能

1. SDTM 域验证

cleaner = ClinicalDataCleaner(domain='DM')  # 或 'LB'、'VS'
is_valid, missing = cleaner.validate_domain(data)

必需字段：

• DM：STUDYID、USUBJID、SUBJID、RFSTDTC、RFENDTC、SITEID、AGE、SEX、RACE
• LB：STUDYID、USUBJID、LBTESTCD、LBCAT、LBORRES、LBORRESU、LBSTRESC、LBDTC
• VS：STUDYID、USUBJID、VSTESTCD、VSORRES、VSORRESU、VSSTRESC、VSDTC

2. 缺失值处理

cleaner = ClinicalDataCleaner(
    domain='DM',
    missing_strategy='median'  # mean、median、mode、forward、drop
)
cleaned = cleaner.handle_missing_values(data)

3. 异常值检测

cleaner = ClinicalDataCleaner(
    domain='LB',
    outlier_method='domain',  # iqr、zscore、domain
    outlier_action='flag'     # flag、remove、cap
)
flagged = cleaner.detect_outliers(data)

临床阈值：

4. 日期标准化

standardized = cleaner.standardize_dates(data)
# 转换为 ISO 8601 格式：2023-01-15T09:30:00

5. 完整清洗流程

cleaner = ClinicalDataCleaner(
    domain='DM',
    missing_strategy='median',
    outlier_method='iqr',
    outlier_action='flag'
)
cleaned_data = cleaner.clean(data)
cleaner.save_report('output.csv')

输出文件：

• output.csv — 清洗后的 SDTM 数据
• output.report.json — 用于监管申报的审计追踪报告

CLI 使用方式

# 清洗人口统计学数据
python scripts/main.py 
  --input dm_raw.csv 
  --domain DM 
  --output dm_clean.csv 
  --missing-strategy median 
  --outlier-method iqr 
  --outlier-action flag

# 使用临床阈值清洗实验室数据
python scripts/main.py 
  --input lb_raw.csv 
  --domain LB 
  --output lb_clean.csv 
  --outlier-method domain

常见使用模式

详见 references/common-patterns.md 中的详细示例：

• 监管申报材料准备
• 中期分析数据准备
• 数据库迁移清理
• 外部实验室数据集成

故障排除

详见 references/troubleshooting.md 中的问题解决方案：

• 验证失败
• 日期解析错误
• 大数据集导致的内存错误
• 异常值检测问题

质量检查清单

清洗前：

• 已获取 IACUC 批准（适用于动物研究）
• 样本量具备足够统计效能
• 随机化方法已记录在案

清洗后：

• 对照 CDISC SDTM IG 进行验证
• 审阅审计追踪中记录的所有清洗操作
• 测试导入至分析软件是否成功

参考资料

• references/sdtm_ig_guide.md — CDISC SDTM 实施指南（SDTM Implementation Guide）
• references/domain_specs.json — 各域字段要求规范
• references/outlier_thresholds.json — 临床异常值阈值定义
• references/common-patterns.md — 详细使用模式说明
• references/troubleshooting.md — 故障排查指南

Skill ID：189 | Version：2.0 | License：MIT