如何实现兼顾家族独立性与神经质分数分层的样本划分-Python教程-PHP中文网

如何实现兼顾家族独立性与神经质分数分层的样本划分

本文介绍一种结合家族隔离约束与神经质（neofac_n）分数分层的样本二等分方法，使用 stratifiedkfold 在满足“同家族成员不得同组”前提下，使两组神经质分布高度均衡。

本文介绍一种结合家族隔离约束与神经质（neofac_n）分数分层的样本二等分方法，使用 stratifiedkfold 在满足“同家族成员不得同组”前提下，使两组神经质分布高度均衡。

在行为神经科学或遗传关联研究中，常需将含家系结构的数据划分为互斥子样本——既要避免血缘相关个体混入同一组（防止伪重复与偏差），又要保证关键协变量（如人格特质）在组间均衡可比。您当前的代码已成功按 Family_ID 拆分出无血缘重叠的两组（subj_set1/subj_set2），但尚未实现对 NEOFAC_N 的分层控制。直接对原始数据调用 StratifiedKFold 会忽略家族约束；而简单先按家庭拆分、再分别分层，则无法保证最终两组大小相等且神经质分布最优。

✅ 正确解法是：将每个家族视为一个不可分割的“超样本单元”，对其分配标签（如“分配至组1”或“分配至组2”），再以该家族的神经质代表性指标（如均值、中位数或离散化类别）为分层依据，执行分层抽样。

由于每家族最多2人（您的数据中 len(family) ≤ 2），我们可对每个家族定义其 NEOFAC_N 的“家族级特征”：

若家族仅1人 → 直接取其 NEOFAC_N 值；
若家族有2人 → 取二人 NEOFAC_N 的平均值（或更稳健的中位数）；

随后将所有家族按此特征进行离散化（例如四分位分箱），生成分层标签 family_stratum，再使用 StratifiedKFold(n_splits=2) 对家族索引进行分层二分。最后，根据家族分配结果，展开为个体样本。

以下是完整可运行的增强版实现：

from sklearn.model_selection import StratifiedKFold
import numpy as np
import pandas as pd

# --- 步骤1：构建家族级汇总表 ---
family_groups = df_behavioral.groupby('Family_ID')
family_summary = family_groups.agg(
    neuro_mean=('NEOFAC_N', 'mean'),
    size=('Subject_ID', 'size')
).reset_index()

# --- 步骤2：为每个家族分配分层标签（四分位分箱）---
# 使用 pd.qcut 确保各层样本量均衡（处理边界时加 precision=0 避免小数误差）
family_summary['stratum'] = pd.qcut(
    family_summary['neuro_mean'], 
    q=4, 
    labels=False, 
    duplicates='drop'
).fillna(0).astype(int)

# --- 步骤3：对家族索引执行分层二分 ---
skf = StratifiedKFold(n_splits=2, shuffle=True, random_state=42)
family_indices = family_summary.index.values
strata_labels = family_summary['stratum'].values

# 获取第一折（即“组1”的家族索引）
for train_fam_idx, _ in skf.split(family_indices, strata_labels):
    group1_family_ids = family_summary.loc[train_fam_idx, 'Family_ID'].tolist()
    break

# --- 步骤4：展开为个体样本 ---
sample_1 = df_behavioral[df_behavioral['Family_ID'].isin(group1_family_ids)].copy()
sample_2 = df_behavioral[~df_behavioral['Family_ID'].isin(group1_family_ids)].copy()

print(f"Sample 1: {len(sample_1)} subjects from {len(group1_family_ids)} families")
print(f"Sample 2: {len(sample_2)} subjects from {len(family_summary) - len(group1_family_ids)} families")
print("\nNeuroticism distribution (mean ± std):")
print(f"Sample 1: {sample_1['NEOFAC_N'].mean():.2f} ± {sample_1['NEOFAC_N'].std():.2f}")
print(f"Sample 2: {sample_2['NEOFAC_N'].mean():.2f} ± {sample_2['NEOFAC_N'].std():.2f}")

⚠️ 关键注意事项：