本文详解如何基于 pandas 构建包含固定分类列（如 a）与多粒度时间索引（如日级 b、小时级 c）的完整组合空间，并自动补全缺失项为默认值（如 0），适用于时间对齐、数据补齐及多维时序建模前的数据准备。
本文详解如何基于 pandas 构建包含固定分类列（如 a）与多粒度时间索引（如日级 b、小时级 c）的完整组合空间，并自动补全缺失项为默认值（如 0），适用于时间对齐、数据补齐及多维时序建模前的数据准备。
在实际时序分析中，常需将稀疏观测数据（如按天分组的设备记录 + 按小时采集的传感器读数）扩展为全量笛卡尔组合空间，以便统一聚合、对齐或训练模型。Pandas 提供了强大的 MultiIndex.from_product() 和 pd.date_range() 工具链来实现这一目标，无需手动循环或嵌套逻辑。
核心思路是：分离“结构维度”与“时间维度”，分别生成唯一值集合，再通过笛卡尔积构建全量索引骨架，最后与原始数据合并并填充默认值。
以下为完整实现步骤：
✅ 步骤 1：准备原始数据并标准化时间列
确保所有时间列（B、C）为 datetime64[ns] 类型，便于后续操作：
import pandas as pd
# 原始数据（已结构化）
df = pd.DataFrame({
'A': [111, 111, 111, 222, 222, 222],
'B': ['2024-03-22 00:00:00'] * 6,
'C': ['2024-03-22 00:00:00', '2024-03-22 01:00:00', '2024-03-22 02:00:00',
'2024-03-22 03:00:00', '2024-03-22 04:00:00', '2024-03-22 05:00:00'],
'value': [1, 2, 3, 4, 5, 6]
})
# 转换为 datetime
df['B'] = pd.to_datetime(df['B'])
df['C'] = pd.to_datetime(df['C'])
✅ 步骤 2：定义时间范围 —— 使用 date_range 是正确且推荐的方式
pd.date_range() 支持任意频率（'D', 'H', 'T'（分钟）, 'S'（秒）等），完全适配多粒度需求。例如：
- 日粒度范围（B）：pd.date_range('2024-02-05', '2024-02-06', freq='D')
- 小时粒度范围（C）：pd.date_range('2024-02-05 22:00', '2024-02-06 23:00', freq='H')
? 提示：若输入仅为起止时间字符串，date_range 可直接解析；若需动态生成（如按月/季度），可结合 pd.offsets.MonthBegin 等灵活构造。
✅ 步骤 3：构建全量组合索引骨架
使用 pd.MultiIndex.from_product() 生成所有 (A, B, C) 组合，并初始化 value=0：
# 定义时间范围字典（支持任意多级）
date_ranges = {
'B_days': pd.date_range('2024-02-05', '2024-02-06', freq='D'),
'C_hours': pd.date_range('2024-02-05 22:00', '2024-02-06 23:00', freq='H')
}
# 构建 MultiIndex：A（唯一值） × B（日期范围） × C（小时范围）
idx = pd.MultiIndex.from_product(
[df['A'].unique(), date_ranges['B_days'], date_ranges['C_hours']],
names=['A', 'B', 'C']
)
# 转为 DataFrame 骨架，value 默认为 0
full_df = pd.DataFrame({'value': 0}, index=idx).reset_index()
✅ 步骤 4：合并原始数据并填充
利用 pd.concat() 合并原始数据与骨架，再用 fillna(0) 和类型强转确保一致性：
# 合并（保留原始 value，未匹配位置为 NaN → 填充为 0） result = pd.concat([df, full_df], ignore_index=True) result['value'] = result['value'].fillna(0).astype(int) # 可选：按索引排序以接近预期输出顺序（如先按 B 再按 C） result = result.sort_values(['B', 'C']).reset_index(drop=True)
⚠️ 注意事项与进阶建议
- 性能优化：当组合空间极大（如 A 有千级、B 百天、C 每分钟），from_product 可能内存占用高。此时建议分块处理或改用 pd.merge() + how='outer'。
- 新增维度（如分钟级 D）：只需在 from_product 中追加 date_ranges['D_minutes']，Pandas 自动支持 N 级索引。
- 非零默认值：将 {'value': 0} 替换为 {'value': pd.NA} 或自定义函数（如 lambda: np.nan），再用 combine_first() 实现更精细填充逻辑。
- 索引对齐验证：使用 result.set_index(['A','B','C']).index.is_unique 确保无重复键。
该方法简洁、可扩展、符合 Pandas 惯例，是处理多粒度时间索引数据的标准范式。
