
本文介绍如何基于时间列(time)对多级索引(date + tagid)的 dataframe 进行智能裁剪:自动识别各标签共有的有效时间交集(含首尾时间对齐与断点对齐),统一保留重叠时间段内的全部观测,实现跨设备/标签的数据同步化预处理。
本文介绍如何基于时间列(time)对多级索引(date + tagid)的 dataframe 进行智能裁剪:自动识别各标签共有的有效时间交集(含首尾时间对齐与断点对齐),统一保留重叠时间段内的全部观测,实现跨设备/标签的数据同步化预处理。
在物联网或传感器数据分析中,常遇到具有 Date 和 TagId 双层索引的时序数据集。不同设备(如 0x24025F44AD21、0x24046130B076)采集频率、启停时间不一致,导致原始数据存在起始偏移、终止错位和中间断点。为后续联合建模或可视化,需将所有 TagId 的时间轴严格对齐——即:仅保留所有标签共同覆盖的时间段(交集),且该交集需包含连续观测段(自动跳过缺失断点)。
核心思路分两步:
-
定位全局有效时间窗口:对每个
(Date, TagId)组,计算其Time列的最小值(first)与最大值(last),再取所有组的max(first)作为对齐起点、min(last)作为对齐终点; -
按窗口裁剪全量数据:筛选出
Time落在[global_first, global_last]内的所有行,并确保各组内仍保持原始时间连续性(即自动排除断点外的孤立片段)。
以下为完整实现代码:
Time










