本文介绍当 Pandas DataFrame 的某列以字符串形式（如 "[Timestamp('2018-04-24 00:00:00'), ...]"）保存时间戳列表后，如何安全、高效地解析为原生 datetime64[ns] 类型的 Python 列表。涵盖正则提取、批量转换、空值处理及格式优化技巧。
本文介绍当 pandas dataframe 的某列以字符串形式（如 `"[timestamp('2018-04-24 00:00:00'), ...]"`）保存时间戳列表后，如何安全、高效地解析为原生 `datetime64[ns]` 类型的 python 列表。涵盖正则提取、批量转换、空值处理及格式优化技巧。
在使用 DataFrame.to_csv() 序列化含嵌套结构（如 list1775309910）的数据时，Pandas 默认会将复杂对象转为字符串表示（例如 "['2018-04-24', '2018-05-14']" 或更常见的 "[Timestamp('2018-04-24 00:00:00'), ...]"），导致 read_csv() 读取后该列为 object 类型的字符串，无法直接参与时间运算。此时需手动反序列化——但切忌使用 eval() 或 ast.literal_eval()（存在安全与兼容性风险），推荐采用正则提取 + 向量化转换的稳健方案。
✅ 推荐方法：str.extractall + to_datetime + groupby.agg(list)
适用于原始数据中每行 col 值为形如 "[Timestamp('2018-04-24 00:00:00'), Timestamp('2018-05-14 00:00:00')]" 的字符串：
import pandas as pd
df = pd.DataFrame({
'col': [
"[]",
"[Timestamp('2018-04-24 00:00:00'), Timestamp('2018-05-14 00:00:00'), Timestamp('2018-05-14 00:00:00')]"
]
})
# 提取所有匹配的时间戳字符串（捕获组内日期时间），转为 datetime，再按原索引聚合为列表
df['parsed'] = (
pd.to_datetime(
df['col'].str.extractall(r"Timestamp\('(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})'\)")[0]
)
.groupby(level=0).agg(list)
.reindex(df.index, fill_value=[]) # 补齐空列表，保持行数对齐
)
print(df[['col', 'parsed']])
? 关键点说明：
- 正则 r"Timestamp\('(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})'\)" 精确匹配标准 Pandas 时间戳字符串格式，括号需转义，\d{4} 替代 \d+ 避免误匹配；
- extractall 返回多级索引 Series，level=0 对应原始 DataFrame 行索引，groupby.agg(list) 将同组时间戳合并为列表；
- reindex(..., fill_value=[]) 确保空字符串 [] 行也返回空列表（而非 NaN），便于后续 .apply(len) 或展开操作。
⚙️ 替代策略：针对更简洁格式或单个时间戳字段
若字符串仅为单个 Timestamp(...)（非列表），或你已预处理为纯日期字符串（如 "2018-04-24 00:00:00"），可大幅简化：
# 方案1：直接 extract + to_datetime（单值 per cell）
df['single_dt'] = pd.to_datetime(
df['col'].str.extract(r"Timestamp\('([^)']+)'", expand=False),
errors='coerce' # 自动将无法解析的设为 NaT
)
# 方案2：利用 to_datetime 的智能解析（推荐用于干净日期字符串）
df['clean_dt'] = pd.to_datetime(
df['col'].str.replace(r"[^0-9\-:\s]", "", regex=True), # 移除非日期字符
format='%Y-%m-%d %H:%M:%S',
errors='coerce'
)
⚠️ 注意事项与最佳实践
- 避免 eval()：eval("[Timestamp(...)]") 易受恶意输入攻击，且依赖 pandas 全局命名空间，不可移植；
- 空值与异常处理：始终添加 errors='coerce' 参数，使非法时间字符串转为 NaT，再结合 fillna(pd.NaT) 统一处理；
- 性能提示：对大数据集，优先使用向量化方法（如上述 extractall）而非 apply(lambda x: [...]) 循环；
- 长期建议：序列化含嵌套结构的数据时，改用 pickle、parquet 或 json（配合 date_default=str）等原生支持复杂类型的格式，规避 CSV 的文本局限性。
通过以上方法，你可稳定、安全地将 CSV 中“伪装”成字符串的时间戳列表还原为可用于计算、分组、绘图的原生 Pandas 时间序列对象。
