在 airflow 中，可通过自定义 jinja 宏将 execution_date 转换为指定时区（如 europe/amsterdam）的当日零点时间戳（格式：yyyymmddt00:00:00），确保任务无论何时触发，时间标记始终一致。
在 airflow 中，可通过自定义 jinja 宏将 execution_date 转换为指定时区（如 europe/amsterdam）的当日零点时间戳（格式：yyyymmddt00:00:00），确保任务无论何时触发，时间标记始终一致。
Airflow 默认的 execution_date 是 UTC 时区的 pendulum.DateTime 对象。若需按本地业务时区（例如荷兰阿姆斯特丹）对齐每日调度边界，并将时间统一归零（即取当日 00:00:00），不能仅靠字符串拼接或简单时区转换——必须先完成时区切换，再调用 start_of('day') 获取该时区下的自然日起点。
推荐做法是定义一个自定义宏函数，并注册到 DAG 的 user_defined_macros 中。该函数接收 execution_date，执行三步操作：
- 将其转换至目标时区（如 'Europe/Amsterdam'）；
- 调用 .start_of('day') 截断时间为当日 00:00:00（注意：此操作必须在目标时区内进行，否则跨时区“归零”会出错）；
- 使用 format('YYYYMMDDT00:00:00') 输出标准字符串（Pendulum 格式中 YYYY 表示四位年份，MM/DD 为补零月份与日期，T 为 ISO 分隔符）。
以下是完整实现示例：
from airflow import DAG
from airflow.operators.python import PythonOperator
from pendulum import DateTime
def format_execution_date(execution_date: DateTime) -> str:
amsterdam_time = execution_date.in_timezone('Europe/Amsterdam')
midnight_amsterdam_time = amsterdam_time.start_of('day')
return midnight_amsterdam_time.format('YYYYMMDDT00:00:00')
with DAG(
'daily_midnight_marker_dag',
schedule_interval='0 3 * * *', # 每日 03:00 UTC（即阿姆斯特丹 04:00）
start_date=DateTime(2024, 1, 1),
catchup=True,
user_defined_macros={'format_execution_date': format_execution_date},
) as dag:
def print_time_marker(**context):
time_marker = context['params']['time_marker']
print(f"Resolved time_marker: {time_marker}")
task = PythonOperator(
task_id='log_time_marker',
python_callable=print_time_marker,
params={
'time_marker': '{{ format_execution_date(execution_date) }}'
}
)
✅ 关键注意事项：
- execution_date 在 Jinja 模板中是可直接传入宏的上下文变量，无需额外解析；
- 切勿使用 pendulum.parse() 手动构造时间——它无法正确处理时区夏令时（DST）偏移；
- 若 DAG 启用 catchup=True，历史回填任务将基于每个 execution_date 独立计算对应时区的零点，结果天然准确；
- 输出格式中的 T00:00:00 是硬编码写法（因 start_of('day') 已保证时间为 00:00:00），也可改用 'YYYYMMDDTHH:mm:ss' 动态格式化，但前者更简洁明确。
通过该方式，无论任务在阿姆斯特丹时间当天的 04:00、12:00 还是 23:59 触发，time_marker 始终稳定输出类似 20240115T00:00:00 的标识，为下游数据分区、文件命名或外部系统对接提供强一致性时间基准。
