spark sql 的 lag/lead 函数仅支持标量字面量作为默认值，但可通过 coalesce 组合 lag/lead 与目标列，实现“空值时取同行另一列”的动态默认行为。
spark sql 的 lag/lead 函数仅支持标量字面量作为默认值，但可通过 coalesce 组合 lag/lead 与目标列，实现“空值时取同行另一列”的动态默认行为。
在使用 Spark DataFrame API 进行窗口计算时，`lag()` 和 `lead()` 是处理时序或有序数据的关键函数。它们分别用于获取当前行前一行或后一行的值，常用于计算差分、变化率、滚动参考值等场景。然而，其第三个参数（即 `defaultValue`）在 Spark 3.x 中**仅接受字面量（Literal）类型**（如 `1`, `"N/A"`, `null`），不支持直接传入列引用（如 `col("backup_col")`）。这意味着以下写法会编译失败或抛出异常：
// ❌ 错误：defaultValue 不允许列表达式
lag(col("NUM_DAY"), 1, col("FALLBACK_VALUE")).over(someSpec)
要实现“当 lag/lead 返回 null 时，自动回退到当前行的某列值”，推荐方案是结合 coalesce() 函数——它按顺序返回第一个非 null 的表达式结果。由于 coalesce 接收多个列表达式，且支持混合使用窗口函数与普通列，因此可优雅绕过该限制：
import org.apache.spark.sql.functions.{coalesce, lag, lead, col}
import org.apache.spark.sql.expressions.Window
val someSpec = Window.partitionBy("category").orderBy("date")
dataset
.withColumn("LAST_NUM_DAY",
coalesce(
lag(col("NUM_DAY"), 1).over(someSpec), // 窗口函数结果（可能为 null）
col("DEFAULT_COLUMN") // 同行的备选列（非窗口列）
)
)
.withColumn("NEXT_NUM_DAY",
coalesce(
lead(col("NUM_DAY"), 1).over(someSpec),
col("DEFAULT_COLUMN")
)
)
✅ 关键说明：
-
lag(col("NUM_DAY"), 1)省略第三个参数时，默认返回null（而非报错），这正是coalesce可介入的前提； -
col("DEFAULT_COLUMN")必须是原始 DataFrame 中存在的列，且无需参与窗口排序/分区，因其作用域为当前行； - 若
DEFAULT_COLUMN本身也可能为 null，可继续嵌套coalesce，例如coalesce(lag(...), col("A"), col("B"), lit(-1))； - 性能无额外开销：
coalesce是 Catalyst 优化器友好函数，执行计划中仍为单次扫描。
⚠️ 注意事项：
- 不要误用
when(isNull(...), ...).otherwise(...)替代coalesce—— 虽逻辑等价，但coalesce语义更清晰、性能更优，且天然支持多参数； - 确保
DEFAULT_COLUMN与NUM_DAY数据类型兼容（如均为IntegerType），否则需显式cast； - 若需默认值为“上一行的某列”（而非当前行），则属于跨行依赖，必须通过二次窗口计算实现，不可直接用
coalesce简化。
综上，coalesce(lag(...), col("fallback")) 是 Spark 中替代“列级默认值”的标准实践，兼顾简洁性、可读性与执行效率。
