如何在 Apache Spark 连接期间保留空值？

在 Apache Spark 连接中保留空值

默认情况下，Apache Spark 在执行连接时会忽略具有空值的行。为了在连接输出中包含这些值，Spark 提供了多个选项。

NULL 安全相等运算符 ()

Spark 1.6 引入了特殊的 NULL -安全的相等运算符，允许您在连接中包含空值criteria.

numbersDf
  .join(lettersDf, numbersDf("numbers") <=> lettersDf("numbers"))
  .drop(lettersDf("numbers"))

Column.eqNullSafe (PySpark 2.3.0 )

在 PySpark 2.3.0 及更高版本中，您可以使用 Column.eqNullSafe 执行 NULL-安全平等检查。

numbers_df = sc.parallelize([
    ("123", ), ("456", ), (None, ), ("", )
]).toDF(["numbers"])

letters_df = sc.parallelize([
    ("123", "abc"), ("456", "def"), (None, "zzz"), ("", "hhh")
]).toDF(["numbers", "letters"])

numbers_df.join(letters_df, numbers_df.numbers.eqNullSafe(letters_df.numbers))

%<=>% (SparkR)

SparkR 提供 %<=>% 运算符用于 NULL 安全相等检查.

numbers_df <- createDataFrame(data.frame(numbers = c("123", "456", NA, "")))
letters_df <- createDataFrame(data.frame(
  numbers = c("123", "456", NA, ""),
  letters = c("abc", "def", "zzz", "hhh")
))

head(join(numbers_df, letters_df, numbers_df$numbers %<=>% letters_df$numbers))

与(SQL)

在 SQL (Spark 2.2.0 ) 中，您可以使用 IS NOT DISTINCT FROM 来保留连接中的空值。

SELECT * FROM numbers JOIN letters 
ON numbers.numbers IS NOT DISTINCT FROM letters.numbers

也可以使用此运算符使用 DataFrame API：

numbersDf.alias("numbers")
  .join(lettersDf.alias("letters"))
  .where("numbers.numbers IS NOT DISTINCT FROM letters.numbers")

以上是如何在 Apache Spark 连接期间保留空值？的详细内容。更多信息请关注PHP中文网其他相关文章！