如何在 Apache Spark 連線期間保留空值？

在 Apache Spark 連線中保留空值

預設情況下，Apache Spark 在執行連線時會忽略具有空值的行。為了在連接輸出中包含這些值，Spark 提供了多個選項。

NULL 安全相等運算子()

Spark 1.6 引入了特殊的NULL -安全的相等運算符，讓您在連接中包含空值criteria.

numbersDf
  .join(lettersDf, numbersDf("numbers")  lettersDf("numbers"))
  .drop(lettersDf("numbers"))

Column.eqNullSafe (PySpark 2.3.0 )

在 PySpark 2.3.0 及更高版本中，您可以使用 Column.eqNullSafe 執行 NULL-安全平等檢查。

numbers_df = sc.parallelize([
    ("123", ), ("456", ), (None, ), ("", )
]).toDF(["numbers"])

letters_df = sc.parallelize([
    ("123", "abc"), ("456", "def"), (None, "zzz"), ("", "hhh")
]).toDF(["numbers", "letters"])

numbers_df.join(letters_df, numbers_df.numbers.eqNullSafe(letters_df.numbers))

%% (SparkR)

SparkR 提供 %% 運算子用於 NULL安全相等檢查.

numbers_df % letters_df$numbers))

與(SQL)

在SQL (Spark 2.2.0 ) 中，您可以使用IS NOT DISTINCT FROM 來保留連接中的空值。

SELECT * FROM numbers JOIN letters 
ON numbers.numbers IS NOT DISTINCT FROM letters.numbers

也可以使用此運算子使用 DataFrame API：

numbersDf.alias("numbers")
  .join(lettersDf.alias("letters"))
  .where("numbers.numbers IS NOT DISTINCT FROM letters.numbers")

以上是如何在 Apache Spark 連線期間保留空值？的詳細內容。更多資訊請關注PHP中文網其他相關文章！