Bagaimana Saya Boleh Mengekalkan Nilai Null Semasa Apache Spark Joins?

Memelihara Nilai Null dalam Apache Spark Joins

Secara lalai, Apache Spark mengetepikan baris dengan nilai null apabila melakukan gabungan. Untuk memasukkan nilai-nilai ini dalam output gabungan, Spark menyediakan beberapa pilihan.

NULL-Safe Equality Operator (<=>)

Spark 1.6 memperkenalkan NULL khas -operator kesaksamaan selamat yang membolehkan anda memasukkan nilai nol dalam penyertaan anda kriteria.

numbersDf
  .join(lettersDf, numbersDf("numbers") <=> lettersDf("numbers"))
  .drop(lettersDf("numbers"))

Column.eqNullSafe (PySpark 2.3.0 )

Dalam PySpark 2.3.0 dan lebih baru, anda boleh menggunakan Column.eqNullSafe untuk melaksanakan NULL- kesaksamaan selamat semakan.

numbers_df = sc.parallelize([
    ("123", ), ("456", ), (None, ), ("", )
]).toDF(["numbers"])

letters_df = sc.parallelize([
    ("123", "abc"), ("456", "def"), (None, "zzz"), ("", "hhh")
]).toDF(["numbers", "letters"])

numbers_df.join(letters_df, numbers_df.numbers.eqNullSafe(letters_df.numbers))

%<=>% (SparkR)

SparkR menawarkan pengendali %<=>% untuk semakan kesaksamaan selamat NULL .

numbers_df <- createDataFrame(data.frame(numbers = c("123", "456", NA, "")))
letters_df <- createDataFrame(data.frame(
  numbers = c("123", "456", NA, ""),
  letters = c("abc", "def", "zzz", "hhh")
))

head(join(numbers_df, letters_df, numbers_df$numbers %<=>% letters_df$numbers))

TIDAK BERBEZA DENGAN (SQL)

Dalam SQL (Spark 2.2.0 ), anda boleh menggunakan IS NOT DISTINCT FROM untuk mengekalkan nilai nol dalam cantuman.

SELECT * FROM numbers JOIN letters 
ON numbers.numbers IS NOT DISTINCT FROM letters.numbers

Operator ini juga boleh digunakan dengan API DataFrame:

numbersDf.alias("numbers")
  .join(lettersDf.alias("letters"))
  .where("numbers.numbers IS NOT DISTINCT FROM letters.numbers")

Atas ialah kandungan terperinci Bagaimana Saya Boleh Mengekalkan Nilai Null Semasa Apache Spark Joins?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!