Apache Spark 조인 중에 Null 값을 보존하려면 어떻게 해야 합니까?

Apache Spark 조인에서 Null 값 보존

기본적으로 Apache Spark는 조인을 수행할 때 Null 값이 있는 행을 생략합니다. 조인 출력에 이러한 값을 포함하기 위해 Spark는 여러 옵션을 제공합니다.

NULL 안전 동등 연산자(<=>)

Spark 1.6에서는 특수 NULL을 도입했습니다. - 조인에 null 값을 포함할 수 있는 안전한 항등 연산자 기준.

numbersDf
  .join(lettersDf, numbersDf("numbers") <=> lettersDf("numbers"))
  .drop(lettersDf("numbers"))

Column.eqNullSafe(PySpark 2.3.0 )

PySpark 2.3.0 이상에서는 Column.eqNullSafe를 사용하여 NULL을 수행할 수 있습니다. 안전한 평등

numbers_df = sc.parallelize([
    ("123", ), ("456", ), (None, ), ("", )
]).toDF(["numbers"])

letters_df = sc.parallelize([
    ("123", "abc"), ("456", "def"), (None, "zzz"), ("", "hhh")
]).toDF(["numbers", "letters"])

numbers_df.join(letters_df, numbers_df.numbers.eqNullSafe(letters_df.numbers))

%<=>% (SparkR)

SparkR은 NULL 안전 동등 검사를 위해 %<=>% 연산자를 제공합니다. .

numbers_df <- createDataFrame(data.frame(numbers = c("123", "456", NA, "")))
letters_df <- createDataFrame(data.frame(
  numbers = c("123", "456", NA, ""),
  letters = c("abc", "def", "zzz", "hhh")
))

head(join(numbers_df, letters_df, numbers_df$numbers %<=>% letters_df$numbers))

다음과 다르지 않습니다. (SQL)

SQL(Spark 2.2.0 )에서는 IS NOT DISTINCT FROM을 사용하여 조인에서 Null 값을 보존할 수 있습니다.

SELECT * FROM numbers JOIN letters 
ON numbers.numbers IS NOT DISTINCT FROM letters.numbers

이 연산자도 사용할 수 있습니다. DataFrame API 사용:

numbersDf.alias("numbers")
  .join(lettersDf.alias("letters"))
  .where("numbers.numbers IS NOT DISTINCT FROM letters.numbers")

위 내용은 Apache Spark 조인 중에 Null 값을 보존하려면 어떻게 해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!