Apache Spark 조인 중에 Null 값을 보존하려면 어떻게 해야 합니까?

Apache Spark 조인에서 Null 값 보존

기본적으로 Apache Spark는 조인을 수행할 때 Null 값이 있는 행을 생략합니다. 조인 출력에 이러한 값을 포함하기 위해 Spark는 여러 옵션을 제공합니다.

NULL 안전 동등 연산자()

Spark 1.6에서는 특수 NULL을 도입했습니다. - 조인에 null 값을 포함할 수 있는 안전한 항등 연산자 기준.

numbersDf
  .join(lettersDf, numbersDf("numbers")  lettersDf("numbers"))
  .drop(lettersDf("numbers"))

Column.eqNullSafe(PySpark 2.3.0 )

PySpark 2.3.0 이상에서는 Column.eqNullSafe를 사용하여 NULL을 수행할 수 있습니다. 안전한 평등

numbers_df = sc.parallelize([
    ("123", ), ("456", ), (None, ), ("", )
]).toDF(["numbers"])

letters_df = sc.parallelize([
    ("123", "abc"), ("456", "def"), (None, "zzz"), ("", "hhh")
]).toDF(["numbers", "letters"])

numbers_df.join(letters_df, numbers_df.numbers.eqNullSafe(letters_df.numbers))

%% (SparkR)

SparkR은 NULL 안전 동등 검사를 위해 %% 연산자를 제공합니다. .

numbers_df % letters_df$numbers))

다음과 다르지 않습니다. (SQL)

SQL(Spark 2.2.0 )에서는 IS NOT DISTINCT FROM을 사용하여 조인에서 Null 값을 보존할 수 있습니다.

SELECT * FROM numbers JOIN letters 
ON numbers.numbers IS NOT DISTINCT FROM letters.numbers

이 연산자도 사용할 수 있습니다. DataFrame API 사용:

numbersDf.alias("numbers")
  .join(lettersDf.alias("letters"))
  .where("numbers.numbers IS NOT DISTINCT FROM letters.numbers")

위 내용은 Apache Spark 조인 중에 Null 값을 보존하려면 어떻게 해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!