Spark DataFrames에서 \'IF THEN ELSE\' 논리를 구현하는 방법은 무엇입니까?

"IF Then ELSE"에 해당하는 Spark

소개:

Spark DataFrame 변환 제공 데이터를 조작하는 강력한 방법입니다. 일반적인 작업 중 하나는 변수 값을 기반으로 조건부로 변환을 적용하는 것입니다. 이러한 작업에는 SQL의 "IF Then ELSE" 문에 해당하는 Spark를 이해하는 것이 중요합니다.

질문:

사용자가 새 열을 추가하려고 합니다. 조건부 규칙을 기반으로 하는 Spark DataFrame. 그러나 여러 조건으로 F.when 함수를 사용하려고 하면 TypeError가 발생합니다.

TypeError: when() takes exactly 2 arguments (3 given)

답변:

이 오류는 F.when이 Spark의 함수에는 조건과 조건이 충족될 때 반환할 값이라는 정확히 두 개의 인수가 필요합니다. 사용자 코드에 추가 인수인 또 다른 F.when 조건이 포함되어 있는데 이는 잘못된 구문입니다.

F.when을 사용하는 Spark에서 동등한 "IF Then ELSE"에 대한 올바른 구문은 다음 중 하나입니다.

(when(col("iris_class") == 'Iris-setosa', 0)
.when(col("iris_class") == 'Iris-versicolor', 1)
.otherwise(2))

또는:

(when(col("iris_class") == 'Iris-setosa', 0)
    .otherwise(when(col("iris_class") == 'Iris-versicolor', 1)
        .otherwise(2)))

첫 번째 구문은 중첩된 F.when 조건을 사용하고 두 번째 구문은 F.otherwise 함수를 사용합니다.

동등한 SQL 문은 CASE 표현식입니다. :

CASE WHEN (iris_class = 'Iris-setosa') THEN 0 
     ELSE CASE WHEN (iris_class = 'Iris-versicolor') THEN 1 
               ELSE 2 
          END 
END

Spark는 Hive IF 조건 구문도 지원하지만 Hive를 지원하는 원시 SQL에서만 지원됩니다.

IF(condition, if-true, if-false)

위 내용은 Spark DataFrames에서 \'IF THEN ELSE\' 논리를 구현하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!