IN 절을 사용하여 PySpark DataFrame을 효율적으로 필터링하는 방법은 무엇입니까?

IN 절을 사용하여 Pyspark DataFrame 필터링 처리

SQL과 같은 IN 절을 사용하여 Pyspark DataFrame 필터링은 문자열 형식을 사용하여 수행할 수 있습니다.

주어진 예에서:

sc = SparkContext()
sqlc = SQLContext(sc)
df = sqlc.sql('SELECT * from my_df WHERE field1 IN a')

SQLContext에 전달된 문자열은 다음과 같습니다. SQL 환경에서 평가되며 클로저를 캡처하지 않습니다. 변수를 명시적으로 전달하려면 문자열 형식을 사용하세요.

df.registerTempTable("df")
sqlContext.sql("SELECT * FROM df WHERE v IN {0}".format(("foo", "bar"))).count()

또는 DataFrame DSL이 동적 쿼리에 더 나은 옵션을 제공합니다.

from pyspark.sql.functions import col

df.where(col("v").isin({"foo", "bar"})).count()

위 내용은 IN 절을 사용하여 PySpark DataFrame을 효율적으로 필터링하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!