如何正確使用 IN 子句過濾 Pyspark DataFrame？

使用類似SQL 的IN 子句過濾Pyspark DataFrame：解決語法錯誤

嘗試使用SQL 過濾Pyspark DataFrame 時-與IN 子句一樣，如果IN 子句值未用單引號引起來，則可能會遇到語法錯誤。若要解決此問題，請在 SQL 查詢中將值作為字串明確傳遞。

解決方案：

不要直接將值指定為元組，而是使用字串格式將這些值合併到 SQL 查詢中。例如：

df = sqlc.sql("SELECT * FROM my_df WHERE field1 IN {}".format(str((1, 2, 3))))

此方法可確保在 SQL 環境上下文中計算值並由 SQL 解析器正確處理。

替代方法：使用 Spark DataFrame API

Spark 也提供了更方便的方法，透過其 Dataframe API 使用 IN 子句來過濾 DataFrame。這種方法通常因其簡單性和表現力而受到青睞。

from pyspark.sql.functions import col

df.where(col("field1").isin((1, 2, 3))).count()

這裡，isin() 函數採用元組或陣列作為參數，並檢查 field1 欄位中的每個值是否存在於輸入清單中。這種方法既簡潔又提供了一系列強大的資料操作操作。

以上是如何正確使用 IN 子句過濾 Pyspark DataFrame？的詳細內容。更多資訊請關注PHP中文網其他相關文章！