Rumah >pembangunan bahagian belakang >Tutorial Python >Bagaimana untuk Melaksanakan Logik IF-THEN-ELSE dalam Spark Menggunakan `when()`?

Bagaimana untuk Melaksanakan Logik IF-THEN-ELSE dalam Spark Menggunakan `when()`?

Susan Sarandon
Susan Sarandonasal
2024-11-18 07:09:02626semak imbas

How to Implement IF-THEN-ELSE Logic in Spark Using `when()`?

Spark Equivalent of IF Then ELSE

Dalam contoh ini, kami menyasarkan untuk menambah lajur baharu "Kelas" pada DataFrame "iris_spark" berdasarkan nilai lajur kategori sedia ada, "iris_class," yang mempunyai tiga kategori berbeza.

Kod yang disediakan, walau bagaimanapun, menghadapi ralat:

iris_spark_df = iris_spark.withColumn(
    "Class", 
   F.when(iris_spark.iris_class == 'Iris-setosa', 0, F.when(iris_spark.iris_class == 'Iris-versicolor',1)).otherwise(2))

Mesej ralat menunjukkan bahawa fungsi when() dalam Spark hanya mengambil dua argumen, bertentangan dengan kod yang disediakan.

Untuk menangani isu ini, struktur yang betul untuk menggunakan fungsi when() ialah sama ada:

(when(col("iris_class") == 'Iris-setosa', 0)
.when(col("iris_class") == 'Iris-versicolor', 1)
.otherwise(2))

atau

(when(col("iris_class") == 'Iris-setosa', 0)
    .otherwise(when(col("iris_class") == 'Iris-versicolor', 1)
        .otherwise(2)))

Ungkapan ini bersamaan dengan pernyataan SQL CASE:

CASE 
    WHEN (iris_class = 'Iris-setosa') THEN 0
    WHEN (iris_class = 'Iris-versicolor') THEN 1 
    ELSE 2
END

dan

CASE WHEN (iris_class = 'Iris-setosa') THEN 0 
     ELSE CASE WHEN (iris_class = 'Iris-versicolor') THEN 1 
               ELSE 2 
          END 
END

masing-masing.

Umum sintaks when() dalam Spark ialah:

when(condition, value).when(...)

atau

when(condition, value).otherwise(...)

Perhatikan bahawa ungkapan bersyarat Hive IF IF(condition, if-true, if-false) tidak disokong terus dalam Spark dan hanya boleh digunakan dalam SQL mentah dengan sokongan Hive.

Atas ialah kandungan terperinci Bagaimana untuk Melaksanakan Logik IF-THEN-ELSE dalam Spark Menggunakan `when()`?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan:
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn