Bagaimanakah Saya Menambah Lajur Malar pada Spark DataFrame?

Menambah Lajur Malar pada Spark DataFrame

Apabila cuba menambah lajur baharu pada DataFrame menggunakan withColumn dan nilai tetap, pengguna mungkin menghadapi ralat kerana data yang tidak sepadan jenis.

Penyelesaian:

Spark 2.2 :

Gunakan typedLit untuk menetapkan nilai berterusan pelbagai jenis:

import org.apache.spark.sql.functions.typedLit

df.withColumn("some_array", typedLit(Seq(1, 2, 3)))

Spark 1.3 :

Gunakan lit untuk mencipta nilai literal:

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))

Spark 1.4 :

Untuk lajur kompleks, gunakan blok fungsi seperti tatasusunan, struct dan create_map:

from pyspark.sql.functions import array, struct, create_map

df.withColumn("some_array", array(lit(1), lit(2), lit(3)))

Dalam Scala:

import org.apache.spark.sql.functions.{array, lit, map, struct}

df.withColumn("new_column", lit(10))
df.withColumn("map", map(lit("key1"), lit(1), lit("key2"), lit(2)))

Untuk struct, gunakan alias pada setiap medan atau hantar pada keseluruhan objek untuk memberikan nama:

df.withColumn(
    "some_struct",
    struct(lit("foo").alias("x"), lit(1).alias("y"), lit(0.3).alias("z"))
 )

Nota:

Konstruk ini juga boleh digunakan untuk menghantar argumen tetap kepada UDF atau fungsi SQL.

Atas ialah kandungan terperinci Bagaimanakah Saya Menambah Lajur Malar pada Spark DataFrame?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!