Bagaimana untuk Menambah Lajur Malar pada Spark DataFrame?

Mencipta Lajur Malar dalam Spark DataFrame

Menambah lajur malar pada Spark DataFrame dengan nilai arbitrari yang digunakan pada semua baris boleh dicapai dalam beberapa cara. Kaedah withColumn, bertujuan untuk tujuan ini, boleh membawa kepada ralat apabila cuba memberikan nilai langsung sebagai hujah kedua.

Menggunakan Nilai Tersurat (Spark 1.3 )

Untuk menyelesaikan isu ini, gunakan lit untuk mencipta perwakilan literal bagi nilai yang dikehendaki:

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))

Mencipta Lajur Kompleks (Spark 1.4 )

Untuk jenis lajur yang lebih kompleks , seperti tatasusunan, struct atau peta, gunakan fungsi yang sesuai:

from pyspark.sql.functions import array, struct

df.withColumn('array_column', array(lit(1), lit(2)))
df.withColumn('struct_column', struct(lit('foo'), lit(1)))

Typed Literals (Spark 2.2 )

Spark 2.2 memperkenalkan typedLit, menyediakan sokongan untuk Seq, Map dan Tuples:

import org.apache.spark.sql.functions.typedLit

df.withColumn("some_array", typedLit(Seq(1, 2, 3)))

Menggunakan Fungsi Ditentukan Pengguna (UDF)

Sebagai alternatif, buat UDF yang mengembalikan nilai malar:

from pyspark.sql import functions as F

def constant_column(value):
    def udf(df):
        return [value for _ in range(df.count())]
    return F.udf(udf)

df.withColumn('constant_column', constant_column(10))

Nota:

Kaedah ini juga boleh digunakan untuk menyampaikan hujah berterusan kepada UDF atau fungsi SQL.

Atas ialah kandungan terperinci Bagaimana untuk Menambah Lajur Malar pada Spark DataFrame?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!