Bagaimana untuk Menukar Lajur Rentetan PySpark kepada Lajur Tarikh?

Menukar PySpark String kepada Format Tarikh

Anda mempunyai PySpark DataFrame dengan lajur rentetan dalam format MM-dd-yyyy, dan anda perlu menukarnya kepada tarikh lajur.

Penyelesaian:

Untuk menukar lajur rentetan PySpark kepada lajur tarikh, anda boleh menggunakan fungsi to_date. Walau bagaimanapun, jika anda menggunakan versi lama Spark (< 2.2), anda boleh mengikuti pendekatan alternatif di bawah:

Pendekatan Alternatif untuk Spark < 2.2:

Gunakan gabungan fungsi unix_timestamp dan from_unixtime:

from pyspark.sql.functions import unix_timestamp, from_unixtime

# Example DataFrame with string dates
df = spark.createDataFrame(
    [("11/25/1991",), ("11/24/1991",), ("11/30/1991",)],
    ["date_str"]
)

# Convert to timestamps
df2 = df.select(
    "date_str",
    from_unixtime(unix_timestamp("date_str", "MM/dd/yyy")).alias("date")
)

Ini akan mencipta lajur baharu bernama tarikh dengan objek tarikh ditukar daripada lajur rentetan.

Atas ialah kandungan terperinci Bagaimana untuk Menukar Lajur Rentetan PySpark kepada Lajur Tarikh?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!