PySpark の文字列列を日付列に変換するにはどうすればよいですか?

PySpark 文字列を日付形式に変換する

MM-dd-yyyy 形式の文字列列を持つ PySpark DataFrame があり、日付に変換する必要がありますcolumn.

解決策:

PySpark の文字列列を日付列に変換するには、to_date 関数を使用できます。ただし、古いバージョンの Spark (

Spark の代替アプローチ 2.2:

unix_timestamp 関数と from_unixtime 関数を組み合わせて使用​​します:

from pyspark.sql.functions import unix_timestamp, from_unixtime

# Example DataFrame with string dates
df = spark.createDataFrame(
    [("11/25/1991",), ("11/24/1991",), ("11/30/1991",)],
    ["date_str"]
)

# Convert to timestamps
df2 = df.select(
    "date_str",
    from_unixtime(unix_timestamp("date_str", "MM/dd/yyy")).alias("date")
)

これにより、文字列列から変換された日付オブジェクトを含む date という名前の新しい列が作成されます。

以上がPySpark の文字列列を日付列に変換するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。