Wie konvertiere ich eine PySpark-String-Spalte in ein Datumsformat?

Konvertieren von PySpark-Strings in Datumsformat

Beim Umgang mit als Strings gespeicherten Daten ist die Konvertierung in ein geeignetes Datumsformat von entscheidender Bedeutung, um die weitere Analyse zu erleichtern . Hier ist eine Lösung zum Konvertieren einer Zeichenfolgenspalte im Format „MM-tt-jjjj“ in eine Datumsspalte mit PySpark.

Um das Problem zu beheben und die Zeichenfolgenspalte erfolgreich in ein Datum zu konvertieren, sollten Sie die Verwendung der to_date-Funktion in Betracht ziehen mit der entsprechenden Formatangabe. Der folgende Codeausschnitt demonstriert den richtigen Ansatz:

df.select(to_date(df.STRING_COLUMN, "MM-dd-yyyy").alias("new_date")).show()

Für Spark 2.2 gibt es einen alternativen Ansatz mit der Funktion to_timestamp, der die Angabe des Eingabeformats unterstützt:

from pyspark.sql.functions import to_timestamp
df.select(to_timestamp(df.STRING_COLUMN, "MM-dd-yyyy").alias("new_date")).show()

Das obige ist der detaillierte Inhalt vonWie konvertiere ich eine PySpark-String-Spalte in ein Datumsformat?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!