首页 >后端开发 >Python教程 >如何将 PySpark 字符串列转换为日期格式?

如何将 PySpark 字符串列转换为日期格式?

Barbara Streisand
Barbara Streisand原创
2024-11-25 07:33:37599浏览

How to Convert a PySpark String Column to a Date Format?

将 PySpark 字符串转换为日期格式

处理存储为字符串的日期时,转换为正确的日期格式对于促进进一步分析至关重要。以下是使用 PySpark 将格式为“MM-dd-yyyy”的字符串列转换为日期列的解决方案。

要解决该问题并成功将字符串列转换为日期,请考虑使用 to_date 函数具有适当的格式规范。以下代码片段演示了正确的方法:

df.select(to_date(df.STRING_COLUMN, "MM-dd-yyyy").alias("new_date")).show()

对于 Spark 2.2 ,存在使用 to_timestamp 函数的替代方法,该方法支持输入格式的规范:

from pyspark.sql.functions import to_timestamp
df.select(to_timestamp(df.STRING_COLUMN, "MM-dd-yyyy").alias("new_date")).show()

以上是如何将 PySpark 字符串列转换为日期格式?的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn