如何在 PySpark 中將向量列拆分為列？

使用PySpark 將向量列拆分為列

您有一個包含兩列的PySpark DataFrame：單字和向量，其中向量是VectorUDT 欄位。您的目標是將向量列拆分為多列，每列代表向量的一維。

解決方案：

Spark >= 3.0.0

在Spark 3.0.0以上版本使用vector_to_array函數要實現此目的：

這將建立名為word 和xs[0]、xs[1]、xs[2] 等的新列，表示原始向量的值。

火花

對於較舊的Spark 版本，您可以按照以下方法操作：

轉換為RDD 並提取

建立一個UDF：

兩種方法都會產生一個DataFrame，其中原始向量的每個維度都有單獨的列，從而更容易處理資料。

以上是如何在 PySpark 中將向量列拆分為列？的詳細內容。更多資訊請關注PHP中文網其他相關文章！