如何在 PySpark 中将向量列拆分为行？

在 PySpark 中将向量列拆分为行

在 PySpark 中，将包含向量值的列拆分为每个维度的单独列是常见的任务。本文将指导您通过不同的方法来实现此目的：

Spark 3.0.0 及更高版本

Spark 3.0.0 引入了 vector_to_array 函数，简化了此过程：

<code class="python">from pyspark.ml.functions import vector_to_array

df = df.withColumn("xs", vector_to_array("vector"))</code>

然后您可以选择所需的列：

<code class="python">df.select(["word"] + [col("xs")[i] for i in range(3)])</code>

Spark 小于 3.0.0

方法 1：转换到 RDD

<code class="python">def extract(row):
    return (row.word, ) + tuple(row.vector.toArray().tolist())

df.rdd.map(extract).toDF(["word"])  # Vector values will be named _2, _3, ...</code>

方法 2：使用 UDF

<code class="python">from pyspark.sql.functions import udf, col
from pyspark.sql.types import ArrayType, DoubleType

def to_array(col):
    def to_array_(v):
        return v.toArray().tolist()
    return udf(to_array_, ArrayType(DoubleType())).asNondeterministic()(col)

df = df.withColumn("xs", to_array(col("vector")))</code>

选择所需的列：

<code class="python">df.select(["word"] + [col("xs")[i] for i in range(3)])</code>

通过实现这些方法中的任何一种，您都可以有效地将向量列拆分为单独的列，从而更轻松地处理和分析数据。

以上是如何在 PySpark 中将向量列拆分为行？的详细内容。更多信息请关注PHP中文网其他相关文章！