如何在 PySpark 中将向量列拆分为列？

使用 PySpark 将向量列拆分为列

您有一个包含两列的 PySpark DataFrame：单词和向量，其中向量是 VectorUDT 列。您的目标是将向量列拆分为多列，每列代表向量的一维。

解决方案：

Spark >= 3.0.0

在 Spark 3.0.0 及更高版本中，您可以使用 vector_to_array 函数来实现此目的：

<code class="python">from pyspark.ml.functions import vector_to_array

(df
    .withColumn("xs", vector_to_array("vector")))
    .select(["word"] + [col("xs")[i] for i in range(3)]))</code>

这将创建名为 word 和 xs[0] 的新列， xs[1]、xs[2]等，表示原始向量的值。

Spark 3.0.0

对于较旧的 Spark 版本，您可以按照以下方法操作：

转换为 RDD 并提取

<code class="python">from pyspark.ml.linalg import Vectors

df = sc.parallelize([
    ("assert", Vectors.dense([1, 2, 3])),
    ("require", Vectors.sparse(3, {1: 2}))
]).toDF(["word", "vector"])

def extract(row):
    return (row.word, ) + tuple(row.vector.toArray().tolist())

df.rdd.map(extract).toDF(["word"])  # Vector values will be named _2, _3, ...</code>

创建 UDF：

<code class="python">from pyspark.sql.functions import udf, col
from pyspark.sql.types import ArrayType, DoubleType

def to_array(col):
    def to_array_(v):
        return v.toArray().tolist()
    # Important: asNondeterministic requires Spark 2.3 or later
    # It can be safely removed i.e.
    # return udf(to_array_, ArrayType(DoubleType()))(col)
    # but at the cost of decreased performance
    return udf(to_array_, ArrayType(DoubleType())).asNondeterministic()(col)

(df
    .withColumn("xs", to_array(col("vector")))
    .select(["word"] + [col("xs")[i] for i in range(3)]))</code>

两种方法都会生成一个 DataFrame，其中原始向量的每个维度都有单独的列，从而更轻松地处理数据。

以上是如何在 PySpark 中将向量列拆分为列？的详细内容。更多信息请关注PHP中文网其他相关文章！