Apache Spark DataFrame에서 열을 연결하는 방법은 무엇입니까?

Apache Spark DataFrame에서 열 연결

Apache Spark에서는 원시 SQL 또는 Spark 1.5.0에 도입된 DataFrame API를 사용하여 DataFrame의 열을 연결할 수 있습니다. .

원시 SQL 사용

다음을 사용하여 열을 연결하려면 원시 SQL에서는 CONCAT 함수를 사용합니다.

Python의 경우:

df = sqlContext.createDataFrame([("foo", 1), ("bar", 2)], ("k", "v"))
df.registerTempTable("df")
sqlContext.sql("SELECT CONCAT(k, ' ',  v) FROM df")

Scala의 경우:

import sqlContext.implicits._

val df = sc.parallelize(Seq(("foo", 1), ("bar", 2))).toDF("k", "v")
df.registerTempTable("df")
sqlContext.sql("SELECT CONCAT(k, ' ',  v) FROM df")

DataFrame 사용 API

Spark 1.5.0부터 DataFrame API와 함께 concat 함수를 사용할 수 있습니다.

Python의 경우:

from pyspark.sql.functions import concat, col, lit

df.select(concat(col("k"), lit(" "), col("v")))

에서 Scala:

import org.apache.spark.sql.functions.{concat, lit}

df.select(concat($"k", lit(" "), $"v"))

concat_ws 사용

문자열 구분 기호를 첫 번째 인수로 사용하는 concat_ws 함수도 있습니다.

df.select(concat_ws("-", col("k"), col("v")))

위 내용은 Apache Spark DataFrame에서 열을 연결하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!