Spark DataFrames에서 복잡한 데이터 구조를 평면화하는 방법은 무엇입니까?

Spark 데이터 프레임에서 복잡한 데이터 구조를 분할하는 방법

Spark 데이터 프레임에서는 구조체, 맵과 같은 복잡한 데이터 구조를 사용하여 저장할 수 있습니다. 데이터를 효율적으로 중첩했습니다. 그러나 개별 요소를 직접 사용하려면 이러한 구조를 평면화해야 할 수도 있습니다.

중첩 구조체 평면화

구조체의 중첩 필드를 추출하려면 col 함수는 * 와일드카드 기호와 결합될 수 있습니다. 예를 들어 다음 데이터 프레임 스키마를 고려해보세요.

|-- data: struct (nullable = true)
 |    |-- id: long (nullable = true)
 |    |-- keyNote: struct (nullable = true)
 |    |    |-- key: string (nullable = true)
 |    |    |-- note: string (nullable = true)
 |    |-- details: map (nullable = true)
 |    |    |-- key: string
 |    |    |-- value: string (valueContainsNull = true)

이 구조체를 평면화하고 새 데이터 프레임을 생성하려면 다음을 사용하세요.

df.select(df.col("data.*"))

이렇게 하면 다음과 같은 평면화된 구조로 데이터 프레임이 생성됩니다.

     |-- id: long (nullable = true)
     |-- keyNote: struct (nullable = true)
     |    |-- key: string (nullable = true)
     |    |-- note: string (nullable = true)
     |-- details: map (nullable = true)
     |    |-- key: string
     |    |-- value: string (valueContainsNull = true)

중첩 지도 평면화

마찬가지로 다음 구문을 사용하여 중첩 지도를 평면화할 수 있습니다.

df.select(df.col("data.details").as("map_details"))

이렇게 하면 데이터프레임이 생성됩니다. 평면화된 지도를 "map_details"라는 새 열로 사용합니다. 열의 구조는 다음과 같습니다.

     |-- map_details: map (nullable = true)
     |    |-- key: string
     |    |-- value: string (valueContainsNull = true)

위 내용은 Spark DataFrames에서 복잡한 데이터 구조를 평면화하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!