Bagaimana untuk Menjana Nombor Baris Berjujukan dalam Spark RDDs, Sama seperti `row_number()` SQL?

Cara Meniru Penomboran Baris SQL dalam Spark RDDs

Memahami Masalah

Anda mahu untuk menjana nombor baris berjujukan bagi setiap entri dalam Spark RDD, disusun mengikut lajur dan lajur tertentu dibahagikan dengan lajur kunci. Sama seperti SQL's row_number() over (partition by ... order by ...), tetapi menggunakan Spark RDDs.

Percubaan Awal Anda

Percubaan awal anda digunakan sortByKey dan zipWithIndex, yang tidak menghasilkan nombor baris partition yang dikehendaki. Ambil perhatian bahawa sortBy tidak boleh digunakan secara langsung kepada RDD, memerlukan anda mengumpulnya dahulu, menghasilkan output bukan RDD.

Penyelesaian menggunakan Spark 1.4

Penyediaan Data

Buat RDD dengan tuple borang (K, (col1, col2, col3)).

val sample_data = Seq(((3,4),5,5,5),((3,4),5,5,9),((3,4),7,5,5),((1,2),1,2,3),((1,2),1,4,7),((1,2),2,2,3))
val temp1 = sc.parallelize(sample_data)

Menjana Nombor Baris Berparti

Gunakan rowNumber di atas tetingkap berparti untuk menjana nombor baris bagi setiap kekunci :

import org.apache.spark.sql.functions._

temp1.toDF("key", "col1", "col2", "col3").withColumn("rownum", rowNumber() over (Window partitionBy "key" orderBy desc("col2"), "col3")))

Contoh Output

+---+----+----+----+------+
|key|col1|col2|col3|rownum|
+---+----+----+----+------+
|1,2|1   |4   |7    |2     |
|1,2|1   |2   |3    |1     |
|1,2|2   |2   |3    |3     |
|3,4|5   |5   |5    |1     |
|3,4|5   |5   |9    |2     |
|3,4|7   |5   |5    |3     |
+---+----+----+----+------+

Atas ialah kandungan terperinci Bagaimana untuk Menjana Nombor Baris Berjujukan dalam Spark RDDs, Sama seperti `row_number()` SQL?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!