如何在 Spark DataFrames 中高效地执行分组 Top-N 聚合？

如何使用 Spark DataFrame 执行分组 TopN 聚合

在 Spark SQL 中，您可以利用类似 SQL 的语法来执行复杂的数据操作。一项常见任务是将数据分组并从每组中检索前 N 个值。以下是使用 Spark DataFrame 实现此目的的方法：

要按特定列对数据进行分组，请在 GROUP BY 子句中指定列名称：

<br>df。 groupBy("user")<br>

要对每个组中的结果进行排序，您可以使用 orderBy 函数：

<br>df.groupBy("user").orderBy(desc(" rating"))<br>

这将按每个用户组的评分列的降序对数据进行排序。

仅检索来自的前 N ​​条记录每个组，您可以使用 limit 函数：

<br>df.groupBy("user").orderBy(desc(" rating")).limit(n)<br><p>其中 n 是要检索的前几条记录的所需数量。</p><p>或者，您可以使用窗口函数对每个组内的记录进行排名，然后根据排名进行过滤：</p><p></p><pre class="brush:php;toolbar:false"><br>import org.apache.spark.sql.expressions.Window<br>import org. apache.spark.sql.functions.{rank, desc}<p>// 窗口定义<br>val w = Window.partitionBy($"user").orderBy(desc(" rating"))</p><p>//过滤器<br>df.withColumn("rank",rank.over(w)).where($ "rank" 

注意，如果你不关心平局，你可以替换排名函数与 row_number 函数。

以上是如何在 Spark DataFrames 中高效地执行分组 Top-N 聚合？的详细内容。更多信息请关注PHP中文网其他相关文章！