搜索
首页数据库mysql教程 MongoDB 聚合管道(Aggregation Pipeline)

管道概念POSIX多线程的使用方式中,有一种很重要的方式-----流水线(亦称为“管道”)方式,“数据元素”流串行地被一组线程按顺序执行。它的使用架构可参考下图

管道概念

POSIX多线程的使用方式中, 有一种很重要的方式-----流水线(亦称为“管道”)方式,“数据元素”流串行地被一组线程按顺序执行。它的使用架构可参考下图:

clip_image002

以面向对象的思想去理解,整个流水线,可以理解为一个数据传输的管道;该管道中的每一个工作线程,可以理解为一个整个流水线的一个工作阶段stage,这些工作线程之间的合作是一环扣一环的。靠输入口越近的工作线程,是时序较早的工作阶段stage,它的工作成果会影响下一个工作线程阶段(stage)的工作结果,即下个阶段依赖于上一个阶段的输出,上一个阶段的输出成为本阶段的输入。这也是pipeline的一个共有特点!

为了回应用户对简单数据访问的需求,MongoDB2.2版本引入新的功能聚合框架(Aggregation Framework) ,它是数据聚合的一个新框架,其概念类似于数据处理的管道。 每个文档通过一个由多个节点组成的管道,每个节点有自己特殊的功能(分组、过滤等),文档经过管道处理后,最后输出相应的结果。管道基本的功能有两个:

一是对文档进行“过滤”,也就是筛选出符合条件的文档;

二是对文档进行“变换”,也就是改变文档的输出形式。

其他的一些功能还包括按照某个指定的字段分组和排序等。而且在每个阶段还可以使用表达式操作符计算平均值和拼接字符串等相关操作。管道提供了一个MapReduce 的替代方案,MapReduce使用相对来说比较复杂,而管道的拥有固定的接口(操作符表达),使用比较简单,对于大多数的聚合任务管道一般来说是首选方法。

该框架使用声明性管道符号来支持类似于SQL Group By操作的功能,而不再需要用户编写自定义的JavaScript例程。

大部分管道操作会在“aggregate”子句后会跟上“$match”打头。它们用在一起,就类似于SQL的from和where子句,或是MongoDB的find函数。“$project”子句看起来也非常类似SQL或MongoDB中的某个概念(和SQL不同的是,它位于表达式尾端)。

接下来介绍的操作在MongoDB聚合框架中是独一无二的。与大多数关系数据库不同,MongoDB天生就可以在行/文档内存储数组。尽管该特性对于全有全无的数据访问十分便利,但是它对于需要组合投影、分组和过滤操作来编写报告的工作,却显得相当复杂。“$unwind”子句将数组分解为单个的元素,并与文档的其余部分一同返回。

“$group”操作与SQL的Group By子句用途相同,但是使用起来却更像是LINQ中的分组运算符。与取回一行平面数据不同,“$group”操作的结果集会呈现为一个持续的嵌套结构。正因如此,使用“$group”可以返回聚合信息,例如对于每个分组中的实际文档,计算文档整体或部分的数目和平均值。

管道操作符

管道是由一个个功能节点组成的,这些节点用管道操作符来进行表示。聚合管道以一个集合中的所有文档作为开始,然后这些文档从一个操作节点 流向下一个节点 ,每个操作节点对文档做相应的操作。这些操作可能会创建新的文档或者过滤掉一些不符合条件的文档,在管道中可以对文档进行重复操作。

先看一个管道聚合的例子:

clip_image004

管道操作符的种类:

Name

Description

Reshapes a document stream. can rename, add, or remove fields as well as create computed values and sub-documents.

Filters the document stream, and only allows matching documents to pass into the next pipeline stage. uses standard MongoDB queries.

Restricts the number of documents in an aggregation pipeline.

Skips over a specified number of documents from the pipeline and returns the rest.

Takes an array of documents and returns them as a stream of documents.

Groups documents together for the purpose of calculating aggregate values based on a collection of documents.

Takes all input documents and returns them in a stream of sorted documents.

Returns an ordered stream of documents based on proximity to a geospatial point.

管道操作符详细使用说明

  1.  $project: 数据投影,主要用于重命名、增加和删除字段

例如:

db.article.aggregate(

{ $project : {

title : 1 ,

author : 1 ,

}}

);

这样的话结果中就只还有_id,tilte和author三个字段了,默认情况下_id字段是被包含的,如果要想不包含_id话可以这样:

db.article.aggregate(

{ $project : {

_id : 0 ,

title : 1 ,

author : 1

}});

也可以在$project内使用算术类型表达式操作符,例如:

db.article.aggregate(

{ $project : {

title : 1,

doctoredPageViews : { $add:["$pageViews", 10] }

}});

通过使用$add给pageViews字段的值加10,然后将结果赋值给一个新的字段:doctoredPageViews

注:必须将$add计算表达式放到中括号里面

除此之外使用$project还可以重命名字段名和子文档的字段名:

db.article.aggregate(

{ $project : {

title : 1 ,

page_views : "$pageViews" ,

bar : "$other.foo"

}});

也可以添加子文档:

db.article.aggregate(

{ $project : {

title : 1 ,

stats : {

pv : "$pageViews",

foo : "$other.foo",

dpv : { $add:["$pageViews", 10] }

}

}});

产生了一个子文档stats,里面包含pv,foo,dpv三个字段。

2.$match: 滤波操作,筛选符合条件文档,作为下一阶段的输入

   $match的语法和查询表达式(db.collection.find())的语法相同

db.articles.aggregate( [

{ $match : { score : { $gt : 70, $lte : 90 } } },

{ $group: { _id: null, count: { $sum: 1 } } }

] );

   $match用于获取分数大于70小于或等于90记录,然后将符合条件的记录送到下一阶段$group管道操作符进行处理。

注意:1.不能在$match操作符中使用$where表达式操作符。

          2.$match尽量出现在管道的前面,这样可以提早过滤文档,加快聚合速度。

          3.如果$match出现在最前面的话,可以使用索引来加快查询。

3.  $limit:  限制经过管道的文档数量

     $limit的参数只能是一个正整数

db.article.aggregate(

{ $limit : 5 });

这样的话经过$limit管道操作符处理后,管道内就只剩下前5个文档了

4. $skip: 从待操作集合开始的位置跳过文档的数目

    $skip参数也只能为一个正整数

db.article.aggregate(

{ $skip : 5 });

经过$skip管道操作符处理后,前五个文档被“过滤”掉

5.$unwind:将数组元素拆分为独立字段

例如:article文档中有一个名字为tags数组字段:

> db.article.find()
  { "_id" : ObjectId("528751b0e7f3eea3d1412ce2"),

"author" : "Jone", "title" : "Abook",

"tags" : [  "good",  "fun",  "good" ] }

使用$unwind操作符后:

声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
聊聊Node.js中的多进程和多线程聊聊Node.js中的多进程和多线程Jul 25, 2022 pm 07:45 PM

大家都知道 Node.js 是单线程的,却不知它也提供了多进(线)程模块来加速处理一些特殊任务,本文便带领大家了解下 Node.js 的多进(线)程,希望对大家有所帮助!

优化Java文件写入多线程性能的方法有哪些优化Java文件写入多线程性能的方法有哪些Jul 01, 2023 am 10:05 AM

Java开发中如何优化文件写入多线程并发性能在大规模数据处理的场景中,文件的读写操作是不可避免的,而且在多线程并发的情况下,如何优化文件的写入性能变得尤为重要。本文将介绍一些在Java开发中优化文件写入多线程并发性能的方法。合理使用缓冲区在文件写入过程中,使用缓冲区可以大大提高写入性能。Java提供了多种缓冲区实现,如ByteBuffer、CharBuffe

如何优化C++开发中的多线程调度效率如何优化C++开发中的多线程调度效率Aug 22, 2023 am 09:33 AM

在当今的软件开发领域中,多线程编程已经成为了一种常见的开发模式。而在C++开发中,多线程调度的效率优化是开发者需要关注和解决的一个重要问题。本文将围绕如何优化C++开发中的多线程调度效率展开讨论。多线程编程的目的是为了充分利用计算机的多核处理能力,提高程序运行效率和响应速度。然而,在并行执行的同时,多线程之间的竞争条件和互斥操作可能导致线程调度的效率下降。为

Python服务器编程:利用多线程解决并发问题Python服务器编程:利用多线程解决并发问题Jun 19, 2023 am 08:45 AM

随着互联网的发展,越来越多的应用程序被开发出来,它们需要处理并发请求。例如,Web服务器需要处理多个客户端请求。在处理并发请求时,服务器需要同时处理多个请求。这时候,Python中的多线程技术就可以派上用场了。本文将介绍如何使用Python多线程技术解决并发问题。首先,我们将了解什么是多线程。然后,我们将讨论使用多线程的优点和缺点。最后,我们将演示一个实例,

如何使用PHP多线程执行多个方法如何使用PHP多线程执行多个方法Mar 23, 2023 pm 02:11 PM

在PHP开发中,经常会遇到需要同时执行多个操作的情况。想要在一个进程中同时执行多个耗时操作,就需要使用PHP的多线程技术来实现。本文将介绍如何使用PHP多线程执行多个方法,提高程序的并发性能。

如何解决Java中遇到的代码性能优化问题如何解决Java中遇到的代码性能优化问题Jun 29, 2023 am 10:13 AM

如何解决Java中遇到的代码性能优化问题随着现代软件应用的复杂性和数据量的增加,对于代码性能的需求也变得越来越高。在Java开发中,我们经常会遇到一些性能瓶颈,如何解决这些问题成为了开发者们关注的焦点。本文将介绍一些常见的Java代码性能优化问题,并提供一些解决方案。一、避免过多的对象创建和销毁在Java中,对象的创建和销毁是需要耗费资源的。因此,当一个方法

Java错误:Java多线程数据共享错误,如何处理和避免Java错误:Java多线程数据共享错误,如何处理和避免Jun 25, 2023 am 11:16 AM

随着社会的发展和科技的进步,计算机程序已经渐渐成为我们生活中不可或缺的一部分。而Java作为一种流行的编程语言,以其可移植性、高效性和面向对象特性等而备受推崇。然而,Java程序开发过程中可能会出现一些错误,如Java多线程数据共享错误,这对于程序员们来说并不陌生。在Java程序中,多线程是非常常见的,开发者通常会使用多线程来优化程序的性能。多线程能够同时处

刨析swoole开发功能的多线程与多进程调度方式刨析swoole开发功能的多线程与多进程调度方式Aug 05, 2023 pm 01:43 PM

刨析swoole开发功能的多线程与多进程调度方式随着互联网技术的发展,对服务器性能的要求越来越高。在高并发场景下,传统的单线程模型往往无法满足需求,因此诞生了多线程和多进程调度方式。swoole作为一种高性能的网络通信引擎,提供了多线程和多进程的开发功能,本文将对其进行深入分析和探讨。一、多线程调度方式线程概念介绍线程是操作系统能够进行运算调度的最小单位。在

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

Atom编辑器mac版下载

Atom编辑器mac版下载

最流行的的开源编辑器

VSCode Windows 64位 下载

VSCode Windows 64位 下载

微软推出的免费、功能强大的一款IDE编辑器

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具