1. MongoDB 的MapReduce 相当于Mysql 中的group by,所以在MongoDB 上使用 Map/Reduce进行并行统计很容易。使用MapReduce 要实现两个函数 Map 函数和Reduce 函数,Map 函数调用emit(key, value),遍历collection中所有的记录,将key与value传递给Reduce 函数
1. MongoDB 的MapReduce 相当于Mysql 中的"group by",所以在MongoDB 上使用 Map/Reduce进行并行"统计"很容易。使用MapReduce 要实现两个函数 Map 函数和Reduce 函数,Map 函数调用emit(key, value),遍历collection中所有的记录,将key与value传递给Reduce 函数进行处理。Map函数和Reduce函数可以使用JavaScript 来实现,可以通过db.runCommand 或mapReduce 命令来执行一个MapReduce 的操作。
2.运行MapReduce程序(runCommand)
db.runCommand( {
mapreduce : <collection>, map : <mapfunction>, reduce : <reducefunction> [, query : <query filter object>] [, sort : <sorts the input objects using this key. useful for optimization like sorting by emit key fewer reduces>] [, limit : <number of objects to return from collection>] [, out : <see output options below>] [, keeptemp: <true>] [, finalize : <finalizefunction>] [, scope : <object where fields go into javascript global scope>] [, verbose : true] } );</object></finalizefunction></true></see></number></sorts></query></reducefunction></mapfunction></collection>参数说明:
mapreduce: 要操作的目标集合。
map: 映射函数 (生成键值对序列,作为 reduce 函数参数)。
reduce: 统计函数。
query: 目标记录过滤。
sort: 目标记录排序。
limit: 限制目标记录数量。
out: 统计结果存放集合 (不指定则使用临时集合,在客户端断开后自动删除)。
keeptemp: 是否保留临时集合。
finalize: 最终处理函数 (对 reduce 返回结果进行最终整理后存入结果集合)。
scope: 向 map、reduce、finalize 导入外部变量。
verbose: 显示详细的时间统计信息。
3.Map
测试数据:
> db.students.insert({classid:1, age:14, name:'Tom'}) > db.students.insert({classid:1, age:12, name:'Jacky'}) > db.students.insert({classid:2, age:16, name:'Lily'}) > db.students.insert({classid:2, age:9, name:'Tony'}) > db.students.insert({classid:2, age:19, name:'Harry'}) > db.students.insert({classid:2, age:13, name:'Vincent'}) > db.students.insert({classid:1, age:14, name:'Bill'}) > db.students.insert({classid:2, age:17, name:'Bruce'})
map函数:必须调用 emit(key, value) 返回键值对,使用 this 访问当前待处理的 Document。通过你提供的key值来进行groupby操作。下面例子就是通过classid来进行分组。另外,value 可以使用 JSON Object 传递 (支持多个属性值)。例如:emit(this.classid, {count:1})
m = function() { emit(this.classid, 1) }
4.Reduce
Reduce 函数接收的参数类似 Group 效果,将 Map 返回的键值序列组合成 { key, [value1,value2, value3, value...] } 传递给 reduce。Reduce 函数对这些 values 进行 "统计" 操作,返回结果可以使用 JSON Object
r = function(key, values) { ... var x = 0; ... values.forEach(function(v) { x += v }); ... return x; ... }
res = db.runCommand({ ... mapreduce:"students", ... map:m, ... reduce:r, ... out:"students_res" ... });
{ "result" : "students_res", "timeMillis" : 1587, "counts" : { "input" : 8, "emit" : 8, "output" : 2 }, "ok" : 1 } > db.students_res.find() { "_id" : 1, "value" : 3 } { "_id" : 2, "value" : 5 }
6.进一步处理结果
利用 finalize() 我们可以对 reduce() 的结果做进一步处理。函数的输入是分类的key和统计之后的结果值。
f = function(key, value) { return {classid:key, count:value}; }
> res = db.runCommand({ ... mapreduce:"students", ... map:m, ... reduce:r, ... out:"students_res", ... finalize:f ... }); { "result" : "students_res", "timeMillis" : 804, "counts" : { "input" : 8, "emit" : 8, "output" : 2 }, "ok" : 1 } > db.students_res.find() { "_id" : 1, "value" : { "classid" : 1, "count" : 3 } } { "_id" : 2, "value" : { "classid" : 2, "count" : 5 } }
7.过滤,排序选项等,具体的过滤选项在上面已经介绍过了。
例如根据年龄过滤:
> res = db.runCommand({ ... mapreduce:"students", ... map:m, ... reduce:r, ... out:"students_res", ... finalize:f, ... query:{age:{$lt:10}} ... });

MySQL是一種開源的關係型數據庫管理系統,主要用於快速、可靠地存儲和檢索數據。其工作原理包括客戶端請求、查詢解析、執行查詢和返回結果。使用示例包括創建表、插入和查詢數據,以及高級功能如JOIN操作。常見錯誤涉及SQL語法、數據類型和權限問題,優化建議包括使用索引、優化查詢和分錶分區。

MySQL是一個開源的關係型數據庫管理系統,適用於數據存儲、管理、查詢和安全。 1.它支持多種操作系統,廣泛應用於Web應用等領域。 2.通過客戶端-服務器架構和不同存儲引擎,MySQL高效處理數據。 3.基本用法包括創建數據庫和表,插入、查詢和更新數據。 4.高級用法涉及復雜查詢和存儲過程。 5.常見錯誤可通過EXPLAIN語句調試。 6.性能優化包括合理使用索引和優化查詢語句。

選擇MySQL的原因是其性能、可靠性、易用性和社區支持。 1.MySQL提供高效的數據存儲和檢索功能,支持多種數據類型和高級查詢操作。 2.採用客戶端-服務器架構和多種存儲引擎,支持事務和查詢優化。 3.易於使用,支持多種操作系統和編程語言。 4.擁有強大的社區支持,提供豐富的資源和解決方案。

InnoDB的鎖機制包括共享鎖、排他鎖、意向鎖、記錄鎖、間隙鎖和下一個鍵鎖。 1.共享鎖允許事務讀取數據而不阻止其他事務讀取。 2.排他鎖阻止其他事務讀取和修改數據。 3.意向鎖優化鎖效率。 4.記錄鎖鎖定索引記錄。 5.間隙鎖鎖定索引記錄間隙。 6.下一個鍵鎖是記錄鎖和間隙鎖的組合,確保數據一致性。

MySQL查询性能不佳的原因主要包括没有使用索引、查询优化器选择错误的执行计划、表设计不合理、数据量过大和锁竞争。1.没有索引导致查询缓慢,添加索引后可显著提升性能。2.使用EXPLAIN命令可以分析查询计划,找出优化器错误。3.重构表结构和优化JOIN条件可改善表设计问题。4.数据量大时,采用分区和分表策略。5.高并发环境下,优化事务和锁策略可减少锁竞争。

在數據庫優化中,應根據查詢需求選擇索引策略:1.當查詢涉及多個列且條件順序固定時,使用複合索引;2.當查詢涉及多個列但條件順序不固定時,使用多個單列索引。複合索引適用於優化多列查詢,單列索引則適合單列查詢。

要優化MySQL慢查詢,需使用slowquerylog和performance_schema:1.啟用slowquerylog並設置閾值,記錄慢查詢;2.利用performance_schema分析查詢執行細節,找出性能瓶頸並優化。

MySQL和SQL是開發者必備技能。 1.MySQL是開源的關係型數據庫管理系統,SQL是用於管理和操作數據庫的標準語言。 2.MySQL通過高效的數據存儲和檢索功能支持多種存儲引擎,SQL通過簡單語句完成複雜數據操作。 3.使用示例包括基本查詢和高級查詢,如按條件過濾和排序。 4.常見錯誤包括語法錯誤和性能問題,可通過檢查SQL語句和使用EXPLAIN命令優化。 5.性能優化技巧包括使用索引、避免全表掃描、優化JOIN操作和提升代碼可讀性。


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SublimeText3 Linux新版
SublimeText3 Linux最新版

DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

Atom編輯器mac版下載
最受歡迎的的開源編輯器

Safe Exam Browser
Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。