利用pymongo操作mongoDB数据库

利用pymongo操作mongoDB数据库 #连接数据库def get_db(): from pymongo import MongoClient client = MongoClient(localhost:27017) db = client.examples #examples here is the database name.it will be created if it does not exist. #如果 examples不

利用pymongo操作mongoDB数据库

#连接数据库

def get_db():

    from pymongo import MongoClient 
    
    client = MongoClient('localhost:27017')
    
    db = client.examples #'examples' here is the database name.it will be created if it does not exist.
    #如果 examples不存在，那么就会新建它
    return db
#插入操作
def add_city(db):

    db.cities.insert({'name':'Chicago'}) #inser 插入一个字典
#获取数据
def get_city(db):
    return db.cities.find_one()#从cities中返回任意一个数据
if __name__ == '__main__':
    db = get_db()
    add_city(db)
    print get_city(db)

上面只是操作mongoDB数据库的最简单的一个例子。

我们基于mongoDB的应用(APP)，pymongo模块，与mongoDB数据库，三者之间是什么关系呢？

我觉得可以表示为：  APP pymongomongoDB    
                                                                     其中：BSON 为Binary Json
有了这个概念后，你就会理解为什么mongoDB是字典家族。

所以在mongoDB的操作中一定要建立一切皆为字典的基本认识。

步入正题，先说一下Query操作 query = {'manuafacturer':'Porsche'}

projection = {'_id':0,'name':1}#显示为1，不显示为0

db.myautos.find(query,projection)#查找制造商为保时捷的数据，但是不显示'_id',显示'name'

db.myautos.find(query,projection).count()#返回满足条件的数据的数量

从json文件导入数据库：

在terminal下：

$mongoimport -db dbname -c collectionname --file inputfile.json

比较操作符：

$gt                                     $lt                                     $lte                                   $gte                            $ne    分别对应为：

大于(greater than)      小于(less than)      小于等于(less than equal)     大于等于(greater than equal)     不等于(not equal)

query = {'population':{'$gt':10000}}  #人口大于10000

query = {'population':{'$gt':10000, '$lte':20000}} #人口大于10000小于等于20000

query = {'name':{'$gt':'X', '$lte':'Z'}}#name 头字母介于X Z之间

from datetime import datetime

query = {'foundationDate':{'$gt':datetime(1840,1,1), '$lte':datetime(2049,10,1)}}
#介于1840,1,1日和2049,10,1 的时间

存在操作符$exist

query = {'governmentType':{'$exist':1}} #1表示存在
query = {'governmentType':{'$exist':0}} #0表示不存在

正则表达式操作符$regex

query = {'motto':{'$regex':'[Ff]riendship'}}

$in 与 $all

query = {'modelYears':{'$in':[1965,1967,1977,1987]}}#只要存在一个就可以
query = {'modelYears':{'$all':[1965,1967,1977,1987]}}#四个必须全部同时存在

  如果数据结构为：

{'dimension':{'width':25,
              'height'：30，
              'length':89}
 ........
 }

  Query 字典可以为：

query = {'dimension.width':25}

city = db.cities.find(query)

for ele in city:
    city['dimension'] = 66

#保存修改
db.cities.save(city)

update操作

db.cities.update({'name':'michael',
                  'country':'china'},#条件
                  {'$set':{'iso':1978}})#满足条件的条目中,有'iso'属性的,其值改为1978

db.cities.update({'name':'michael',
                  'country':'china'},#条件
                  {'$unset':{'iso':1978}}) #满足条件的条目中,有'iso'属性的,删除'iso'属性 
#多个修改
db.cities.update({'name':'michael',
                  'country':'china'},#条件
                  {'$set':{'iso':1978}}, multi = True)

    aggregate操作

我们考虑如下的数据结构：

{
    "_id" : ObjectId("5304e2e3cc9e684aa98bef97"),
    "text" : "First week of school is over :P",
    "in_reply_to_status_id" : null,
    "retweet_count" : null,
    "contributors" : null,
    "created_at" : "Thu Sep 02 18:11:25 +0000 2010",
    "geo" : null,
    "source" : "web",
    "coordinates" : null,
    "in_reply_to_screen_name" : null,
    "truncated" : false,
    "entities" : {
        "user_mentions" : [ ],
        "urls" : [ ],
        "hashtags" : [ ]
    },
    "retweeted" : false,
    "place" : null,
    "user" : {
        "friends_count" : 145,
        "profile_sidebar_fill_color" : "E5507E",
        "location" : "Ireland :)",
        "verified" : false,
        "follow_request_sent" : null,
        "favourites_count" : 1,
        "profile_sidebar_border_color" : "CC3366",
        "profile_image_url" : "http://a1.twimg.com/profile_images/1107778717/phpkHoxzmAM_normal.jpg",
        "geo_enabled" : false,
        "created_at" : "Sun May 03 19:51:04 +0000 2009",
        "description" : "",
        "time_zone" : null,
        "url" : null,
        "screen_name" : "Catherinemull",
        "notifications" : null,
        "profile_background_color" : "FF6699",
        "listed_count" : 77,
        "lang" : "en",
        "profile_background_image_url" : "http://a3.twimg.com/profile_background_images/138228501/149174881-8cd806890274b828ed56598091c84e71_4c6fd4d8-full.jpg",
        "statuses_count" : 2475,
        "following" : null,
        "profile_text_color" : "362720",
        "protected" : false,
        "show_all_inline_media" : false,
        "profile_background_tile" : true,
        "name" : "Catherine Mullane",
        "contributors_enabled" : false,
        "profile_link_color" : "B40B43",
        "followers_count" : 169,
        "id" : 37486277,
        "profile_use_background_image" : true,
        "utc_offset" : null
    },
    "favorited" : false,
    "in_reply_to_user_id" : null,
    "id" : NumberLong("22819398300")
}

$group 操作

group = {'$group':{'_id':'$user.screen_name','count':{'$sum':1}}}

#group操作必须有个键是'_id'表示操作的对象，'$sum'表示求和操作

#上面这一行代码的意思是，统计各个'user.screen_name'的个数

 $sort 操作，顾名思义，排序操作，其对某个键值进行升序或是降序操作

#接上段代码
sort = {'$sort:{'count':-1}} #按照'count'对应的值得降序排序

   将group,sort整合到aggregate函数中，就能得到我们想要的结果

pipeline = [group,sort]
result = db.tweets.aggregate(pipeline)
#result 是一个字典。result['result'] 包含处理好的数据的列表
#整个操作就是，统计各个user.screen_name的数量，并倒序排列

   上面仅仅是最简单的例子

下面我们继续讨论其他操作：

$match ,顾名思义，我更愿意叫他“过滤器” 

好吧让我举个例子，我想找出数据库中谁的人气最旺！你给我个建议，怎么找到这个逗比？

￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥好好想想￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥

￥￥￥￥￥￥￥￥￥￥￥￥￥是国民老公，王思聪￥￥￥￥￥￥￥￥￥￥￥￥￥还是，臭脚，杨幂￥￥￥￥￥￥￥￥￥

￥￥￥￥￥￥￥￥￥是某个微博卖肉的小明星？￥￥￥￥￥￥￥还是传媒达人，谷大白话？￥￥￥￥￥￥￥￥￥￥￥￥

好吧，我只想到了个比值，用比值表示，是比值，不是逼值

比值 = 粉丝数/好友数 

当然，关注数也还行，可我就是这么任性，像姜文大叔一样，怎么滴？

奥，你说，你要这样我不看了啦！

好！你不看就不看吧，小弟看了姜文大叔的电影，学了一个本事儿。

我悄悄告诉你：姜文的意思是：我拍电影不是给你看的，我是给自己看的。小弟不才，没钱拍电影，》》写博客不是给别人看的，是给自己看的。对！我在自言自语。另一个我在看博客。

扯回来$match ，不，扯回来找比值，看看我怎么找比值吧，不，是最大比值

match = {'$match':{'user.friends_count':{'$gt':0},'user.followers_count':{'$gt':0}}}
#确保 好友数和粉丝数都是正数
project = {'$project':{'ratio':{'$divide':['$user.followers_count','$user.friends_count']},
                        'screen_name':'$user.screen_name'}}
#创建'ratio'和'screen_name'两个键值，其中，'ratio'利用了'$divide'除法，对两个变量进行除法操作，当然，
#这个列表有先后顺序
#下面进行排序
sort = {'$sort':{'ratio':-1}} #降序排列
#选取第一位
limit = {'$limit':1}
#$limit 限制选择结果的个数

pipeline = [match, project, sort, limit]
result = db.tweets.aggregate(pipeline)

  $unwind 操作, 举例如下:

假设有这样的字典结构：

{
	'id':'1',
	'author':'jone',
	'tags':['good','fun','good']
}

进行db.article.aggregate操作

db.article.aggregate([{'$prject':{'author':1,'tags':1}},{'$unwind':'tags'}])

结果为：

{'result':[{'_id':'XXXX','author':'jone','tags':'good'},
           {'_id':'XXXX','author':'jone','tags':'fun'},
           {'_id':'XXXX','author':'jone','tags':'good'}],
 'ok':1}

所以$unwind操作的操作对象是数组，如果不是数组会报错。他的作用就是将数组中的每个元素代替数组本身，最后产生多个item，新产生的item的数目自然就是

原来数组的长度。

$group操作

我们考虑最开始的twitter数据，如果我要找到哪一个微博文本被转发的平均次数最多，该如何写我们的aggregate呢？

首先要找到推文的hashtag，这里补充一下，上文中的twitter数据中的

"entities" : {
        "user_mentions" : [ ],
        "urls" : [ ],
        "hashtags" : [ ]

结构中，‘entiyies.hashtags’是个列表。所以我们可以进行$unwind操作

而’retweet_count‘标明了被转发的次数，进行平均计算就可以了。

 unwind = {'$unwind':'$entities.hashtags'}

 group = {'$group':{'_id':'entities.hashtags.text','retweet_avg':{'$avg':'$retweet_avg'}}}

注意：$group操作必须有'_id'属性，其次

'entities.hashtags.text'

还可以是自己起的名字，如’txt‘。’$avg‘是进行求平均值操作。类似的还有：

'$sum'    '$first'   '$last'   '$max' '$min'    等

接着进行排序操作，这样所有操作就是如下：

unwind = {'$unwind':'$entities.hashtags'}

group = {'$group':{'_id':'$entities.hashtags.text','retweet_avg':{'$avg':'$retweet_avg'}}}

sort = {'$sort':{'retweet_avg':-1}}

limit = {'$limit':1}

pipeLine = [unwind,group,sort,limit]

db.article.aggregate(pipeLine)

毛主席教导的好，有矛就有盾，既有$unwind拆分数组，就收神器组成数组。你猜他会是什么呢？

$push,   $addToSet

顾名思义，push和addToSet都是将元素组合到数组中，但是addToSet更加高级，Set是集合，所以addToSet形成的数组中没有重复元素。

push形成的数组中是可以有重复元素的。

这就是二者的不同之处。

好了，利用pymongo处理mongoDB是不是很简单呢？大家都这么说哒。

我也觉得不难啦。