最近在做一个项目,数据库使用的是 Redis。在设计数据结构时,不知道哪种实现是最优的,于是做了下测试。 测试环境如下: OS X10.8.3 Redis 2.6.12 Python 2.7.4 redis-py 2.7.2 hiredis 0.1.1 ujson 1.30 MessagePack 0.3.0 注意: 因为是拿 Python 测试的
最近在做一个项目,数据库使用的是 Redis。在设计数据结构时,不知道哪种实现是最优的,于是做了下测试。测试环境如下:
OS X10.8.3注意:
Redis 2.6.12
Python 2.7.4
redis-py 2.7.2
hiredis 0.1.1
ujson 1.30
MessagePack 0.3.0
- 因为是拿 Python 测试的,所以可能对其他语言并不完全适用。
- 使用的测试数据是特定的,可能对更小或更大的数据并不完全适用。
测试结果就不列出了,直接说结论吧。
- 最差的存储方式就是用一个 hash 来存储一个实体(即一条记录)。时间上比其他方案慢 1 ~ 2 倍,空间占用较大。
更重要的是拿出来的字段类型是字符串,还得自己转换类型。
唯一的好处就是可以单独操作一个字段。
- 使用 string 类型来存储也是不推荐的,不过稍好于前一种方式。在单个实体较小时,会暴露出 key 占用内存较多的缺点。
- 用一个 hash 来存储一个类型的所有实体(即一张表),在实现上比较简单,内存占用尚可。
- 用多个 hash 来存储一个类型的所有实体(即分表),在实现上稍微复杂点,但占用的内存最小。
如果单个字段值较小(缺省值是 64 字节),单个 hash 存储的字段数不多(缺省值是 512 个)时,会采用 hash zipmap 来存储,内存占用会显著减小。
单个 hash 存储的字段数建议为 2 的次方,例如 1024。略微超过这个值,会导致内存占用和延迟时间都增加。
Instagram 的工程师认为,使用 hash zipmap 时,最佳的字段数为 1000 左右。不过据我测试,基本都是随字段数增加而变慢,而内存占用从 128 直到 1024 的变化基本可以忽略。
- 存储为 JSON 格式是种不错的选择。对包含中文的内容来说,设置 ensure_ascii=False 可以节省大量内存。
ujson 比 json 性能好很多,后者在设置 ensure_ascii=False 后性能急剧下降。
- cPickle 比 ujson 的性能要差,不过支持更多类型(如 datetime)。
- MessagePack 比 ujson 有一点不太明显的性能优势,不过丧失了可读性,且取回 unicode 需要自己 decode。
号称比 Protocol Buffer 快 4 倍应该可以无视了,至少其 Python 库没有明显优势。
- 使用 zlib 压缩可以节省更多内存,不过性能变慢 1 ~ 2 倍。
最后附上测试代码:
# -*- coding: utf-8 -*- import cPickle import json import time import zlib import msgpack import redis import ujson class Timer: def __enter__(self): self.start = time.time() return self def __exit__(self, *args): self.end = time.time() self.interval = self.end - self.start def test(function): def wrapper(*args, **kwargs): args_list = [] if args: args_list.append(','.join((str(arg) for arg in args))) if kwargs: args_list.append(','.join('%s=%s' % (key, value) for key, value in kwargs.iteritems())) print 'call %s(%s):' % (function.func_name, ', '.join(args_list)) redis_client.flushall() print 'memory:', redis_client.info()['used_memory_human'] with Timer() as timer: result = function(*args, **kwargs) print 'time:', timer.interval print 'memory:', redis_client.info()['used_memory_human'] print return result return wrapper redis_client = redis.Redis() pipe = redis_client.pipeline(transaction=False) articles = [{ 'id': i, 'title': u'团结全世界正义力量痛击日本', 'content': u'近期日本社会有四种感觉极度高涨,即二战期间日本军国主义扩张战争的惨败在日本右翼势力内心留下的耻辱感;被美国长期占领和控制的压抑感;经济长期停滞不前的焦虑感;对中国快速崛起引发的失落感。为此,日本为了找到一个发泄口,对中国采取了一系列挑衅行为,我们不能听之任之。现在全国13亿人要万众一心,团结起来,拿出决心、意志和能力,果断实施对等反击。在这场反击日本右翼势力的反攻倒算中,中国不是孤立的,我们要团结全世界一切反法西斯战争的正义力量,痛击日本对国际正义的挑战。', 'source_text': u'环球时报', 'source_url': 'http://opinion.huanqiu.com/column/mjzl/2012-09/3174337.html', 'time': '2012-09-13 09:23', 'is_public': True } for i in xrange(10000)] @test def test_hash(): for article in articles: pipe.hmset('article:%d' % article['id'], article) pipe.execute() @test def test_json_hash(): for article in articles: pipe.hset('article', article['id'], json.dumps(article)) pipe.execute() @test def test_ujson_hash(): for article in articles: pipe.hset('article', article['id'], ujson.dumps(article)) pipe.execute() @test def test_ujson_string(): for article in articles: pipe.set('article:%d' % article['id'], ujson.dumps(article)) pipe.execute() @test def test_zlib_ujson_string(): for article in articles: pipe.set('article:%d' % article['id'], zlib.compress(ujson.dumps(article, ensure_ascii=False))) pipe.execute() @test def test_msgpack(): for article in articles: pipe.hset('article', article['id'], msgpack.packb(article)) pipe.execute() @test def test_pickle_string(): for article in articles: pipe.set('article:%d' % article['id'], cPickle.dumps(article)) pipe.execute() @test def test_json_without_ensure_ascii(): for article in articles: pipe.hset('article', article['id'], json.dumps(article, ensure_ascii=False)) pipe.execute() @test def test_ujson_without_ensure_ascii(): for article in articles: pipe.hset('article', article['id'], ujson.dumps(article, ensure_ascii=False)) pipe.execute() def test_ujson_shard_id(): @test def test_ujson_shard_id_of_size(size): for article in articles: article_id = article['id'] pipe.hset('article:%d' % (article_id / size), article_id % size, ujson.dumps(article, ensure_ascii=False)) pipe.execute() for size in (2, 4, 8, 10, 16, 32, 64, 100, 128, 256, 500, 512, 513, 1000, 1024, 1025, 2048, 4096, 8092): test_ujson_shard_id_of_size(size) test_ujson_shard_id_of_size(512) for key, value in sorted(globals().copy().iteritems(), key=lambda x:x[0]): if key.startswith('test_'): value()
原文地址:关于 Redis 的几种数据库设计方案的内存占用测试, 感谢原作者分享。

Redis是现在最热门的key-value数据库,Redis的最大特点是key-value存储所带来的简单和高性能;相较于MongoDB和Redis,晚一年发布的ES可能知名度要低一些,ES的特点是搜索,ES是围绕搜索设计的。

本篇文章给大家带来了关于redis的相关知识,其中主要介绍了关于redis的一些优势和特点,Redis 是一个开源的使用ANSI C语言编写、遵守 BSD 协议、支持网络、可基于内存、分布式存储数据库,下面一起来看一下,希望对大家有帮助。

本篇文章给大家带来了关于redis的相关知识,其中主要介绍了Redis Cluster集群收缩主从节点的相关问题,包括了Cluster集群收缩概念、将6390主节点从集群中收缩、验证数据迁移过程是否导致数据异常等,希望对大家有帮助。

本篇文章给大家带来了关于redis的相关知识,其中主要介绍了Redis实现排行榜及相同积分按时间排序,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,希望对大家有帮助。

本篇文章给大家带来了关于redis的相关知识,其中主要介绍了关于原子操作中命令原子性的相关问题,包括了处理并发的方案、编程模型、多IO线程以及单命令的相关内容,下面一起看一下,希望对大家有帮助。

本篇文章给大家带来了关于redis的相关知识,其中主要介绍了bitmap问题,Redis 为我们提供了位图这一数据结构,位图数据结构其实并不是一个全新的玩意,我们可以简单的认为就是个数组,只是里面的内容只能为0或1而已,希望对大家有帮助。

本篇文章给大家带来了关于redis的相关知识,其中主要介绍了Redis实现排行榜及相同积分按时间排序,本文通过实例代码给大家介绍的非常详细,下面一起来看一下,希望对大家有帮助。

本篇文章给大家带来了关于redis的相关知识,其中主要介绍了关于实现秒杀的相关内容,包括了秒杀逻辑、存在的链接超时、超卖和库存遗留的问题,下面一起来看一下,希望对大家有帮助。


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

안전한 시험 브라우저
안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

SublimeText3 Linux 새 버전
SublimeText3 Linux 최신 버전

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
