Rumah  >  Artikel  >  pembangunan bahagian belakang  >  数据量比较大 如何更好的实现统计功能?

数据量比较大 如何更好的实现统计功能?

PHP中文网
PHP中文网asal
2017-03-30 13:27:303127semak imbas

数据量比较大的情况下如何统计总数?

比如一个表里面有500万条数据,传统的方式是count(),这样效率很低。

网上有人说用mysql的触发器,把统计结果插入到一个结果表里。

还有其他方法吗?比如异步执行的方式插入到一个mysql的结果表里可以吗?

或者统计结果放入redis可以吗?

还有说用定时执行的,但是我们这个使用场景要求实时计算总和。

数据量比较大的情况下如何统计总数?

比如一个表里面有500万条数据,传统的方式是count(),这样效率很低。

1.网上有人说用mysql的触发器,把统计结果插入到一个结果表里。

还有其他方法吗?比如异步执行的方式插入到一个mysql的结果表里可以吗?

2.或者统计结果放入redis可以吗?

还有说用定时执行的,但是我们这个使用场景要求实时计算总和。

3.可以新建一个表用来保存行数信息
  表名(主键)|数据量

触发器的时候如果插入数据,则对应表的数据量+1,如果删除数据则减1。

4 .还有一种方案就是每次只计算1分钟的增量(根据你们业务对实时性的要求),上一次的统计值加上1分钟的增量就是现在的总数。当然这要看有没有对老数据进行删除的操作。我得这种方法跟通过向表里插入统计统计结果会有耦合。

我时倾向于用redis来存储,insert+1,delete-1。db没有什么压力,同时降低了耦合

用memcache或redis记数就可以了。
需要查count的时候先查memcache,如果没有的话就去数据库count,然后在设置上memcache,下次查memcache就有了,就不用去count了。

以上就是数据量比较大 如何更好的实现统计功能?的内容,更多相关内容请关注PHP中文网(www.php.cn)!

Kenyataan:
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn