Heim  >  Artikel  >  Backend-Entwicklung  >  如何对大批量用户日志数据统计筛选啊

如何对大批量用户日志数据统计筛选啊

WBOY
WBOYOriginal
2016-06-23 14:01:461202Durchsuche

比如 100W用户

现在表是这样设计的:
表a  是100W用户基本信息(uid唯一)
uid,name,地区,服务商....


表b 每个用户有100条左右数据,即100W*100=1亿数据。每条数据内容包括(用户ID,打开时间,关闭时间)
uid,time1,time2
uid,time1,time2
...

需求:统计24小时段用户数  并且可 根据某地区 and 某服务商 统计


回复讨论(解决方案)

24小时段用户数 是指什么,举例说明一下。

1亿数据不算多,但是要建立合理的索引。

每日做一次,然后将统计结果放入一个表记录,下次直接重表中读取,不用每次都统计。

   

每日做一次,然后将统计结果放入一个表记录,下次直接重表中读取,不用每次都统计。

建立索引和将数据缓存起来都是个优化方法

24小时段用户数 是指什么,举例说明一下。
如:1.txt
uid     打开时间   关闭时间
1       00:00      10:00
1       16:00      16:30
1       17:20      17:10
...
2.txt
uid     打开时间   关闭时间
2        01:01      01:26
...
1个文件代表1个用户,每个文件大概有100行的数据。根据开关时间来统计24小时段的在线用户数啊


1亿数据不算多,但是要建立合理的索引。
索引是指什么索引啊?表字段索引吗?我现在将数据分表存储,每个表上加上字段索引,不知道是否合理

每日做一次,然后将统计结果放入一个表记录,下次直接重表中读取,不用每次都统计。
哦,谢谢!我现在将分表内容存入一个表中,下次直接读这个统计表数据。

Stellungnahme:
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn