今天发现一个问题,问题大概是这样的,查询interface的信息,在本地使用本地的数据库访问没有问题,但是发布到服务器上以后访问速度就特别的忙,需要5分钟左右才能返回数据,这肯定是无法让人接受的,刚开始以为是服务器性能的问题,为了验证就把服务器上的
今天发现一个问题,问题大概是这样的,查询interface的信息,在本地使用本地的数据库访问没有问题,但是发布到服务器上以后访问速度就特别的忙,需要5分钟左右才能返回数据,这肯定是无法让人接受的,刚开始以为是服务器性能的问题,为了验证就把服务器上的数据库备份到本地,发现本地的速度也马上慢了下来,到底是什么问题的。看了一下查询interface的sql语句不禁吓了一跳:
select distinct a.id ,a.name ,a.interfacecode ,a.version ,a.synasyn ,a.frequence ,a.solutionmodelid ,a.owner ,a.createtime ,a.status ,a.description ,p.id as "project.id" ,p.name as "project.name" ,p.pcategory as "project.pcategory" ,r.name as "release.name" , r.id as "release.id" ,b.name as "middlewarename" ,l1.name as "sourcesystem" ,l2.name as "targetsystem" , f.name as "messageformat1" ,k.name as "messageformat2" ,g.name as "messagename1" ,l.name as "messagename2" ,m.id as "interfacemapid" ,m.category as category , c.bos as "bos1" ,h.bos as "bos2" ,sm.name as "solutionModelName" ,a.lastmodifytime as "lastModifiedAt" ,df.name as "scenario" ,a.iscurrent as "iscurrent" ,m.reviewstatus as "reviewStatus" ,m.reviewedby as "reviewedBy" ,m.reviewedat as "reviewedAt" ,m.trackleader FROM interfacemapping m LEFT JOIN project p ON m.projectid = p.id LEFT JOIN realse r ON p.realseid = r.id LEFT JOIN integrationinterface a ON m.interfaceid = a.id LEFT JOIN logicsystem b ON a.middleware = b.id LEFT JOIN interfacedetail c ON c.interfaceid = a.id AND UCASE(c.flowflag) = 'START' LEFT JOIN logicsystem d ON d.id = c.logicsystemid LEFT JOIN messageformat f ON f.id = c.messageformatid LEFT JOIN messagedic g ON g.id = c.messagename LEFT JOIN interfacedetail h ON h.interfaceid = a.id AND UCASE(h.flowflag) = 'END' LEFT JOIN logicsystem j ON j.id = h.middleware LEFT JOIN messageformat k ON k.id = h.messageformatid LEFT JOIN messagedic l ON l.id = h.messagename LEFT JOIN interfacedetail u ON u.interfaceid = a.id AND UCASE(u.flowflag) = 'MID' LEFT JOIN messageformat n ON n.id = u.messageformatid LEFT JOIN messagedic z on z.id = u.messagename LEFT JOIN logicsystem l1 ON l1.id = a.sourcesystemid LEFT JOIN logicsystem l2 ON l2.id = a.targetsystemid lEFT JOIN solutionmodel sm ON sm.id = a.solutionmodelid LEFT JOIN DATAFLOWINFO df ON df.ID = a.SCENARIOID
我想你也一定被吓到了。但是这也只是其中的一部分,还有动态的sql我没有贴出来。是因为一堆表连接所以速度有影响吗?决定下手调一下这个sql语句,使用的方法就是逐个的连接表。当我连接到LEFT JOINinterfacedetail c 时,查询速度竟然是20秒。就是这一个表导致的表之间连接的速度慢的吗?
然后我就开始分析为什么原来本地的数据库时数据快,我发现原来本地的库中interfacedetail中是没有数据的。而现在的库中表中有8000条数据,这是导致查询慢的原因吗?8000条以上的数据就不适合做连接查询了吗?
但是我突然想到原来在db2中一样的数据,为什么查询就挺快的。首先我是验证了。当前mysql中每一个表中的数据和db2中的数据完全相同。结果发现完全相同,但是db2中执行的速度是0.4秒,完全是可以接受的。问题又来了。这就是企业级数据库与普通数据库的区别?
但这个结果还是不能让我相信的。我就查了其他的资料,发现有人说索引可以提高表之间连接的速度,结果我还是真的发现db2中有interfacedetail.interfaceid的索引。我在mysql中加入同样的索引:
CREATE INDEX T_PI_VLO_NAAE_IDX1 ONinterfacedetail (interfaceid);
然后再直接上面的语句,直接速度马上到了0.5秒以内。。问题算是解决了。但是究竟索引为啥又这么大的作用,索引是什么呢?
为什么要创建索引呢?这是因为,创建索引可以大大提高系统的性能。
第一,通过创建唯一性索引,可以保证数据库表中每一行数据的唯一性。
第二,可以大大加快数据的检索速度,这也是创建索引的最主要的原因。
第三,可以加速表和表之间的连接,特别是在实现数据的参考完整性方面特别有意义。
第四,在使用分组和排序子句进行数据检索时,同样可以显著减少查询中分组和排序的时间。
第五,通过使用索引,可以在查询的过程中,使用优化隐藏器,提高系统的性能。
也许会有人要问:增加索引有如此多的优点,为什么不对表中的每一个列创建一个索引呢?这种想法固然有其合理性,然而也有其片面性。虽然,索引有许多优点,但是,为表中的每一个列都增加索引,是非常不明智的。这是因为,增加索引也有许多不利的一个方面。
第一,创建索引和维护索引要耗费时间,这种时间随着数据量的增加而增加。
第二,除了数据表占数据空间之外,每一个索引还要占一定的物理空间【本文来自鸿网互联 (http://www.68idc.cn)】,如果要建立聚簇索引,那么需要的空间就会更大。
第三,当对表中的数据进行增加、删除和修改的时候,索引也要动态的维护,这样就降低了数据的维护速度。
索引是建立在数据库表中的某些列的上面。因此,在创建索引的时候,应该仔细考虑在哪些列上可以创建索引,在哪些列上不能创建索引。一般来说,应该在这些列上创建索引,例如:在经常需要搜索的列上,可以加快搜索的速度;在作为主键的列上,强制该列的唯一性和组织表中数据的排列结构;在经常用在连接的列上,这些列主要是一些外键,可以加快连接的速度;在经常需要根据范围进行搜索的列上创建索引,因为索引已经排序,其指定的范围是连续的;在经常需要排序的列上创建索引,因为索引已经排序,这样查询可以利用索引的排序,加快排序查询时间;在经常使用在WHERE子句中的列上面创建索引,加快条件的判断速度。
同样,对于有些列不应该创建索引。一般来说,不应该创建索引的的这些列具有下列特点:第一,对于那些在查询中很少使用或者参考的列不应该创建索引。这是因为,既然这些列很少使用到,因此有索引或者无索引,并不能提高查询速度。相反,由于增加了索引,反而降低了系统的维护速度和增大了空间需求。第二,对于那些只有很少数据值的列也不应该增加索引。这是因为,由于这些列的取值很少,例如人事表的性别列,在查询的结果中,结果集的数据行占了表中数据行的很大比例,即需要在表中搜索的数据行的比例很大。增加索引,并不能明显加快检索速度。第三,对于那些定义为text,image和bit数据类型的列不应该增加索引。这是因为,这些列的数据量要么相当大,要么取值很少。第四,当修改性能远远大于检索性能时,不应该创建索引。这是因为,修改性能和检索性能是互相矛盾的。当增加索引时,会提高检索性能,但是会降低修改性能。当减少索引时,会提高修改性能,降低检索性能。因此,当修改性能远远大于检索性能时,不应该创建索引。
好了。问题也解决完了,也学到了不少的东西,这次的索引课认识深刻了。