mysql数据库千万级别数据的查询优化和分页测试
我原来的公司是一家网络游戏公司,其中网站交易与游戏数据库结合通过ws实现的,但是交易记录存放在网站上,级别是千万级别的数据库是mysql数据库.
可能有人会问mysql是否支持千万级数据库,还有既然已经到了这个数据量公司肯定不差,为什么要用mysql而不用oracle这里我做一下解答
1. mysql绝对支持千万级数据库是可以肯定的,
2. 为什么选择择mysql呢?
1> 第一也是最主要的一条是mysql他能做到。
2> 在第一点前提下以下的就不是太重要了,mysql相对操作简单,测试容易,配置优化也相对容易很多
3> 我们这里的数据仅仅是为了记录交易保证交易是被记录的,对于查询的还是相对少只有管理后台操作中需要对数据库进行查询
4> 数据结构简单,而且每条记录都非常小,因为查询速度不管和记录条数有关和数据文件大小也有直接关系.
5> 我们采用的是大小表的解决办法,每天大概需要插入数据库好几百万条,这里可能还是有人怀疑,其实没问题,如果批量插入我测试的在普通的pc机子上带该一个 线程并发我插入的是6千万条记录大概需要“JDBC插入6000W条数据用时:9999297ms”,小表保存最近插入的内容,把几天前的保存到大表中, 这里我说的就是大表大概6-7千万条数据;
带着这些疑问和求知欲望咱们来做一个测试,因为在那个时候我也不是dba不知道人家是怎么搞的能够做成这么大的数据量,我们平时叶总探讨一些相关的内容
1.mysql的数据查询,大小字段要分开,这个还是有必要的,除非一点就是你查询的都是索引内容而不是表内容,比如只查询id等等
2.查询速度和索引有很大关系也就是索引的大小直接影响你的查询效果,但是查询条件一定要建立索引,这点上注意的是索引字段不能太多,太多索引文件就会很大那样搜索只能变慢,
3.查询指定的记录最好通过Id进行in查询来获得真实的数据.其实不是最好而是必须,也就是你应该先查询出复合的ID列表,通过in查询来获得数据
我们来做一个测试ipdatas表:
CREATE TABLE `ipdatas` (
`id` INT(11) NOT NULL AUTO_INCREMENT,
`uid` INT(8) NOT NULL DEFAULT ‘0′,
`ipaddress` VARCHAR(50) NOT NULL,
`source` VARCHAR(255) DEFAULT NULL,
`track` VARCHAR(255) DEFAULT NULL,
`entrance` VARCHAR(255) DEFAULT NULL,
`createdtime` DATETIME NOT NULL DEFAULT ‘0000-00-00 00:00:00′,
`createddate` DATE NOT NULL DEFAULT ‘0000-00-00′,
PRIMARY KEY (`id`),
KEY `uid` (`uid`)
) ENGINE=MYISAM AUTO_INCREMENT=67086110 DEFAULT CHARSET=utf8;
这是我们做的广告联盟的推广ip数据记录表,由于我也不是mysql的DBA所以这里咱们仅仅是测试
因为原来里面有大概7015291条数据
这里我们通过jdbc的batch插入6000万条数据到此表当中“JDBC插入6000W条数据用时:9999297ms”;
目的与意义 1) 说明 在 MySql 单表中数据达到千万级别时数据的分页查询结果...(本测试表中数据在千万级别) 1) 建立索引优点:当表中有大量记录时,若要对表...
mysql_海量数据库的查询优化及分页算法方案_IT/计算机_专业资料。mysql 海量...在以后的关于“实现千万级数据的分页显示存储过程”的讨论中,我们就 将用到 TOP...
一张表搞定100 100万记录,并且10G 数据库,如何快速分页! 好了,我们的测试又... mysql数据库千万级别数据... 3页 免费 数据库的查询优化及分页... 45页 1...
mysql 海量数据库的查询优... 8页 1财富值 ...在以后的关于“实现千万级数据的分页显示存储过程”...测试以上三种分页方案的执行速度:(单位:毫秒) 页码 ...
千万级的mysql数据库与优化方法_IT/计算机_专业资料。千万级的mysql数据库与优化方法千万级的 mysql 数据库与优化方法 1.对查询进行优化,应尽量避免全表扫描,...
mysql 海量数据库的查询优... 8页 1财富值 ... 海量数据的查询优化及分页... 16页 2财富值...测试以上三种分页方案的执行速度 测试以上三种分页方案...
实例讲解MYSQL数据库的查询优化技术_IT/计算机_专业资料。实例讲解MYSQL数据库的... 比如一个银行的账户数据库表信息积累到上百万甚至 上千万条记录,全表扫描一次...
mysql 分页查询语句数据库查询 2011-09-28 15:47:56 我来说两句 收藏 我要投稿 SQL Server 关于分页 SQL 的资料许多,有的使用存储过程,有的使用游标。本人不...
MySQL、SqlServer、Oracle三大主流数据库分页查询_IT...优化过的一个用来提取前几条或前几个百分比数据的... 2015国考行测模拟试题及历年真题 2015国考申论押...
MySQL分页优化 实测效果明显_计算机软件及应用_IT/...直接获取数据,避免或减少直接扫描行数据的频率 2、...查询效率:554.5%、11.7%,各位可以自行进行测试验...
热门文档