Mysql 给你100万条数据的一张表，你将如何分页查询优化？-北京尧图网络

1.两种查询引擎查询速度myIsam 引擎 InnoDB 中不保存表的具体行数也就是说执行select count(*) from table时InnoDB要扫描一遍整个表来计算有多少行。MyISAM只要简单的读出保存好的行数即可。注意的是当count(*)语句包含 where条件时两种表的操作有些不同InnoDB类型的表用count(*)或者count(主键)加上where col 条件。其中col列是表的主键之外的其他具有唯一约束索引的列。这样查询时速度会很快。就是可以避免全表扫描。总结mysql 在300万条数据myisam引擎情况下使用 count(*) 进行数据总数查询包含条件正确设置索引运行时间正常。对于经常进行读取的数据我们建议使用myIsam引擎。2.百万数据下mysql分页问题在开发过程中我们经常会使用分页核心技术是使用limit进行数据的读取在使用limit进行分页的测试过程中得到以下数据select * from news order by id desc limit 0,10 耗时0.003秒 select * from news order by id desc limit 10000,10 耗时0.058秒 select * from news order by id desc limit 100000,10 耗时0.575秒 select * from news order by id desc limit 1000000,10 耗时7.28秒我们惊讶的发现mysql在数据量大的情况下分页起点越大查询速度越慢100万条起的查询速度已经需要7秒钟。这是一个我们无法接受的数值改进方案 1select * from news where id (select id from news order by id desc limit 1000000, 1)order by id desc limit 0,10查询时间 0.365秒提升效率是非常明显的原理是什么呢我们使用条件对id进行了筛选在子查询 (select id from news order by id desc limit 1000000, 1) 中我们只查询了id这一个字段比起select * 或 select 多个字段节省了大量的查询开销改进方案2适合id连续的系统速度极快select * from news where id between 1000000 and 1000010 order by id desc不适合带有条件的、id不连续的查询。速度非常快3. 百万数据下mysql条件查询、分页查询的注意事项接上一节我们加上查询条件select id from news where cate 1 order by id desc limit 500000 ,10查询时间 20 秒好恐怖的速度利用上面方案进行优化select * from news where cate 1 and id (select id from news where cate 1 order by id desc limit 500000,1 ) order by id desc limit 0,10查询时间 15 秒优化效果不明显条件带来的影响还是很大在这样的情况下无论我们怎么去优化sql语句就无法解决运行效率问题。那么换个思路建立一个索引表只记录文章的id、分类信息我们将文章内容这个大字段分割出去。表 news2 [ 文章表引擎 myisam 字符集 utf-8 ]-------------------------------------------------id int 11 主键自动增加cate int 11 索引在写入数据时将2张表同步查询是则可以使用news2 来进行条件查询select * from news where cate 1 and id (select id from news2 where cate 1 order by id desc limit 500000,1 ) order by id desc limit 0,10注意条件 id 后面使用了news2 这张表运行时间 1.23秒我们可以看到运行时间缩减了近20倍数据在10万左右是查询时间可以保持在0.5秒左右是一个逐步接近我们能够容忍的值但是1秒对于服务器来说依然是一个不能接受的值还有什么可以优化的办法吗我们尝试了一个伟大的变化将 news2 的存储引擎改变为innodb执行结果是惊人的select * from news where cate 1 and id (select id from news2 where cate 1 order by id desc limit 500000,1 ) order by id desc limit 0,10只需要 0.2秒非常棒的速度。4MySQL性能优化的一些经验a.为查询优化你的查询大多数的MySQL服务器都开启了查询缓存。这是提高性能最有效的方法之一而且这是被MySQL的数据库引擎处理的。当有很多相同的查询被执行了多次的时候这些查询结果会被放到一个缓存中这样后续的相同的查询就不用操作表而直接访问缓存结果了。这里最主要的问题是对于程序员来说这个事情是很容易被忽略的。因为我们某些查询语句会让MySQL不使用缓存。请看下面的示例// 查询缓存不开启 $r mysql_query(SELECT username FROM user WHERE signup_date CURDATE()); // 开启查询缓存 $today date(Y-m-d); $r mysql_query(SELECT username FROM user WHERE signup_date $today);上面两条SQL语句的差别就是 CURDATE() MySQL的查询缓存对这个函数不起作用。所以像 NOW() 和 RAND() 或是其它的诸如此类的SQL函数都不会开启查询缓存因为这些函数的返回是会不定的易变的。所以你所需要的就是用一个变量来代替MySQL的函数从而开启缓存。b.学会使用EXPLAIN使用EXPLAIN关键字可以让你知道MySQL是如何处理你的SQL语句的。select id, title, cate from news where cate 1发现查询缓慢然后在cate字段上增加索引则会加快查询c.当只要一行数据时使用LIMIT 1当你查询表的有些时候只需要一条数据请使用 limit 1。d.正确的使用索引索引并不一定就是给主键或是唯一的字段。如果在你的表中有某个字段你总要会经常用来做搜索、拍下、条件那么请为其建立索引吧。e.不要ORDER BY RAND()效率很低的一种随机查询。f.避免SELECT *从数据库里读出越多的数据那么查询就会变得越慢。并且如果你的数据库服务器和WEB服务器是两台独立的服务器的话这还会增加网络传输的负载。必须应该养成一个需要什么就取什么的好的习惯。g.使用 ENUM 而不是 VARCHARENUM 类型是非常快和紧凑的。在实际上其保存的是 TINYINT但其外表上显示为字符串。这样一来用这个字段来做一些选项列表变得相当的完美。如果你有一个字段比如“性别”“国家”“民族”“状态”或“部门”你知道这些字段的取值是有限而且固定的那么你应该使用 ENUM 而不是 VARCHAR。h.使用 NOT NULL除非你有一个很特别的原因去使用 NULL 值你应该总是让你的字段保持 NOT NULL。这看起来好像有点争议请往下看。首先问问你自己“Empty”和“NULL”有多大的区别如果是INT那就是0和NULL如果你觉得它们之间没有什么区别那么你就不要使用NULL。你知道吗在 Oracle 里NULL 和 Empty 的字符串是一样的)不要以为 NULL 不需要空间其需要额外的空间并且在你进行比较的时候你的程序会更复杂。当然这里并不是说你就不能使用NULL了现实情况是很复杂的依然会有些情况下你需要使用NULL值。

Mysql 给你100万条数据的一张表，你将如何分页查询优化？

相关推荐

架构设计：把 GDAL “藏“ 起来

互联网公司指南上海篇: 字节跳动——从新人入职到资深发展的全景透视

从零搭建Unreal Engine Pixel Streaming：云端渲染与WebRTC实时交互全解析

更多资讯

JJencode编码解密工具：前端JS代码混淆与源码还原实操

OpenClaw与LINE集成提升养虾业沟通效率

Java record 规范构造器能否被反序列化或反射绕过

Unity Package Manager刷新错误排查与解决方案

淘宝商品详情API开发实战与性能优化指南

MIUI 11老机型：TWRP永久固定与无密data分区实战

今日更新

淘宝商品详情API开发实战与性能优化指南

Unity Package Manager刷新错误排查与解决方案

Java record 规范构造器能否被反序列化或反射绕过

本周精选

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？

相关推荐

架构设计：把 GDAL “藏“ 起来

互联网公司指南 上海篇: 字节跳动——从新人入职到资深发展的全景透视

从零搭建Unreal Engine Pixel Streaming：云端渲染与WebRTC实时交互全解析

更多资讯

JJencode编码解密工具：前端JS代码混淆与源码还原实操

OpenClaw与LINE集成提升养虾业沟通效率

Java record 规范构造器能否被反序列化或反射绕过

Unity Package Manager刷新错误排查与解决方案

淘宝商品详情API开发实战与性能优化指南

MIUI 11老机型：TWRP永久固定与无密data分区实战

今日更新

淘宝商品详情API开发实战与性能优化指南

Unity Package Manager刷新错误排查与解决方案

Java record 规范构造器能否被反序列化或反射绕过

本周精选

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？

互联网公司指南上海篇: 字节跳动——从新人入职到资深发展的全景透视