【205期】面试官:数据量很大的情况下,对于分页查询你有什么优化方案吗?

点击上方“Java面试题精选”,关注公众号

面试刷图,查缺补漏

>>号外:公众号改版后文章顺序不固定,欢迎大家把我们面试题精选这个公众号设置为星标,感谢大家一年的支持!!

阶段汇总集合:一年内容,200期Java面试题阶段汇总

当需要从数据库查询的表有上万条记录的时候,一次性查询所有结果会变得很慢,特别是随着数据量的增加特别明显,这时需要使用分页查询。对于数据库分页查询,也有很多种方法和优化的点。下面简单说一下我知道的一些方法。

准备工作

为了对下面列举的一些优化进行测试,下面针对已有的一张表进行说明。

  • 表名:order_history

  • 描述:某个业务的订单历史表

  • 主要字段:unsigned int id,tinyint(4) int type

  • 字段情况:该表一共37个字段,不包含text等大型数据,最大为varchar(500),id字段为索引,且为递增。

  • 数据量:5709294

  • MySQL版本:5.7.16

线下找一张百万级的测试表可不容易,如果需要自己测试的话,可以写shell脚本什么的插入数据进行测试。

以下的 sql 所有语句执行的环境没有发生改变,下面是基本测试结果:

select * from orders_history where id in
(select order_id from trade_2 where goods = 'pen')
limit 100;

这种 in 查询的方式要注意:某些 mysql 版本不支持在 in 子句中使用 limit。

使用临时表优化

这种方式已经不属于查询优化,这儿附带提一下。

对于使用 id 限定优化中的问题,需要 id 是连续递增的,但是在一些场景下,比如使用历史表的时候,或者出现过数据缺失问题时,可以考虑使用临时存储的表来记录分页的id,使用分页的id来进行 in 查询。这样能够极大的提高传统的分页查询速度,尤其是数据量上千万的时候。

关于数据表的id说明

一般情况下,在数据库中建立表的时候,强制为每一张表添加 id 递增字段,这样方便查询。

如果像是订单库等数据量非常庞大,一般会进行分库分表。这个时候不建议使用数据库的 id 作为唯一标识,而应该使用分布式的高并发唯一 id 生成器来生成,并在数据表中使用另外的字段来存储这个唯一标识。

使用先使用范围查询定位 id (或者索引),然后再使用索引进行定位数据,能够提高好几倍查询速度。即先 select id,然后再 select *;

本人才疏学浅,难免犯错,若发现文中有错误遗漏,望不吝赐教。

END

来源:http://uusama.com/458.html

十期推荐

【191期】面试官:你能说说SOA架构和微服务架构的区别嘛?

【192期】面试官:线程池中多余的线程是如何回收的?

【193期】如何利用装饰者模式在不改变原有对象的基础上扩展功能

【194期】Redis——第三方jar没有封装的命令我们该怎么执行?

【195期】MySQL中的条件判断函数 CASE WHEN、IF、IFNULL你会用吗?

【196期】夯实基础,Java8新特性Stream详细教程

【197期】华为OD两轮技术面试记录,给后来人一个参考!

【198期】面试官:你能说出 方法重载和方法重写 的原理吗?

【199期】100%会用到的hashCode()和equals()方法及使用规范,你掌握了吗?

【200期】面试官:你能简单说说 SpringMVC 的执行原理吗?


与其在网上拼命找题? 不如马上关注我们~

【205期】面试官:数据量很大的情况下,对于分页查询你有什么优化方案吗?

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由半码博客整理,本文链接:https://www.bmabk.com/index.php/post/7680.html

(0)
小半的头像小半

相关推荐

发表回复

登录后才能评论
半码博客——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!