MySQL大数据量的分页读取

无论什么数据库,大数据量的各种处理都是难题,今天我就介绍下MySQL大数据量的分页处理。数据量大的时候读取数据我们优化的第一个想到的就是索引,这个是没有错的,但是如果一个数据表内有大约500W以上的数据(不考虑系统架构问题)我们需要读取40W以后的20条数据这个时候如何处理?

数据表的结构:

id                 bigint(20)  自增长
type_id         int(11) 
category_id   int(11)
user_id         bigint(20)     
title              varchar(200)
content        text

 

索引:

user_id列

 

我的查询语句:

 

SELECT * FROM `table` WHERE `user_id` = 10000 LIMIT 400000 , 20

 

这样的一条查询的运行时间在20S以上,这样的数据读取速度是任何用户都无法接受的,这条语句查询速度慢的原因是查询语句的偏移量设置过大,导致数据库要扫描过滤掉许多不需要的数据,所以才会导致查询的速度很慢,这个问题可以通过数据的缓存去解决,但是今天仅仅讨论的是数据的读取问题。

 

解决方案:

一:对用户读取的页数做限制,一个正常的用户是不需要读取到几十万页之后的数据,所以可以对用户的读取也数做限制,这个是不会影响到用户体验的,但是这部分数据就无法读取了

 

二:对数据进行倒序排列,由于我的id字段是自增长的我可以对他进行倒序排列,然后读取前几条数据,当然这种数据的读取是需要算法支持的,倒序的排列读取涉及到的是偏移量的设置,这种读取的速度用户是可以接受的返回熟读在2S以内!

 

结束语:

小生不才,多多献丑,如有不足之处还承蒙大家多多指教!

 

posted on 2010-08-02 17:03  高成  阅读(3114)  评论(1编辑  收藏  举报