设为首页 加入收藏

TOP

mysql同时使用orderby和limit查询时的一个严重隐患--丢失数据
2015-07-24 10:18:33 来源: 作者: 【 】 浏览:0
Tags:mysql 同时 使用 orderby limit 查询 时的 一个 严重 隐患 丢失 数据

我经常使用order by和limit来做数据分页显示并排序,一直也没发现过什么问题。但这两天缺遇到一个严重的问题,在按时间戳升序排列并用limit分批读取数据时,却发现在某些记录丢失了,表中明明有的记录确死活读取不到。研究了大半天终于发现了问题所在,记录一下以防忘记,也是给大家提个醒。

问题重现

工具和原料

Ver 14.14 Distrib 5.6.11, for Linux (x86_64) using EditLine wrapper

表结构:

字段 类型 说明
id int(10) 主键
pay_time int(10) 时间戳,有索引
flag tinyint(1) 类型标识,用于分类筛选

数据

大概5000条数据, 大部分记录的flag都等于0,pay_time字段时间戳格式都正确

需求

筛选出flag=0的记录,按pay_time升序依次读取所有数据。

处理方式

使用limit分批读取数据,如:
select id, pay_time from order_customer_new where flag=0 order by pay_time asc, id asc limit 250, 10;

发现问题

在读取数据的过程中,发现有时间戳相等的记录,分两次读取出来时,可能会丢失一条记录。见下图,id=465的记录就丢失了。

图1

这里写图片描述

问题分析与猜测

当排序值相等,其先后顺序的不确定的。这里我猜想:当465和466处于limit末尾时466排在前面,而当处于limit开头时,466缺排到后面去了。所以465丢失了,466出现了两次。
排序值相等时,其顺序的不确定应该是其结果不可预测。但真正进行排序时应该会采取一定的规则以确定唯一的排序结果,也就是说,即使有相等的排序值,多次排序的结果应该是一样的。从以前的使用经历看,mysql是这么做的。但这次遇到的问题似乎说明mysql并不是这样的。不知道mysql本来就是如此,还是一个bug。

解决办法

既然猜想此问题是因为排序值相等造成顺序不确定引起的,那么就试试增加排序条件让其排序结果是确定的、唯一的。一试果然OK,如下图所示,465出来了。

这里写图片描述

?

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
分享到: 
上一篇mysql中利用DATE_FORMAT方法实现.. 下一篇mysql导入source数据库sql的C++实..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

·Python 数据分析与可 (2025-12-26 21:51:20)
·从零开始学Python之 (2025-12-26 21:51:17)
·超长干货:Python实 (2025-12-26 21:51:14)
·为什么 Java 社区至 (2025-12-26 21:19:10)
·Java多线程阻塞队列 (2025-12-26 21:19:07)