在高并发下，怎样能给每个请求返回100条不重复的记录呢？

Question

mysql初学者，有个问题请教各位老师

现在有个表里有1000万条记录，需要全部读取出来执行业务一遍。
（每次读取100条，每条记录只能被读取一次，查询过的记录修改State为1）

现在我用的是乐观锁，先用php从mysql读取出没执行过的最后100条记录

SELECT * FROM `list` WHERE `State` = '0' LIMIT 100

然后一条一条修改State改成1，修改成功的，则是有效可用的，否则就是被其他线程抢先修改了

UPDATE `list` SET `State` = '1'  WHERE `Id`='1' AND `State` = '0'

这样子，在并发低的情况下是挺好有的，但是在高并发下就不行了

因为同一时间查询的线程都是读取到的记录都是相同的，通过乐观锁过滤掉重复的记录后，
最后每个线程剩下的可用记录就少得可怜……

请问各位老师，怎样能在高并发访问的情况下，怎样能给每个请求返回100条不重复的记录呢？
（不一定能全返回100条，尽可能多就行）

Answer 1

首先赞一下楼主。这是个很好的乐观锁应用场景。很好的提问。感谢！ 直接 'UPDATE `list` SET `State` = '1' WHERE `State` = '0' LIMIT 100;' 就获取并锁定了100条。也保证了其他进程无法再拿到这100条数据了。 咦。。等等，我们是锁定了。但是我们不知道这100条数据的id啊。看来这样行不通。 除非我们加个字段，UPDATE的时候，顺便把这100条数据打上我这个进程的标记： 'UPDATE `list` SET `State` = '1', `pid` = ' . getmypid() . ' WHERE `State` = '0' LIMIT 100;' 锁定了之后，再： 'SELECT * FROM `list` WHERE `pid` = ' . getmypid() . ' LIMIT 100' 来拿到这100条数据。处理完了再： 'UPDATE `list` SET `pid` = ' . getmypid() . ' WHERE `pid` = '0'' 好了。这就实现了。但是总感觉不够优雅。

Answer 2

如果每次先从Redis里拿上次的最大id，不就可以了，所有线程访问同一个Redis，然后where id > redis获取的值