数据批处理问题总结

背景：

当数据库中有脏数据需要删除，且数据量非常打，无法一次性查询出来，需要分页查询处理。

处理方案：

将数据查询出来之后，逻辑删除脏数据。

常见问题：

分页查询之后，脏数据被删除，后面的分页查询就会少数据，导致一部分脏数据没有被处理到。

改进方案：

当处理了脏数据，不翻页，继续处理当页的脏数据，直到该页没有脏数据了，再翻到下一页。

总结：

此问题经常会在分页数据处理过程中出现，如果考虑不到位，很容易遗漏数据处理，且不容易被发现。