全量导入oracle的数据会遗漏数据

来源:4-2 logstash全量、增量同步解决方案

慕粉4349782

2021-02-05 14:30

第一次的时候使用的增量同步,sql为select * from A where A.createTime>:sql_last_value and A.create_time <sysdate order by create_time  ,有分页,分页size为10000。整个数据量为800多万,发现缺少一些数据,没有找到规律,于是改为全量同步。

第二次使用全量同步,sql为select * from A where A.createTime <某个日期。同样使用分页,size为10000,数据量为800多万。结果少了10000条。发现为某个时间段内的数据缺少,并且索引deleted条数为10000。怀疑分页导致同步重复数据,并丢失数据

第三次尝试全量同步,增加排序字段order by create_time,过程耗时很久,一晚上才同步 90万条,没有让他执行完成,不知道结果

请问这是什么原因???

急急急

写回答 关注

1回答

  • 慕梦前来
    2022-02-10 18:09:35

    那是计算上有误差吧

Springboot + ElasticSearch 构建博客检索系统

Springboot + ElasticSearch 构建个人博客检索系统

22961 学习 · 112 问题

查看课程

相似问题