慕粉4349782
2021-02-05 14:30
第一次的时候使用的增量同步,sql为select * from A where A.createTime>:sql_last_value and A.create_time <sysdate order by create_time ,有分页,分页size为10000。整个数据量为800多万,发现缺少一些数据,没有找到规律,于是改为全量同步。
第二次使用全量同步,sql为select * from A where A.createTime <某个日期。同样使用分页,size为10000,数据量为800多万。结果少了10000条。发现为某个时间段内的数据缺少,并且索引deleted条数为10000。怀疑分页导致同步重复数据,并丢失数据
第三次尝试全量同步,增加排序字段order by create_time,过程耗时很久,一晚上才同步 90万条,没有让他执行完成,不知道结果
请问这是什么原因???
急急急
那是计算上有误差吧
Springboot + ElasticSearch 构建博客检索系统
22961 学习 · 112 问题
相似问题