猿问

将 5000 万条记录添加到 AWS ElasticSearch 的最快方法

我正在尝试确定一种可以将数据加载到弹性搜索的方法。AWS-ES 提供了批量 API,但 aws 对有效负载大小设置了限制。

您能否告诉我从 DB2 获取数据并将其放入 AWS-ES 的最快方法是什么。记录数约为 5000 万,每条记录可能有大约 1 到 3 KB 的有效负载。

我已经尝试过使用 java 模块并通过 API 调用将数据放入 ES,但速度很慢。

是否有任何ETL 工具任何可用的服务可以读取 JSON 或 csv 并将数据放入 ES?


开满天机
浏览 157回答 2
2回答
随时随地看视频慕课网APP

相关分类

Java
我要回答