-
- 老头子马龙 2023-05-12
常用数据采集框架：DataX Gonlbblin Flume
- 0赞 · 0采集
-
- 老头子马龙 2023-05-08
数据采集系统的基本需求
- 0赞 · 0采集
-
- sqrtqiezi 2020-05-22
//TODO
如何设计支持多种数据源的数据抽取方案
如何构建数据采集的元数据信息
如何通过元数据信息建立数据的血缘关系
-
截图0赞 · 0采集
-
- gongwanyi 2020-04-14
常见数据采集框架
1）Apache Flume：分布式、可靠的、高可用的日志收集系统，支持多种数据来源，
配置灵活。
2）Gobblin:用来整合各种数据源的通用型ETL框架，理论上各种数据都可以在这里
“一站式”解决整个ETL整个过程
3）DataX:阿里开源的异构数据源同步工具，致力于实现关系数据库、HDFS、Hive、
HBase、FTP等异构数据源的稳定数据同步。
-
截图0赞 · 0采集
-
- gongwanyi 2020-04-14
流程示意图：
-
截图0赞 · 0采集
-
- lowenest 2019-07-16
- 数据采集系统需求<br/>·数据源管理与状态监控<br/>·定时、实时、全量、增量等多模式的数据采集及任务监控<br/>·元数据管理、数据补采及数据归档
-
截图0赞 · 0采集
-
- lowenest 2019-07-16
- 常用数据采集框架<br/>·Apache Flume：分布式、可靠的、高可用的日志收集系统，支持多种数据来源，配置灵活<br/>·Gobblin：用来整合各种数据源的通用型ETL框架，理论上各种数据都可以在这里“一站式”解决ETL整个过程<br/>·DataX：阿里开源的异构数据源同步工具，致力于实现关系数据库、HDFS、Hive、HBase、FTP等异构数据源的稳定数据同步
-
截图0赞 · 0采集
-
- lowenest 2019-07-16
数据采集框架图
-
截图0赞 · 0采集
数据加载中...