Airflow-工作流管理工具,急求!

通过官方文档和一些博客简单的知道了Airflow的使用方式,但是请问一下大神,如果我的Python项目是很多个脚本代码组成的,如何使用Airflow进行管理呢?

我自己目前学习了解到的是,通过在管道中可以通过设置operators(任务)来执行一些bash命令或者脚本以及可以调用Python的一些脚本自定义一些函数处理逻辑,但是具体在项目实践开发的过程中该如何添加到Airflow进行管理呢?

例如:

用Python集成消息中间件,我订阅了一个主题A,然后主题A发布了消息(一些数据),我接受到消息后,对它进行了数据清理,之后存入相应的数据库。以上这个Python写完之后,我如何用Airflow去管理这个脚本呢?

刚开始学习使用airflow这个工具,望大神指导!


想成为攻城师的筱筱
浏览 1151回答 2
2回答
打开App,查看更多内容
随时随地看视频慕课网APP