如何在 Apache Airflow 中配置 DaskExecuter

Question

我想配置 Dask 以在 Airflow 中分发 DAG。我已经阅读了https://airflow.apache.org/howto/executor/use-dask.html和https://distributed.readthedocs.io/en/latest/，但我不明白它是如何工作的。我有两台 Apache Aiflow 服务器，在哪里运行 dask-shedulers 和 dask-workers，在第一台服务器倒塌时，第二台服务器一切都会自动运行？据我了解，Airflow 将任务放在 dask-sheduler 中。我不明白如何在两台服务器上与 dask-sheduler 交朋友。我不明白为什么需要 dask-workers 以及它的作用，我认为这是某种不必要的组件。

我不想使用 CeleryExecutor 并为 Celery 配置 RabbitMQ 或 Redis

Answer 1

您在一台服务器上运行调度程序，而不是两台。我在一台机器上只有气流调度程序和 dask 调度程序。在 dask 调度程序的气流配置中，我有 localhost:8786。然后在其他机器上启动 dask worker 并为其提供调度程序的 IP 地址和端口。通过气流提交任务，如果你做对了，工作人员会接它。