Cloud Composer / Airflow：只能在 Operator 之间设置关系；

Question

我们在 Cloud Composer 中有几个以前运行良好的 Airflow DAG。DAGs 和 Operators 的代码没有改变，但在最近的部署之后，我们现在从 DAGs 得到这个错误：

Broken DAG：[...] 关系只能在 Operator 之间设置；收到 PythonOperator

同样，该 DAG 已数周未更改，并且之前运行良好。

在PythonOperator有通过气流提供的PythonOperator，进口是这样的：

from airflow.operators.python_operator import PythonOperator

并在 DAG 中使用如下：

OPERATOR_READ_HEADER = PythonOperator(

    task_id='read_header',

    params={'object_name': 'dependencies/MT940 Header.txt'},

    python_callable=read_object,

    provide_context=True

)

SENSOR_INPUT_FILE_PROVIDED >> OPERATOR_READ_HEADER

为什么会开始发生此错误？

这是1.9.0-composer在 Google Cloud Composer 中的Airflow上。

Answer 1

在 composer-1.4.2 版本中引入了一个错误，我们现在已经修复了，尝试创建一个新的 Composer 环境，DAG 错误应该会消失。同时，我们还将在接下来的几天内自动将该修复自动应用于现有的 1.4.2 环境。