导出所有气流变量

Question

我在从代码下载所有 Airflow 变量时遇到问题。
有机会从 UI 导出，但我还没有找到任何以编程方式进行导出的方法。

我发现了唯一Variable.get('variable_name')返回一个 Airflow 变量的方法。没有获取气流变量列表的变体。

在源代码中搜索也没有帮助。你知道一些简单的方法吗？

先感谢您。

Answer 1

您可以使用 Airflow CLI 将变量导出到文件，然后从 Python 代码中读取它。airflow variables --export FILEPATH以编程方式，您可以使用BashOperator来实现此目的。

Answer 2

我在这个用例中使用 BashOperator 有问题，所以我将 bashcommand 的结果复制到一个变量并在我的程序中使用它。import subprocessoutput = (subprocess.check_output("airflow variables", shell=True)).decode('utf-8').split('pid=')[1].split()[1:-1]print(output)