使用 Python 安排 Google Cloud Dataflow 作业

Question

目前，这些是我知道的安排 Dataflow 作业执行的选项：

• 使用 App Engine Cron 服务或 Cloud Functions。

• 这个例子是用Java写的，有没有官方用Python这么简单的例子？

• 此示例使用 Python，但我不确定当前是否仍然是一个不错的选择或“已弃用”

• 来自 Compute Engine 中的 cron 作业

• 这个有教程吗？

• 在流管道中使用窗口

• 我认为这是最简单的，但是，总成本是最好的想法吗？

• 云调度器

• 这是一个有效的方法吗？

Answer 1

有多种方法，但我认为对您来说非常方便的一种方法是使用Apache Airflow的DataflowPythonOperator。GCP 以Cloud Composer的形式为 Apache Airflow 提供托管服务，您可以使用它来安排 Dataflow 管道或其他 GCP 操作。