Apache Beam Wait.on JdbcIO.write 存在无界 PCollection

Question

我正在尝试将以下场景与无界 pCollection 数据源（PubSub）一起使用。 https://issues.apache.org/jira/browse/BEAM-6732

我能够写入 DB1。DB2 正在等待 DB1 (PCollection .withResults)。但不幸的是 DB2 没有得到更新。

当我将源更改为有界虚拟 PCollection 时，它可以工作。任何意见都会受到赞赏。

Answer 1

正如我在 Jira 中提到的，您的无限管道中是否使用了任何 Windows？仅当相应窗口完全写入第一个数据库后，才会开始写入另一个数据库。否则，它将永远等待。