猿问

Apache Beam Wait.on JdbcIO.write 存在无界 PCollection

我正在尝试将以下场景与无界 pCollection 数据源(PubSub)一起使用。 https://issues.apache.org/jira/browse/BEAM-6732

我能够写入 DB1。DB2 正在等待 DB1 (PCollection .withResults)。但不幸的是 DB2 没有得到更新。

当我将源更改为有界虚拟 PCollection 时,它可以工作。任何意见都会受到赞赏。


慕侠2389804
浏览 92回答 1
1回答

白猪掌柜的

正如我在 Jira 中提到的,您的无限管道中是否使用了任何 Windows?仅当相应窗口完全写入第一个数据库后,才会开始写入另一个数据库。否则,它将永远等待。
随时随地看视频慕课网APP

相关分类

Java
我要回答