并行运行相同的 Oozie 作业多次,每个作业的参数值不同

我想运行一个程序,将给定的输入文件转换为另一种格式。当文件上传到输入表时,oozie 调度程序应该启动作业。

对于单个文件,它工作正常;如果输入表同时有多个条目,则应在参数中使用不同的inputPath并行启动相同数量的作业。Oozie 工作流将“InputPath”和“OutputPath”作为参数。

我怎样才能做到这一点?


四季花海
浏览 149回答 1
1回答

牧羊人nacy

您想根据事件触发作业。Oozie 不是为此而设计的,它只是 根据时间表运行预定的作业(可选择延迟启动,直到特定文件到达)。考虑其他选项,例如 AirFlow 或 Luigi。
打开App,查看更多内容
随时随地看视频慕课网APP

相关分类

Java