并行运行相同的 Oozie 作业多次，每个作业的参数值不同

Question

我想运行一个程序，将给定的输入文件转换为另一种格式。当文件上传到输入表时，oozie 调度程序应该启动作业。

对于单个文件，它工作正常；如果输入表同时有多个条目，则应在参数中使用不同的inputPath并行启动相同数量的作业。Oozie 工作流将“InputPath”和“OutputPath”作为参数。

我怎样才能做到这一点？

Answer 1

您想根据事件触发作业。Oozie 不是为此而设计的，它只是 根据时间表运行预定的作业（可选择延迟启动，直到特定文件到达）。考虑其他选项，例如 AirFlow 或 Luigi。