spark 怎么获取jobid

Question

spark 怎么获取jobid

Answer 1

不知道你问的是框架层还是应用层？应用层无法获取Spark的JobID。框架层，action操作触发SparkContext执行runJob方法，SparkContext会维护一个AtomicInteger对象，对象名称为nextJobId，该对象通过调用getAndIncrement()生成JobID。