我已经安装了 Apache Spark 2.3.1,需要检查哪个脚本是有效的
问题:
1.如何监控Apache Spark脚本的执行?
2.这些脚本中哪一个是有效的?
rdd = sc.textFile("Readme.txt")
1:
rdd.flatMap(x => x.split(" ")).countByValue()
2:
words = rdd.flatMap(lambda x: x.split(" "))
result = words.map(lambda x: (x, 1)).reduceByKey(lambda x, y: x + y)
HUH函数
相关分类