猿问
下载APP

如何查看Spark的历史运行情况

如何查看Spark的历史运行情况


烙印99
浏览 93回答 1
1回答

Cats萌萌

平时当Spark程序运行时,通过在浏览器当中输入 spark-master-ip:4040 查看Spark运行的情况和信息,但是当程序运行结束时,4040页面就打不开了。原来可以通过设置配置文件,查看历史运行情况。1、 打开Spark conf目录下的spark-defaults.conf文件2、在其中配置如下信息:spark.eventLog.enabled truespark.eventLog.dir hdfs://spark-master:9000/hadoop/spark/sparklogsspark.yarn.historyServer.address spark-master:180801231233、然后进入spark sbin目录下启动HistoryServer:./start-history-server.sh hdfs://spark-master:9000/hadoop/spark/sparklogs11注意:(1)、 一定要加上目录(2)、事先要将该目录先建好4、通过以上步骤后,我们就可以打开 spark-master-ip:18080 查看历史运行过的程序了。
打开App,查看更多内容
随时随地看视频慕课网APP
我要回答