继续浏览精彩内容
慕课网APP
程序员的梦工厂
打开
继续
感谢您的支持,我会继续努力的
赞赏金额会直接到老师账户
将二维码发送给自己后长按识别
微信支付
支付宝支付

Spark下使用火焰图分析工具

撒科打诨
关注TA
已关注
手记 265
粉丝 45
获赞 144

准备

Java honest profiler工具: https://github.com/jvm-profiling-tools/honest-profiler
根据prof输出生成flame graph工具: http://www.brendangregg.com/FlameGraphs

Java honest profiler工具的编译安装

虽然github上提供了编译好的二进制,但其依赖的glibc为3.x的,不能使用,需要自己编译,参考其说明文档,cmake & mvn clean -DskipTest package,整个过程比较顺利;

  • jdk本身一个提供了一个叫hprof的采样工具,我也实验了下,感觉没有honest工具好用;

  • google有提供一个叫做lightweight-java-profiler的工具,不过现在已经没人维护了,测试了下,失败了;

使用

1.在SPARK_HOME/bin/spark-class文件中,修改启动命令:

  # 使用jdk提供hprof工具配置
  #"$RUNNER" -agentlib:hprof=cpu=samples,depth=100,interval=7,lineno=y,thread=y,monitor=y,file=output.hprof -Xmx128m -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "$
@"
  
  # 使用honest工具,添加配置
  "$RUNNER" -agentpath:/home/hadoop/build/honest-profiler/honest-profiler/build/liblagent.so=interval=7,logPath=honest.hpl -Xmx128m -cp "$LAUNCH_CLASSPATH" org.apache.spark.l
auncher.Main "$@"
  1. 启动spark程序,程序会在当前路径生成profile文件;

  2. 基于honest-profiler.jar对原始prifile文件进行处理;(本实现采用honest-profiler)

java -cp /home/hadoop/build/honest-profiler/honest-profiler/target/honest-profiler.jar com.insightfullogic.honest_profiler.ports.console.FlameGraphDumperApplication /home/hadoop/work/spark/honest.hpl /home/hadoop/work/spark/honest.hpl.folded

  1. 利用FlameGraph工具生成动态svg

./FlameGraph/flamegraph.pl /home/hadoop/work/spark/honest.hpl.folded > /tmp/flamegraph-java.svg

后续

当前踩点貌似太少了,如何长时间踩点?



作者:分裂四人组
链接:https://www.jianshu.com/p/31d0f837a4a4


打开App,阅读手记
0人推荐
发表评论
随时随地看视频慕课网APP