线上有个任务失败了,查看工作机器上运行的进程情况,有个进程比较陌生,如下图
查看进程关系,可以看到这是hive起的一个子进程,如下图
使用top命令查看cpu 使用情况,可以看到1193这个线程cpu占用总是接近100%,如下图
使用jstack命令,查看线程状态
看样子是在读取conf 文件,没有什么异常。然而过了一会儿再看这个状态,线程栈没有丝毫变化。而cpu使用仍然接近100%。一般来说这是进入死循环了。重试那个hive命令,发现问题无法重现,排除了conf文件的配置问题。使用strace命令查看系统调用情况
发现也没有系统调用,确认是在用户态。那么应该就是代码中的bug,查看DefferredDocumentImpl.getNodeExtra 函数的代码,然而并没有循环。
这就很奇怪了,看getNodeExtra函数的代码,思来想去也不可能进入死循环。难道是内存漏洞引起的指令指针被改写,导致执行到莫名其妙的地方去了?这个时候我就希望看到1193这个线程现在在执行什么指令,总之应该不是getNodeExtra这个函数。那么jstack能不能输出这个信息呢。jstack --help看一下
虽然不是我想要的具体在执行什么指令,不过也许问题确实出在本地方法栈呢。试一下
看到问题真的出在本地方法,搜了一下关键字,找到了JDK的patch:https://bugs.openjdk.java.net/browse/JDK-8153134
这个问题的详细描述:https://marc.info/?l=openjdk-hotspot-compiler-dev&m=147625599902638&w=2
可见这是一个小概率的并发问题,由于我们线上集群也是第一次出现,决定暂不处理,直接重试任务即可。
作者:群演_
链接:https://www.jianshu.com/p/0949f47ed0aa