原创

排查项目CPU过高的问题

一、表现:cpu使用率持续过高

cpu.jpg

二、分析

引起 cpu 高的原因

  • 病毒与攻击
    • 一些病毒可以在系统内部迅速复制,强行占用大量CPU资源
  • 死锁或者占用大量CPU的循环逻辑代码。该问题看代码比较难定位。此处我们根据该问题进行讨论。
    • 代码中写死循环时,一直占用cpu
    • System.currentTimeMillis() 的不恰当使用

三、处理过程

1、先用 top -c 命令,找到cpu占用最高的进程 PID 如上图。发现 pid为 6326

ps -ef | grep xxxx

2、使用top -H -p 进程号查看异常线程、查看线程。
通过如下命令查看该pid进程下线程cpu占用情况, 选择一个最高的,得到线程ppid 为 6615

top -H -p 6326
top-h.png

3、将异常线程号 ppid 转化为16进制。
在如下网址转换: http://tool.oschina.net/hexconvert/
或者使用命令转换ppid: echo "obase=16;" | bc

:~$ echo "obase=16;6615" | bc
19D7

或者使用printf "%x " 线程号将异常线程号转化为16进制

printf "%x
" <ppid>

4、使用 jstack 查看堆栈信息

##  jstack pid 查看堆栈信息
jstack  6326 

## 堆栈信息输出至文本中
 jstack  -l 6326 > a.log

## 使用jstack 进程号|grep 16进制异常线程号 -A90来定位异常代码的位置(最后的-A90是日志行数,也可以输出为文本文件或使用其他数字)。可以看到异常代码的位置。
jstack 6326 | grep 6615   -A90

5、查看 a.log文件, 搜索ppid的十六进制值 : 19d7
ppid-view.png

至此,我们已经定位到了具体出问题的线程。
再之后,结合代码实际情况进一步定位即可。

PS: 如果项目经由docker部署,则在 jstack 操作过程中会报错。报错信息一般如下:

Unable to open socket file: target process not responding or HotSpot VM not loaded
The -F option can be used when the target process is not responding

提示:说明本机查看docker容器的线程失败。
因为docker容器在外部无法接入。需要进入到容器内,才可以操作。

#查看镜像
docker ps

# 进入容器
docker exec -it 60306fe9ff59 /bin/sh

# top 查看
top

# jstack pid 查看堆栈信息
jstack  1

PS: 在docker内进行 jstack 操作报错。报错信息一般如下:

Unable to get pid of LinuxThreads manager thread

原因: jstack 操作不允许对1-5的pid进行分析。
pid1-5为Linux的特殊进程。
pid=1 :init进程,系统启动的第一个用户级进程,是所有其它进程的父进程,引导用户空间服务。
pid=2 :kthreadd:用于内核线程管理。
pid=3 :migration,用于进程在不同的CPU间迁移。
pid=4 :ksoftirqd,内核里的软中断守护线程,用于在系统空闲时定时处理软中断事务。
pid=5 :watchdog,此进程是看门狗进程,用于监听内核异常。当系统出现宕机,可以利用watchdog进程将宕机时的一些堆栈信息写入指定文件,用于事后分析宕机的原因。

解决思路:
让启动的服务进程pid不是1。

解决方案:启动一个init进程(pid=1)来接收docker stop and docker kill的信号,它会转发信号给其他进程,负责关闭僵尸进程。java进程由init进程启动。
比如:安装Tini,使用tini作为入口进程,配置启动java进程。

现在我们只需要更改docker 的dockerfile文件,改变启动方式:
增加 RUN pk add --no-cache tini
ENTRYPOINT 中增加 /sbin/tini。

dockerfile 文件:

FROM registry.ccc/library/openjdk:8-jdk-alpine
RUN mkdir /app
WORKDIR /app
VOLUME /tmp
ENV TZ='Asia/Shanghai'
RUN apk add --update ttf-dejavu fontconfig
RUN apk add --no-cache tini
COPY target/*.jar /app/app.jar
# Tini is now available at /sbin/tini
ENTRYPOINT ["/sbin/tini", "--", "java","-Xmx8192M","-Xms8192M","-Xmn6144M","-XX:+UseParNewGC","-XX:+UseConcMarkSweepGC","-XX:+PrintTenuringDistribution","-Xloggc:/app/log/gc/gc.log","-XX:NativeMemoryTracking=summary","-XX:+HeapDumpOnOutOfMemoryError","-XX:HeapDumpPath=/app/log/gc/oom","-verbose:gc","-Djava.security.egd=file:/dev/./urandom","-jar","/app/app.jar"]

docker 容器内文件下载到服务器
docker cp 60306fe9ff59:/app/pid.dump /root

五、在thread dump中的几种状态

  • 死锁,Deadlock(重点关注)
  • 等待资源,Waiting on condition(重点关注)
  • 等待获取监视器,Waiting on monitor entry(重点关注)
  • 阻塞,Blocked(重点关注)
  • 执行中,Runnable
  • 暂停,Suspended
  • 对象等待中,Object.wait() 或 TIMED_WAITING
  • 停止,Parked

六、日志文件中线程状态的含义

6.1 Waiting to lock 和 Blocked

"RMI TCP Connection(267865)-172.16.5.25" daemon prio=10 tid=0x00007fd508371000 nid=0x55ae waiting for monitor entry [0x00007fd4f8684000]
   java.lang.Thread.State: BLOCKED (on object monitor)
at org.apache.log4j.Category.callAppenders(Category.java:201)
- waiting to lock <0x00000000acf4d0c0> (a org.apache.log4j.Logger)
at org.apache.log4j.Category.forcedLog(Category.java:388)
at org.apache.log4j.Category.log(Category.java:853)
at org.apache.commons.logging.impl.Log4JLogger.warn(Log4JLogger.java:234)
at com.tuan.core.common.lang.cache.remote.SpyMemcachedClient.get(SpyMemcachedClient.java:110)
……

解析

  • 1)线程状态是 Blocked,阻塞状态。说明线程等待资源超时!
  • 2)“ waiting to lock <0x00000000acf4d0c0>”指,线程在等待给这个 0x00000000acf4d0c0 地址上锁(英文可描述为:trying to obtain 0x00000000acf4d0c0 lock)。
  • 3)在 dump 日志里查找字符串 0x00000000acf4d0c0,发现有大量线程都在等待给这个地址上锁。如果能在日志里找到谁获得了这个锁(如locked < 0x00000000acf4d0c0 >),就可以顺藤摸瓜了。
  • 4)“waiting for monitor entry”说明此线程通过 synchronized(obj) {……} 申请进入了临界区,从而进入了下图中的“Entry Set”队列,但该 obj 对应的 monitor 被其他线程拥有,所以本线程在 Entry Set 队列中等待。
  • 5)第一行里,"RMI TCP Connection(267865)-172.16.5.25"是 Thread Name 。tid指Java Thread id。nid指native线程的id。prio是线程优先级。[0x00007fd4f8684000]是线程栈起始地址。

Dump文件中的线程状态含义

  • Deadlock:死锁线程,一般指多个线程调用间,进入相互资源占用,导致一直等待无法释放的情况。
  • Runnable:一般指该线程正在执行状态中,该线程占用了资源,正在处理某个请求,有可能正在传递SQL到数据库执行,有可能在对某个文件操作,有可能进行数据类型等转换。
  • Waiting on condition:等待资源,或等待某个条件的发生。具体原因需结合 stacktrace来分析。
    • 如果堆栈信息明确是应用代码,则证明该线程正在等待资源。一般是大量读取某资源,且该资源采用了资源锁的情况下,线程进入等待状态,等待资源的读取。
    • 或者,正在等待其他线程的执行等。
    • 如果发现有大量的线程都在处在 Wait on condition,从线程 stack看,正等待网络读写,这可能是一个网络瓶颈的征兆。因为网络阻塞导致线程无法执行。
      • 一种情况是网络非常忙,几乎消耗了所有的带宽,仍然有大量数据等待网络读写;
      • 另一种情况也可能是网络空闲,但由于路由等问题,导致包无法正常的到达。
    • 另外一种出现 Wait on condition的常见情况是该线程在 sleep,等待 sleep的时间到了时候,将被唤醒。
  • Blocked:线程阻塞,是指当前线程执行过程中,所需要的资源长时间等待却一直未能获取到,被容器的线程管理器标识为阻塞状态,可以理解为等待资源超时的线程。

  • Waiting for monitor entry 和 in Object.wait()

    Monitor是 Java中用以实现线程之间的互斥与协作的主要手段,它可以看成是对象或者 Class的锁。每一个对象都有,也仅有一个 monitor。从下图1中可以看出,每个 Monitor在某个时刻,只能被一个线程拥有,该线程就是 “Active Thread”,而其它线程都是 “Waiting Thread”,分别在两个队列 “ Entry Set”和 “Wait Set”里面等候。在 “Entry Set”中等待的线程状态是 “Waiting for monitor entry”,而在 “Wait Set”中等待的线程状态是 “in Object.wait()”。

A Java Monitor.png

6.2 Waiting on condition 和 TIMED_WAITING

"RMI TCP Connection(idle)" daemon prio=10 tid=0x00007fd50834e800 nid=0x56b2 waiting on condition [0x00007fd4f1a59000]
   java.lang.Thread.State: TIMED_WAITING (parking)
at sun.misc.Unsafe.park(Native Method)
- parking to wait for  <0x00000000acd84de8> (a java.util.concurrent.SynchronousQueue$TransferStack)
at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:198)
at java.util.concurrent.SynchronousQueue$TransferStack.awaitFulfill(SynchronousQueue.java:424)
at java.util.concurrent.SynchronousQueue$TransferStack.transfer(SynchronousQueue.java:323)
at java.util.concurrent.SynchronousQueue.poll(SynchronousQueue.java:874)
at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:945)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
at java.lang.Thread.run(Thread.java:662)

解析

  • 1)“TIMED_WAITING (parking)”中的 timed_waiting 指等待状态,但这里指定了时间,到达指定的时间后自动退出等待状态;parking指线程处于挂起中。
  • 2)“waiting on condition”需要与堆栈中的“parking to wait for <0x00000000acd84de8> (a java.util.concurrent.SynchronousQueue$TransferStack)”结合来看。首先,本线程肯定是在等待某个条件的发生,来把自己唤醒。其次,SynchronousQueue 并不是一个队列,只是线程之间移交信息的机制,当我们把一个元素放入到 SynchronousQueue 中时必须有另一个线程正在等待接受移交的任务,因此这就是本线程在等待的条件。

6.3 in Obejct.wait() 和 TIMED_WAITING

"RMI RenewClean-[172.16.5.19:28475]" daemon prio=10 tid=0x0000000041428800 nid=0xb09 in Object.wait() [0x00007f34f4bd0000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
at java.lang.Object.wait(Native Method)
- waiting on <0x00000000aa672478> (a java.lang.ref.ReferenceQueue$Lock)
at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:118)
- locked <0x00000000aa672478> (a java.lang.ref.ReferenceQueue$Lock)
at sun.rmi.transport.DGCClient$EndpointEntry$RenewCleanThread.run(DGCClient.java:516)
at java.lang.Thread.run(Thread.java:662)
  • 1)“TIMED_WAITING (on object monitor)”,对于本例而言,是因为本线程调用了 java.lang.Object.wait(long timeout) 而进入等待状态。

  • 2)“Wait Set”中等待的线程状态就是“ in Object.wait() ”。当线程获得了 Monitor,进入了临界区之后,如果发现线程继续运行的条件没有满足,它则调用对象(一般就是被 synchronized 的对象)的 wait() 方法,放弃了 Monitor,进入 “Wait Set”队列。只有当别的线程在该对象上调用了 notify() 或者 notifyAll() ,“ Wait Set”队列中线程才得到机会去竞争,但是只有一个线程获得对象的 Monitor,恢复到运行态。

  • 3)RMI RenewClean 是 DGCClient 的一部分。DGC 指的是 Distributed GC,即分布式垃圾回收。

  • 4)请注意,是先 locked <0x00000000aa672478>,后 waiting on <0x00000000aa672478>.

代码实现:

static private class  Lock { };
private Lock lock = new Lock();
public Reference<? extends T> remove(long timeout)
{
    synchronized (lock) {
        Reference<? extends T> r = reallyPoll();
        if (r != null) return r;
        for (;;) {
            lock.wait(timeout);
            r = reallyPoll();
            ……
       }
}

即,线程的执行中,先用 synchronized 获得了这个对象的 Monitor(对应于 locked <0x00000000aa672478> );当执行到 lock.wait(timeout);,线程就放弃了 Monitor 的所有权,进入“Wait Set”队列(对应于 waiting on <0x00000000aa672478> )。

  • 5)从堆栈信息看,是正在清理 remote references to remote objects ,引用的租约到了,分布式垃圾回收在逐一清理。

~ end

正文到此结束
广告是为了更好的提供数据服务
本文目录