性能文章>记一次内存泄露,但并未溢出的问题 #论程序员,你曾遇到关于性能的那些事#>

记一次内存泄露,但并未溢出的问题 #论程序员,你曾遇到关于性能的那些事#原创

1年前
534623

起因:服务器日常巡检发现内存占用较高,一直在报警线附近。(忘记截图~~)
排查过程:
1、看了一下当时的监控图,在业务请求量不大的情况下内存占用率长期较高,且fullgc后内存占用率没有明显下降,初步推断可能存在内存泄露。于是dump出堆转储文件。使用HeapAnalyzer工具进行分析。
image.png
发现StackData类型相关对象占用堆内存过高。

2、查看代码发现,该对象被代码耗时打印工具类引用。
image.png
同时使用 ThreadLocal 存储方法调用树(对象大小受调用深度以及调用次数影响)以及调用时间。

因ThreadLocal为map数据结构。value部分为强引用,生命周期一般与线程生命周期一致。而java web容器采用线程池方式,线程长期存活,工具类未调用ThreadLocal中remove()方法释放。导致内存泄露。

另外也是因为当前场景ThreadLocal本身受到web容器线程池大小和本身业务方法调用深度限制,虽然内存泄露,但并未溢出。

3、许多工程同样引用该工具类,为何内存使用情况未有明显异常?

通过内存分析工具查看ThreadLocal对象相当一部分大小在2.8M左右,输出对象打印内容
image.png
查看该方法对应代码:
image.png

List对象CityInfo 元素有600多个,所以此处有600多次循环,会不断增大ThreadLocal大小,导致内存泄露问题突出。

问题高速我们:threadlocal 使用完成必须remove。

本文正在参与「论程序员,你曾遇到关于性能的那些事丨 PerfMa技术征文」活动

请先登录,再评论

感谢分享

1年前

谢谢分享。借用transmittable-thread-local框架里面的一句话:在生产应用(几乎一定会使用线程池等异步执行组件)中,使用ThreadLocal及其set/remove的上下文传递模式几乎一定是有问题的,只是在等一个出Bug的机会。

1年前
回复 why技术:

👍👍👍

1年前回复

为你推荐

关于内存溢出,咱再聊点有意思的?
概述 上篇文章讲了JVM在GC上的一个设计缺陷,揪出一个导致GC慢慢变长的JVM设计缺陷,可能有不少人还是没怎么看明白的,今天准备讲的大家应该都很容易看明白 本文其实很犹豫写不写,因为感觉没有
谨防JDK8重复类定义造成的内存泄漏
概述 如今JDK8成了主流,大家都紧锣密鼓地进行着升级,享受着JDK8带来的各种便利,然而有时候升级并没有那么顺利?比如说今天要说的这个问题。我们都知道JDK8在内存模型上最大的改变是,放弃了Perm
JVM菜鸟进阶高手之路九(解惑)
关于MAT工具相关知识解惑MAT 不是一个万能工具,它并不能处理所有类型的堆存储文件。但是比较主流的厂家和格式,例如 Sun, HP, SAP 所采用的 HPROF 二进制堆存储文件,以及 IBM 的
JVM垃圾回收与一次线上内存泄露问题分析和解决过程
本文转载自:花椒技术微信公众号 前言内存泄漏(Memory Leak)是指程序中己动态分配的堆内存由于某种原因程序未释放或无法释放,造成系统内存的浪费,导致程序运行速度减慢甚至系统崩溃等严重后果。Ja
强如 Disruptor 也发生内存溢出?
前言```OutOfMemoryError ```问题相信很多朋友都遇到过,相对于常见的业务异常(数组越界、空指针等)来说这类问题是很难定位和解决的。本文以最近碰到的一次线上内存溢出的定位、解决问题的
spring boot 引起的 “堆外内存泄漏”
背景组内一个项目最近一直报swap区域使用过高异常,笔者被叫去帮忙查看原因。发现配置的4G堆内内存,但是实际使用的物理内存高达7G,确实有点不正常,JVM参数配置是:```java-XX:Metasp
实战:一次疑似内存泄漏的问题排查
问题背景最近服务器到期等因素,进行了迁移。租了其它的外国厂商,但是由于资费问题,购买了1.5G 内存的服务器(现)。因为原本用惯了4G内存的服务器(原),现在压缩成这样,似乎不太能支持我的使用,囧!现
记录一次Flink作业异常的排查过程
最近2周开始接手apache flink全链路监控数据的作业,包括指标统计,业务规则匹配等逻辑,计算结果实时写入elasticsearch. 昨天遇到生产环境有作业无法正常重启的问题,我负责对这个问题