结论先行:OOM 排查的第一步不是抓 dump,而是读异常消息——JVM 会明确告诉你溢出发生在哪个区域。「Java heap space」看堆、「Metaspace」查动态类生成、「unable to create new native thread」查线程数和系统限制、「Direct buffer memory」查 NIO 直接内存。区域定位对了,方向就对了。
运行时数据区速览
线程私有:程序计数器、虚拟机栈(每帧对应一次方法调用,深度超限抛 StackOverflowError,常见于递归无出口)、本地方法栈。线程共享:堆(对象实例的家,GC 主战场)、方法区(JDK 8 起由元空间实现,存类元数据,使用本地内存而非堆内)、运行时常量池。此外还有不受堆参数管控的直接内存(NIO 的 DirectByteBuffer),可用 -XX:MaxDirectMemorySize 限制。容器化之后这张图还要叠加一层:进程全部内存(堆 + 元空间 + 线程栈 + 直接内存 + JIT 代码缓存)受 cgroup 限制约束,任何一块爆了都可能表现为容器被杀,而不是 Java 抛 OOM。各区域与参数对照:
| 区域 | 线程私有/共享 | 关键参数 | 存放内容 |
|---|---|---|---|
| 虚拟机栈 | 私有 | -Xss | 栈帧:局部变量表、操作数栈 |
| 堆 | 共享 | -Xms / -Xmx | 对象实例、数组 |
| 元空间 | 共享 | -XX:MaxMetaspaceSize | 类元数据、运行时常量池 |
| 直接内存 | 共享 | -XX:MaxDirectMemorySize | NIO DirectByteBuffer |
| 程序计数器 | 私有 | 无 | 当前执行的字节码位置 |
两个常被问到的细节:字符串常量池在 JDK 7 就已从方法区挪到堆里,所以大量 intern 也会堆 OOM;JIT 编译后的代码放在独立的 Code Cache,同样有上限(ReservedCodeCacheSize),动态生成字节码多的应用要留意它满之后的性能退化。这两块都不在「堆」里,却都占进程的内存预算,容器限额核算时别漏掉。
Java heap space:从异常消息到 dump
最常见。第一步确认生产已开启 dump 配置:
# JVM 启动参数:OOM 时自动落 dump,路径提前建好并确认磁盘容量
-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/data/dump/
事后也可用 jmap -dump:live,format=b,file=heap.hprof <pid> 抓取(注意 live 会先触发一次 Full GC,大堆服务慎用)。用 MAT 打开 hprof,按支配树(Dominator Tree)排序找到占内存最大的对象,再看 GC Roots 引用链,根因基本逃不出「某个静态集合缓存只增不减」「一次性加载全表数据」这类模式:
// 错误写法:无界缓存只进不出,堆迟早被吃穿
private static final Map<String, byte[]> CACHE = new ConcurrentHashMap<>();
public void onEvent(String key, byte[] data) {
CACHE.put(key, data); // 没有淘汰策略,key 空间一大就是 OOM
}
// 正确写法:缓存必须带容量上限与过期策略
private static final Cache<String, byte[]> CACHE = Caffeine.newBuilder()
.maximumWeight(256 * 1024 * 1024) // 按字节总量限流
.weigher((String k, byte[] v) -> v.length)
.expireAfterWrite(Duration.ofMinutes(30))
.build();
public void onEvent(String key, byte[] data) {
CACHE.put(key, data); // 超限按策略淘汰,内存有上界
}
「一次性加载全表数据」是另一个高频根因:分页接口被上层一次性拉全量、导出功能不分批,本质都是「数据规模超出堆预算的假设被打破」。修复要么换带淘汰能力的缓存,要么改分批流式处理,要么给数据量设上限并监控。
dump 分析还有两个实操提醒:hprof 文件大小约等于堆的实际占用,抓取前确认磁盘;MAT 打开大 dump 先看「Leak Suspects」报告的预判,再进支配树核实,两个入口比在对象树里翻效率高得多。线上 dump 含敏感字段(用户数据),传递与留存要走数据安全流程,别随手扔到公共网盘。
GC overhead limit exceeded 则是堆泄漏的另一种表达:GC 花了绝大部分时间却几乎回收不出空间,JVM 提前抛错止损。处理路径与 heap space 完全一致,注意不要看到它就条件反射调大堆——泄漏场景下加大堆只是延后爆发。
Metaspace 与线程/直接内存类 OOM
Metaspace:典型元凶是动态生成类不释放——反射、CGLib 代理、Groovy 脚本、频繁重部署的应用。排查用 jstat -class <pid> 观察已加载类数是否持续增长,只涨不降基本可以断定类泄漏,再用 arthas 的 classloader/sc 命令定位是谁在生成类。unable to create new native thread:堆还有空间也照样抛,因为线程栈是本地内存。先看线程数是否失控(jstack <pid> 配合监控面板),再查容器的 ulimit 限制和 -Xss 单线程栈大小是否过大。Direct buffer memory:NIO 直接内存超限,排查代码里 allocateDirect 的使用与释放路径,必要时显式调大 MaxDirectMemorySize 或改用堆内缓冲。高频异常的对照速查:
| 异常消息 | 溢出区域 | 常见根因 | 第一排查动作 |
|---|---|---|---|
| Java heap space | 堆 | 无界缓存、一次性加载全表 | MAT 支配树找最大对象 |
| GC overhead limit exceeded | 堆 | 堆接近耗尽,GC 空转 | 同上,按堆泄漏处理 |
| Metaspace | 元空间 | 动态类生成不释放 | jstat -class 看类数趋势 |
| unable to create new native thread | 本地内存/系统限制 | 线程数失控、ulimit、Xss 过大 | 数线程数、查容器限制 |
| Direct buffer memory | 直接内存 | allocateDirect 未释放 | 排查 NIO 缓冲的使用 |
类泄漏的验证手段可以用 arthas 的 classloader -l 看加载器实例数:同一个自定义加载器类出现大量实例且不回收,基本就是热部署或脚本引擎在反复 new 加载器、旧实例带着类元数据滞留。这与堆里「静态集合持有 Class 对象引用」是同一类根因的两种表现。
工具链与证据链
# 1. 观察堆与 GC 趋势:各区容量、GC 次数与耗时
jstat -gcutil <pid> 1000
# 2. 抓堆 dump(先确认磁盘空间够放 hprof)
jmap -dump:live,format=b,file=/data/dump/heap.hprof <pid>
# 3. arthas 现场排查:内存概况与类加载器视角
memory
classloader -l
排查 OOM 的证据链顺序固定:异常消息定区域 → 监控曲线定时间点 → dump 或命令定对象 → 代码引用链定根因。跳步(不看 dump 直接改参数)是排查失败的头号原因:加堆、换收集器这类操作只有建立在证据链上才有意义。
容器环境还有三条额外注意:dump 要落到挂载的持久卷,否则容器重建时文件消失;容器里执行 jmap 注意权限与临时目录容量;被 OOM killer 杀掉的进程拿不到任何 dump——这也是 cgroup 预算必须留余量的原因,留余量不是为了少 OOM,是为了 OOM 前监控能看到趋势。
还有一条证据链的纪律:所有临时性排查命令的输出(jstat、jmap、jstack)都落盘留档并带上时间戳,尤其 OOM 前后的关键窗口。OOM 的现场只有一次,dump 与命令输出丢了,后面全部靠猜。
留档之外,把每次 OOM 的结论沉淀成「根因-修复-验证」三段式记录,同类根因第二次出现时排查时间会大幅缩短——OOM 排查是典型的「经验复利」场景。
生产案例
某次大促备战,一个报表服务在预发压测中堆 OOM。dump 分析显示堆里堆了同一批订单数据的十几份副本,引用链全部指向一个「多线程并发查询订单、结果放进静态 Map 等待聚合」的导出任务:任务超时后被外层丢弃,内层查询线程不知情继续写入,Map 成了无主数据集,下一轮任务又推倒重来一遍。修复三步:任务取消时同步通知内部线程停止写入;静态 Map 改为任务作用域局部对象,随任务结束整体可回收;给单次导出的数据规模设硬上限,超限直接拒绝并提示用户分批。上线后同类 OOM 再未出现。这个案例的模式值得记住:OOM 的根因常常不是「缓存无界」这种教科书场景,而是「异步任务的生命周期与数据容器的作用域错位」,dump 的引用链是唯一能定位到这种错位的证据。复盘时顺带把「数据规模与容器作用域」写进了该服务的上线检查单。
检查清单
- 生产必配 HeapDumpOnOutOfMemoryError,路径磁盘容量留足
- 容器环境 Xmx 与 cgroup 限额匹配,为元空间、栈、直接内存留预算
- 本地缓存一律有容量上限与过期策略
- 全量数据场景改分批流式,不给「一次装下」的机会
- 接入 GC 日志(-Xlog:gc*),盯回收频率与堆占用趋势
- 排查顺序固定:异常消息 → 监控 → dump → 引用链
- 异步任务取消时同步终止内部写入线程
- Metaspace 告警按类数趋势判断,不只看水位