先说结论
Arthas 解决的是一类特殊问题:日志看不出根因、又不能重启的生产现场。它是 JVM 内的"手术刀",不改代码、不停服务,就能看到方法入参出参、调用耗时、类加载来源。排障四板斧背下来:dashboard 看全局、thread 看线程、trace 找慢点、watch 看数据。使用它的核心心法只有一条:先用低开销命令定方向,再用高开销命令看细节,且高频命令必须带条件与限次——Arthas 的命令本身有开销,乱用的 watch 会把"排障"变成"新的线上故障"。
开销从哪来要心里有数:Arthas 通过 Java 的 Instrumentation 机制 attach 到目标 JVM,靠字节码增强插入探针代码,全程不需要重启进程、不需要预埋任何代码。探针挂在方法上,方法被调用一次探针就执行一次——“限次、条件、用完即停"三条红线全部从这一个机制推出来,理解了它,安全用法就不需要死记。
排障四板斧:命令地图
| 命令 | 作用 | 典型场景 | 使用风险 |
|---|---|---|---|
| dashboard | 全局概览:线程 / 内存 / GC / RT | 第一眼定方向 | 几乎无 |
| thread | 线程堆栈,-n 取 CPU 前几名 | CPU 飙高、死锁排查 | 低 |
| trace | 方法内部调用链逐层耗时 | 偶现慢、条件性慢 | 高频方法必须加条件与 -n |
| watch | 观察入参 / 返回值 / 异常 | 数据"玄学"问题 | 大对象高频调用开销可感知 |
| jad / sc -d | 反编译 / 查类加载来源 | 改了没生效、依赖冲突 | 只读,低 |
| ognl | 在线调用任意方法 | 手动触发缓存刷新等验证 | 有副作用,先评估再执行 |
这张表的用法是:每次排障从 dashboard 进,按方向选 thread / trace / watch,最后用 jad 验证"线上跑的到底是什么”。跳过第一步直接 watch 高频方法,是最常见的失误。
场景实战:CPU 飙高与接口偶现超时
CPU 飙高
最常见的根因是死循环、正则回溯和频繁 GC。正则回溯的典型写法是嵌套量词配长字符串输入:
// 正则回溯导致 CPU 飙高的典型写法:嵌套量词 + 长字符串输入
Pattern p = Pattern.compile("^([a-z]+)+$"); // 灾难模式,指数级回溯
// 输入越长回溯代价越爆炸,且只在特定入参形态下触发,
// 日常压测很难覆盖,是"平时好好的、某天突然 CPU 满"的经典来源
定位两步走:
# 1. 直接打印 CPU 占用最高的 3 个线程及其堆栈(省去手工 top -Hp + printf 转十六进制)
thread -n 3
# 2. 堆栈直接指向业务代码行;若最高的是 GC 线程,转看 dashboard 的 GC 区块,
# 方向就变成内存泄漏而不是业务死循环
thread 还有几个常用变体:thread --state BLOCKED 一次性列出所有阻塞态线程,死锁排查比逐个翻堆栈快;thread -b 直接找出"阻塞了别人"的线程。CPU 场景之外,线程总数异常膨胀(池子泄漏、无界建线程)也能从 thread 输出的总量行一眼看出异常。
接口偶现超时
trace 输出调用链上每个方法的耗时,一眼找到慢在哪:
trace com.fy.order.OrderService createOrder 'params[0].amount > 10000' -n 5
# 只观察金额大于 10000 的请求,最多触发 5 次后停止
“大额订单才慢"这类条件性慢查询,日志里根本查不到,trace 的条件表达式是唯一低成本抓手。定位到慢方法后再对它单独 trace 一层,直到收敛到具体 SQL 或远程调用——trace 是可以逐层下钻的,每下钻一层范围就缩小一圈。
条件表达式还有几个高频形态。按异常过滤,只盯抛了特定异常的调用——偶现超时里"慢且失败"的样本往往比"慢但成功"的更有定位价值:
# 只观察异常类名含 Timeout 的调用,正常调用不触发探针开销
trace com.fy.order.OrderService createOrder \
'throwExp != null && throwExp.getClass().getName().contains("Timeout")' -n 5
多条件组合能把"哪类请求才慢"一次圈死,比如 params[0].type == 'SAME_CITY' && params[0].amount > 5000,比每次观察完再人工翻输出高效得多。写条件表达式有两个实战注意:一是链式取值遇到 null 会让表达式求值出错,该次调用按不命中处理,表现为 watcher 静默漏抓——挂了半天没输出,先怀疑条件表达式自己失效,稳妥写法是补空值判断;二是展开深度与条件的开销是叠加的,先用严条件把触发次数压到个位数,再加大展开深度看细节,顺序不要反。
场景实战:代码没生效与出入参观察
改的代码没生效
上线后行为不对,第一反应是确认线上跑的到底是不是你以为的代码:
# 反编译线上类,确认部署版本内容
jad com.fy.order.OrderService
# 查看类从哪个 jar 加载,排查依赖冲突
sc -d com.fy.order.OrderService
jad 反编译结果与本地代码对不上,说明版本没发上去或 classpath 冲突——这两类问题占"改了没生效"的绝大多数,比排查业务逻辑优先级更高。sc -d 能直接看到类被哪个 jar 的哪个版本加载,多个 jar 带了同名类时一眼定案。排障时把 sc -d 显示的 jar 版本号与发布系统的构建记录做比对,比在终端里翻文件时间戳靠谱;构建号、jar 版本、jad 反编译出的代码三者对齐,怀疑对象才能从部署链路收敛到业务逻辑本身——排查顺序错了,再聪明也是在错误的假设上空转。
jad 还有一个进阶用法:验证热修复思路。定位到线上代码缺陷但发布窗口未到时,规范路径是:jad 反编译线上版本,在反编译产物上改出修复版;把修复版放到测试环境用 retransform 验证行为符合预期;验证通过再走正常发版流程上生产。这条路径里 jad 全程只读,生产行为零改动,热改字节码只发生在测试环境——它把"修复思路对不对"的验证从"等下个窗口发版见分晓"提前到当下,又不突破生产禁改字节码的红线。反向价值同样成立:如果修复版在测试环境 retransform 后行为仍不符合预期,说明对根因的判断有误,回 watch / trace 重新取证,避免带着错误的修复进入发版流程。
依赖冲突:NoSuchMethodError 的定位路径
一次典型 case:某服务升级依赖后接口批量抛 NoSuchMethodError,报错指向工具库的某个方法,而本地代码里这个方法明明存在。定位三步:sc -d 查该类实际从哪个 jar 加载——输出显示加载自一个旧版本 jar,发布包里带的却是新版本;classloader -l 列出全部 classloader,classloader -c <哈希> 进一步看指定 classloader 的加载路径,确认旧 jar 是被哪个传递依赖拖进来的;jad 反编译实际加载的类,确认该方法签名确实不存在。三步下来证据链完整:线上加载的根本不是你以为的那个 jar。根源几乎都是传递依赖带入了同名类的不同版本,JVM 先加载到谁就用谁,“编译通过、运行报错"的错位全在 classpath 的加载顺序里。Arthas 在这类问题里的价值是把"线上到底加载了哪个版本"从猜测变成一眼可见的事实;排除动作(依赖树治理、剔除传递依赖)仍要走正常构建链路,但它让修复前的取证从小时级缩到分钟级。
观察线上方法的真实出入参
watch 比 debug 断点安全得多,不会暂停服务,但用法必须克制。错误用法与正确用法的区别就在条件与限次:
# 错误用法:无条件观察高频方法,输出洪泛且 watcher 本身开销可感知
watch com.fy.order.OrderService createOrder '{params,returnObj}'
# 每秒上千次调用全被打印,终端刷屏,业务线程被拖慢,
# 排障工具变成了排障对象
# 正确用法:条件表达式 + 展开深度 + 限次,用完即停
watch com.fy.order.OrderService createOrder \
'{params[0], returnObj, throwExp}' \
'params[0].amount > 10000' \
-x 2 -n 3
# -x 2 展开两层对象,-n 3 只看 3 次,看完立即 stop 退出
排查"传参没问题但结果不对"的玄学问题,watch 一次顶十次"加日志重新发版”。
watch 还有一个低开销形态值得单独记:只观察异常调用。
# 只在方法抛异常时触发,正常调用几乎无感,适合"偶现失败"类问题
watch com.fy.order.OrderService createOrder '{params[0], throwExp}' 'throwExp != null' -n 5
异常触发条件下,watcher 平时几乎零消耗,只在真正出事的调用上产生开销,是"偶现失败"类问题里条件表达式性价比最高的用法——比盯着全量调用找异常省一个数量级的开销。
性能开销与生产使用时机
Arthas 的开销分两块,量级差很大。一次性开销在 attach:字节码增强发生一次,之后探针常驻,但只有被 watch / trace 过的方法才被增强,没碰过的类零开销。持续性开销在探针执行:方法每次被调用,探针都同步跑一遍——取数、匹配条件、格式化输出全发生在业务线程里,高频方法上无条件的 watch 开销可感知,这正是"条件与限次"两条红线的技术根源。体感量级供参考:低频接口(每秒个位数调用)无条件 watch 几乎无感;每秒上千次调用的核心接口不设条件直接 watch,RT 毛刺肉眼可见,排障工具自己成了故障源。
生产使用时机可以收敛成一个判断:这个信息能不能用更低开销的命令拿到? dashboard、thread、日志能定方向,就不上 trace / watch;必须上时,选流量最低的实例、避开业务高峰、加条件与限次,多实例部署优先在摘了流量的实例上操作。时序上还有一条:问题正在线上复现时才是观察窗口,现场消失后 attach 意义骤降——偶现问题等不起临时申请权限,这是团队把常用命令背熟、attach 权限预授的原因,工具的响应速度决定能不能赶上现场。收尾必须 stop 而不只是断开会话:stop 会卸载增强过的字节码让探针开销归零,只断开会话的话,探针可能还挂在方法上继续消耗。
使用红线
- 生产慎用重度命令:
watch/trace大对象、高频方法有可感知的性能开销,务必加条件表达式与-n限次,用完stop退出; redefine/retransform热改字节码只允许在测试环境用,生产改字节码等于一次无灰度的隐形发版——改了什么、谁改的、怎么回滚,三个问题都答不上来就不能动;ognl可以直接调用线上方法做验证(比如手动触发一次缓存刷新),调用前先评估副作用:这个方法是否幂等、会不会触发下游调用、失败会留下什么状态;- Arthas 会话要有出口:排障结束确认没有遗留的 watcher/monitor 在跑,
stop是收尾动作,不是可选项; - 排障结论要回填到工单:根因、用过的命令与条件表达式、后续修复动作三要素留档——Arthas 的会话是临时的,不留档的排障等于没有发生,下次同类问题还得从零再来。
一句话收尾:Arthas 的价值是把"加日志 → 发版 → 复现 → 再加日志"的循环,压缩成几条在线命令。
生产案例
一次线上告警:某服务 CPU 利用率持续高位,接口批量超时,但发布窗口已过、重启方案被否。接手后第一条命令 thread -n 3,堆栈直接落在工具类的正则校验方法上——一个用于校验活动描述的 ^([a-z]+)+$ 模式,正在处理一段被活动页拼进来的超长字符串,嵌套量词触发指数级回溯,几个线程同时卡死在这里把 CPU 吃满。全程没有发版没有重启:先 jad 确认线上确实是这个版本的类,再用 watch 打出触发回溯的入参形态,业务侧加上入参长度上限并调整正则结构后恢复。从接手到定位根因在一次会话内完成,排障期间服务始终在线。正则回溯这类"代码看起来无害、特定入参才爆炸"的根因,后来也进了团队的代码评审检查项,与本次沉淀的命令规约一起写进了排障手册第一页。这次之后团队把两条规约挂到了 Arthas 使用文档最前面:生产 watch/trace 必须带条件与 -n;定位"改了没生效"类问题,第一步永远是 jad 而不是读代码。
检查清单
- 排障从 dashboard 开始定方向,不直接上 watch / trace
- 生产环境 watch / trace 一律带条件表达式与 -n 限次,用完 stop 退出
- “改了没生效"类问题的第一步是 jad + sc -d,确认线上类与加载来源
- 正则规则上线前评估回溯风险,嵌套量词配长输入的组合重点审查
- 团队明确 redefine / retransform 禁止在生产使用
- ognl 调用线上方法前评估过幂等性与副作用
- 每次排障收尾检查无遗留 watcher / monitor 在后台运行
- 条件表达式里的链式取值考虑空值,watcher 无输出先怀疑条件自身失效
- 生产观察选低峰与摘流量的实例,收尾用 stop 卸载探针,而非仅断开会话