Linux 性能调优：perf_events + bpftrace + BCC

线上服务器性能问题排查的核心思路是 USE 法：先看每个资源的 Utilization（利用率）、Saturation（饱和度）、Errors（错误数），再用对应工具深入。本文介绍三大主流工具。

perf_events：CPU 级热点分析

perf 基于 CPU PMU 硬件计数器，开销极低（~2%）。99Hz 采样避开调度周期整倍数获取真实分布。perf stat 看 cache miss、分支预测失败宏观指标；perf record + FlameGraph 生成交互式火焰图。

#!/usr/bin/env bash
set -euo pipefail
LOG=perf-report-$(date +%Y%m%d-%H%M).log
exec > >(tee -a "$LOG") 2>&1

echo "===== [1] CPU TOP functions 30s ====="
perf record -F 99 -a -g -- sleep 30
perf report --stdio -n --sort comm,dso,symbol | head -60
# perf script | FlameGraph/stackcollapse-perf.pl | flamegraph.pl > cpu-flame.svg

echo "\n===== [2] perf stat system-wide ====="
perf stat -a -d -- sleep 10
# 关注 context-switches, cache-misses 比率, stalled-cycles-frontend

echo "\n===== [3] bpftrace: block IO size distribution by comm ====="
bpftrace -e '
tracepoint:block:block_rq_issue { @[comm, args->rwbs[0]] = hist(args->bytes); }
interval:s:15 { printf("\n=== 15s IO hist by process ===\n"); print(@); clear(@); exit(); }
' 2>&1 | head -40 || true

echo "\n===== [4] bpftrace: TCP active connect trace ====="
bpftrace -e '
kprobe:tcp_connect { printf("PID %d (%s) -> %s\n", pid, comm, ntop(args->family, args->daddr)); }
' -c 'curl -s https://example.com >/dev/null' 2>&1 | head -20 || true

echo "\n===== [5] BCC biolatency + tcplife ====="
/usr/share/bcc/tools/biolatency -mF 1 5 || true
# /usr/share/bcc/tools/offcputime -df 5 1 > offcpu.stacks
timeout 15 /usr/share/bcc/tools/tcplife -L -T 2>/dev/null | head -40 || true

echo "\n===== [6] snapshot vmstat slabtop sar ====="
vmstat 1 5
echo "--- slab top ---"
slabtop -o -s c | head -25 || true
echo "--- THP check ---"
grep -E "AnonHugePages|HugePages_Total" /proc/meminfo || true
echo "\nSaved to: $LOG"

bpftrace / BCC：内核事件追踪

eBPF 可在内核函数、tracepoint、USDT 探针挂载自定义 C 程序，安全沙箱化运行。bpftrace 适合一行脚本速查；BCC 是预编译好的 200+ 常用工具，biolatency、offcputime、tcplife 是 IO/阻塞/网络延迟三板斧。

资源维度	宏观指标（一眼定位）	微观诊断工具（深入分析）
CPU	top/vmstat us,sy,wa,st	perf record + FlameGraph
调度延迟	/proc/schedstat pidstat -w	BCC runqlat bpftrace sched_switch
内存	free/vmstat si,so sar -r	BCC memleak perf kmem slabtop
磁盘IO	iostat -xz await/util%	BCC biolatency bpftrace block_rq_*
网络延迟	ss -ti/sar -n TCP,ETCP	BCC tcplife bpftrace tcp:probe