core,test: mem-bench харнес замера памяти (MemoryBench + membench.sh + mise task)
This commit is contained in:
Executable
+126
@@ -0,0 +1,126 @@
|
||||
#!/bin/sh
|
||||
# Замер памяти конвейера конвертации: пики кучи на конвертацию (TSV из MemoryBench)
|
||||
# + топ аллокаций по JFR (jdk.ObjectAllocationSample). Методика и числа —
|
||||
# docs/MEM_USAGE_UPGRADE.md.
|
||||
#
|
||||
# Вход: env MB_LABEL — метка прогона (before/after/f1…, файл JFR per-label);
|
||||
# env MB_JAVA_OPTS — доп. флаги JVM ПОСЛЕ дефолтных (переопределение Xmx/GC
|
||||
# для матрицы флагов; при -Xmx меньше дефолтного дефолт просто заменяется);
|
||||
# аргументы проходят в MemoryBench: --scenario suite|big|all|, --loops N,
|
||||
# --big-loops N, --dir PATH (реальные документы, напр. develop/).
|
||||
#
|
||||
# Пример: MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-before.txt
|
||||
set -eu
|
||||
|
||||
cd "$(dirname "$0")"
|
||||
|
||||
LABEL=${MB_LABEL:-run}
|
||||
|
||||
mvn -q -pl wordpdf-core test-compile
|
||||
CPFILE=$PWD/wordpdf-core/target/cp.txt
|
||||
if [ ! -f "$CPFILE" ] || [ wordpdf-core/pom.xml -nt "$CPFILE" ]; then
|
||||
mvn -q -pl wordpdf-core org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
|
||||
-Dmdep.outputFile="$CPFILE" -Dmdep.includeScope=test
|
||||
fi
|
||||
|
||||
JFR=$PWD/wordpdf-core/target/membench-$LABEL.jfr
|
||||
GCLOG=$PWD/wordpdf-core/target/membench-$LABEL.gc.log
|
||||
ERRLOG=$PWD/wordpdf-core/target/membench-$LABEL.err
|
||||
printf '# git %s\n' "$(git rev-parse HEAD)"
|
||||
printf '# date %s\n' "$(date -u +%FT%TZ)"
|
||||
printf '# MB_JAVA_OPTS=%s\n' "${MB_JAVA_OPTS:-}"
|
||||
|
||||
# MB_JAVA_OPTS без кавычек — намеренно: несколько флагов одним словом пользователя.
|
||||
# shellcheck disable=SC2086
|
||||
java -Xms64m -Xmx2g -XX:+UseG1GC -Djava.awt.headless=true \
|
||||
-Xlog:gc*=info,gc+heap=debug:file=$GCLOG \
|
||||
${MB_JAVA_OPTS:-} \
|
||||
-XX:StartFlightRecording=filename=$JFR,settings=profile,maxsize=0,loglevel=error \
|
||||
-cp "wordpdf-core/target/classes:wordpdf-core/target/test-classes:$(cat "$CPFILE")" \
|
||||
ru.pjandro.wordpdf.MemoryBench "$@" 2>"$ERRLOG"
|
||||
|
||||
# --- аллокации по GC-логу (абсолютная оценка) -----------------------------------
|
||||
# allocated ≈ выметенный Eden + выметенные humongous-области (G1); max-live —
|
||||
# максимум heap после пауз (тренд накопления); паузы — число/сумма.
|
||||
# awk — портативный (mawk/gawk): без 3-аргументного match().
|
||||
echo
|
||||
awk '
|
||||
/Region Size:/ {
|
||||
for (i = 1; i <= NF; i++) { if ($i ~ /^[0-9]+M$/) { tok = $i; sub(/M$/, "", tok); rs = tok + 0 } }
|
||||
}
|
||||
/Eden regions:/ {
|
||||
for (i = 1; i <= NF; i++) {
|
||||
if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); eden += (a[1] - a[2]) * rs }
|
||||
}
|
||||
}
|
||||
/Humongous regions:/ {
|
||||
for (i = 1; i <= NF; i++) {
|
||||
if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); hum += (a[1] - a[2]) * rs }
|
||||
}
|
||||
}
|
||||
/Pause (Young|Full)/ && /M->/ {
|
||||
pauses++
|
||||
tail = $NF; if (tail ~ /[0-9]ms$/) { sub(/ms$/, "", tail); ptime += tail }
|
||||
for (i = 1; i <= NF; i++) {
|
||||
if ($i ~ /^[0-9]+M->[0-9]+M/) {
|
||||
v = $i; sub(/\(.*/, "", v); split(v, m, "->")
|
||||
if (m[2] + 0 > maxlive) { maxlive = m[2] + 0 }
|
||||
}
|
||||
}
|
||||
}
|
||||
END {
|
||||
printf "gc-summary allocated-estimate=%dMB max-live-after-gc=%dMB pauses=%d pause-total=%dms\n",
|
||||
eden + hum, maxlive, pauses, ptime
|
||||
}
|
||||
' "$GCLOG"
|
||||
|
||||
# --- агрегация аллокаций из JFR -------------------------------------------------
|
||||
TOPF=$(mktemp); APPF=$(mktemp)
|
||||
trap 'rm -f "$TOPF" "$APPF"' EXIT
|
||||
|
||||
jfr print --events jdk.ObjectAllocationSample "$JFR" | awk \
|
||||
-v TOPF="$TOPF" -v APPF="$APPF" '
|
||||
function framekey(line, k) {
|
||||
k = line
|
||||
sub(/^[ \t]+/, "", k)
|
||||
sub(/ line: [0-9]+$/, "", k)
|
||||
return k
|
||||
}
|
||||
function cls(key, c) {
|
||||
c = key
|
||||
sub(/ ?\(.*$/, "", c)
|
||||
sub(/^[^ ]*\//, "", c)
|
||||
return c
|
||||
}
|
||||
/^ *weight = / { w = $3 + 0 }
|
||||
/^ *stackTrace = \[/ { instk = 1; nf = 0; next }
|
||||
instk == 1 && /^ *\]/ {
|
||||
instk = 0
|
||||
if (nf == 0) { next }
|
||||
top = fr[1]
|
||||
app = ""
|
||||
for (i = 1; i <= nf; i++) {
|
||||
c = cls(fr[i])
|
||||
if (c !~ /^(java|javax|jdk|sun|com\.sun|org\.apache|org\.docx4j|org\.springframework|org\.springdoc|org\.w3c|org\.xml|net\.sf|org\.jeuclid|org\.slf4j|ch\.qos)/) {
|
||||
app = fr[i]
|
||||
break
|
||||
}
|
||||
}
|
||||
wsum[top] += w
|
||||
if (app != "") { asum[app] += w }
|
||||
next
|
||||
}
|
||||
instk == 1 { nf++; fr[nf] = framekey($0) }
|
||||
END {
|
||||
for (k in wsum) { print wsum[k] "\t" k > TOPF }
|
||||
for (k in asum) { print asum[k] "\t" k > APPF }
|
||||
}
|
||||
'
|
||||
|
||||
echo
|
||||
printf '===== top-frames: суммарный вес аллокаций, байт (JFR profile, оценка) — label %s =====\n' "$LABEL"
|
||||
sort -rn "$TOPF" | head -15
|
||||
printf '===== alloc-total: %s байт\n' "$(awk '{s+=$1} END {printf "%.0f", s}' "$TOPF")"
|
||||
echo
|
||||
printf '===== app-sites: аллокации с первым кадром из приложения (attribution) =====\n'
|
||||
sort -rn "$APPF" | head -15
|
||||
Reference in New Issue
Block a user