#!/bin/sh # Замер памяти конвейера конвертации: пики кучи на конвертацию (TSV из MemoryBench) # + топ аллокаций по JFR (jdk.ObjectAllocationSample). Методика и числа — # docs/MEM_USAGE_UPGRADE.md. # # Вход: env MB_LABEL — метка прогона (before/after/f1…, файл JFR per-label); # env MB_JAVA_OPTS — доп. флаги JVM ПОСЛЕ дефолтных (переопределение Xmx/GC # для матрицы флагов; при -Xmx меньше дефолтного дефолт просто заменяется; # для смены GC нужен и выключатель дефолта: "-XX:-UseG1GC -XX:+UseSerialGC", # иначе JVM падает на старте с "Multiple garbage collectors selected"); # аргументы проходят в MemoryBench: --scenario suite|big|all|, --loops N, # --big-loops N, --dir PATH (реальные документы, напр. develop/). # # Пример: MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-before.txt set -eu cd "$(dirname "$0")" LABEL=${MB_LABEL:-run} mvn -q -pl wordpdf-core test-compile CPFILE=$PWD/wordpdf-core/target/cp.txt if [ ! -f "$CPFILE" ] || [ wordpdf-core/pom.xml -nt "$CPFILE" ]; then mvn -q -pl wordpdf-core org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \ -Dmdep.outputFile="$CPFILE" -Dmdep.includeScope=test fi JFR=$PWD/wordpdf-core/target/membench-$LABEL.jfr GCLOG=$PWD/wordpdf-core/target/membench-$LABEL.gc.log ERRLOG=$PWD/wordpdf-core/target/membench-$LABEL.err printf '# git %s\n' "$(git rev-parse HEAD)" printf '# date %s\n' "$(date -u +%FT%TZ)" printf '# MB_JAVA_OPTS=%s\n' "${MB_JAVA_OPTS:-}" # MB_JAVA_OPTS без кавычек — намеренно: несколько флагов одним словом пользователя. # shellcheck disable=SC2086 java -Xms64m -Xmx2g -XX:+UseG1GC -Djava.awt.headless=true \ -Xlog:gc*=info,gc+heap=debug:file=$GCLOG \ ${MB_JAVA_OPTS:-} \ -XX:StartFlightRecording=filename=$JFR,settings=profile,maxsize=0,loglevel=error \ -cp "wordpdf-core/target/classes:wordpdf-core/target/test-classes:$(cat "$CPFILE")" \ ru.pjandro.wordpdf.MemoryBench "$@" 2>"$ERRLOG" # --- аллокации по GC-логу (абсолютная оценка) ----------------------------------- # allocated ≈ выметенный Eden + выметенные humongous-области (G1); max-live — # максимум heap после пауз (тренд накопления); паузы — число/сумма. # awk — портативный (mawk/gawk): без 3-аргументного match(). echo awk ' /Region Size:/ { for (i = 1; i <= NF; i++) { if ($i ~ /^[0-9]+M$/) { tok = $i; sub(/M$/, "", tok); rs = tok + 0 } } } /Eden regions:/ { for (i = 1; i <= NF; i++) { if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); eden += (a[1] - a[2]) * rs } } } /Humongous regions:/ { for (i = 1; i <= NF; i++) { if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); hum += (a[1] - a[2]) * rs } } } /Pause (Young|Full)/ && /M->/ { pauses++ tail = $NF; if (tail ~ /[0-9]ms$/) { sub(/ms$/, "", tail); ptime += tail } for (i = 1; i <= NF; i++) { if ($i ~ /^[0-9]+M->[0-9]+M/) { v = $i; sub(/\(.*/, "", v); split(v, m, "->") if (m[2] + 0 > maxlive) { maxlive = m[2] + 0 } } } } END { printf "gc-summary allocated-estimate=%dMB max-live-after-gc=%dMB pauses=%d pause-total=%dms\n", eden + hum, maxlive, pauses, ptime } ' "$GCLOG" # --- агрегация аллокаций из JFR ------------------------------------------------- TOPF=$(mktemp); APPF=$(mktemp) trap 'rm -f "$TOPF" "$APPF"' EXIT jfr print --events jdk.ObjectAllocationSample "$JFR" | awk \ -v TOPF="$TOPF" -v APPF="$APPF" ' function framekey(line, k) { k = line sub(/^[ \t]+/, "", k) sub(/ line: [0-9]+$/, "", k) return k } function cls(key, c) { c = key sub(/ ?\(.*$/, "", c) sub(/^[^ ]*\//, "", c) return c } /^ *weight = / { w = $3 + 0 } /^ *stackTrace = \[/ { instk = 1; nf = 0; next } instk == 1 && /^ *\]/ { instk = 0 if (nf == 0) { next } top = fr[1] app = "" for (i = 1; i <= nf; i++) { c = cls(fr[i]) if (c !~ /^(java|javax|jdk|sun|com\.sun|org\.apache|org\.docx4j|org\.springframework|org\.springdoc|org\.w3c|org\.xml|net\.sf|org\.slf4j|ch\.qos)/) { app = fr[i] break } } wsum[top] += w if (app != "") { asum[app] += w } next } instk == 1 { nf++; fr[nf] = framekey($0) } END { for (k in wsum) { print wsum[k] "\t" k > TOPF } for (k in asum) { print asum[k] "\t" k > APPF } } ' echo printf '===== top-frames: суммарный вес аллокаций, байт (JFR profile, оценка) — label %s =====\n' "$LABEL" sort -rn "$TOPF" | head -15 printf '===== alloc-total: %s байт\n' "$(awk '{s+=$1} END {printf "%.0f", s}' "$TOPF")" echo printf '===== app-sites: аллокации с первым кадром из приложения (attribution) =====\n' sort -rn "$APPF" | head -15