diff --git a/membench.sh b/membench.sh new file mode 100755 index 0000000..c411f4f --- /dev/null +++ b/membench.sh @@ -0,0 +1,126 @@ +#!/bin/sh +# Замер памяти конвейера конвертации: пики кучи на конвертацию (TSV из MemoryBench) +# + топ аллокаций по JFR (jdk.ObjectAllocationSample). Методика и числа — +# docs/MEM_USAGE_UPGRADE.md. +# +# Вход: env MB_LABEL — метка прогона (before/after/f1…, файл JFR per-label); +# env MB_JAVA_OPTS — доп. флаги JVM ПОСЛЕ дефолтных (переопределение Xmx/GC +# для матрицы флагов; при -Xmx меньше дефолтного дефолт просто заменяется); +# аргументы проходят в MemoryBench: --scenario suite|big|all|, --loops N, +# --big-loops N, --dir PATH (реальные документы, напр. develop/). +# +# Пример: MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-before.txt +set -eu + +cd "$(dirname "$0")" + +LABEL=${MB_LABEL:-run} + +mvn -q -pl wordpdf-core test-compile +CPFILE=$PWD/wordpdf-core/target/cp.txt +if [ ! -f "$CPFILE" ] || [ wordpdf-core/pom.xml -nt "$CPFILE" ]; then + mvn -q -pl wordpdf-core org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \ + -Dmdep.outputFile="$CPFILE" -Dmdep.includeScope=test +fi + +JFR=$PWD/wordpdf-core/target/membench-$LABEL.jfr +GCLOG=$PWD/wordpdf-core/target/membench-$LABEL.gc.log +ERRLOG=$PWD/wordpdf-core/target/membench-$LABEL.err +printf '# git %s\n' "$(git rev-parse HEAD)" +printf '# date %s\n' "$(date -u +%FT%TZ)" +printf '# MB_JAVA_OPTS=%s\n' "${MB_JAVA_OPTS:-}" + +# MB_JAVA_OPTS без кавычек — намеренно: несколько флагов одним словом пользователя. +# shellcheck disable=SC2086 +java -Xms64m -Xmx2g -XX:+UseG1GC -Djava.awt.headless=true \ + -Xlog:gc*=info,gc+heap=debug:file=$GCLOG \ + ${MB_JAVA_OPTS:-} \ + -XX:StartFlightRecording=filename=$JFR,settings=profile,maxsize=0,loglevel=error \ + -cp "wordpdf-core/target/classes:wordpdf-core/target/test-classes:$(cat "$CPFILE")" \ + ru.pjandro.wordpdf.MemoryBench "$@" 2>"$ERRLOG" + +# --- аллокации по GC-логу (абсолютная оценка) ----------------------------------- +# allocated ≈ выметенный Eden + выметенные humongous-области (G1); max-live — +# максимум heap после пауз (тренд накопления); паузы — число/сумма. +# awk — портативный (mawk/gawk): без 3-аргументного match(). +echo +awk ' +/Region Size:/ { + for (i = 1; i <= NF; i++) { if ($i ~ /^[0-9]+M$/) { tok = $i; sub(/M$/, "", tok); rs = tok + 0 } } +} +/Eden regions:/ { + for (i = 1; i <= NF; i++) { + if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); eden += (a[1] - a[2]) * rs } + } +} +/Humongous regions:/ { + for (i = 1; i <= NF; i++) { + if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); hum += (a[1] - a[2]) * rs } + } +} +/Pause (Young|Full)/ && /M->/ { + pauses++ + tail = $NF; if (tail ~ /[0-9]ms$/) { sub(/ms$/, "", tail); ptime += tail } + for (i = 1; i <= NF; i++) { + if ($i ~ /^[0-9]+M->[0-9]+M/) { + v = $i; sub(/\(.*/, "", v); split(v, m, "->") + if (m[2] + 0 > maxlive) { maxlive = m[2] + 0 } + } + } +} +END { + printf "gc-summary allocated-estimate=%dMB max-live-after-gc=%dMB pauses=%d pause-total=%dms\n", + eden + hum, maxlive, pauses, ptime +} +' "$GCLOG" + +# --- агрегация аллокаций из JFR ------------------------------------------------- +TOPF=$(mktemp); APPF=$(mktemp) +trap 'rm -f "$TOPF" "$APPF"' EXIT + +jfr print --events jdk.ObjectAllocationSample "$JFR" | awk \ + -v TOPF="$TOPF" -v APPF="$APPF" ' +function framekey(line, k) { + k = line + sub(/^[ \t]+/, "", k) + sub(/ line: [0-9]+$/, "", k) + return k +} +function cls(key, c) { + c = key + sub(/ ?\(.*$/, "", c) + sub(/^[^ ]*\//, "", c) + return c +} +/^ *weight = / { w = $3 + 0 } +/^ *stackTrace = \[/ { instk = 1; nf = 0; next } +instk == 1 && /^ *\]/ { + instk = 0 + if (nf == 0) { next } + top = fr[1] + app = "" + for (i = 1; i <= nf; i++) { + c = cls(fr[i]) + if (c !~ /^(java|javax|jdk|sun|com\.sun|org\.apache|org\.docx4j|org\.springframework|org\.springdoc|org\.w3c|org\.xml|net\.sf|org\.jeuclid|org\.slf4j|ch\.qos)/) { + app = fr[i] + break + } + } + wsum[top] += w + if (app != "") { asum[app] += w } + next +} +instk == 1 { nf++; fr[nf] = framekey($0) } +END { + for (k in wsum) { print wsum[k] "\t" k > TOPF } + for (k in asum) { print asum[k] "\t" k > APPF } +} +' + +echo +printf '===== top-frames: суммарный вес аллокаций, байт (JFR profile, оценка) — label %s =====\n' "$LABEL" +sort -rn "$TOPF" | head -15 +printf '===== alloc-total: %s байт\n' "$(awk '{s+=$1} END {printf "%.0f", s}' "$TOPF")" +echo +printf '===== app-sites: аллокации с первым кадром из приложения (attribution) =====\n' +sort -rn "$APPF" | head -15 diff --git a/mise.toml b/mise.toml index e714a24..bdd62d3 100644 --- a/mise.toml +++ b/mise.toml @@ -18,6 +18,10 @@ run = "mvn clean verify" description = "mvn clean verify в контейнере без fontconfig (гейт, которым живёт CI; verify — хост-гейт без контейнера)" run = "podman build -f Containerfile.test ." +[tasks.mem-bench] +description = "Замер памяти конвейера: TSV пиков кучи + топ аллокаций JFR (docs/MEM_USAGE_UPGRADE.md)" +run = "sh membench.sh" + [tasks.app-package] description = "Исполняемый jar бэкенда" run = "mvn -pl wordpdf-app -am package" diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/MemoryBench.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/MemoryBench.java new file mode 100644 index 0000000..ab6ebf1 --- /dev/null +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/MemoryBench.java @@ -0,0 +1,275 @@ +package ru.pjandro.wordpdf; + +import java.io.ByteArrayInputStream; +import java.io.ByteArrayOutputStream; +import java.io.IOException; +import java.io.InputStream; +import java.lang.management.ManagementFactory; +import java.lang.management.MemoryPoolMXBean; +import java.lang.management.MemoryType; +import java.net.URISyntaxException; +import java.net.URL; +import java.nio.charset.StandardCharsets; +import java.nio.file.Files; +import java.nio.file.Path; +import java.nio.file.Paths; +import java.util.LinkedHashMap; +import java.util.Locale; +import java.util.Map; +import java.util.TreeMap; +import java.util.stream.Stream; +import java.util.zip.ZipEntry; +import java.util.zip.ZipInputStream; +import java.util.zip.ZipOutputStream; + +/** + * Замер памяти конвейера (НЕ тест: имя не матчается surefire-includes; запускается + * {@code ./mise.sh run mem-bench} — см. {@code membench.sh} и + * {@code docs/MEM_USAGE_UPGRADE.md}). + * + *
Для каждой конвертации печатает строку TSV {@code label scenario name iteration + * peakBytes usedAfterBytes}: peakBytes — сумма пиков used всех heap-пулов + * ({@link MemoryPoolMXBean}, пики сбрасываются перед конвертацией), usedAfterBytes — + * used кучи сразу после конвертации без принудительного GC (тренд накопления; + * {@code System.gc()} намеренно не вызывается). Суммарные аллокации и RSS не здесь: + * JFR-{@code jdk.ObjectAllocationSample} пишет скрипт, VmHWM/VmRSS читаются из + * {@code /proc/self/status} в конце сценария.
+ * + *Артефакт замера «до/после»: сравнение делает человек по выводам прогонов + * с разными {@code MB_LABEL}; порогов внутри харнеса нет.
+ */ +final class MemoryBench { + + /** Лимиты входа завышены: валидатор не должен отсекать big-сценарий. */ + private static final ConvertOptions OPTIONS = + new ConvertOptions(false, false, false, 1024L, 1_000_000); + + /** Минимально допустимое значение циклов/повторов из аргументов. */ + private static final int MIN_POSITIVE = 1; + /** Повторов body в синтетическом big-docx (детерминированный размер входа). */ + private static final int BODY_REPEATS = 400; + + private MemoryBench() { + } + + public static void main(String[] args) throws Exception { + String label = env("MB_LABEL", "run"); + int loops = 10; + int bigLoops = 5; + String scenario = "all"; + String dir = null; + int i = 0; + while (i < args.length) { + String a = args[i]; + if ("--loops".equals(a)) { + loops = parsePositive(args, i); + i += 2; + } else if ("--big-loops".equals(a)) { + bigLoops = parsePositive(args, i); + i += 2; + } else if ("--scenario".equals(a)) { + scenario = args[i + 1]; + i += 2; + } else if ("--dir".equals(a)) { + dir = args[i + 1]; + i += 2; + } else { + System.out.printf(Locale.ROOT, "# unknown arg: %s%n", a); + System.exit(2); + } + } + + System.out.printf(Locale.ROOT, "# java.version %s%n", + System.getProperty("java.version")); + + if ("suite".equals(scenario) || "all".equals(scenario)) { + runConversions(label, "suite", fixtures(), loops); + } + if ("big".equals(scenario) || "all".equals(scenario)) { + byte[] base = readResource("samples/ru-plain.docx"); + byte[] big = bigDocx(base); + System.out.printf(Locale.ROOT, "# big size %d%n", big.length); + Map