diff --git a/membench.sh b/membench.sh new file mode 100755 index 0000000..c411f4f --- /dev/null +++ b/membench.sh @@ -0,0 +1,126 @@ +#!/bin/sh +# Замер памяти конвейера конвертации: пики кучи на конвертацию (TSV из MemoryBench) +# + топ аллокаций по JFR (jdk.ObjectAllocationSample). Методика и числа — +# docs/MEM_USAGE_UPGRADE.md. +# +# Вход: env MB_LABEL — метка прогона (before/after/f1…, файл JFR per-label); +# env MB_JAVA_OPTS — доп. флаги JVM ПОСЛЕ дефолтных (переопределение Xmx/GC +# для матрицы флагов; при -Xmx меньше дефолтного дефолт просто заменяется); +# аргументы проходят в MemoryBench: --scenario suite|big|all|, --loops N, +# --big-loops N, --dir PATH (реальные документы, напр. develop/). +# +# Пример: MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-before.txt +set -eu + +cd "$(dirname "$0")" + +LABEL=${MB_LABEL:-run} + +mvn -q -pl wordpdf-core test-compile +CPFILE=$PWD/wordpdf-core/target/cp.txt +if [ ! -f "$CPFILE" ] || [ wordpdf-core/pom.xml -nt "$CPFILE" ]; then + mvn -q -pl wordpdf-core org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \ + -Dmdep.outputFile="$CPFILE" -Dmdep.includeScope=test +fi + +JFR=$PWD/wordpdf-core/target/membench-$LABEL.jfr +GCLOG=$PWD/wordpdf-core/target/membench-$LABEL.gc.log +ERRLOG=$PWD/wordpdf-core/target/membench-$LABEL.err +printf '# git %s\n' "$(git rev-parse HEAD)" +printf '# date %s\n' "$(date -u +%FT%TZ)" +printf '# MB_JAVA_OPTS=%s\n' "${MB_JAVA_OPTS:-}" + +# MB_JAVA_OPTS без кавычек — намеренно: несколько флагов одним словом пользователя. +# shellcheck disable=SC2086 +java -Xms64m -Xmx2g -XX:+UseG1GC -Djava.awt.headless=true \ + -Xlog:gc*=info,gc+heap=debug:file=$GCLOG \ + ${MB_JAVA_OPTS:-} \ + -XX:StartFlightRecording=filename=$JFR,settings=profile,maxsize=0,loglevel=error \ + -cp "wordpdf-core/target/classes:wordpdf-core/target/test-classes:$(cat "$CPFILE")" \ + ru.pjandro.wordpdf.MemoryBench "$@" 2>"$ERRLOG" + +# --- аллокации по GC-логу (абсолютная оценка) ----------------------------------- +# allocated ≈ выметенный Eden + выметенные humongous-области (G1); max-live — +# максимум heap после пауз (тренд накопления); паузы — число/сумма. +# awk — портативный (mawk/gawk): без 3-аргументного match(). +echo +awk ' +/Region Size:/ { + for (i = 1; i <= NF; i++) { if ($i ~ /^[0-9]+M$/) { tok = $i; sub(/M$/, "", tok); rs = tok + 0 } } +} +/Eden regions:/ { + for (i = 1; i <= NF; i++) { + if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); eden += (a[1] - a[2]) * rs } + } +} +/Humongous regions:/ { + for (i = 1; i <= NF; i++) { + if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); hum += (a[1] - a[2]) * rs } + } +} +/Pause (Young|Full)/ && /M->/ { + pauses++ + tail = $NF; if (tail ~ /[0-9]ms$/) { sub(/ms$/, "", tail); ptime += tail } + for (i = 1; i <= NF; i++) { + if ($i ~ /^[0-9]+M->[0-9]+M/) { + v = $i; sub(/\(.*/, "", v); split(v, m, "->") + if (m[2] + 0 > maxlive) { maxlive = m[2] + 0 } + } + } +} +END { + printf "gc-summary allocated-estimate=%dMB max-live-after-gc=%dMB pauses=%d pause-total=%dms\n", + eden + hum, maxlive, pauses, ptime +} +' "$GCLOG" + +# --- агрегация аллокаций из JFR ------------------------------------------------- +TOPF=$(mktemp); APPF=$(mktemp) +trap 'rm -f "$TOPF" "$APPF"' EXIT + +jfr print --events jdk.ObjectAllocationSample "$JFR" | awk \ + -v TOPF="$TOPF" -v APPF="$APPF" ' +function framekey(line, k) { + k = line + sub(/^[ \t]+/, "", k) + sub(/ line: [0-9]+$/, "", k) + return k +} +function cls(key, c) { + c = key + sub(/ ?\(.*$/, "", c) + sub(/^[^ ]*\//, "", c) + return c +} +/^ *weight = / { w = $3 + 0 } +/^ *stackTrace = \[/ { instk = 1; nf = 0; next } +instk == 1 && /^ *\]/ { + instk = 0 + if (nf == 0) { next } + top = fr[1] + app = "" + for (i = 1; i <= nf; i++) { + c = cls(fr[i]) + if (c !~ /^(java|javax|jdk|sun|com\.sun|org\.apache|org\.docx4j|org\.springframework|org\.springdoc|org\.w3c|org\.xml|net\.sf|org\.jeuclid|org\.slf4j|ch\.qos)/) { + app = fr[i] + break + } + } + wsum[top] += w + if (app != "") { asum[app] += w } + next +} +instk == 1 { nf++; fr[nf] = framekey($0) } +END { + for (k in wsum) { print wsum[k] "\t" k > TOPF } + for (k in asum) { print asum[k] "\t" k > APPF } +} +' + +echo +printf '===== top-frames: суммарный вес аллокаций, байт (JFR profile, оценка) — label %s =====\n' "$LABEL" +sort -rn "$TOPF" | head -15 +printf '===== alloc-total: %s байт\n' "$(awk '{s+=$1} END {printf "%.0f", s}' "$TOPF")" +echo +printf '===== app-sites: аллокации с первым кадром из приложения (attribution) =====\n' +sort -rn "$APPF" | head -15 diff --git a/mise.toml b/mise.toml index e714a24..bdd62d3 100644 --- a/mise.toml +++ b/mise.toml @@ -18,6 +18,10 @@ run = "mvn clean verify" description = "mvn clean verify в контейнере без fontconfig (гейт, которым живёт CI; verify — хост-гейт без контейнера)" run = "podman build -f Containerfile.test ." +[tasks.mem-bench] +description = "Замер памяти конвейера: TSV пиков кучи + топ аллокаций JFR (docs/MEM_USAGE_UPGRADE.md)" +run = "sh membench.sh" + [tasks.app-package] description = "Исполняемый jar бэкенда" run = "mvn -pl wordpdf-app -am package" diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/MemoryBench.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/MemoryBench.java new file mode 100644 index 0000000..ab6ebf1 --- /dev/null +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/MemoryBench.java @@ -0,0 +1,275 @@ +package ru.pjandro.wordpdf; + +import java.io.ByteArrayInputStream; +import java.io.ByteArrayOutputStream; +import java.io.IOException; +import java.io.InputStream; +import java.lang.management.ManagementFactory; +import java.lang.management.MemoryPoolMXBean; +import java.lang.management.MemoryType; +import java.net.URISyntaxException; +import java.net.URL; +import java.nio.charset.StandardCharsets; +import java.nio.file.Files; +import java.nio.file.Path; +import java.nio.file.Paths; +import java.util.LinkedHashMap; +import java.util.Locale; +import java.util.Map; +import java.util.TreeMap; +import java.util.stream.Stream; +import java.util.zip.ZipEntry; +import java.util.zip.ZipInputStream; +import java.util.zip.ZipOutputStream; + +/** + * Замер памяти конвейера (НЕ тест: имя не матчается surefire-includes; запускается + * {@code ./mise.sh run mem-bench} — см. {@code membench.sh} и + * {@code docs/MEM_USAGE_UPGRADE.md}). + * + *

Для каждой конвертации печатает строку TSV {@code label scenario name iteration + * peakBytes usedAfterBytes}: peakBytes — сумма пиков used всех heap-пулов + * ({@link MemoryPoolMXBean}, пики сбрасываются перед конвертацией), usedAfterBytes — + * used кучи сразу после конвертации без принудительного GC (тренд накопления; + * {@code System.gc()} намеренно не вызывается). Суммарные аллокации и RSS не здесь: + * JFR-{@code jdk.ObjectAllocationSample} пишет скрипт, VmHWM/VmRSS читаются из + * {@code /proc/self/status} в конце сценария.

+ * + *

Артефакт замера «до/после»: сравнение делает человек по выводам прогонов + * с разными {@code MB_LABEL}; порогов внутри харнеса нет.

+ */ +final class MemoryBench { + + /** Лимиты входа завышены: валидатор не должен отсекать big-сценарий. */ + private static final ConvertOptions OPTIONS = + new ConvertOptions(false, false, false, 1024L, 1_000_000); + + /** Минимально допустимое значение циклов/повторов из аргументов. */ + private static final int MIN_POSITIVE = 1; + /** Повторов body в синтетическом big-docx (детерминированный размер входа). */ + private static final int BODY_REPEATS = 400; + + private MemoryBench() { + } + + public static void main(String[] args) throws Exception { + String label = env("MB_LABEL", "run"); + int loops = 10; + int bigLoops = 5; + String scenario = "all"; + String dir = null; + int i = 0; + while (i < args.length) { + String a = args[i]; + if ("--loops".equals(a)) { + loops = parsePositive(args, i); + i += 2; + } else if ("--big-loops".equals(a)) { + bigLoops = parsePositive(args, i); + i += 2; + } else if ("--scenario".equals(a)) { + scenario = args[i + 1]; + i += 2; + } else if ("--dir".equals(a)) { + dir = args[i + 1]; + i += 2; + } else { + System.out.printf(Locale.ROOT, "# unknown arg: %s%n", a); + System.exit(2); + } + } + + System.out.printf(Locale.ROOT, "# java.version %s%n", + System.getProperty("java.version")); + + if ("suite".equals(scenario) || "all".equals(scenario)) { + runConversions(label, "suite", fixtures(), loops); + } + if ("big".equals(scenario) || "all".equals(scenario)) { + byte[] base = readResource("samples/ru-plain.docx"); + byte[] big = bigDocx(base); + System.out.printf(Locale.ROOT, "# big size %d%n", big.length); + Map docs = new TreeMap<>(); + docs.put("big", big); + runConversions(label, "big", docs, bigLoops); + } + if (dir != null) { + runConversions(label, "dir", dirDocs(Paths.get(dir)), loops); + } + } + + /** Прогон {@code loops} проходов по всем документам, TSV-строка на конвертацию. */ + private static void runConversions(String label, String scenario, + Map docs, int loops) { + long checksum = 0; + for (int loop = 0; loop < loops; loop++) { + for (Map.Entry doc : docs.entrySet()) { + resetPeaks(); + try { + byte[] pdf = WordPdfConverter.convert(doc.getValue(), "membench", OPTIONS); + checksum += pdf.length; + } catch (ConversionException e) { + // отказ конвертации не обрывает замер — строка-комментарий в вывод + System.out.printf(Locale.ROOT, "# error %s %s: %s%n", + scenario, doc.getKey(), e.getMessage()); + } + System.out.printf(Locale.ROOT, "%s\t%s\t%s\t%d\t%d\t%d%n", + label, scenario, doc.getKey(), loop, sumPeakBytes(), heapUsedBytes()); + } + } + System.out.printf(Locale.ROOT, "# %s checksum-total %d%n", scenario, checksum); + printProcMem(); + } + + /** Фикстуры из classpath {@code ru/pjandro/wordpdf/samples} (25 файлов), по имени. */ + private static TreeMap fixtures() throws IOException, URISyntaxException { + URL dir = MemoryBench.class.getClassLoader().getResource("samples"); + if (dir == null) { + throw new IllegalStateException("samples/ не найден в classpath"); + } + TreeMap out = new TreeMap<>(); + try (Stream files = Files.list(Paths.get(dir.toURI()))) { + for (Path p : (Iterable) files.filter(MemoryBench::isDoc)::iterator) { + out.put(p.getFileName().toString(), Files.readAllBytes(p)); + } + } + return out; + } + + /** Все {@code *.doc}/{@code *.docx} каталога PATH (реальные документы из develop/). */ + private static TreeMap dirDocs(Path dir) throws IOException { + TreeMap out = new TreeMap<>(); + if (!Files.isDirectory(dir)) { + System.out.printf(Locale.ROOT, "# dir %s отсутствует — пропущен%n", dir); + return out; + } + try (Stream files = Files.list(dir)) { + for (Path p : (Iterable) files.filter(MemoryBench::isDoc)::iterator) { + out.put(p.getFileName().toString(), Files.readAllBytes(p)); + } + } + return out; + } + + private static boolean isDoc(Path p) { + String n = p.getFileName().toString().toLowerCase(Locale.ROOT); + return n.endsWith(".doc") || n.endsWith(".docx"); + } + + /** + * Синтетический большой docx: body фикстуры ru-plain.docx (между {@code } + * и финальным {@code }) повторён {@link #BODY_REPEATS} раз, zip пересобран + * DEFLATED в том же порядке записей. Детерминированно: тот же вход — тот же размер. + */ + private static byte[] bigDocx(byte[] base) throws IOException { + Map entries = unzip(base); + String xml = new String(entries.get("word/document.xml"), StandardCharsets.UTF_8); + int bodyStart = xml.indexOf(""); + int sectIdx = xml.lastIndexOf(""); + } + if (bodyStart < 0 || sectIdx <= bodyStart) { + throw new IllegalStateException("в фикстуре не найден ..."); + } + String inner = xml.substring(bodyStart + "".length(), sectIdx); + String grown = xml.substring(0, bodyStart + "".length()) + + inner.repeat(BODY_REPEATS) + + xml.substring(sectIdx); + entries.put("word/document.xml", grown.getBytes(StandardCharsets.UTF_8)); + return rezip(entries); + } + + private static Map unzip(byte[] zip) throws IOException { + Map entries = new LinkedHashMap<>(); + try (ZipInputStream zin = new ZipInputStream(new ByteArrayInputStream(zip))) { + ZipEntry e; + while ((e = zin.getNextEntry()) != null) { + ByteArrayOutputStream part = new ByteArrayOutputStream(); + zin.transferTo(part); + entries.put(e.getName(), part.toByteArray()); + } + } + return entries; + } + + private static byte[] rezip(Map entries) throws IOException { + ByteArrayOutputStream out = new ByteArrayOutputStream(); + try (ZipOutputStream zos = new ZipOutputStream(out)) { + for (Map.Entry e : entries.entrySet()) { + zos.putNextEntry(new ZipEntry(e.getKey())); + zos.write(e.getValue()); + zos.closeEntry(); + } + } + return out.toByteArray(); + } + + private static byte[] readResource(String name) throws IOException { + try (InputStream in = MemoryBench.class.getClassLoader().getResourceAsStream(name)) { + if (in == null) { + throw new IllegalStateException("ресурс не найден: " + name); + } + return in.readAllBytes(); + } + } + + private static void resetPeaks() { + for (MemoryPoolMXBean pool : ManagementFactory.getMemoryPoolMXBeans()) { + if (pool.getType() == MemoryType.HEAP) { + try { + pool.resetPeakUsage(); + } catch (UnsupportedOperationException e) { + // пул без поддержки пиков (например «Tenured» в некоторых GC) — пропускаем + continue; + } + } + } + } + + private static long sumPeakBytes() { + long sum = 0; + for (MemoryPoolMXBean pool : ManagementFactory.getMemoryPoolMXBeans()) { + if (pool.getType() == MemoryType.HEAP) { + try { + sum += pool.getPeakUsage().getUsed(); + } catch (UnsupportedOperationException e) { + continue; + } + } + } + return sum; + } + + private static long heapUsedBytes() { + return ManagementFactory.getMemoryMXBean().getHeapMemoryUsage().getUsed(); + } + + /** Память ОС: высокий water mark RSS процесса; на не-Linux — n/a. */ + private static void printProcMem() { + try { + for (String line : Files.readAllLines(Paths.get("/proc/self/status"))) { + if (line.startsWith("VmHWM:") || line.startsWith("VmRSS:")) { + System.out.printf(Locale.ROOT, "# %s%n", line.trim()); + } + } + } catch (IOException e) { + System.out.printf(Locale.ROOT, "# VmHWM n/a%n"); + } + } + + private static int parsePositive(String[] args, int i) { + int value = Integer.parseInt(args[i + 1]); + if (value < MIN_POSITIVE) { + System.out.printf(Locale.ROOT, "# %s должен быть >= %d%n", args[i], MIN_POSITIVE); + System.exit(2); + } + return value; + } + + private static String env(String name, String def) { + String value = System.getenv(name); + return value == null || value.isEmpty() ? def : value; + } +}