Аудит памяти конвертации: харнес замеров, гейты кандидатов, матрица флагов #111

Merged
pjandro merged 3 commits from mem-usage-upgrade into main 2026-11-18 22:14:33 +03:00
2 changed files with 28 additions and 13 deletions
Showing only changes of commit 9d4661be3f - Show all commits
+3 -1
View File
@@ -5,7 +5,9 @@
# #
# Вход: env MB_LABEL — метка прогона (before/after/f1…, файл JFR per-label); # Вход: env MB_LABEL — метка прогона (before/after/f1…, файл JFR per-label);
# env MB_JAVA_OPTS — доп. флаги JVM ПОСЛЕ дефолтных (переопределение Xmx/GC # env MB_JAVA_OPTS — доп. флаги JVM ПОСЛЕ дефолтных (переопределение Xmx/GC
# для матрицы флагов; при -Xmx меньше дефолтного дефолт просто заменяется); # для матрицы флагов; при -Xmx меньше дефолтного дефолт просто заменяется;
# для смены GC нужен и выключатель дефолта: "-XX:-UseG1GC -XX:+UseSerialGC",
# иначе JVM падает на старте с "Multiple garbage collectors selected");
# аргументы проходят в MemoryBench: --scenario suite|big|all|, --loops N, # аргументы проходят в MemoryBench: --scenario suite|big|all|, --loops N,
# --big-loops N, --dir PATH (реальные документы, напр. develop/). # --big-loops N, --dir PATH (реальные документы, напр. develop/).
# #
@@ -2,8 +2,11 @@ package ru.pjandro.wordpdf;
import java.io.ByteArrayInputStream; import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream; import java.io.ByteArrayOutputStream;
import java.io.FileDescriptor;
import java.io.FileOutputStream;
import java.io.IOException; import java.io.IOException;
import java.io.InputStream; import java.io.InputStream;
import java.io.PrintStream;
import java.lang.management.ManagementFactory; import java.lang.management.ManagementFactory;
import java.lang.management.MemoryPoolMXBean; import java.lang.management.MemoryPoolMXBean;
import java.lang.management.MemoryType; import java.lang.management.MemoryType;
@@ -40,6 +43,14 @@ import java.util.zip.ZipOutputStream;
*/ */
final class MemoryBench { final class MemoryBench {
/**
* Вывод харнеса в stdout напрямую через {@link FileDescriptor#out}: TSV-строки
* парсит человек/скрипт из stdout; {@code System.out} не используется (PMD
* SystemPrintln для кода репозитория запрещён, а подавления запрещены политикой).
*/
private static final PrintStream OUT = new PrintStream(
new FileOutputStream(FileDescriptor.out), true, StandardCharsets.UTF_8);
/** Лимиты входа завышены: валидатор не должен отсекать big-сценарий. */ /** Лимиты входа завышены: валидатор не должен отсекать big-сценарий. */
private static final ConvertOptions OPTIONS = private static final ConvertOptions OPTIONS =
new ConvertOptions(false, false, false, 1024L, 1_000_000); new ConvertOptions(false, false, false, 1024L, 1_000_000);
@@ -74,21 +85,23 @@ final class MemoryBench {
dir = args[i + 1]; dir = args[i + 1];
i += 2; i += 2;
} else { } else {
System.out.printf(Locale.ROOT, "# unknown arg: %s%n", a); OUT.printf(Locale.ROOT, "# unknown arg: %s%n", a);
System.exit(2); System.exit(2);
} }
} }
System.out.printf(Locale.ROOT, "# java.version %s%n", OUT.printf(Locale.ROOT, "# java.version %s%n",
System.getProperty("java.version")); System.getProperty("java.version"));
if ("suite".equals(scenario) || "all".equals(scenario)) { boolean wantSuite = "suite".equals(scenario) || "all".equals(scenario);
boolean wantBig = "big".equals(scenario) || "all".equals(scenario);
if (wantSuite) {
runConversions(label, "suite", fixtures(), loops); runConversions(label, "suite", fixtures(), loops);
} }
if ("big".equals(scenario) || "all".equals(scenario)) { if (wantBig) {
byte[] base = readResource("samples/ru-plain.docx"); byte[] base = readResource("samples/ru-plain.docx");
byte[] big = bigDocx(base); byte[] big = bigDocx(base);
System.out.printf(Locale.ROOT, "# big size %d%n", big.length); OUT.printf(Locale.ROOT, "# big size %d%n", big.length);
Map<String, byte[]> docs = new TreeMap<>(); Map<String, byte[]> docs = new TreeMap<>();
docs.put("big", big); docs.put("big", big);
runConversions(label, "big", docs, bigLoops); runConversions(label, "big", docs, bigLoops);
@@ -110,14 +123,14 @@ final class MemoryBench {
checksum += pdf.length; checksum += pdf.length;
} catch (ConversionException e) { } catch (ConversionException e) {
// отказ конвертации не обрывает замер — строка-комментарий в вывод // отказ конвертации не обрывает замер — строка-комментарий в вывод
System.out.printf(Locale.ROOT, "# error %s %s: %s%n", OUT.printf(Locale.ROOT, "# error %s %s: %s%n",
scenario, doc.getKey(), e.getMessage()); scenario, doc.getKey(), e.getMessage());
} }
System.out.printf(Locale.ROOT, "%s\t%s\t%s\t%d\t%d\t%d%n", OUT.printf(Locale.ROOT, "%s\t%s\t%s\t%d\t%d\t%d%n",
label, scenario, doc.getKey(), loop, sumPeakBytes(), heapUsedBytes()); label, scenario, doc.getKey(), loop, sumPeakBytes(), heapUsedBytes());
} }
} }
System.out.printf(Locale.ROOT, "# %s checksum-total %d%n", scenario, checksum); OUT.printf(Locale.ROOT, "# %s checksum-total %d%n", scenario, checksum);
printProcMem(); printProcMem();
} }
@@ -140,7 +153,7 @@ final class MemoryBench {
private static TreeMap<String, byte[]> dirDocs(Path dir) throws IOException { private static TreeMap<String, byte[]> dirDocs(Path dir) throws IOException {
TreeMap<String, byte[]> out = new TreeMap<>(); TreeMap<String, byte[]> out = new TreeMap<>();
if (!Files.isDirectory(dir)) { if (!Files.isDirectory(dir)) {
System.out.printf(Locale.ROOT, "# dir %s отсутствует — пропущен%n", dir); OUT.printf(Locale.ROOT, "# dir %s отсутствует — пропущен%n", dir);
return out; return out;
} }
try (Stream<Path> files = Files.list(dir)) { try (Stream<Path> files = Files.list(dir)) {
@@ -251,18 +264,18 @@ final class MemoryBench {
try { try {
for (String line : Files.readAllLines(Paths.get("/proc/self/status"))) { for (String line : Files.readAllLines(Paths.get("/proc/self/status"))) {
if (line.startsWith("VmHWM:") || line.startsWith("VmRSS:")) { if (line.startsWith("VmHWM:") || line.startsWith("VmRSS:")) {
System.out.printf(Locale.ROOT, "# %s%n", line.trim()); OUT.printf(Locale.ROOT, "# %s%n", line.trim());
} }
} }
} catch (IOException e) { } catch (IOException e) {
System.out.printf(Locale.ROOT, "# VmHWM n/a%n"); OUT.printf(Locale.ROOT, "# VmHWM n/a%n");
} }
} }
private static int parsePositive(String[] args, int i) { private static int parsePositive(String[] args, int i) {
int value = Integer.parseInt(args[i + 1]); int value = Integer.parseInt(args[i + 1]);
if (value < MIN_POSITIVE) { if (value < MIN_POSITIVE) {
System.out.printf(Locale.ROOT, "# %s должен быть >= %d%n", args[i], MIN_POSITIVE); OUT.printf(Locale.ROOT, "# %s должен быть >= %d%n", args[i], MIN_POSITIVE);
System.exit(2); System.exit(2);
} }
return value; return value;