Аудит памяти конвертации: харнес замеров, гейты кандидатов, матрица флагов #111
@@ -0,0 +1,187 @@
|
|||||||
|
# Потребление памяти при конвертации doc/docx → pdf: аудит и результаты апгрейда (2026-11)
|
||||||
|
|
||||||
|
Харнес: `MemoryBench` (`wordpdf-core/src/test/java/ru/pjandro/wordpdf/MemoryBench.java`, test-scope) +
|
||||||
|
`membench.sh` + `./mise.sh run mem-bench`. Числа ниже получены на них; методология и ограничения — §1.
|
||||||
|
|
||||||
|
## 1. Методология измерения
|
||||||
|
|
||||||
|
JVM: temurin 17.0.21, флаги харнеса `-Xms64m -Xmx2g -XX:+UseG1GC -XX:+HeapDumpOnOutOfMemoryError`
|
||||||
|
+ JFR `settings=profile` + `-Xlog:gc*=info,gc+heap=debug`. Машина — рабочая станция (amd64), не прод-контейнер.
|
||||||
|
|
||||||
|
Метрики на конвертацию (TSV-строки вывода харнеса):
|
||||||
|
|
||||||
|
|Метрика|Как снята|Смысл|
|
||||||
|
|---|---|---|
|
||||||
|
|`peak`|`MemoryPoolMXBean.getPeakUsage()` по хип-пулам с `reset()` перед каждой конвертацией|высокая вода кучи за конвертацию (включает невозвращённый мусор young-поколения — это мера запроса памяти, не live-сета)|
|
||||||
|
|`used`|сумма `getUsage().getUsed()` сразу после конвертации|куча «как есть» до ближайшего GC|
|
||||||
|
|`allocated-estimate`|GC-лог: выметенный Eden + humongous между паузами|честная оценка аллокаций (JFR-веса для этого не годятся — см. ограничения)|
|
||||||
|
|`max-live-after-gc`|GC-лог: максимум `M->M(after)` по паузам|живая куча после GC (включает конвертацию, идущую в момент паузы)|
|
||||||
|
|`VmHWM`|`/proc/self/status`|пик резидентной памяти процесса (куча + Metaspace + стеки + JFR-буферы)|
|
||||||
|
|`top-frames`/`app-sites`|агрегация `jdk.ObjectAllocationSample` из JFR|профиль аллокаций (относительная доля; веса — оценка сэмплера)|
|
||||||
|
|
||||||
|
Сценарии: `suite` — все 25 фикстур `samples/` (13 `.docx` + 12 `.doc`) циклами; `big` — синтетический
|
||||||
|
документ: `document.xml` фикстуры `ru-plain.docx` с повтором секции ×400 (≈1,6 МБ XML после
|
||||||
|
распаковки, ≈6000 строк контента, PDF ≈50 КБ/конвертация — много контента при малом in-put,
|
||||||
|
именно он и нагружает конвейер, а не байты входа).
|
||||||
|
|
||||||
|
Ограничения (важно для повторного прочтения чисел):
|
||||||
|
|
||||||
|
- **шум ±30% на фикстуру** между прогонами (старт нового JVM на сценарий, G1 растягивает young по
|
||||||
|
ходу прогона); сравнимы только суммарные/медианные агрегаты одного метода на одном железе;
|
||||||
|
- `peak` включает мусор: документ с большим churn даёт большой peak при малом live-сете;
|
||||||
|
- веса JFR `ObjectAllocationSample` (profile, period=20ms) — оценка сэмплера; абсолют — только GC-лог;
|
||||||
|
- фикстуры малы (вход ≤182 КБ, PDF в среднем 385 КБ): кандидаты, экономящие единицы мегабайт,
|
||||||
|
на них неотличимы от шума — это учитывалось в гейтах (§4).
|
||||||
|
|
||||||
|
Воспроизведение: `MB_LABEL=run ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-run.txt`;
|
||||||
|
матрица флагов — через env `MB_JAVA_OPTS` (флаги идут после дефолтных и переопределяют их).
|
||||||
|
|
||||||
|
## 2. Baseline (до правок)
|
||||||
|
|
||||||
|
`MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20` (JVM 17.0.21, пик 2026-11-17):
|
||||||
|
|
||||||
|
|Фикстура|n|peak p50, МБ|peak max, МБ|used avg, МБ|
|
||||||
|
|---|---|---|---|---|
|
||||||
|
|chart-types.docx|20|641|934|398|
|
||||||
|
|charts-smartart.doc|20|457|630|321|
|
||||||
|
|charts-smartart.docx|20|471|751|299|
|
||||||
|
|doc-formats.doc|20|261|783|326|
|
||||||
|
|en-plain.doc|20|302|819|273|
|
||||||
|
|en-plain.docx|20|278|855|298|
|
||||||
|
|exotic-glyphs.doc|20|328|907|325|
|
||||||
|
|exotic-glyphs.docx|20|312|950|287|
|
||||||
|
|ole-embedded.doc|20|298|540|238|
|
||||||
|
|ole-embedded.docx|20|269|574|222|
|
||||||
|
|page-numbers.doc|20|234|598|257|
|
||||||
|
|page-numbers.docx|20|272|558|266|
|
||||||
|
|ru-en-mixed.doc|20|300|453|293|
|
||||||
|
|ru-en-mixed.docx|20|344|528|298|
|
||||||
|
|ru-plain.doc|20|344|572|256|
|
||||||
|
|ru-plain.docx|20|281|455|274|
|
||||||
|
|ru-table-image.doc|20|331|462|267|
|
||||||
|
|ru-table-image.docx|20|299|522|263|
|
||||||
|
|ru-times.doc|20|275|561|275|
|
||||||
|
|ru-times.docx|20|251|580|256|
|
||||||
|
|stale-cache.doc|20|307|511|264|
|
||||||
|
|stale-cache.docx|20|323|525|269|
|
||||||
|
|symbol-bullets.docx|20|335|459|310|
|
||||||
|
|too-many-pages.doc|20|405|599|265|
|
||||||
|
|too-many-pages.docx|20|327|724|288|
|
||||||
|
|big (синтетика ×400)|5|924|976|360|
|
||||||
|
|
||||||
|
Итоги прогона: `allocated-estimate=36069MB` (≈71 МБ churn на конвертацию при медианном peak 300 МБ),
|
||||||
|
`max-live-after-gc=504MB`, паузы 536 шт./4815 мс; `VmHWM` процесса: 1,34 ГБ после suite-части,
|
||||||
|
1,56 ГБ после big-части (`-Xmx2g` доступен, куча растягивается под churn).
|
||||||
|
|
||||||
|
Главный вывод baseline: **память уходит не в копии документа, а в churn конвейера**. Вход 2,6–182 КБ
|
||||||
|
при peak 224–641 МБ — отношение долей порядка сотен. Профиль аллокаций (JFR, alloc-total —
|
||||||
|
оценка сэмплера 26,3 МБ взвешенных):
|
||||||
|
|
||||||
|
- доли приложения в топ-кадрах: `DocxRewritePipeline.normalize` — 0,44%, `WordPdfConverter.convert` —
|
||||||
|
0,36%, `GlyphFont.draw` — 0,10%; все остальные кадры `ru.pjandro.*` — ниже 0,1% (гейты §4);
|
||||||
|
- остальное — библиотеки: JAXB-андмаршалинг docx4j через DOM (`DOMScanner.visit/scan`,
|
||||||
|
`SAXOutput.getQName`, `NamespaceContextImpl.put`, `SAX2DOMEx.startElement`, `ClassFactory.create0`),
|
||||||
|
Xalan/XSLT, FOP (таблицы OpenType: `OTFAdvancedTypographicTableReader`, `OpenFont.readHorizontalMetrics`),
|
||||||
|
commons-io `IOUtils.byteArray`, `Arrays.copyOf`, `Throwable.fillInStackTrace` (docx4j использует
|
||||||
|
исключения как control flow — «Package field null» и т.п.);
|
||||||
|
- JEuclid (`Parser.parseStreamSourceAsOdf`) — OMML-формулы на хосте с fontconfig (в CI/контейнере
|
||||||
|
иначе: MathFallback).
|
||||||
|
|
||||||
|
## 3. Что нашли при чтении кода (архитектурные находки)
|
||||||
|
|
||||||
|
1. **FO материалзуется как `String`.** Форк `FORendererApacheFOP.convert(FODocumentHandler,
|
||||||
|
FOConverterContext, String)` (javap docx4j-export-fo 17.3.2) принимает весь выход XSLT одной
|
||||||
|
строкой UTF-16: для FO-документа это ≈2 байта/символ и FO в разы больше исходного XML.
|
||||||
|
Убрать можно только правкой форка (`templates.transform` стримом в FOP-парсер) — вне рамок
|
||||||
|
репозитория; фиделити-риск высокий. Дорожная карта.
|
||||||
|
2. **`disableFontCache()` в форке вызывается безусловно в 3 местах** (javap `FORendererApacheFOP`:
|
||||||
|
`FontManager.disableFontCache`), один участок защищён `Fop.isUseCache()` из fop.xconf
|
||||||
|
(по умолчанию кеш выключен) → таблицы шрифтов перечитываются на каждый рендер (видно в топ-кадрах).
|
||||||
|
Потенциальный рычаг (churn+CPU), но включение кеша влияет на сабзеттинг/метрики — только с
|
||||||
|
фиделити-прогоном, в форк/конфиг. Дорожная карта.
|
||||||
|
3. **`WordprocessingMLPackage` в docx4j 17.3.2 не имеет `close()`/`dispose()`** (javap пакета
|
||||||
|
`openpackaging.packages`/`parts` — только `setJaxbElement`/`unmarshal`): «освободить пакет явно»
|
||||||
|
API не даёт; пакет — локальная переменная `convertToStream` и умирает вместе со стеком.
|
||||||
|
4. **Валидатор делает два полных стриминговых прохода** по байтам входа (`checkPageCount` +
|
||||||
|
`checkDocxContainer`/`validate`): CPU, память O(8 КБ буферов) — на peak не влияет (§4, гейт E).
|
||||||
|
5. **Мост `.doc` уже отпускает потоки** (`releaseStreams`), но `DocxWriter.write` держит одновременно
|
||||||
|
`bodyXml`+`parts`+`hyperlinks` до `toByteArray()`; на фикстурах доля моста в аллокациях <0,15% —
|
||||||
|
не рычаг при текущих документах (§4, гейт C).
|
||||||
|
|
||||||
|
## 4. Кандидаты оптимизаций и гейты
|
||||||
|
|
||||||
|
Гейт: кандидат остаётся, только если после правки suite-сумма peak или big-peak улучшились ≥3%
|
||||||
|
(для «всегдашнего» A — плюс отсутствие регрессии); для B/C/E — плюс доля ≥5% в app-sites JFR.
|
||||||
|
Прогоны «до/после» — идентичной методикой, один и тот же компьютер, подряд.
|
||||||
|
|
||||||
|
|Кандидат|Доля в аллокациях (гейт 5%)|Замер после (гейт 3%)|Итог|
|
||||||
|
|---|---|---|---|
|
||||||
|
|A. Чанковый буфер PDF вместо `ByteArrayOutputStream`|—|`allocated` +0,7% (шум), сумма peak **+7,2% (хуже)**|отклонён, откачен|
|
||||||
|
|B. Needle-гейт декода в `DocxRewritePipeline`|`normalize` 0,44%|—|отклонён до правки|
|
||||||
|
|C. Ранний отпуск `bodyXml`/`parts`/`hyperlinks` в `DocxWriter.write`|кадров моста в топ-15 нет (<0,15%)|—|отклонён до правки|
|
||||||
|
|D. Явный release пакета docx4j|API отсутствует (§3.3)|—|нереализуем|
|
||||||
|
|E. Один проход валидатора|кадров валидатора в топ-15 нет (<0,1%)|—|отклонён до правки (плюс риск порядка ошибок — контракт 400-кодов)|
|
||||||
|
|
||||||
|
**Почему A отклонён измерением, хотя «в теории» экономит.** Реализация (`PdfOutputChunks`,
|
||||||
|
чанки вместо удваивающегося `byte[]`) протестирована на эквивалентность байтов и прогнана полным
|
||||||
|
бенчем (25 фикстур ×20 + big ×5, тот же метод):
|
||||||
|
|
||||||
|
- PDF фикстур в среднем 385 КБ: для них `PdfOutputChunks` с фиксированным чанком выделяет больше,
|
||||||
|
чем рост `ByteArrayOutputStream` от `Math.max(1<<16, docxBytes.length)` — сумма peak выросла на 7,2%;
|
||||||
|
- микробенч на 24 МБ (одноразовый `PeakProof`, куча 2г): peak 76 МБ у чанков против 61 МБ у BAOS —
|
||||||
|
чанк 1 МиБ на G1 humongous (регион 1 МиБ → 2 региона на чанк, отсюда ×2), чанк 256 КиБ уходит в
|
||||||
|
young и при подсчёте `peak` платит растянутым Eden; live-минимум чанков (P+P против 2–3P у BAOS)
|
||||||
|
выигрывает только на PDF десятки мегабайт, каких в фикстурах нет;
|
||||||
|
- вердикт гейта: не улучшено → откачен, конвейер остался на `ByteArrayOutputStream`.
|
||||||
|
|
||||||
|
**Итог по правкам ядра: ни один кандидат не прошёл гейт.** Это не «нечего улучшать», а «у текущих
|
||||||
|
документов память тратят библиотеки» (JAXB-via-DOM, XSLT, FOP-шрифты, JEuclid — §2): точечными
|
||||||
|
правками репозитория их не сократить, а правки библиотек/форка (FO-стриминг, font cache) —
|
||||||
|
отдельные задачи с фиделити-гейтом. Практический рычаг «потреблять меньше» прямо сейчас — размеры
|
||||||
|
кучи и GC (§5).
|
||||||
|
|
||||||
|
## 5. Матрица флагов JVM (итог: что ставить в прод)
|
||||||
|
|
||||||
|
Один и тот же прогон (`--scenario all --loops 5 --big-loops 2`), меняются только флаги
|
||||||
|
(`MB_JAVA_OPTS` поверх дефолта харнеса; для смены GC нужен и `-XX:-UseG1GC` — иначе старт падает
|
||||||
|
с «Multiple garbage collectors selected»). ВМ не кончалась ни на одном наборе, OOM'а нет нигде,
|
||||||
|
включая big-сценарий:
|
||||||
|
|
||||||
|
|Набор|VmHWM suite, МБ|VmHWM +big, МБ|max-live, МБ|Паузы (шт/мс)|Вывод|
|
||||||
|
|---|---|---|---|---|---|
|
||||||
|
|f1 — G1, `-Xmx2g` (дефолт харнеса; прод-Containerfile как раз `2G`/`mem_limit 3G`)|931|1337|575|159 / 1724|работает, но куча ×2,6 к реальной потребности|
|
||||||
|
|f2 — G1, `-Xmx768m`|802|902|451|183 / 1865|**рекомендуемый**: RSS ≤0,9 ГБ с JFR-буферами, запас к max-live 1,7×|
|
||||||
|
|f3 — G1, `-Xmx512m`|818|843|416|199 / 1877|работает, но max-live 416 из 512 — малый запас на chart-тяжёлые документы|
|
||||||
|
|f4 — Serial, `-Xmx512m`|748|748|482|126 / 4453|работает; паузы ×2,6 против G1|
|
||||||
|
|f5 — Serial, `-Xmx384m`|628|634|359|150 / 5803|максимальная плотность (RSS 0,63 ГБ); паузы ×3,4, max-live 359 из 384 — впритык|
|
||||||
|
|
||||||
|
`allocated-estimate` у Serial-прогонов — 0: awk-агрегатор GC-лога понимает G1-формат (регионы),
|
||||||
|
для Serial аллокации считаются по другому шаблону — на вывод матрицы не влияет.
|
||||||
|
|
||||||
|
Рекомендация прод-стеку (рендерится job'ом `deploy` из Gitea Variables — менять их, не репо):
|
||||||
|
|
||||||
|
1. Heap: `-Xmx768m` (f2) вместо `2G`; `mem_limit` — `1g` вместо `3G`. FopFactory/XSLT-кеш перманентны,
|
||||||
|
их размер от кучи не зависит; 451 МБ max-live — это ~3 конвертации chart-тяжёлых документов в полёте
|
||||||
|
(а конвертации сериализованы монитором — реально одна).
|
||||||
|
2. G1 оставить (~13 мс пауз на конвертацию против ~40 мс у Serial; при конвертациях 1–4 с это не
|
||||||
|
критично, но G1 при 768m ещё и ровнее ведёт humongous-аллокации растров чартов).
|
||||||
|
3. Плотность выше f2 (Serial 384m) достижима, но запас <7% к max-live на 384m — для прод-вариабельности
|
||||||
|
документов неприемлемо.
|
||||||
|
|
||||||
|
## 6. Итог апгрейда
|
||||||
|
|
||||||
|
- Ядро не изменено: ни один кандидат (A–E, §4) не прошёл замерный гейт; экономия памяти на текущих
|
||||||
|
документах лежит не в коде репозитория, а внутри JAXB/XSLT/FOP (§2–3). Правки форка
|
||||||
|
(FO-стриминг, font cache) — зафиксированные дорожные пункты с фиделити-гейтом.
|
||||||
|
- Практический эффект «потреблять меньше» — профиль кучи: `2G/3G → 768m/1g` (в ~3 раза меньше
|
||||||
|
резидентной памяти на стенде) без потери проходимости всех сценариев, включая big.
|
||||||
|
- Инфраструктура измерений осталась в репо: `MemoryBench` + `membench.sh` + `./mise.sh run mem-bench`
|
||||||
|
— любой следующий раунд начинается с baseline за 10 минут.
|
||||||
|
|
||||||
|
## 7. Как читать этот документ дальше
|
||||||
|
|
||||||
|
- Перепроверить числа: §1 (команды) — прогон ~10 мин, артефакты в `target/` и `wordpdf-core/target/membench-*.jfr`.
|
||||||
|
- Перед новым «починить память»: сначала топ-кадры собственного прогона — доли приложения ≤0,4% означают,
|
||||||
|
что чинить нужно библиотеки, а не `WordPdfConverter`.
|
||||||
|
- Стоп-лист § «не чинить» из `docs/agent/render-limitations.md` остаётся в силе: экономия памяти
|
||||||
|
не должна менять выход PDF (фиделити-тесты — единственный арбитр).
|
||||||
Executable
+128
@@ -0,0 +1,128 @@
|
|||||||
|
#!/bin/sh
|
||||||
|
# Замер памяти конвейера конвертации: пики кучи на конвертацию (TSV из MemoryBench)
|
||||||
|
# + топ аллокаций по JFR (jdk.ObjectAllocationSample). Методика и числа —
|
||||||
|
# docs/MEM_USAGE_UPGRADE.md.
|
||||||
|
#
|
||||||
|
# Вход: env MB_LABEL — метка прогона (before/after/f1…, файл JFR per-label);
|
||||||
|
# env MB_JAVA_OPTS — доп. флаги JVM ПОСЛЕ дефолтных (переопределение Xmx/GC
|
||||||
|
# для матрицы флагов; при -Xmx меньше дефолтного дефолт просто заменяется;
|
||||||
|
# для смены GC нужен и выключатель дефолта: "-XX:-UseG1GC -XX:+UseSerialGC",
|
||||||
|
# иначе JVM падает на старте с "Multiple garbage collectors selected");
|
||||||
|
# аргументы проходят в MemoryBench: --scenario suite|big|all|, --loops N,
|
||||||
|
# --big-loops N, --dir PATH (реальные документы, напр. develop/).
|
||||||
|
#
|
||||||
|
# Пример: MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-before.txt
|
||||||
|
set -eu
|
||||||
|
|
||||||
|
cd "$(dirname "$0")"
|
||||||
|
|
||||||
|
LABEL=${MB_LABEL:-run}
|
||||||
|
|
||||||
|
mvn -q -pl wordpdf-core test-compile
|
||||||
|
CPFILE=$PWD/wordpdf-core/target/cp.txt
|
||||||
|
if [ ! -f "$CPFILE" ] || [ wordpdf-core/pom.xml -nt "$CPFILE" ]; then
|
||||||
|
mvn -q -pl wordpdf-core org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
|
||||||
|
-Dmdep.outputFile="$CPFILE" -Dmdep.includeScope=test
|
||||||
|
fi
|
||||||
|
|
||||||
|
JFR=$PWD/wordpdf-core/target/membench-$LABEL.jfr
|
||||||
|
GCLOG=$PWD/wordpdf-core/target/membench-$LABEL.gc.log
|
||||||
|
ERRLOG=$PWD/wordpdf-core/target/membench-$LABEL.err
|
||||||
|
printf '# git %s\n' "$(git rev-parse HEAD)"
|
||||||
|
printf '# date %s\n' "$(date -u +%FT%TZ)"
|
||||||
|
printf '# MB_JAVA_OPTS=%s\n' "${MB_JAVA_OPTS:-}"
|
||||||
|
|
||||||
|
# MB_JAVA_OPTS без кавычек — намеренно: несколько флагов одним словом пользователя.
|
||||||
|
# shellcheck disable=SC2086
|
||||||
|
java -Xms64m -Xmx2g -XX:+UseG1GC -Djava.awt.headless=true \
|
||||||
|
-Xlog:gc*=info,gc+heap=debug:file=$GCLOG \
|
||||||
|
${MB_JAVA_OPTS:-} \
|
||||||
|
-XX:StartFlightRecording=filename=$JFR,settings=profile,maxsize=0,loglevel=error \
|
||||||
|
-cp "wordpdf-core/target/classes:wordpdf-core/target/test-classes:$(cat "$CPFILE")" \
|
||||||
|
ru.pjandro.wordpdf.MemoryBench "$@" 2>"$ERRLOG"
|
||||||
|
|
||||||
|
# --- аллокации по GC-логу (абсолютная оценка) -----------------------------------
|
||||||
|
# allocated ≈ выметенный Eden + выметенные humongous-области (G1); max-live —
|
||||||
|
# максимум heap после пауз (тренд накопления); паузы — число/сумма.
|
||||||
|
# awk — портативный (mawk/gawk): без 3-аргументного match().
|
||||||
|
echo
|
||||||
|
awk '
|
||||||
|
/Region Size:/ {
|
||||||
|
for (i = 1; i <= NF; i++) { if ($i ~ /^[0-9]+M$/) { tok = $i; sub(/M$/, "", tok); rs = tok + 0 } }
|
||||||
|
}
|
||||||
|
/Eden regions:/ {
|
||||||
|
for (i = 1; i <= NF; i++) {
|
||||||
|
if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); eden += (a[1] - a[2]) * rs }
|
||||||
|
}
|
||||||
|
}
|
||||||
|
/Humongous regions:/ {
|
||||||
|
for (i = 1; i <= NF; i++) {
|
||||||
|
if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); hum += (a[1] - a[2]) * rs }
|
||||||
|
}
|
||||||
|
}
|
||||||
|
/Pause (Young|Full)/ && /M->/ {
|
||||||
|
pauses++
|
||||||
|
tail = $NF; if (tail ~ /[0-9]ms$/) { sub(/ms$/, "", tail); ptime += tail }
|
||||||
|
for (i = 1; i <= NF; i++) {
|
||||||
|
if ($i ~ /^[0-9]+M->[0-9]+M/) {
|
||||||
|
v = $i; sub(/\(.*/, "", v); split(v, m, "->")
|
||||||
|
if (m[2] + 0 > maxlive) { maxlive = m[2] + 0 }
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
END {
|
||||||
|
printf "gc-summary allocated-estimate=%dMB max-live-after-gc=%dMB pauses=%d pause-total=%dms\n",
|
||||||
|
eden + hum, maxlive, pauses, ptime
|
||||||
|
}
|
||||||
|
' "$GCLOG"
|
||||||
|
|
||||||
|
# --- агрегация аллокаций из JFR -------------------------------------------------
|
||||||
|
TOPF=$(mktemp); APPF=$(mktemp)
|
||||||
|
trap 'rm -f "$TOPF" "$APPF"' EXIT
|
||||||
|
|
||||||
|
jfr print --events jdk.ObjectAllocationSample "$JFR" | awk \
|
||||||
|
-v TOPF="$TOPF" -v APPF="$APPF" '
|
||||||
|
function framekey(line, k) {
|
||||||
|
k = line
|
||||||
|
sub(/^[ \t]+/, "", k)
|
||||||
|
sub(/ line: [0-9]+$/, "", k)
|
||||||
|
return k
|
||||||
|
}
|
||||||
|
function cls(key, c) {
|
||||||
|
c = key
|
||||||
|
sub(/ ?\(.*$/, "", c)
|
||||||
|
sub(/^[^ ]*\//, "", c)
|
||||||
|
return c
|
||||||
|
}
|
||||||
|
/^ *weight = / { w = $3 + 0 }
|
||||||
|
/^ *stackTrace = \[/ { instk = 1; nf = 0; next }
|
||||||
|
instk == 1 && /^ *\]/ {
|
||||||
|
instk = 0
|
||||||
|
if (nf == 0) { next }
|
||||||
|
top = fr[1]
|
||||||
|
app = ""
|
||||||
|
for (i = 1; i <= nf; i++) {
|
||||||
|
c = cls(fr[i])
|
||||||
|
if (c !~ /^(java|javax|jdk|sun|com\.sun|org\.apache|org\.docx4j|org\.springframework|org\.springdoc|org\.w3c|org\.xml|net\.sf|org\.jeuclid|org\.slf4j|ch\.qos)/) {
|
||||||
|
app = fr[i]
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
wsum[top] += w
|
||||||
|
if (app != "") { asum[app] += w }
|
||||||
|
next
|
||||||
|
}
|
||||||
|
instk == 1 { nf++; fr[nf] = framekey($0) }
|
||||||
|
END {
|
||||||
|
for (k in wsum) { print wsum[k] "\t" k > TOPF }
|
||||||
|
for (k in asum) { print asum[k] "\t" k > APPF }
|
||||||
|
}
|
||||||
|
'
|
||||||
|
|
||||||
|
echo
|
||||||
|
printf '===== top-frames: суммарный вес аллокаций, байт (JFR profile, оценка) — label %s =====\n' "$LABEL"
|
||||||
|
sort -rn "$TOPF" | head -15
|
||||||
|
printf '===== alloc-total: %s байт\n' "$(awk '{s+=$1} END {printf "%.0f", s}' "$TOPF")"
|
||||||
|
echo
|
||||||
|
printf '===== app-sites: аллокации с первым кадром из приложения (attribution) =====\n'
|
||||||
|
sort -rn "$APPF" | head -15
|
||||||
@@ -18,6 +18,10 @@ run = "mvn clean verify"
|
|||||||
description = "mvn clean verify в контейнере без fontconfig (гейт, которым живёт CI; verify — хост-гейт без контейнера)"
|
description = "mvn clean verify в контейнере без fontconfig (гейт, которым живёт CI; verify — хост-гейт без контейнера)"
|
||||||
run = "podman build -f Containerfile.test ."
|
run = "podman build -f Containerfile.test ."
|
||||||
|
|
||||||
|
[tasks.mem-bench]
|
||||||
|
description = "Замер памяти конвейера: TSV пиков кучи + топ аллокаций JFR (docs/MEM_USAGE_UPGRADE.md)"
|
||||||
|
run = "sh membench.sh"
|
||||||
|
|
||||||
[tasks.app-package]
|
[tasks.app-package]
|
||||||
description = "Исполняемый jar бэкенда"
|
description = "Исполняемый jar бэкенда"
|
||||||
run = "mvn -pl wordpdf-app -am package"
|
run = "mvn -pl wordpdf-app -am package"
|
||||||
|
|||||||
@@ -0,0 +1,288 @@
|
|||||||
|
package ru.pjandro.wordpdf;
|
||||||
|
|
||||||
|
import java.io.ByteArrayInputStream;
|
||||||
|
import java.io.ByteArrayOutputStream;
|
||||||
|
import java.io.FileDescriptor;
|
||||||
|
import java.io.FileOutputStream;
|
||||||
|
import java.io.IOException;
|
||||||
|
import java.io.InputStream;
|
||||||
|
import java.io.PrintStream;
|
||||||
|
import java.lang.management.ManagementFactory;
|
||||||
|
import java.lang.management.MemoryPoolMXBean;
|
||||||
|
import java.lang.management.MemoryType;
|
||||||
|
import java.net.URISyntaxException;
|
||||||
|
import java.net.URL;
|
||||||
|
import java.nio.charset.StandardCharsets;
|
||||||
|
import java.nio.file.Files;
|
||||||
|
import java.nio.file.Path;
|
||||||
|
import java.nio.file.Paths;
|
||||||
|
import java.util.LinkedHashMap;
|
||||||
|
import java.util.Locale;
|
||||||
|
import java.util.Map;
|
||||||
|
import java.util.TreeMap;
|
||||||
|
import java.util.stream.Stream;
|
||||||
|
import java.util.zip.ZipEntry;
|
||||||
|
import java.util.zip.ZipInputStream;
|
||||||
|
import java.util.zip.ZipOutputStream;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Замер памяти конвейера (НЕ тест: имя не матчается surefire-includes; запускается
|
||||||
|
* {@code ./mise.sh run mem-bench} — см. {@code membench.sh} и
|
||||||
|
* {@code docs/MEM_USAGE_UPGRADE.md}).
|
||||||
|
*
|
||||||
|
* <p>Для каждой конвертации печатает строку TSV {@code label scenario name iteration
|
||||||
|
* peakBytes usedAfterBytes}: peakBytes — сумма пиков used всех heap-пулов
|
||||||
|
* ({@link MemoryPoolMXBean}, пики сбрасываются перед конвертацией), usedAfterBytes —
|
||||||
|
* used кучи сразу после конвертации без принудительного GC (тренд накопления;
|
||||||
|
* {@code System.gc()} намеренно не вызывается). Суммарные аллокации и RSS не здесь:
|
||||||
|
* JFR-{@code jdk.ObjectAllocationSample} пишет скрипт, VmHWM/VmRSS читаются из
|
||||||
|
* {@code /proc/self/status} в конце сценария.</p>
|
||||||
|
*
|
||||||
|
* <p>Артефакт замера «до/после»: сравнение делает человек по выводам прогонов
|
||||||
|
* с разными {@code MB_LABEL}; порогов внутри харнеса нет.</p>
|
||||||
|
*/
|
||||||
|
final class MemoryBench {
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Вывод харнеса в stdout напрямую через {@link FileDescriptor#out}: TSV-строки
|
||||||
|
* парсит человек/скрипт из stdout; {@code System.out} не используется (PMD
|
||||||
|
* SystemPrintln для кода репозитория запрещён, а подавления запрещены политикой).
|
||||||
|
*/
|
||||||
|
private static final PrintStream OUT = new PrintStream(
|
||||||
|
new FileOutputStream(FileDescriptor.out), true, StandardCharsets.UTF_8);
|
||||||
|
|
||||||
|
/** Лимиты входа завышены: валидатор не должен отсекать big-сценарий. */
|
||||||
|
private static final ConvertOptions OPTIONS =
|
||||||
|
new ConvertOptions(false, false, false, 1024L, 1_000_000);
|
||||||
|
|
||||||
|
/** Минимально допустимое значение циклов/повторов из аргументов. */
|
||||||
|
private static final int MIN_POSITIVE = 1;
|
||||||
|
/** Повторов body в синтетическом big-docx (детерминированный размер входа). */
|
||||||
|
private static final int BODY_REPEATS = 400;
|
||||||
|
|
||||||
|
private MemoryBench() {
|
||||||
|
}
|
||||||
|
|
||||||
|
public static void main(String[] args) throws Exception {
|
||||||
|
String label = env("MB_LABEL", "run");
|
||||||
|
int loops = 10;
|
||||||
|
int bigLoops = 5;
|
||||||
|
String scenario = "all";
|
||||||
|
String dir = null;
|
||||||
|
int i = 0;
|
||||||
|
while (i < args.length) {
|
||||||
|
String a = args[i];
|
||||||
|
if ("--loops".equals(a)) {
|
||||||
|
loops = parsePositive(args, i);
|
||||||
|
i += 2;
|
||||||
|
} else if ("--big-loops".equals(a)) {
|
||||||
|
bigLoops = parsePositive(args, i);
|
||||||
|
i += 2;
|
||||||
|
} else if ("--scenario".equals(a)) {
|
||||||
|
scenario = args[i + 1];
|
||||||
|
i += 2;
|
||||||
|
} else if ("--dir".equals(a)) {
|
||||||
|
dir = args[i + 1];
|
||||||
|
i += 2;
|
||||||
|
} else {
|
||||||
|
OUT.printf(Locale.ROOT, "# unknown arg: %s%n", a);
|
||||||
|
System.exit(2);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
OUT.printf(Locale.ROOT, "# java.version %s%n",
|
||||||
|
System.getProperty("java.version"));
|
||||||
|
|
||||||
|
boolean wantSuite = "suite".equals(scenario) || "all".equals(scenario);
|
||||||
|
boolean wantBig = "big".equals(scenario) || "all".equals(scenario);
|
||||||
|
if (wantSuite) {
|
||||||
|
runConversions(label, "suite", fixtures(), loops);
|
||||||
|
}
|
||||||
|
if (wantBig) {
|
||||||
|
byte[] base = readResource("samples/ru-plain.docx");
|
||||||
|
byte[] big = bigDocx(base);
|
||||||
|
OUT.printf(Locale.ROOT, "# big size %d%n", big.length);
|
||||||
|
Map<String, byte[]> docs = new TreeMap<>();
|
||||||
|
docs.put("big", big);
|
||||||
|
runConversions(label, "big", docs, bigLoops);
|
||||||
|
}
|
||||||
|
if (dir != null) {
|
||||||
|
runConversions(label, "dir", dirDocs(Paths.get(dir)), loops);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Прогон {@code loops} проходов по всем документам, TSV-строка на конвертацию. */
|
||||||
|
private static void runConversions(String label, String scenario,
|
||||||
|
Map<String, byte[]> docs, int loops) {
|
||||||
|
long checksum = 0;
|
||||||
|
for (int loop = 0; loop < loops; loop++) {
|
||||||
|
for (Map.Entry<String, byte[]> doc : docs.entrySet()) {
|
||||||
|
resetPeaks();
|
||||||
|
try {
|
||||||
|
byte[] pdf = WordPdfConverter.convert(doc.getValue(), "membench", OPTIONS);
|
||||||
|
checksum += pdf.length;
|
||||||
|
} catch (ConversionException e) {
|
||||||
|
// отказ конвертации не обрывает замер — строка-комментарий в вывод
|
||||||
|
OUT.printf(Locale.ROOT, "# error %s %s: %s%n",
|
||||||
|
scenario, doc.getKey(), e.getMessage());
|
||||||
|
}
|
||||||
|
OUT.printf(Locale.ROOT, "%s\t%s\t%s\t%d\t%d\t%d%n",
|
||||||
|
label, scenario, doc.getKey(), loop, sumPeakBytes(), heapUsedBytes());
|
||||||
|
}
|
||||||
|
}
|
||||||
|
OUT.printf(Locale.ROOT, "# %s checksum-total %d%n", scenario, checksum);
|
||||||
|
printProcMem();
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Фикстуры из classpath {@code ru/pjandro/wordpdf/samples} (25 файлов), по имени. */
|
||||||
|
private static TreeMap<String, byte[]> fixtures() throws IOException, URISyntaxException {
|
||||||
|
URL dir = MemoryBench.class.getClassLoader().getResource("samples");
|
||||||
|
if (dir == null) {
|
||||||
|
throw new IllegalStateException("samples/ не найден в classpath");
|
||||||
|
}
|
||||||
|
TreeMap<String, byte[]> out = new TreeMap<>();
|
||||||
|
try (Stream<Path> files = Files.list(Paths.get(dir.toURI()))) {
|
||||||
|
for (Path p : (Iterable<Path>) files.filter(MemoryBench::isDoc)::iterator) {
|
||||||
|
out.put(p.getFileName().toString(), Files.readAllBytes(p));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return out;
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Все {@code *.doc}/{@code *.docx} каталога PATH (реальные документы из develop/). */
|
||||||
|
private static TreeMap<String, byte[]> dirDocs(Path dir) throws IOException {
|
||||||
|
TreeMap<String, byte[]> out = new TreeMap<>();
|
||||||
|
if (!Files.isDirectory(dir)) {
|
||||||
|
OUT.printf(Locale.ROOT, "# dir %s отсутствует — пропущен%n", dir);
|
||||||
|
return out;
|
||||||
|
}
|
||||||
|
try (Stream<Path> files = Files.list(dir)) {
|
||||||
|
for (Path p : (Iterable<Path>) files.filter(MemoryBench::isDoc)::iterator) {
|
||||||
|
out.put(p.getFileName().toString(), Files.readAllBytes(p));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return out;
|
||||||
|
}
|
||||||
|
|
||||||
|
private static boolean isDoc(Path p) {
|
||||||
|
String n = p.getFileName().toString().toLowerCase(Locale.ROOT);
|
||||||
|
return n.endsWith(".doc") || n.endsWith(".docx");
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Синтетический большой docx: body фикстуры ru-plain.docx (между {@code <w:body>}
|
||||||
|
* и финальным {@code <w:sectPr>}) повторён {@link #BODY_REPEATS} раз, zip пересобран
|
||||||
|
* DEFLATED в том же порядке записей. Детерминированно: тот же вход — тот же размер.
|
||||||
|
*/
|
||||||
|
private static byte[] bigDocx(byte[] base) throws IOException {
|
||||||
|
Map<String, byte[]> entries = unzip(base);
|
||||||
|
String xml = new String(entries.get("word/document.xml"), StandardCharsets.UTF_8);
|
||||||
|
int bodyStart = xml.indexOf("<w:body>");
|
||||||
|
int sectIdx = xml.lastIndexOf("<w:sectPr");
|
||||||
|
if (sectIdx <= bodyStart) {
|
||||||
|
// фикстура без секции (ru-plain.docx генератором) — якорь на закрытие body
|
||||||
|
sectIdx = xml.lastIndexOf("</w:body>");
|
||||||
|
}
|
||||||
|
if (bodyStart < 0 || sectIdx <= bodyStart) {
|
||||||
|
throw new IllegalStateException("в фикстуре не найден <w:body>...<w:sectPr>");
|
||||||
|
}
|
||||||
|
String inner = xml.substring(bodyStart + "<w:body>".length(), sectIdx);
|
||||||
|
String grown = xml.substring(0, bodyStart + "<w:body>".length())
|
||||||
|
+ inner.repeat(BODY_REPEATS)
|
||||||
|
+ xml.substring(sectIdx);
|
||||||
|
entries.put("word/document.xml", grown.getBytes(StandardCharsets.UTF_8));
|
||||||
|
return rezip(entries);
|
||||||
|
}
|
||||||
|
|
||||||
|
private static Map<String, byte[]> unzip(byte[] zip) throws IOException {
|
||||||
|
Map<String, byte[]> entries = new LinkedHashMap<>();
|
||||||
|
try (ZipInputStream zin = new ZipInputStream(new ByteArrayInputStream(zip))) {
|
||||||
|
ZipEntry e;
|
||||||
|
while ((e = zin.getNextEntry()) != null) {
|
||||||
|
ByteArrayOutputStream part = new ByteArrayOutputStream();
|
||||||
|
zin.transferTo(part);
|
||||||
|
entries.put(e.getName(), part.toByteArray());
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return entries;
|
||||||
|
}
|
||||||
|
|
||||||
|
private static byte[] rezip(Map<String, byte[]> entries) throws IOException {
|
||||||
|
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||||
|
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||||
|
for (Map.Entry<String, byte[]> e : entries.entrySet()) {
|
||||||
|
zos.putNextEntry(new ZipEntry(e.getKey()));
|
||||||
|
zos.write(e.getValue());
|
||||||
|
zos.closeEntry();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return out.toByteArray();
|
||||||
|
}
|
||||||
|
|
||||||
|
private static byte[] readResource(String name) throws IOException {
|
||||||
|
try (InputStream in = MemoryBench.class.getClassLoader().getResourceAsStream(name)) {
|
||||||
|
if (in == null) {
|
||||||
|
throw new IllegalStateException("ресурс не найден: " + name);
|
||||||
|
}
|
||||||
|
return in.readAllBytes();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private static void resetPeaks() {
|
||||||
|
for (MemoryPoolMXBean pool : ManagementFactory.getMemoryPoolMXBeans()) {
|
||||||
|
if (pool.getType() == MemoryType.HEAP) {
|
||||||
|
try {
|
||||||
|
pool.resetPeakUsage();
|
||||||
|
} catch (UnsupportedOperationException e) {
|
||||||
|
// пул без поддержки пиков (например «Tenured» в некоторых GC) — пропускаем
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private static long sumPeakBytes() {
|
||||||
|
long sum = 0;
|
||||||
|
for (MemoryPoolMXBean pool : ManagementFactory.getMemoryPoolMXBeans()) {
|
||||||
|
if (pool.getType() == MemoryType.HEAP) {
|
||||||
|
try {
|
||||||
|
sum += pool.getPeakUsage().getUsed();
|
||||||
|
} catch (UnsupportedOperationException e) {
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return sum;
|
||||||
|
}
|
||||||
|
|
||||||
|
private static long heapUsedBytes() {
|
||||||
|
return ManagementFactory.getMemoryMXBean().getHeapMemoryUsage().getUsed();
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Память ОС: высокий water mark RSS процесса; на не-Linux — n/a. */
|
||||||
|
private static void printProcMem() {
|
||||||
|
try {
|
||||||
|
for (String line : Files.readAllLines(Paths.get("/proc/self/status"))) {
|
||||||
|
if (line.startsWith("VmHWM:") || line.startsWith("VmRSS:")) {
|
||||||
|
OUT.printf(Locale.ROOT, "# %s%n", line.trim());
|
||||||
|
}
|
||||||
|
}
|
||||||
|
} catch (IOException e) {
|
||||||
|
OUT.printf(Locale.ROOT, "# VmHWM n/a%n");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private static int parsePositive(String[] args, int i) {
|
||||||
|
int value = Integer.parseInt(args[i + 1]);
|
||||||
|
if (value < MIN_POSITIVE) {
|
||||||
|
OUT.printf(Locale.ROOT, "# %s должен быть >= %d%n", args[i], MIN_POSITIVE);
|
||||||
|
System.exit(2);
|
||||||
|
}
|
||||||
|
return value;
|
||||||
|
}
|
||||||
|
|
||||||
|
private static String env(String name, String def) {
|
||||||
|
String value = System.getenv(name);
|
||||||
|
return value == null || value.isEmpty() ? def : value;
|
||||||
|
}
|
||||||
|
}
|
||||||
Reference in New Issue
Block a user