f3ff218686
PR checks / web (pull_request) Successful in 9s
PR checks / java (pull_request) Successful in 5m26s
Main: tests, deploy, autotests / web (push) Successful in 9s
Main: tests, deploy, autotests / images-web (push) Successful in 23s
Main: tests, deploy, autotests / java (push) Successful in 1m30s
Main: tests, deploy, autotests / images-app (push) Successful in 49s
Main: tests, deploy, autotests / deploy (push) Successful in 2m13s
Main: tests, deploy, autotests / autotests (push) Successful in 17s
Main: tests, deploy, autotests / rollback (push) Has been skipped
Замена JEuclid/AWT-ветки формул на детерминированный растер только бандл-шрифтами jar (без fontconfig); FOP-конфиг дополняется всеми бандл-начертаниями при каждом declare — иначе общая FopFactory замораживает fopconf первого документа и теряет глифы. MathModel/MathRenderer: OMML (§22.1) → дерево боксов → PNG 300 dpi (только GlyphFont/fontbox, без java.awt.Font); метрики боксов равны габариту paint (пределы nary/sPre не обрезаются канвой). Unsupported конструкция или переполнение бюджета — текстовая деградация (m:t). Inline-картинка опускается раном w:rPr/w:position на базовую линию строки (FOP ставит инлайн-графику нижним краем на базу; AUDIT-FIX baseline-shift). Байтовое правило 6 MathFallbackNormalizer (перед GlyphCoverage) срезает unsupported-формулы до загрузки docx4j; формула в wps:txbx уходит в docx4j-фолбэк mathText. JEuclid исключён из pom (de.rototor jeuclid-core/jeuclid-fop); порядок zip-правил сдвинут (MathFallback → 6). Порядок сканов шрифтов закрыт гейтом FontsBundledOnlyInvariantTest + BundledFontAliases (единый алиас-реестр вместо рефлексивных мутаций реестра). Счётчики: 63 класса / 1004 теста (core 57/956, app 6/48); JaCoCo BRANCH core 0.8518. Доки: pipeline/render-limitations/repo-map/ testing/doc-bridge/MEM_USAGE_UPGRADE синхронизированы.
129 lines
5.2 KiB
Bash
Executable File
129 lines
5.2 KiB
Bash
Executable File
#!/bin/sh
|
||
# Замер памяти конвейера конвертации: пики кучи на конвертацию (TSV из MemoryBench)
|
||
# + топ аллокаций по JFR (jdk.ObjectAllocationSample). Методика и числа —
|
||
# docs/MEM_USAGE_UPGRADE.md.
|
||
#
|
||
# Вход: env MB_LABEL — метка прогона (before/after/f1…, файл JFR per-label);
|
||
# env MB_JAVA_OPTS — доп. флаги JVM ПОСЛЕ дефолтных (переопределение Xmx/GC
|
||
# для матрицы флагов; при -Xmx меньше дефолтного дефолт просто заменяется;
|
||
# для смены GC нужен и выключатель дефолта: "-XX:-UseG1GC -XX:+UseSerialGC",
|
||
# иначе JVM падает на старте с "Multiple garbage collectors selected");
|
||
# аргументы проходят в MemoryBench: --scenario suite|big|all|, --loops N,
|
||
# --big-loops N, --dir PATH (реальные документы, напр. develop/).
|
||
#
|
||
# Пример: MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-before.txt
|
||
set -eu
|
||
|
||
cd "$(dirname "$0")"
|
||
|
||
LABEL=${MB_LABEL:-run}
|
||
|
||
mvn -q -pl wordpdf-core test-compile
|
||
CPFILE=$PWD/wordpdf-core/target/cp.txt
|
||
if [ ! -f "$CPFILE" ] || [ wordpdf-core/pom.xml -nt "$CPFILE" ]; then
|
||
mvn -q -pl wordpdf-core org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
|
||
-Dmdep.outputFile="$CPFILE" -Dmdep.includeScope=test
|
||
fi
|
||
|
||
JFR=$PWD/wordpdf-core/target/membench-$LABEL.jfr
|
||
GCLOG=$PWD/wordpdf-core/target/membench-$LABEL.gc.log
|
||
ERRLOG=$PWD/wordpdf-core/target/membench-$LABEL.err
|
||
printf '# git %s\n' "$(git rev-parse HEAD)"
|
||
printf '# date %s\n' "$(date -u +%FT%TZ)"
|
||
printf '# MB_JAVA_OPTS=%s\n' "${MB_JAVA_OPTS:-}"
|
||
|
||
# MB_JAVA_OPTS без кавычек — намеренно: несколько флагов одним словом пользователя.
|
||
# shellcheck disable=SC2086
|
||
java -Xms64m -Xmx2g -XX:+UseG1GC -Djava.awt.headless=true \
|
||
-Xlog:gc*=info,gc+heap=debug:file=$GCLOG \
|
||
${MB_JAVA_OPTS:-} \
|
||
-XX:StartFlightRecording=filename=$JFR,settings=profile,maxsize=0,loglevel=error \
|
||
-cp "wordpdf-core/target/classes:wordpdf-core/target/test-classes:$(cat "$CPFILE")" \
|
||
ru.pjandro.wordpdf.MemoryBench "$@" 2>"$ERRLOG"
|
||
|
||
# --- аллокации по GC-логу (абсолютная оценка) -----------------------------------
|
||
# allocated ≈ выметенный Eden + выметенные humongous-области (G1); max-live —
|
||
# максимум heap после пауз (тренд накопления); паузы — число/сумма.
|
||
# awk — портативный (mawk/gawk): без 3-аргументного match().
|
||
echo
|
||
awk '
|
||
/Region Size:/ {
|
||
for (i = 1; i <= NF; i++) { if ($i ~ /^[0-9]+M$/) { tok = $i; sub(/M$/, "", tok); rs = tok + 0 } }
|
||
}
|
||
/Eden regions:/ {
|
||
for (i = 1; i <= NF; i++) {
|
||
if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); eden += (a[1] - a[2]) * rs }
|
||
}
|
||
}
|
||
/Humongous regions:/ {
|
||
for (i = 1; i <= NF; i++) {
|
||
if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); hum += (a[1] - a[2]) * rs }
|
||
}
|
||
}
|
||
/Pause (Young|Full)/ && /M->/ {
|
||
pauses++
|
||
tail = $NF; if (tail ~ /[0-9]ms$/) { sub(/ms$/, "", tail); ptime += tail }
|
||
for (i = 1; i <= NF; i++) {
|
||
if ($i ~ /^[0-9]+M->[0-9]+M/) {
|
||
v = $i; sub(/\(.*/, "", v); split(v, m, "->")
|
||
if (m[2] + 0 > maxlive) { maxlive = m[2] + 0 }
|
||
}
|
||
}
|
||
}
|
||
END {
|
||
printf "gc-summary allocated-estimate=%dMB max-live-after-gc=%dMB pauses=%d pause-total=%dms\n",
|
||
eden + hum, maxlive, pauses, ptime
|
||
}
|
||
' "$GCLOG"
|
||
|
||
# --- агрегация аллокаций из JFR -------------------------------------------------
|
||
TOPF=$(mktemp); APPF=$(mktemp)
|
||
trap 'rm -f "$TOPF" "$APPF"' EXIT
|
||
|
||
jfr print --events jdk.ObjectAllocationSample "$JFR" | awk \
|
||
-v TOPF="$TOPF" -v APPF="$APPF" '
|
||
function framekey(line, k) {
|
||
k = line
|
||
sub(/^[ \t]+/, "", k)
|
||
sub(/ line: [0-9]+$/, "", k)
|
||
return k
|
||
}
|
||
function cls(key, c) {
|
||
c = key
|
||
sub(/ ?\(.*$/, "", c)
|
||
sub(/^[^ ]*\//, "", c)
|
||
return c
|
||
}
|
||
/^ *weight = / { w = $3 + 0 }
|
||
/^ *stackTrace = \[/ { instk = 1; nf = 0; next }
|
||
instk == 1 && /^ *\]/ {
|
||
instk = 0
|
||
if (nf == 0) { next }
|
||
top = fr[1]
|
||
app = ""
|
||
for (i = 1; i <= nf; i++) {
|
||
c = cls(fr[i])
|
||
if (c !~ /^(java|javax|jdk|sun|com\.sun|org\.apache|org\.docx4j|org\.springframework|org\.springdoc|org\.w3c|org\.xml|net\.sf|org\.slf4j|ch\.qos)/) {
|
||
app = fr[i]
|
||
break
|
||
}
|
||
}
|
||
wsum[top] += w
|
||
if (app != "") { asum[app] += w }
|
||
next
|
||
}
|
||
instk == 1 { nf++; fr[nf] = framekey($0) }
|
||
END {
|
||
for (k in wsum) { print wsum[k] "\t" k > TOPF }
|
||
for (k in asum) { print asum[k] "\t" k > APPF }
|
||
}
|
||
'
|
||
|
||
echo
|
||
printf '===== top-frames: суммарный вес аллокаций, байт (JFR profile, оценка) — label %s =====\n' "$LABEL"
|
||
sort -rn "$TOPF" | head -15
|
||
printf '===== alloc-total: %s байт\n' "$(awk '{s+=$1} END {printf "%.0f", s}' "$TOPF")"
|
||
echo
|
||
printf '===== app-sites: аллокации с первым кадром из приложения (attribution) =====\n'
|
||
sort -rn "$APPF" | head -15
|