From ddbd8f8fd91493acb2fac7168f0ea8e23f877abc Mon Sep 17 00:00:00 2001 From: Pjandro Date: Tue, 27 Oct 2026 02:05:07 +0000 Subject: [PATCH] =?UTF-8?q?=D0=90=D1=83=D0=B4=D0=B8=D1=82=20=D1=80=D0=B0?= =?UTF-8?q?=D1=81=D0=BA=D0=BB=D0=B0=D0=B4=D0=BA=D0=B8:=20=D0=BF=D1=80?= =?UTF-8?q?=D0=B0=D0=B2=D0=BA=D0=B8=20=D1=80=D0=B5=D0=B2=D1=8C=D1=8E=20?= =?UTF-8?q?=E2=80=94=20=D1=86=D0=B8=D1=82=D0=B0=D1=82=D1=8B=20ECMA=20Part?= =?UTF-8?q?=201,=20=D0=BF=D0=BE=D0=B1=D0=B0=D0=B9=D1=82=D0=BD=D1=8B=D0=B9?= =?UTF-8?q?=20=D0=B4=D1=80=D0=B5=D0=B9=D1=84-=D0=B3=D0=B5=D0=B9=D1=82=20XS?= =?UTF-8?q?LT,=20=D1=82=D0=B5=D1=81=D1=82=20=D0=B4=D1=83=D0=B1=D0=BB=D1=8F?= =?UTF-8?q?=20baseline-shift?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - Spec-ссылки: §17.3.1.13/§17.18.44/§17.3.2.24/§17.4.50 — Part 1, не Part 4 (AGENTS.md, StrictOoxmlNormalizer, вендорный XSLT, два тестовых javadoc); - гейт vendoredXsltTracksJarCopy: вместо пин-хэша побайтовое сравнение вендорной копии со стилистом jarа после возврата AUDIT-FIX-региона к исходному createBlockForRPr — ловит и апгрейд docx4j, и правку копии вне патча; - регрессия rPrPositionWithVertAlign_converts: position+vertAlign в одном ране (дубль baseline-shift) не роняет конвертацию; - AGENTS.md: причинность distribute без text-align-last (в форке нет TextAlign*), два «single» в lineRule=auto, B2-отступление cellMar, MS-OI29500 §2.1.155 для tblInd, команда перевендоринга docx2fo.xslt. --- AGENTS.md | 11 +++- .../internal/StrictOoxmlNormalizer.java | 5 +- .../src/main/resources/xslt/docx2fo.xslt | 2 +- .../pjandro/wordpdf/WordPdfConverterTest.java | 59 ++++++++++++------- .../internal/StrictOoxmlNormalizerTest.java | 4 +- 5 files changed, 53 insertions(+), 28 deletions(-) diff --git a/AGENTS.md b/AGENTS.md index 03ed09d..8b0954b 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -38,7 +38,7 @@ Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Каждый выставляет константу `STEP` (`public static final DocxNormalizer`). Правила 1–6 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` шести нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим: -1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 4 §14.11.2: left≡start, right≡end, RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`). +1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`). 2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается. 3. `SymbolFontNormalizer` — PUA U+F000–U+F0FF (Symbol/Wingdings/Webdings) → Unicode + DejaVu Sans; переписывает ``, правит `w:lvl` в numbering.xml; 5 карт по 256 слотов (таблица `SymbolMapper` из docx4j 17.x). 4. `FieldNormalizer` — `fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple` (кэш страниц в PDF не попадает); вложенные/битые поля пропускаются. @@ -85,14 +85,14 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр ### Критические инварианты (нарушение = битый вывод, не исключение) - `docx4j.convert.out.fo.gsubFeatures=false` — static-блок `WordPdfConverter`. Иначе FO невалиден → `WordLayoutFixups` молча отказывает всем фиксам → FOP падает на `docx4j-baseline`. -- Единственный XSL-FO-стилист — вендорный `wordpdf-core/src/main/resources/xslt/docx2fo.xslt` (копия `docx2fo.xslt` из docx4j-export-fo 17.3.2 + AUDIT-FIX-патч `w:rPr/w:position` → `baseline-shift`, полупункты, Part 4 §17.3.2.24 — docx4j position игнорирует). Дрейф-гейт `WordPdfConverterTest#vendoredXsltTracksJarCopy` (SHA-256 стилиста из jar'а): при апгрейде docx4j — перевендорить и перенести патч. `setCustomXsltTemplates` принимает предкомпилированный `Templates` (`getTemplates` кастит Object→Templates, поток кидает CCE). +- Единственный XSL-FO-стилист — вендорный `wordpdf-core/src/main/resources/xslt/docx2fo.xslt` (копия `docx2fo.xslt` из docx4j-export-fo 17.3.2 + AUDIT-FIX-патч `w:rPr/w:position` → `baseline-shift`, полупункты, Part 1 §17.3.2.24 — docx4j position игнорирует). Дрейф-гейт `WordPdfConverterTest#vendoredXsltTracksJarCopy`: вне AUDIT-FIX-региона вендорная копия обязана быть побайтно равна стилисту из jar'а (сравнение с возвратом патч-региона к исходному вызову `createBlockForRPr`) — при апгрейде docx4j перевендорить и перенести патч. `setCustomXsltTemplates` принимает предкомпилированный `Templates` (`getTemplates` кастит Object→Templates, поток кидает CCE). - `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`). Приложение исключает его из зависимости ядра — логи ведёт logback. - FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 (транзитив от `docx4j-export-fo` 17.3.2, в pom не пинится; пакеты `org.apache.fop.*`). `w:renderers` в docx4j 17.x содержит несколько `w:renderer` (по mime) — `FopFallbackFonts` берёт тот, у которого mime `application/pdf`, иначе первый со шрифтами. Оригинал `docx2fo.xslt` — в jar `docx4j-export-fo`, в конвейере используется вендорная копия (см. выше). - Порядок инициализации шрифтов: `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` — **до** `load()`. `BundledFonts.init()` идемпотентен и `synchronized`, распаковывает TTF во временный каталог `wordpdf-fonts-*` (`deleteOnExit` на файлы и на каталог). `dropNonBundled()` чистит глобальный реестр `PhysicalFonts` от всего, что вне бандла. - `PhysicalFonts` — глобальный и мутируемый → ядро не потокобезопасно; приложение сериализует конвертации одним воркером. - Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `w:sectPr` в body + `w:br type="page"` + `pageBreakBefore` (включая таблицы и `w:sdt`). Единственный путь — lightweight (StAX по zip, secure-ридер без DTD/external entities; `WordPdfValidator` не зависит от docx4j): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитуках — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy `val`: `null|true|1|on`). На не-zip молчит — подпись проверяет вызывающий. `checkPageCount` — один стриминговый проход `ZipInputStream` без буферизации частей (хелпер `noClose` глушит `close()` сканеров): потребление O(одной части) вместо O(суммы XML-частей). - Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно). -- Аудит раскладки по ECMA-376 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left (XSLT-обходки невозможны: FOP не джаститифицирует истинно последнюю строку блока, `text-align-last` работает только перед форсированным разрывом); `w:suff` (nothing/space) и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab); `w:tblInd` при `w:jc`≠left игнорируется (буквально по §17.4.50; Word не игнорирует — MS-OI29500 §2.1.155); высота строки `lineRule="auto"` калибрована docx4j на Word-single (~13.9pt@11pt), не на natural-высоту FOP (15.44pt); кернинг применяется без порога `w:kern`. +- Аудит раскладки по ECMA-376 Part 1 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается, свойства `text-align-last` в форке нет (в docx4j-fo-renderer отсутствуют классы TextAlign*); `w:suff` (nothing/space) и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab); левый padding ячейки таблицы не применяется к тексту (текст на leading edge таблицы, рамка уезжает влево на padding — Java `TableWriter`); `w:tblInd` при `w:jc`≠left игнорируется (буквально по Part 1 §17.4.50; Word не игнорирует — MS-OI29500 §2.1.155); `lineRule="auto"` docx4j считает как (line/240)×внутренний single ≈13.43pt@11pt (Word ≈13.9pt), а абзац без `w:line` рендерится natural-высотой FOP 15.44pt — два «single» в конвертере; кернинг применяется без порога `w:kern`. - Внимание: комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.2 (описанное поведение верно). ### Шрифты (30 TTF + 3 лицензии, SIL OFL, `wordpdf-core/src/main/resources/fonts/`) @@ -137,6 +137,11 @@ mvn -pl wordpdf-app -am test -Dtest=ConvertControllerTest#convertSample_returnsP podman-compose -f compose.dev.yml up -d --build # dev-стенд: http://:9011, без ключа, springdoc вкл ./mise.sh run prod-tests # прод-автотесты: pip install + pytest -q . в prod-autotests/ python3 docs/standards/validate-fixtures.py wordpdf-core/src/test/resources/samples/*.docx # XSD-валидация фикстур (lxml) + +# Перевендорить XSL-FO-стилист после апгрейда docx4j (этого потребует гейт vendoredXsltTracksJarCopy): +unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-export-fo-<версия>.jar \ + org/docx4j/convert/out/fo/docx2fo.xslt > wordpdf-core/src/main/resources/xslt/docx2fo.xslt +# затем перенести AUDIT-FIX-патч (w:rPr/w:position → baseline-shift, образец — комментарий в самом файле) ``` Задачи mise: `verify`, `app-package`, `app-run`, `web-install`, `web-build`, `web-lint`, `web-dev`, `prod-tests`. diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java index 3a34810..2b7d984 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java @@ -65,8 +65,9 @@ import java.util.zip.ZipOutputStream; *
  • значения {@code start}/{@code end} у {@code w:jc} правятся всегда * (как и у {@code w:tab}): docx4j {@code Justification.setXslFO} знает только * left/center/right/both, для start/end {@code fo:text-align} не пишет вовсе — - * {@code jc="end"} рендерился по левому краю. Замена законна: Part 4 §14.11.2 - * (left≡start, right≡end); RTL вне контура конвейера (FOP без complex-script, + * {@code jc="end"} рендерился по левому краю. Замена законна: Part 1 + * §17.3.1.13 (jc val="end" — правовыравнивание в LTR, левовыравнивание в + * RTL; ST_Jc §17.18.44); RTL вне контура конвейера (FOP без complex-script, * direction docx4j не выставляет — start и так рендерился как left).
  • *
  • значения {@code start}/{@code end} у {@code w:tab} правятся всегда * (enum без start/end).
  • diff --git a/wordpdf-core/src/main/resources/xslt/docx2fo.xslt b/wordpdf-core/src/main/resources/xslt/docx2fo.xslt index dbe74c1..6aeaa58 100644 --- a/wordpdf-core/src/main/resources/xslt/docx2fo.xslt +++ b/wordpdf-core/src/main/resources/xslt/docx2fo.xslt @@ -405,7 +405,7 @@ " + + "P" + + "" + + "Q" + + ""); + Path pdf = convertPdf(docx, "t"); + assertTrue(yOfMarker(pdf, 'Q') < yOfMarker(pdf, 'P'), + "Q поднят (vertAlign), конвертация жива"); + } + /** * Дрейф-гейт: вендорный xslt/docx2fo.xslt = копия * org/docx4j/convert/out/fo/docx2fo.xslt из docx4j-export-fo + - * AUDIT-FIX-патч (w:rPr position). При апгрейде docx4j стилист jar'а - * меняется — тест заставляет перевендорить его и перенести патч. + * AUDIT-FIX-патч (w:rPr position). Возврат патч-региона к исходному + * вызову {@code createBlockForRPr} (взят из jar'а) обязан дать + * побайтовое равенство со стилистом jar'а — ловит и апгрейд docx4j, + * и случайную правку вендорной копии вне патча. */ @Test void vendoredXsltTracksJarCopy() throws Exception { - try (InputStream jar = WordPdfConverterTest.class.getResourceAsStream( + String jar; + try (InputStream in = WordPdfConverterTest.class.getResourceAsStream( "/org/docx4j/convert/out/fo/docx2fo.xslt")) { - assertNotNull(jar, "нет docx2fo.xslt в docx4j-export-fo"); - java.security.MessageDigest digest = - java.security.MessageDigest.getInstance("SHA-256"); - StringBuilder hex = new StringBuilder(); - for (byte b : digest.digest(jar.readAllBytes())) { - hex.append(String.format("%02x", b)); - } - assertEquals("cff420cb1bd7ad5d96211c16479db0f7d3a01fec4bf56d01d1bbc7ee4041dda7", - hex.toString(), "docx2fo.xslt в docx4j-export-fo изменился:" - + " перевендорить xslt/docx2fo.xslt и перенести AUDIT-FIX-патч"); + assertNotNull(in, "нет docx2fo.xslt в docx4j-export-fo"); + jar = new String(in.readAllBytes(), StandardCharsets.UTF_8); } - try (InputStream vendored = WordPdfConverterTest.class.getResourceAsStream( - "/xslt/docx2fo.xslt")) { - assertNotNull(vendored, "нет вендорного xslt/docx2fo.xslt"); - assertTrue(new String(vendored.readAllBytes(), StandardCharsets.UTF_8) - .contains("AUDIT-FIX position"), - "вендорный стилист потерял position-патч"); + String vendored; + try (InputStream in = WordPdfConverterTest.class.getResourceAsStream("/xslt/docx2fo.xslt")) { + assertNotNull(in, "нет вендорного xslt/docx2fo.xslt"); + vendored = new String(in.readAllBytes(), StandardCharsets.UTF_8); } + java.util.regex.Matcher call = java.util.regex.Pattern.compile( + "[ \\t]*") + .matcher(jar); + assertTrue(call.find(), "в стилисте jar'а нет исходного вызова createBlockForRPr"); + String restored = vendored.replaceFirst( + "(?s)[ \\t]*