From 4a6cf85f20eceb3b6c73fbb374d4f8df7d19229f Mon Sep 17 00:00:00 2001 From: Pjandro Date: Sun, 8 Nov 2026 23:50:25 +0000 Subject: [PATCH] =?UTF-8?q?refactor(core):=20=D1=80=D0=B5=D1=84=D1=8C?= =?UTF-8?q?=D1=8E=20PR-2=20-=20=D0=B6=D1=91=D1=81=D1=82=D0=BA=D0=B8=D0=B9?= =?UTF-8?q?=20=D1=80=D0=B0=D0=B7=D0=B1=D0=BE=D1=80=20=D0=B0=D0=B1=D0=B7?= =?UTF-8?q?=D0=B0=D1=86=D0=B0,=20header/footer-=D1=88=D1=82=D0=B0=D0=BC?= =?UTF-8?q?=D0=BF,=20=D1=81=D0=B2=D0=B5=D0=B4=D0=B5=D0=BD=D0=B8=D0=B5=20?= =?UTF-8?q?=D0=BD=D1=83=D0=BC=D0=B5=D1=80=D0=B0=D1=86=D0=B8=D0=B8=20=D0=BF?= =?UTF-8?q?=D1=80=D0=B0=D0=B2=D0=B8=D0=BB?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - DistributeStampNormalizer: pPr ищется как первый ребёнок w:p (S17.3.1.23, O(1) вместо неограниченного indexOf по хвосту части); окно jc режется началом w:pPrChange - старое значение реvision больше не штампуется и не маскируется; вставка - после НАРУЖНОГО (lastIndexOf от конца абзаца), идемпотентность позиционная (чужая закладка Word сразу после pPr больше не считается штампом); - штампуется word/headerN.xml / word/footerN.xml (якорь работает и в колонтитулах; .rels отсекаются); - юниты: реvision-only jc, вложенный pPr в реvision, чужая закладка, header/footer, pretty-print; LayoutPostRendererTest: якорь внутри fo:static-content; - проба опровергла двойной разделитель suff=space (TP-поток «1.·ITEM») - зафиксировано в javadoc правила 6; - нумерация правил сведена к docs (Distribute=9, OLE=10): код/тесты 12->9, README 8/9->9/10, doc-bridge 9->7, xslt-комментарий внутри AUDIT-FIX-2 10->8 (гейт побайтной копии не затронут); - GITEA-vars.md: MAVEN_MIRROR_URL = group maven-public (иначе CI не резолвит ru.pjandro-оверлей через mirrorOf=*); render-limitations: замер framePr - 180pt от КРАЯ страницы при hAnchor=page; счётчики 58/906. mvn clean verify зелёные (core 858 + app 48; артефакт форка докачан через maven-public при пустом кэше). --- GITEA-vars.md | 2 +- README.md | 4 +- docs/agent/doc-bridge.md | 2 +- docs/agent/pipeline.md | 2 +- docs/agent/render-limitations.md | 2 +- .../internal/DistributeStampNormalizer.java | 93 ++++++++++++++----- .../wordpdf/internal/LayoutPostRenderer.java | 2 +- .../internal/NumberingSuffixNormalizer.java | 5 + .../src/main/resources/xslt/docx2fo.xslt | 2 +- .../pjandro/wordpdf/SampleDocxGenerator.java | 2 +- .../pjandro/wordpdf/WordPdfConverterTest.java | 2 +- .../DistributeStampNormalizerTest.java | 54 ++++++++++- .../internal/LayoutPostRendererTest.java | 12 +++ 13 files changed, 148 insertions(+), 36 deletions(-) diff --git a/GITEA-vars.md b/GITEA-vars.md index cf3d5ca..cec6b4b 100644 --- a/GITEA-vars.md +++ b/GITEA-vars.md @@ -31,7 +31,7 @@ job'ах `images-app`/`images-web` (проверка `REGISTRY`/`REGISTRY_USER`/ |`WORDPDF_MAX_MB`|Лимит размера входного .docx, МБ (сейчас `5`)| |`REGISTRY`|Адрес docker-реестра `host:port` без схемы (Nexus docker-registry на прод-сервере, коннектор `:5000`)| |`PIP_INDEX_URL`|Полный URL pypi-proxy индекса Nexus без кредов, вида `http://:/repository/pypi-proxy/simple` (репозиторий заводится по разделу «Nexus: анонимный доступ CI» ниже; HTTP-порт Nexus — не docker-коннектор `:5000`)| -|`MAVEN_MIRROR_URL`|Полный URL зеркала Nexus maven-central со слэшем на конце: `http://:/repository/maven-central/` (репозиторий `maven-central` — штатный proxy на Central из коробки Nexus 3, создавать не надо; заводка доступа — раздел «Nexus: анонимный доступ CI» ниже)| +|`MAVEN_MIRROR_URL`|Полный URL зеркала Nexus **maven-public** (group) со слэшем на конце: `http://:/repository/maven-public/`. Group содержит `maven-central` (proxy на Central) **и** `maven-hosted` (наш `ru.pjandro:docx4j-fo-renderer-core`, PR-2) — mirror в `.ci/maven-settings.xml` имеет `mirrorOf=*`, поэтому при значении `…/maven-central/` форк-артефакт CI не резолвится (404, fail-closed). Group и доступ — раздел «Nexus: анонимный доступ CI» ниже| При смене лимитов прода — править `WORDPDF_MAX_PAGES`/`WORDPDF_MAX_MB` в Variables, PR не нужен: job `deploy` прокидывает их в прод-stack (app пересоздаётся с новыми лимитами), job `autotests` сверяет проверки с ними же. Без обеих Variables job'ы `deploy`/`autotests` падают на проверке — fail-closed. diff --git a/README.md b/README.md index adf3893..a09e1ce 100644 --- a/README.md +++ b/README.md @@ -41,7 +41,7 @@ java-word-pdf/ |`ru.pjandro.wordpdf.ConversionException`|ошибки конвертации; подтипы `ValidationException` (некорректный вход) и `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`)| |`ru.pjandro.wordpdf.fonts.BundledFonts`|выгрузка TTF из jar и регистрация в docx4j| |`ru.pjandro.wordpdf.fonts.BundledFontMapper`|маппинг имён шрифтов документа → TTF| -|`ru.pjandro.wordpdf.internal.DocxRewritePipeline`|правила 1–8 нормализации XML-частей одним zip-проходом (+ `OleObjectNormalizer`, правило 9)| +|`ru.pjandro.wordpdf.internal.DocxRewritePipeline`|правила 1–9 нормализации XML-частей одним zip-проходом (+ `OleObjectNormalizer`, правило 10)| |`ru.pjandro.wordpdf.internal.doc.DocToDocx`|мост бинарного `.doc` → in-memory `.docx` (`convert`/`countPages`)| |`ru.pjandro.wordpdf.internal.FopFallbackFonts`|декларация fallback-семейства в FOP-конфиге| |`ru.pjandro.wordpdf.internal.chart.DrawingPreRenderer`|диаграммы/SmartArt → PNG до XSL-FO| @@ -303,7 +303,7 @@ Dev-режим без контейнеров: бэкенд `java -jar wordpdf-ap скрытые раны (`w:vanish`), руби (надстрочница вырезается). Маркеры Symbol/Wingdings и поля `PAGE`/`NUMPAGES` не переписываем — с docx4j 17.3.x экспорт делает это сам (маркеры → Unicode, complex-поля → пересчёт вместо - кэша). Затем вычищаются OLE-объекты (правило 9, + кэша). Затем вычищаются OLE-объекты (правило 10, `OleObjectNormalizer`, картинка-плейсхолдер сохраняется). 3. Документ загружается в `WordprocessingMLPackage`, привязывается `BundledFontMapper`. diff --git a/docs/agent/doc-bridge.md b/docs/agent/doc-bridge.md index 7e33868..7828beb 100644 --- a/docs/agent/doc-bridge.md +++ b/docs/agent/doc-bridge.md @@ -23,4 +23,4 @@ ## Остаток моста -Остаток моста (осознанный, вне контура): семантика рестартов списков не переносится (`fNoRestart`/`ilvlRestartLim` → `w:lvlRestart` — docx4j-Emulator применяет свой дефолт «рестарт на старшем уровне»), как и `fLegal`/`isLgl`, `dxaIndentSav` и `LfoData.cp`; `sprmPIlvl=0x0C` — абзац без numPr (не «в списке без номера»); AUTONUM-поля трактуются как обычные списки; отрицательный `sprmPIlfo` («сохранить отступы») — обычный numPr, отступы делает прямой `w:ind` абзаца; объединённые ячейки: вертикальное слияние (`vertMerge`) не переносится, горизонтальное — переносится собственной сеткой строки (TTP-абзац каждой строки несёт свой `sprmTDefTable`, §2.9.321 → `w:gridSpan`+суммарный `w:tcW`; регрессия — WordPdfConverterTest#docMergedTableRow_fullWidthNotSplit, юниты — DocToDocxFormattingTest#mergedRow_gridSpanAndWidth, #misalignedRow_fallsBackToColumnWidths), вложенные таблицы (sprmPFInnerTtp — разделитель ячейки/строки там ¶ 0x0D, не 0x07) и бордюры уровня ячейки (TC80/sprmTCellBorders) не переносятся — только сетка и строковые границы; строки, у которых сетка задана только `sprmTInsert` (в PrcData нет `sprmTDefTable`, а PAPX-зеркало отсутствует), деградируют в плоские абзацы (`sprmTInsert` конвертер не читает); `DocFile.countPages` (`PapxIndex.countPageBreakBefore`) цепочку PrcData не следует — свойства вне FKP в подсчёт страниц не попадают, 0x0C-разрывы считаются; сноски/концевые сноски/комментарии не рендерятся (метки ссылок пропускаются); плавающие объекты (якорь 0x08) — только inline-картинкой: позиция/плавание/обтекание (PlcfSpa) не переносятся; непринятые правки рендерятся как разметка (`w:ins`/`w:del`, вид «Show Markup»), эмуляция принятия правок не делается; скрытый текст вырезается мостом сам (`.docx`-путь чистит и его — правило 9, но мост не ждёт байтового прохода), ВСЕ ПРОПИСНЫЕ/малые капители — апкейс текста (FOP без font-variant); подсветка и затенения перенесены аудитом 2026-11: `sprmCHighlight` 0x2A0C → `w:highlight` (Ico→ST_HighlightColor по RGB), `sprmCShd` 0xCA71/`sprmCShd80` 0x4866/`sprmPShd` 0xC64D/`sprmPShd80` 0x442D → `w:shd` (форма `w:val="clear"` + цвет в `w:fill` — FOP закрашивает только w:fill, проверено экспериментально: `w:val="solid" w:color=RRGGBB w:fill="auto"` не рисует ничего; ipatSolid → fill=cvFore, иначе fill=cvBack — паттерны Ipat≥2 деградируют, [MS-DOC] Ipat: «lost if converted to ECMA-376»); затенение таблицы/ячеек (`sprmTSetShd` 0xD62D/`sprmTSetShd80` 0xD60F) мостом не переносится; тип подчёркивания не переносится: KUL любой → `w:u val="single"` (double/dotted деградируют, `sprmCCvUl` не читается); границы абзацев (хранятся sprm PAPX 0xC64E–0xC652, а не PlfBdx §2.9.8) не переносятся — и конвейер `w:pBdr` не рисует (в docx4j-export-fo 17.3.2 нет getPBdr, байткод 2026-11); не переносятся и не были бы нарисованы (в docx4j-export-fo 17.3.2 нет соответствующих getters — проверено байткодовым зондом): `w:tcBorders` (границы ячеек — TC80/sprmTCellBorders), `w:trHeight` (sprmTRheight), `w:tblHeader` (sprmTfHdrTbl), `w:cantSplit` (sprmTfCantSplit), `w:widowControl` (sprmPFWidowControl); отступы в символьных единицах `sprmPDxcLeft`/`sprmPDxcRight`/`sprmPDxcLeft1` 0x4456/0x4455/0x4457 не переносятся — операнд есть 1/100 ширины символа (§2.6.1), перевод в twips требует ширины глифа «0» разрешённого шрифта, коей у моста нет (guard `fCharLineUnits` §2.6.2: в обычных документах этих Prl нет вовсе); чётные варианты колонтитуков не переносятся (переносится только odd → `type="default"`, FOP не различает чётность полос набора); first-page переносится аудитом 2026-11 — sprmSFTitlePage + `type="first"` (см. строку `Headers`); разрыв секции в абзаце со sprmPFInTable деградирует в разрыв страницы (`w:sectPr` в `w:pPr` внутри `w:tc` невалиден); error-флаги `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` на `.doc` **не срабатывают** — диаграммы/SmartArt/OLE в бинарном формате существуют только как BLIP-плейсхолдеры, мост выдаёт их картинками (задокументировано в `@Operation`); `stale-cache.doc` конвертируется (кэш PageCount=5, концепта lastRenderedPageBreak в .doc нет) — семантика отличается от docx-фикстуры, запинено тестом. +Остаток моста (осознанный, вне контура): семантика рестартов списков не переносится (`fNoRestart`/`ilvlRestartLim` → `w:lvlRestart` — docx4j-Emulator применяет свой дефолт «рестарт на старшем уровне»), как и `fLegal`/`isLgl`, `dxaIndentSav` и `LfoData.cp`; `sprmPIlvl=0x0C` — абзац без numPr (не «в списке без номера»); AUTONUM-поля трактуются как обычные списки; отрицательный `sprmPIlfo` («сохранить отступы») — обычный numPr, отступы делает прямой `w:ind` абзаца; объединённые ячейки: вертикальное слияние (`vertMerge`) не переносится, горизонтальное — переносится собственной сеткой строки (TTP-абзац каждой строки несёт свой `sprmTDefTable`, §2.9.321 → `w:gridSpan`+суммарный `w:tcW`; регрессия — WordPdfConverterTest#docMergedTableRow_fullWidthNotSplit, юниты — DocToDocxFormattingTest#mergedRow_gridSpanAndWidth, #misalignedRow_fallsBackToColumnWidths), вложенные таблицы (sprmPFInnerTtp — разделитель ячейки/строки там ¶ 0x0D, не 0x07) и бордюры уровня ячейки (TC80/sprmTCellBorders) не переносятся — только сетка и строковые границы; строки, у которых сетка задана только `sprmTInsert` (в PrcData нет `sprmTDefTable`, а PAPX-зеркало отсутствует), деградируют в плоские абзацы (`sprmTInsert` конвертер не читает); `DocFile.countPages` (`PapxIndex.countPageBreakBefore`) цепочку PrcData не следует — свойства вне FKP в подсчёт страниц не попадают, 0x0C-разрывы считаются; сноски/концевые сноски/комментарии не рендерятся (метки ссылок пропускаются); плавающие объекты (якорь 0x08) — только inline-картинкой: позиция/плавание/обтекание (PlcfSpa) не переносятся; непринятые правки рендерятся как разметка (`w:ins`/`w:del`, вид «Show Markup»), эмуляция принятия правок не делается; скрытый текст вырезается мостом сам (`.docx`-путь чистит и его — правило 7, но мост не ждёт байтового прохода), ВСЕ ПРОПИСНЫЕ/малые капители — апкейс текста (FOP без font-variant); подсветка и затенения перенесены аудитом 2026-11: `sprmCHighlight` 0x2A0C → `w:highlight` (Ico→ST_HighlightColor по RGB), `sprmCShd` 0xCA71/`sprmCShd80` 0x4866/`sprmPShd` 0xC64D/`sprmPShd80` 0x442D → `w:shd` (форма `w:val="clear"` + цвет в `w:fill` — FOP закрашивает только w:fill, проверено экспериментально: `w:val="solid" w:color=RRGGBB w:fill="auto"` не рисует ничего; ipatSolid → fill=cvFore, иначе fill=cvBack — паттерны Ipat≥2 деградируют, [MS-DOC] Ipat: «lost if converted to ECMA-376»); затенение таблицы/ячеек (`sprmTSetShd` 0xD62D/`sprmTSetShd80` 0xD60F) мостом не переносится; тип подчёркивания не переносится: KUL любой → `w:u val="single"` (double/dotted деградируют, `sprmCCvUl` не читается); границы абзацев (хранятся sprm PAPX 0xC64E–0xC652, а не PlfBdx §2.9.8) не переносятся — и конвейер `w:pBdr` не рисует (в docx4j-export-fo 17.3.2 нет getPBdr, байткод 2026-11); не переносятся и не были бы нарисованы (в docx4j-export-fo 17.3.2 нет соответствующих getters — проверено байткодовым зондом): `w:tcBorders` (границы ячеек — TC80/sprmTCellBorders), `w:trHeight` (sprmTRheight), `w:tblHeader` (sprmTfHdrTbl), `w:cantSplit` (sprmTfCantSplit), `w:widowControl` (sprmPFWidowControl); отступы в символьных единицах `sprmPDxcLeft`/`sprmPDxcRight`/`sprmPDxcLeft1` 0x4456/0x4455/0x4457 не переносятся — операнд есть 1/100 ширины символа (§2.6.1), перевод в twips требует ширины глифа «0» разрешённого шрифта, коей у моста нет (guard `fCharLineUnits` §2.6.2: в обычных документах этих Prl нет вовсе); чётные варианты колонтитуков не переносятся (переносится только odd → `type="default"`, FOP не различает чётность полос набора); first-page переносится аудитом 2026-11 — sprmSFTitlePage + `type="first"` (см. строку `Headers`); разрыв секции в абзаце со sprmPFInTable деградирует в разрыв страницы (`w:sectPr` в `w:pPr` внутри `w:tc` невалиден); error-флаги `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` на `.doc` **не срабатывают** — диаграммы/SmartArt/OLE в бинарном формате существуют только как BLIP-плейсхолдеры, мост выдаёт их картинками (задокументировано в `@Operation`); `stale-cache.doc` конвертируется (кэш PageCount=5, концепта lastRenderedPageBreak в .doc нет) — семантика отличается от docx-фикстуры, запинено тестом. diff --git a/docs/agent/pipeline.md b/docs/agent/pipeline.md index a1a6c91..249041b 100644 --- a/docs/agent/pipeline.md +++ b/docs/agent/pipeline.md @@ -41,7 +41,7 @@ 6. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; Part 1 §17.3.1.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace. 7. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.30): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, юниты — HiddenTextNormalizerTest. 8. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.18/.19/.20/.21): `w:rubyBase`/`w:rubyBaseText` разворачиваются в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.6 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest. -9. `DistributeStampNormalizer` — `w:pPr/w:jc w:val="distribute"` → невидимая закладка-якорь `w:bookmarkStart w:name="pj-distribute-<часть>-"` сразу после `` (Part 1 §17.18.44): docx4j для DISTRIBUTE не эмитит в FO ничего, канонический эквивалент — пара `text-align`/`text-align-last="justify"`, но стилист править нельзя (дрейф-гейт), а `LayoutPostRenderer` опознаёт абзац только по якорю — `BookmarkStartWriter` делает из закладки `` первым инлайн-ребёнком блока, фильтр дописывает блоку justify-пару (сериализация без префикса `fo:` учтена паттерном). Штампуются только content-части (document/footnotes/endnotes; в numbering у `CT_Lvl` закладок не бывает, `w:jc` в `trPr`/`tblPr` не читается — разбор только внутри `w:pPr`); счётчик id от max существующих +1, идемпотентность по метке `pj-distribute-`. Идёт после Hidden, чтобы не штамповать вырезанный абзац. Регрессия — WordPdfConverterTest#distribute_allLinesReachRightMargin, юниты — DistributeStampNormalizerTest, пин форка — DistributeLineTestCase. +9. `DistributeStampNormalizer` — `w:pPr/w:jc w:val="distribute"` → невидимая закладка-якорь `w:bookmarkStart w:name="pj-distribute-<часть>-"` сразу после `` (Part 1 §17.18.44): docx4j для DISTRIBUTE не эмитит в FO ничего, канонический эквивалент — пара `text-align`/`text-align-last="justify"`, но стилист править нельзя (дрейф-гейт), а `LayoutPostRenderer` опознаёт абзац только по якорю — `BookmarkStartWriter` делает из закладки `` первым инлайн-ребёнком блока, фильтр дописывает блоку justify-пару (сериализация без префикса `fo:` учтена паттерном). Штампуются контентные части (document/footnotes/endnotes, `headerN`/`footerN` — якорь работает и в колонтитулах; в numbering у `CT_Lvl` закладок не бывает, `w:jc` в `trPr`/`tblPr` не читается — разбор только внутри `w:pPr`, первого ребёнка `w:p`, §17.3.1.23); старое `jc` внутри `w:pPrChange` (реvision) — не текущее выравнивание: окно поиска режется началом реvision, штамп ставится после наружного ``; счётчик id от max существующих +1, идемпотентность позиционная (штамп всегда сразу за закрытием pPr). Идёт после Hidden, чтобы не штамповать вырезанный абзац. Регрессия — WordPdfConverterTest#distribute_allLinesReachRightMargin, юниты — DistributeStampNormalizerTest, пин форка — DistributeLineTestCase. 10. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `DrawingFoundException(OLE)`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет. `mc-preprocessor.xslt` docx4j (в jar `docx4j-core`) перебивает strict-namespace'ы в transitional и конвертит `pt` в twips/half-points, но ветку перевода процентов в тысячные для namespace'ных атрибутов содержит с закомментированным `` (для атрибутов без namespace — она активна), а `w:start`/`w:end` в `w:left`/`w:right` не маппит вовсе. Поэтому собственный рерайт URI ломать нельзя — он сломал бы pt-конверсию preprocessor'а (FOP получил бы «10pt»). diff --git a/docs/agent/render-limitations.md b/docs/agent/render-limitations.md index 4f03e89..87a261d 100644 --- a/docs/agent/render-limitations.md +++ b/docs/agent/render-limitations.md @@ -4,6 +4,6 @@ - Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно). -- Аудит раскладки по ECMA-376 Part 1 (2026-10, реаудит на docx4j 17.3.6 + форке FOP 2.12 — 2026-11) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:lvlJc` игнорируется (numbering-лейбл всегда у number position: `lvlJc="right"`/`"center"` рендерятся идентично `left` — лейблы по общему левому краю; suff=space чинит правило 6, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер на 17.3.6/форке 2.12: dx пары = сумма advance без поправки — Carlito «Wa»/«AV», DejaVu Sans «Ta»; GPOS-only у 22 TTF, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; GPOS-путь в форке тоже не применяется); свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19; при отсутствии `w:kern` Office не кернит — MS-OI29500 §21.1.2.3.9a) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 5), `w:suff="space"` (правило 6). Починено на 17.3.6+форке: `w:jc="distribute"` (правило 9 `DistributeStampNormalizer` ставит закладку-якорь, `LayoutPostRenderer` дописывает блоку пару `text-align`/`text-align-last="justify"` — межсловный разнос всех строк, включая последнюю; пин в форке `DistributeLineTestCase`, в конвертере `distribute_allLinesReachRightMargin`; межсимвольный kashida-разнос §17.18.44 не реализован — для латиницы Word разносит межсловные пробелы, однословная строка не растягивается, потому что растягивать нечем). Починено апстримом 17.3.6: `w:framePr` (фрейм позиционируется — замер: FRAME на x=252pt = левое поле 72pt + `w:x=180pt`; до апгрейда текст шёл в общем потоке), symbol-шрифты и complex-поля PAGE/NUMPAGES (экспорт сам маппит PUA-маркеры и пересчитывает page-поля). +- Аудит раскладки по ECMA-376 Part 1 (2026-10, реаудит на docx4j 17.3.6 + форке FOP 2.12 — 2026-11) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:lvlJc` игнорируется (numbering-лейбл всегда у number position: `lvlJc="right"`/`"center"` рендерятся идентично `left` — лейблы по общему левому краю; suff=space чинит правило 6, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер на 17.3.6/форке 2.12: dx пары = сумма advance без поправки — Carlito «Wa»/«AV», DejaVu Sans «Ta»; GPOS-only у 22 TTF, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; GPOS-путь в форке тоже не применяется); свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19; при отсутствии `w:kern` Office не кернит — MS-OI29500 §21.1.2.3.9a) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 5), `w:suff="space"` (правило 6). Починено на 17.3.6+форке: `w:jc="distribute"` (правило 9 `DistributeStampNormalizer` ставит закладку-якорь, `LayoutPostRenderer` дописывает блоку пару `text-align`/`text-align-last="justify"` — межсловный разнос всех строк, включая последнюю; пин в форке `DistributeLineTestCase`, в конвертере `distribute_allLinesReachRightMargin`; межсимвольный kashida-разнос §17.18.44 не реализован — для латиницы Word разносит межсловные пробелы, однословная строка не растягивается, потому что растягивать нечем). Починено апстримом 17.3.6: `w:framePr` (фрейм `hAnchor="page"` позиционируется: текст на x=180pt от края страницы — `w:x=3600` twips при `hAnchor="page"` отсчитывается от края страницы, не от поля, §17.4.31; пин — фикстура frame-pr.docx и WordPdfConverterTest#framePr_positionedLikeWord; до апгрейда текст шёл в общем потоке), symbol-шрифты и complex-поля PAGE/NUMPAGES (экспорт сам маппит PUA-маркеры и пересчитывает page-поля). - Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.13.1.35), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23), OMML-формулы рисуются вектором jeuclid-fop (§22.1 — текст из PDF не извлекается, пинь пикселями), фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 7); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 8 + AUDIT-FIX-2). Остаток (не чиним): `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 8 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура). diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DistributeStampNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DistributeStampNormalizer.java index 6c6d82e..5397467 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DistributeStampNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DistributeStampNormalizer.java @@ -23,20 +23,26 @@ import java.util.zip.ZipOutputStream; * нельзя (дрейф-гейт {@code vendoredXsltTracksJarCopy}), а рендер-фильтр * {@code LayoutPostRenderer} видит только FO и опознал бы distribute-абзац * лишь по якорю. Штамп — этот якорь: {@code w:bookmarkStart - * w:name="pj-distribute-<часть>-"} сразу после {@code }; экспорт - * docx4j ({@code BookmarkStartWriter}) превращает её в {@code } первым инлайн-ребёнком блока, и фильтр дописывает - * блоку пару justify-свойств. Имена закладок уникальны в пределах конвертации - * (docx4j дубликаты выбрасывает с warn), поэтому счётчик per-part с меткой - * части в имени.

+ * w:name="pj-distribute-<часть>-"} сразу после закрывающего {@code } + * абзаца; экспорт docx4j ({@code BookmarkStartWriter}) превращает её в + * {@code } первым инлайн-ребёнком блока, и + * фильтр дописывает блоку пару justify-свойств. Имена закладок уникальны в + * пределах конвертации (docx4j дубликаты выбрасывает с warn), поэтому + * счётчик per-part с меткой части в имени.

* - *

Штампуются только content-части (document/footnotes/endnotes): в - * {@code numbering.xml} у {@code CT_Lvl} закладки быть не может (не входит в - * EG_PPrGeneralContent, WML XSD), а {@code w:jc} в {@code trPr}/{@code tblPr} - * (выравнивание таблицы/строки) не читается — разбор идёт только содержимым - * {@code w:pPr}. Диапазон абзаца плоский: {@code w:p} не вложен в {@code w:p}. - * Уже проштампованный абзац не дублируется (идемпотентность). Нечего менять → - * {@code null} (контракт rewrite-хуков).

+ *

Штампуются контентные части ({@code document}, {@code footnotes}, + * {@code endnotes}, {@code headerN}/{@code footerN} — закладка-якорь работает + * и в колонтитулах): в {@code numbering.xml} у {@code CT_Lvl} закладки быть + * не может (не входит в EG_PPrGeneralContent, WML XSD), а {@code w:jc} в + * {@code trPr}/{@code tblPr} (выравнивание таблицы/строки) не читается — + * разбор идёт только содержимым {@code w:pPr} (первый ребёнок {@code w:p}, + * Part 1 §17.3.1.23). Старое значение {@code w:jc} внутри {@code w:pPrChange} + * (реvision) — не текущее выравнивание: окно поиска огранивается началом + * реvision, а штамп вставляется после наружного {@code }. Диапазон + * абзаца плоский: {@code w:p} не вложен в {@code w:p}. Уже проштампованный + * абзац не дублируется (идемпотентность проверяется позиционно — штамп + * всегда стоит сразу после закрытия pPr). Нечего менять → {@code null} + * (контракт rewrite-хуков).

* *

Регрессии — DistributeStampNormalizerTest (юнит), * WordPdfConverterTest#distribute_allLinesReachRightMargin (конвейер), @@ -61,6 +67,15 @@ final class DistributeStampNormalizer { /** Закрывающий слэш открывающего тега: {@code } — абзац без содержимого. */ private static final char SELF_CLOSE_SLASH = '/'; + /** Закрытие w:pPr; наружное ищем от конца абзаца (внутри — w:pPrChange). */ + private static final String PPR_CLOSE = ""; + + /** Начало реvision абзаца — старое значение jc внутри неё не текущее. */ + private static final Pattern PPR_CHANGE = Pattern.compile("} — проверка позиционная. */ + private static final String BOOKMARK_OPEN = "= end) { + // pPr — первый ребёнок w:p (Part 1 §17.3.1.23): проверка на месте, + // без поиска по хвосту части (O(1) на абзац без pPr). + int pos = gt + 1; + while (pos < end && xml.charAt(pos) <= ' ') { + pos++; + } + if (!xml.startsWith("", pprOpen); - if (pprClose < 0 || pprClose >= end) { + // Наружное закрытие — последнее до конца абзаца: внутри pPr может + // стоять w:pPrChange (реvision), чей контент содержит . + int pprClose = xml.lastIndexOf(PPR_CLOSE, end - 1); + if (pprClose <= pos) { continue; } - CharSequence ppr = xml.subSequence(pprOpen, pprClose); - if (!JC_DISTRIBUTE.matcher(ppr).find()) { + CharSequence ppr = xml.subSequence(pos, pprClose); + // Старое значение jc из реvision — не текущее выравнивание: + // окно jc-поиска ограниваем началом w:pPrChange. + Matcher rev = PPR_CHANGE.matcher(ppr); + int jcWindow = rev.find() ? rev.start() : ppr.length(); + if (!JC_DISTRIBUTE.matcher(ppr.subSequence(0, jcWindow)).find()) { continue; } - int stamped = xml.indexOf(STAMP_MARK, gt); - if (stamped >= 0 && stamped < end) { - continue; // уже проштампован + // Идемпотентность: наш штамп стоит сразу после наружного закрытия, + // проверяем позицию, а не сканируем абзац в поисках метки. + int after = pprClose + PPR_CLOSE.length(); + int probe = after; + while (probe < end && xml.charAt(probe) <= ' ') { + probe++; + } + if (xml.startsWith(BOOKMARK_OPEN, probe)) { + int tagEnd = xml.indexOf('>', probe); + int stampAt = tagEnd > 0 ? xml.indexOf(STAMP_MARK, probe) : -1; + if (stampAt >= probe && stampAt < tagEnd) { + continue; // уже проштампован + } } seq++; if (sb == null) { sb = new StringBuilder(xml.length() + 64); } - sb.append(xml, mark, pprClose + "".length()); + sb.append(xml, mark, after); sb.append("") .append(""); - mark = pprClose + "".length(); + mark = after; } return sb == null ? null : sb.append(xml, mark, xml.length()).toString(); } @@ -140,8 +176,15 @@ final class DistributeStampNormalizer { case "word/endnotes.xml": return "endnotes"; default: - return null; + break; } + // word/header1.xml, word/footer2.xml, … — метка = имя файла без расширения; + // точка в основании отсекает .rels и вложенные пути. + if (part.startsWith("word/header") || part.startsWith("word/footer")) { + String base = part.substring("word/".length(), part.length() - ".xml".length()); + return base.indexOf('.') < 0 ? base : null; + } + return null; } private static int maxBookmarkId(String xml) { diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/LayoutPostRenderer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/LayoutPostRenderer.java index 2ba7d1e..4cbbab4 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/LayoutPostRenderer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/LayoutPostRenderer.java @@ -29,7 +29,7 @@ import java.util.regex.Pattern; * cellMar). Регрессия — WordPdfConverterTest#tableCellPadding_textInsetLikeWord. *

  • distribute → justify-пара. docx4j для {@code w:jc="distribute"} * не эмитит в FO ничего; по якорю-закладке {@code pj-distribute-…} - * (DistributeStampNormalizer, правило 12) блоку дописывается + * (DistributeStampNormalizer, правило 9) блоку дописывается * {@code text-align="justify" text-align-last="justify"} — Word растягивает * пробелы всех строк, включая последнюю (Part 1 §17.18.44). Регрессия — * LayoutPostRendererTest (фильтр), diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/NumberingSuffixNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/NumberingSuffixNormalizer.java index 77ad413..3cee973 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/NumberingSuffixNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/NumberingSuffixNormalizer.java @@ -28,6 +28,11 @@ import java.util.zip.ZipOutputStream; * wml.xsd: suff → lvlText; между ними нет {@code }); уже * заканчивающийся пробелом lvlText не дублируется. suff=tab/absent/nothing — * не трогаем. Нечего менять → тот же массив. + * + *

    Двойного пробела правило с форком не даёт: TP-поток PDF на suff=space — + * «1.·ITEM» (один разделитель): word-layout путь форка + * ({@code labelSuffixSpace}) разделитель не дописывает — эмитится только наш + * lvlText-пробел.

    */ final class NumberingSuffixNormalizer { diff --git a/wordpdf-core/src/main/resources/xslt/docx2fo.xslt b/wordpdf-core/src/main/resources/xslt/docx2fo.xslt index 2277583..c800398 100644 --- a/wordpdf-core/src/main/resources/xslt/docx2fo.xslt +++ b/wordpdf-core/src/main/resources/xslt/docx2fo.xslt @@ -1191,7 +1191,7 @@ bidi-направление — принятая деградация (complex-script в FOP-форке нет). Руби (w:rubyBase/w:rt, §17.3.3.19/.20/.21) тут не чинится: схема docx4j не биндит эти элементы, unmarshaller выбрасывает их до XSLT — разбор - делает RubyNormalizer (правило 10) в байтах. + делает RubyNormalizer (правило 8) в байтах. Регрессии — WordPdfConverterTest#movedRevision_textPrinted, #bdoDir_textPrinted. --> diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/SampleDocxGenerator.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/SampleDocxGenerator.java index 9148ab7..e0b1240 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/SampleDocxGenerator.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/SampleDocxGenerator.java @@ -444,7 +444,7 @@ public final class SampleDocxGenerator { /** * w:jc="distribute" (+ контроль {@code both} и левый): Word растягивает * пробелы всех строк, включая последнюю (Part 1 §17.18.44); docx4j для - * DISTRIBUTE не эмитит ничего, без правила 12 абзац печатается влево. + * DISTRIBUTE не эмитит ничего, без правила 9 абзац печатается влево. * Регрессия — WordPdfConverterTest#distribute_allLinesReachRightMargin. */ private static void distribute(Path out) throws Exception { diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java index 59f4851..f795241 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java @@ -2935,7 +2935,7 @@ class WordPdfConverterTest { /** * w:jc="distribute" (Part 1 §17.18.44): Word растягивает пробелы всех строк, * включая последнюю. docx4j для DISTRIBUTE не эмитит в FO ничего — без - * правила 12 (DistributeStampNormalizer) и justify-пары (LayoutPostRenderer) + * правила 9 (DistributeStampNormalizer) и justify-пары (LayoutPostRenderer) * абзац печатается по левому краю. Фикстура — samples/distribute.docx: * один и тот же текст абзацами distribute / left / both; правое поле * A4 72pt → 523.28pt; хвостовая строка трёхсловная («quebec romeo sierra») — diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/DistributeStampNormalizerTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/DistributeStampNormalizerTest.java index fd36b9d..9570021 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/DistributeStampNormalizerTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/DistributeStampNormalizerTest.java @@ -17,7 +17,7 @@ import static org.junit.jupiter.api.Assertions.assertTrue; /** * Юниты {@link DistributeStampNormalizer}: штамп {@code w:jc="distribute"} - * закладкой-якорем после {@code } (Part 1 §17.18.44, правило 12). + * закладкой-якорем после {@code } (Part 1 §17.18.44, правило 9). */ class DistributeStampNormalizerTest { @@ -118,6 +118,58 @@ class DistributeStampNormalizerTest { assertTrue(fixed.contains("pj-distribute-document-1"), fixed); } + /** distribute только в w:pPrChange (старое значение) — не текущий jc, не штампуем. */ + @Test + void revisionJcOnly_returnsNull() { + String xml = document("" + + "" + JC_DISTRIBUTE + "" + + "правка"); + assertNull(DistributeStampNormalizer.rewrite("word/document.xml", xml)); + } + + /** Реvision с собственным w:pPr внутри: штамп — после наружного . */ + @Test + void revisionNestedPPr_stampAfterOuterClose() { + String xml = document("" + JC_DISTRIBUTE + + "" + + "правки"); + String fixed = DistributeStampNormalizer.rewrite("word/document.xml", xml); + int stamp = fixed.indexOf("pj-distribute-document-1"); + assertTrue(stamp > fixed.indexOf(""), fixed); + assertTrue(stamp < fixed.indexOf(""), fixed); + } + + /** Колонтитулы — контентные части: штамп с меткой файла. */ + @Test + void headerAndFooter_partStamped() { + String xml = document(para(JC_DISTRIBUTE, "шапка")); + String header = DistributeStampNormalizer.rewrite("word/header1.xml", xml); + assertTrue(header.contains("w:name=\"pj-distribute-header1-1\""), header); + String footer = DistributeStampNormalizer.rewrite("word/footer2.xml", xml); + assertTrue(footer.contains("w:name=\"pj-distribute-footer2-1\""), footer); + assertNull(DistributeStampNormalizer.rewrite("word/header1.xml.rels", xml)); + } + + /** Отступы между тегами (pretty-printed часть) — pPr остаётся первым ребёнком. */ + @Test + void whitespaceBeforePPr_stillStamped() { + String xml = document("\n " + JC_DISTRIBUTE + "\n" + + "отступ"); + String fixed = DistributeStampNormalizer.rewrite("word/document.xml", xml); + assertTrue(fixed.contains(""), fixed); + } + + /** Чужая Word-закладка сразу после — не штамп, штампуем свой. */ + @Test + void foreignBookmarkAfterPPr_stillStamped() { + String xml = document("" + JC_DISTRIBUTE + "" + + "" + + "оглав"); + String fixed = DistributeStampNormalizer.rewrite("word/document.xml", xml); + assertTrue(fixed.contains("w:name=\"pj-distribute-document-1\""), fixed); + } + /** Контракт zip-пути: нечего менять → тот же массив; есть штамп → новые байты со штампом. */ @Test void normalize_identityWhenNothing_stampWhenDistribute() throws IOException { diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/LayoutPostRendererTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/LayoutPostRendererTest.java index c865dca..1ea340d 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/LayoutPostRendererTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/LayoutPostRendererTest.java @@ -139,6 +139,18 @@ class LayoutPostRendererTest { + " text-align=\"justify\" text-align-last=\"justify\">"), fixed); } + /** Якорь в колонтитуле (fo:static-content) — justify-пара так же дописывается. */ + @Test + void distributeStamp_inStaticContent_justifyPairAdded() { + String fo = "" + + "" + + "шапка строки" + + ""; + String fixed = LayoutPostRenderer.fix(fo); + assertTrue(fixed.contains(""), fixed); + } + /** Реальная форма сериализации docx4j: DOM-поддерево без префикса fo. */ @Test void distributeStamp_unprefixedInline_stillStamped() {