From bb1b40db5c5d4cab35c2f459272ccf68a705721c Mon Sep 17 00:00:00 2001 From: Pjandro Date: Sun, 1 Nov 2026 23:08:08 +0000 Subject: [PATCH] =?UTF-8?q?=D0=90=D1=83=D0=B4=D0=B8=D1=82=20.docx-=D0=BF?= =?UTF-8?q?=D1=83=D1=82=D0=B5=D0=B9=20=D0=BF=D0=BE=20ECMA-376=20(2026-11):?= =?UTF-8?q?=20=D1=84=D0=B8=D0=BA=D1=81=D1=8B=20=D1=83=D1=82=D0=B5=D1=87?= =?UTF-8?q?=D0=B5=D0=BA/=D0=BF=D0=BE=D1=82=D0=B5=D1=80=D1=8C=20+=20=D0=BF?= =?UTF-8?q?=D0=B8=D0=BD=D0=BD=D0=B8=D0=BD=D0=B3?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - Правило 9 HiddenTextNormalizer: скрытые раны (прямой truthy w:vanish или rStyle на vanish-стиль по цепочке w:basedOn) вырезаются до load() — Word скрытое не печатает, стилист docx4j vanish не читает (скрытое утекало в PDF). - Правило 10 RubyNormalizer: w:rubyBase/w:rubyBaseText разворачиваются, w:rt/w:rubyPr/w:rubyAlign вырезаются — схема docx4j не биндит rubyBase/rt, unmarshaller терял текст базы до XSLT (надстрочница — принятая деградация). - AUDIT-FIX-2 в вендорном docx2fo.xslt: шаблоны w:moveFrom/w:moveTo/w:bdo/w:dir (plain-text passthrough вместо catch-all); гейт vendoredXsltTracksJarCopy обобщён на оба AUDIT-FIX-региона. - Пиннинг работающих фич e2e-синтетикой: сноски/концевые, /URI-аннотации, PAGEREF (complex + вложенный в TOC) и DATE (кэш заменяется живым), titlePg, vMerge, block sdt, wps:txbx, OMML (пиксели), highlight/shd (фон рисуется — прежняя запись в AGENTS.md о «fo:inline без фона» ошибочна, исправлена). - AGENTS.md: правила 1–10, OLE=правило 11, инвентарь аудита, счётчики (core 51/825, всего 57/868). --- AGENTS.md | 29 +- .../ru/pjandro/wordpdf/WordPdfConverter.java | 18 +- .../wordpdf/internal/DocxRewritePipeline.java | 40 +- .../internal/HiddenTextNormalizer.java | 390 +++++++++++++++++ .../wordpdf/internal/RubyNormalizer.java | 104 +++++ .../src/main/resources/xslt/docx2fo.xslt | 19 + .../pjandro/wordpdf/WordPdfConverterTest.java | 393 +++++++++++++++++- .../internal/HiddenTextNormalizerTest.java | 228 ++++++++++ .../wordpdf/internal/RubyNormalizerTest.java | 128 ++++++ 9 files changed, 1315 insertions(+), 34 deletions(-) create mode 100644 wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizer.java create mode 100644 wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/RubyNormalizer.java create mode 100644 wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizerTest.java create mode 100644 wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/RubyNormalizerTest.java diff --git a/AGENTS.md b/AGENTS.md index 61c9450..a7598ec 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -22,17 +22,17 @@ |---|---|---| | 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j | | 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера добавляет системные шрифты в глобальный реестр `PhysicalFonts`; `init()` вызывает `dropNonBundled()` **до** регистрации бандла (`addPhysicalFont` не перезаписывает занятый ключ — иначе системный Calibri ломает em-dash-fallback) | -| 2 | `DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load` | Один zip-проход переписывания XML-частей (правила 1–8, см. ниже) + условная OLE-вычистка (правило 9) | +|2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–10, см. ниже) + условная OLE-вычистка (правило 11)| | 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF | | 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет) | | 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные | | 4.25 | `LayoutPostRenderer.register(foSettings)` | Кастомный `FORenderer`: post-FO padding-компенсация таблиц (`start-indent` += `padding-left` первой ячейки), внутри — штатный `FORendererApacheFOP` | -| 4.5 | `foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES)` | Стилист — вендорный `xslt/docx2fo.xslt` (копия docx4j-export-fo + AUDIT-FIX-патч `w:rPr/w:position`→`baseline-shift`); `Templates` компилируется один раз — `getTemplates` кастит значение в `Templates` | +| 4.5 | `foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES)` | Стилист — вендорный `xslt/docx2fo.xslt` (копия docx4j-export-fo + AUDIT-FIX-патчи: `w:rPr/w:position`→`baseline-shift` и AUDIT-FIX-2 `moveFrom`/`moveTo`/`bdo`/`dir`); `Templates` компилируется один раз — `getTemplates` кастит значение в `Templates` | | 5 | `FORendererApacheFOP.getFopFactoryBuilder` + `getFOUserAgent` | Непустой `title` → заголовок PDF | | 6 | `Docx4J.toFO(foSettings, os, FLAG_EXPORT_PREFER_XSL)` | XSL-FO → PDF | | 7 | `finally` → `getFontTablePart().deleteEmbeddedFontTempFiles()` | В docx4j 17.x `OpcPackage.close()` нет — пакет в памяти | -Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + явные разрывы)`; явные — 0x0C в основном тексте + `sprmPFPageBreakBefore` из PAPX. Тот же метод — вход приложения. Повторный скан по нормализованным байтам удалён — правила 1–8 число учитываемых разрывов не меняют, а скан внутри живой JAXB-модели удваивал бы пиковую память; скан выполняется ровно один раз по сырому входу, до аллокаций docx4j. +Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + явные разрывы)`; явные — 0x0C в основном тексте + `sprmPFPageBreakBefore` из PAPX. Тот же метод — вход приложения. Повторный скан по нормализованным байтам удалён — правила 1–10 число учитываемых разрывов не увеличивают (правило 9 способно только убрать разрыв внутри скрытого рана — счёт по сырому входу остаётся верхней оценкой лимита), а скан внутри живой JAXB-модели удваивал бы пиковую память; скан выполняется ровно один раз по сырому входу, до аллокаций docx4j. ### Мост `.doc` → `.docx` (`internal/doc`) @@ -57,11 +57,11 @@ |`DocToDocx`|Оркестратор + вложенный `DocxBody`: текст → раны (CHPX+стилевой chpx-цепочка → rPr, прямой PAPX — после `PrcData.resolve` — +стилевая papx-цепочка (отступы через `Grpprl.Indents`, 80-варианты включительно; `sprmPChgTabsPapx`/`sprmPChgTabs` → `w:tabs`, у стилевого варианта радиус удаления из `rgdxaClose`) + sprmPIlfo/sprmPIlvl → pPr + `w:numPr` (между pageBreakBefore и tabs, CT_PPr §17.3.1.26; ilfo=0 перекрывает стилевой, ilvl=0x0C и неразрешённый numId → без numPr), base→derived→direct last-wins; флаги рана: vanish — мост фильтрует вывод рана (`w:vanish` в FO мёртв), caps/smallCaps — `Character.toUpperCase` в мосту (`w:caps`/`w:smallCaps` конвейер не читает, FOP без font-variant), rMarkIns/rMarkDel — ран оборачивается в `w:ins`/`w:del`+`w:delText` (шаблоны docx2fo рисуют правки — вид «Show Markup»), hpsPos → `w:position` (вендорный AUDIT-FIX → baseline-shift)), ¶ → ``; TAB/0x0B → `w:tab`/`w:br`, 0x0E → `w:br type="column"` (конец колонки при sprmSCcolumns), 0x0C в ране → `w:br type="page"`, 0x0C в конце абзаца — **разрыв секции**: `sectPr` соответствующей `Sections.Section` (матчинг по конечному CP) в pPr этого абзаца, внутри таблицы деградирует в `w:br type="page"`; body-level `sectPr` — последняя секция; `w:type continuous` из sprmSBkc; `w:pgSz w:orient="landscape"` со сменой w/h местами, `w:pgNumType` (`w:start` при restart, `w:fmt` только для числовых nfc — общий маппинг `Lists.numFmt`), `w:cols` (evenly → `w:num`+`w:space`, иначе per-column `w:col`; неравные/неполные ширины → деградация в одноколонную) — `DocxBody.sectPrXml`/`appendPgNumType`/`appendCols`; pPr: `w:keepNext`/`w:keepLines` перед `w:pageBreakBefore` (CT_PPr §17.3.1.26); 0x1E → U+2011, 0x1F → U+00AD, 0x02/0x03/0x04 (сноски) → пропуск; U+0001/U+0008 со sprmCPicLocation → DrawingML `pic` (общий путь с картинками и OLE-fallback; 0x08 — якорь плавающей картинки §2.9.267, переносится inline-приближением: PlcfSpa не читается, позиция/обтекание теряются); field-символы в основном тексте: инструкция скрыта, кэшированный результат после разделителя видим; **табличный автомат**: абзац с 0x07 без TTP закрывает ячейку, 0x07+sprmPFTtp — конец строки (`Tables.parse` по TAP → `w:tbl`/`w:tr`/`w:tc`, сам маркер не эмитится), sprmPFInTable открывает ячейку; без корректного TDefTable строка деградирует в плоские абзацы (прежнее поведение); сетка первой строки действует на всю таблицу как `tblGrid`, ширины/объединение ячеек каждой строки — из её собственного TDefTable (горизонтальное слияние → `w:gridSpan`)| |`DocxWriter`|Мульти-частный zip: `[Content_Types].xml` (hdr/ftr/numbering/png/jpg), `_rels/.rels`, `word/document.xml` (посекционные sectPr + headerReference; tblPr таблиц: tblW → jc (из sprmTJc) → tblInd → tblBorders), `word/_rels/document.xml.rels`, `word/numbering.xml`, `word/headerN.xml`/`footerN.xml` (по одной на непустую историю секции), `word/media/imageN.(png|jpg)`; корневые namespaces w/r/wp/a/pic| -Остаток моста (осознанный, вне контура): семантика рестартов списков не переносится (`fNoRestart`/`ilvlRestartLim` → `w:lvlRestart` — docx4j-Emulator применяет свой дефолт «рестарт на старшем уровне»), как и `fLegal`/`isLgl`, `dxaIndentSav` и `LfoData.cp`; `sprmPIlvl=0x0C` — абзац без numPr (не «в списке без номера»); AUTONUM-поля трактуются как обычные списки; отрицательный `sprmPIlfo` («сохранить отступы») — обычный numPr, отступы делает прямой `w:ind` абзаца; объединённые ячейки: вертикальное слияние (`vertMerge`) не переносится, горизонтальное — переносится собственной сеткой строки (TTP-абзац каждой строки несёт свой `sprmTDefTable`, §2.9.321 → `w:gridSpan`+суммарный `w:tcW`; регрессия — WordPdfConverterTest#docMergedTableRow_fullWidthNotSplit, юниты — DocToDocxFormattingTest#mergedRow_gridSpanAndWidth, #misalignedRow_fallsBackToColumnWidths), вложенные таблицы (sprmPFInnerTtp — разделитель ячейки/строки там ¶ 0x0D, не 0x07) и бордюры уровня ячейки (TC80/sprmTCellBorders) не переносятся — только сетка и строковые границы; строки, у которых сетка задана только `sprmTInsert` (в PrcData нет `sprmTDefTable`, а PAPX-зеркало отсутствует), деградируют в плоские абзацы (`sprmTInsert` конвертер не читает); `DocFile.countPages` (`PapxIndex.countPageBreakBefore`) цепочку PrcData не следует — свойства вне FKP в подсчёт страниц не попадают, 0x0C-разрывы считаются; сноски/концевые сноски/комментарии не рендерятся (метки ссылок пропускаются); плавающие объекты (якорь 0x08) — только inline-картинкой: позиция/плавание/обтекание (PlcfSpa) не переносятся; непринятые правки рендерятся как разметка (`w:ins`/`w:del`, вид «Show Markup»), эмуляция принятия правок не делается; скрытый текст вырезается мостом (конвейер `w:vanish` не читает), ВСЕ ПРОПИСНЫЕ/малые капители — апкейс текста (FOP без font-variant); подсветка `sprmCHighlight` 0x2A0C и затенения (`sprmCShd` 0xCA71/`sprmPShd` 0xC64D/`sprmTSetShd` 0xD62D) не переносятся — конвейер не читает ни `highlight`, ни `shd`, у `fo:inline` в FOP фона нет; границы абзацев (sprmPBfc/sprmPBcl + PlfBdx §2.9.8) не переносятся (нужен отдельный PLC-парсер); чётные и first-page варианты колонтитуков не переносятся (переносится только odd → `type="default"`, FOP не различает чётность полос набора, `titlePg` не эмитится); разрыв секции в абзаце со sprmPFInTable деградирует в разрыв страницы (`w:sectPr` в `w:pPr` внутри `w:tc` невалиден); error-флаги `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` на `.doc` **не срабатывают** — диаграммы/SmartArt/OLE в бинарном формате существуют только как BLIP-плейсхолдеры, мост выдаёт их картинками (задокументировано в `@Operation`); `stale-cache.doc` конвертируется (кэш PageCount=5, концепта lastRenderedPageBreak в .doc нет) — семантика отличается от docx-фикстуры, запинено тестом. +Остаток моста (осознанный, вне контура): семантика рестартов списков не переносится (`fNoRestart`/`ilvlRestartLim` → `w:lvlRestart` — docx4j-Emulator применяет свой дефолт «рестарт на старшем уровне»), как и `fLegal`/`isLgl`, `dxaIndentSav` и `LfoData.cp`; `sprmPIlvl=0x0C` — абзац без numPr (не «в списке без номера»); AUTONUM-поля трактуются как обычные списки; отрицательный `sprmPIlfo` («сохранить отступы») — обычный numPr, отступы делает прямой `w:ind` абзаца; объединённые ячейки: вертикальное слияние (`vertMerge`) не переносится, горизонтальное — переносится собственной сеткой строки (TTP-абзац каждой строки несёт свой `sprmTDefTable`, §2.9.321 → `w:gridSpan`+суммарный `w:tcW`; регрессия — WordPdfConverterTest#docMergedTableRow_fullWidthNotSplit, юниты — DocToDocxFormattingTest#mergedRow_gridSpanAndWidth, #misalignedRow_fallsBackToColumnWidths), вложенные таблицы (sprmPFInnerTtp — разделитель ячейки/строки там ¶ 0x0D, не 0x07) и бордюры уровня ячейки (TC80/sprmTCellBorders) не переносятся — только сетка и строковые границы; строки, у которых сетка задана только `sprmTInsert` (в PrcData нет `sprmTDefTable`, а PAPX-зеркало отсутствует), деградируют в плоские абзацы (`sprmTInsert` конвертер не читает); `DocFile.countPages` (`PapxIndex.countPageBreakBefore`) цепочку PrcData не следует — свойства вне FKP в подсчёт страниц не попадают, 0x0C-разрывы считаются; сноски/концевые сноски/комментарии не рендерятся (метки ссылок пропускаются); плавающие объекты (якорь 0x08) — только inline-картинкой: позиция/плавание/обтекание (PlcfSpa) не переносятся; непринятые правки рендерятся как разметка (`w:ins`/`w:del`, вид «Show Markup»), эмуляция принятия правок не делается; скрытый текст вырезается мостом сам (с 2026-11 `.docx`-путь чистит и его — правило 9, но мост не ждёт байтового прохода), ВСЕ ПРОПИСНЫЕ/малые капители — апкейс текста (FOP без font-variant); подсветка `sprmCHighlight` 0x2A0C и затенения (`sprmCShd` 0xCA71/`sprmPShd` 0xC64D/`sprmTSetShd` 0xD62D) мостом не переносятся — **сам конвейер `.docx`-путём `w:highlight`/`w:shd` рисует** (замер пикселями 2026-11: 1130 жёлтых px@150dpi, baseline 0; прежняя формулировка «у fo:inline в FOP фона нет» ошибочна), перенос `sprmCHighlight`/`sprmCShd` в мосту — отдельная задача; границы абзацев (sprmPBfc/sprmPBcl + PlfBdx §2.9.8) не переносятся (нужен отдельный PLC-парсер); чётные и first-page варианты колонтитуков не переносятся (переносится только odd → `type="default"`, FOP не различает чётность полос набора, `titlePg` не эмитится); разрыв секции в абзаце со sprmPFInTable деградирует в разрыв страницы (`w:sectPr` в `w:pPr` внутри `w:tc` невалиден); error-флаги `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` на `.doc` **не срабатывают** — диаграммы/SmartArt/OLE в бинарном формате существуют только как BLIP-плейсхолдеры, мост выдаёт их картинками (задокументировано в `@Operation`); `stale-cache.doc` конвертируется (кэш PageCount=5, концепта lastRenderedPageBreak в .doc нет) — семантика отличается от docx-фикстуры, запинено тестом. ### Нормализаторы (`internal/DocxNormalizer`) -Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Восемь rewrite-нормализаторов выставляют константу `STEP` (`public static final DocxNormalizer`); у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`. Правила 1–8 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` восьми нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим: +Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Десять rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby; константу `STEP` (`public static final DocxNormalizer`) выставляют восемь прежних, у `HiddenTextNormalizer`/`RubyNormalizer` STEP **нет** (цепочные, подключены внутри пайплайна), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`. Правила 1–10 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 9; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` десяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим: 1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174a — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.7 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`). 2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается. @@ -71,7 +71,9 @@ 6. `GlyphCoverageNormalizer` — режет раны по покрытию глифов и пишет семейство в `w:rFonts`, иначе FOP рисует «#». Покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, **не** docx4j `GlyphCheck` (плодит INFO-лог; `java.awt.Font` требовал fontconfig на хосте). Для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (`dejavu serif`, `tinos`, `caladea`), затем в sans. 7. `TableIndentNormalizer` — свёртка `w:tblPr/w:jc` (center/right) с любым (в т.ч. отсутствующим/нулевым) `w:tblInd` в абсолютный `w:tblInd` с удалением `w:jc` (Word: tblInd — сдвиг от поля после центрирования, MS-OI29500 §2.1.155; docx4j при jc≠left игнорирует tblInd буквально — Part 1 §17.4.50, а центрированию пишет абсолютный start-indent **без** вычета cellMar, поверх которого padding-компенсация правила LayoutPostRenderer уводит текст на +padding — свёртка обязательна и при X=0): center → (W−T)/2+X, right → (W−T)+X, W — полоса набора (pgSz − pgMar left/right в transitional и `w:start`/`w:end` в strict; дефолты 11906/1440 — измеренное поведение docx4j, не ECMA-1800), T — Σ gridCol; пропускает несколько body-level `sectPr`, не-dxa `tblInd`, `tblPr` с `tblCellSpacing` без `tblInd` (нет корректной позиции вставки по CT_TblPrBase), `tblW pct`, нецелые gridCol. Кроме `rewrite`/`STEP` (document.xml, полоса из собственного sectPr) есть `rewritePart(part, xml, band)` — `word/headerN.xml`/`footerN.xml` с полосой из document.xml (в частях колонтитуков своего sectPr нет) и `bandOf(documentXml)` — экстрактор полосы (−1 — полосы нет). Регрессия — WordPdfConverterTest#tableIndentCentered_shiftedLikeWord, #headerTableIndent_centeredInHeader, #tableCenteredNoIndent_shiftedLikeWord. 8. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; Part 1 §17.3.1.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace. -9. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `DrawingFoundException(OLE)`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет. +9. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.30): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, юниты — HiddenTextNormalizerTest. +10. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.18/.19/.20/.21): `w:rubyBase`/`w:rubyBaseText` разворачиваются в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.2 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest. +11. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `DrawingFoundException(OLE)`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет. `mc-preprocessor.xslt` docx4j (в jar `docx4j-core`) перебивает strict-namespace'ы в transitional и конвертит `pt` в twips/half-points, но ветку перевода процентов в тысячные для namespace'ных атрибутов содержит с закомментированным `` (для атрибутов без namespace — она активна), а `w:start`/`w:end` в `w:left`/`w:right` не маппит вовсе. Поэтому собственный рерайт URI ломать нельзя — он сломал бы pt-конверсию preprocessor'а (FOP получил бы «10pt»). @@ -112,7 +114,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр ### Критические инварианты (нарушение = битый вывод, не исключение) - `docx4j.convert.out.fo.gsubFeatures=false` — static-блок `WordPdfConverter`. Иначе FO невалиден → `WordLayoutFixups` молча отказывает всем фиксам → FOP падает на `docx4j-baseline`. -- Единственный XSL-FO-стилист — вендорный `wordpdf-core/src/main/resources/xslt/docx2fo.xslt` (копия `docx2fo.xslt` из docx4j-export-fo 17.3.2 + AUDIT-FIX-патч `w:rPr/w:position` → `baseline-shift`, полупункты, Part 1 §17.3.2.24 — docx4j position игнорирует). Дрейф-гейт `WordPdfConverterTest#vendoredXsltTracksJarCopy`: вне AUDIT-FIX-региона вендорная копия обязана быть побайтно равна стилисту из jar'а (сравнение с возвратом патч-региона к исходному вызову `createBlockForRPr`) — при апгрейде docx4j перевендорить и перенести патч. `setCustomXsltTemplates` принимает предкомпилированный `Templates` (`getTemplates` кастит Object→Templates, поток кидает CCE). +- Единственный XSL-FO-стилист — вендорный `wordpdf-core/src/main/resources/xslt/docx2fo.xslt` (копия `docx2fo.xslt` из docx4j-export-fo 17.3.2 + два AUDIT-FIX-патча: `w:rPr/w:position` → `baseline-shift`, полупункты, Part 1 §17.3.2.24 — docx4j position игнорирует; AUDIT-FIX-2 — шаблоны `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` (plain-text passthrough, move-правки не раскрашиваются, bidi — принятая деградация), иначе их ловит catch-all `match="*"` и текст теряется; руби тут не чинится — схема docx4j не биндит `w:rubyBase`/`w:rt`, их разбирает правило 10 в байтах). Дрейф-гейт `WordPdfConverterTest#vendoredXsltTracksJarCopy`: вне AUDIT-FIX-регионов вендорная копия обязана быть побайтно равна стилисту из jar'а (сравнение с возвратом AUDIT-FIX-региона к исходному вызову `createBlockForRPr` и удалением региона AUDIT-FIX-2) — при апгрейде docx4j перевендорить и перенести патчи. `setCustomXsltTemplates` принимает предкомпилированный `Templates` (`getTemplates` кастит Object→Templates, поток кидает CCE). - `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`). Приложение исключает его из зависимости ядра — логи ведёт logback. - FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 (транзитив от `docx4j-export-fo` 17.3.2, в pom не пинится; пакеты `org.apache.fop.*`). `w:renderers` в docx4j 17.x содержит несколько `w:renderer` (по mime) — `FopFallbackFonts` берёт тот, у которого mime `application/pdf`, иначе первый со шрифтами. Оригинал `docx2fo.xslt` — в jar `docx4j-export-fo`, в конвейере используется вендорная копия (см. выше). - Порядок инициализации шрифтов: `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` — **до** `load()`. `BundledFonts.init()` идемпотентен и `synchronized`, распаковывает TTF во временный каталог `wordpdf-fonts-*` (`deleteOnExit` на файлы и на каталог). `dropNonBundled()` чистит глобальный реестр `PhysicalFonts` от всего, что вне бандла. @@ -120,6 +122,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр - Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `w:sectPr` в body + `w:br type="page"` + `pageBreakBefore` (включая таблицы и `w:sdt`). Единственный путь — lightweight (StAX по zip, secure-ридер без DTD/external entities; `WordPdfValidator` не зависит от docx4j): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитуках — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy `val`: `null|true|1|on`). На не-zip молчит — подпись проверяет вызывающий. `checkPageCount` — один стриминговый проход `ZipInputStream` без буферизации частей (хелпер `noClose` глушит `close()` сканеров): потребление O(одной части) вместо O(суммы XML-частей). - Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно). - Аудит раскладки по ECMA-376 Part 1 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается, свойства `text-align-last` в форке нет (в docx4j-fo-renderer отсутствуют классы TextAlign*); `w:suff="tab"` и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab; suff=space чинит правило 8, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; «Word ≈13.9pt» из первичного аудита не воспроизводится: обе величины считаются по метрикам шрифта, артефакты исходного замера не сохранились → пункт закрыт без правок); кернинг не применяется ни для одного бандл-семейства (замер: advance A→V = A→A — Carlito 6.369pt, DejaVu Sans 7.524pt@11pt): 22 TTF — GPOS-only, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19; при отсутствии `w:kern` Office не кернит — MS-OI29500 §21.1.2.3.9a) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 7), `w:suff="space"` (правило 8). +- Аудит .docx-путей по ECMA-376 (2026-11) — подтверждено живыми зондами и запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.13.1.35), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23), OMML-формулы рисуются вектором jeuclid-fop (§22.1 — текст из PDF не извлекается, пинь пикселями), фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Исправлено этим аудитом: скрытый текст `w:vanish` перестал печататься (правило 9), текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` перестал теряться (правило 10 + AUDIT-FIX-2). Остаток (не чиним): `w:framePr` игнорируется — текст печатается в общем потоке, геометрия фрейма теряется (ни XSLT, ни `createBlockForPPr` не читают); `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 10 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура). - Внимание: комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.2 (описанное поведение верно). ### Шрифты (30 TTF + 3 лицензии, SIL OFL, `wordpdf-core/src/main/resources/fonts/`) @@ -132,11 +135,11 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр |---|---| | `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String[,ConvertOptions])`), `WordPdfValidator` (`checkInput`/`checkPageCount`/`validate` — без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`), `WordPdfSettings` (`MAX_INPUT_MB=5`, `MAX_PAGES=100`, защитные `MAX_DECOMPRESSED_MB=200`/`MAX_ZIP_ENTRIES=8192`, `ERROR_ON_*=false`), `ConvertOptions` (record) | | `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontMapper` (алиасы, self-map, `DISPLAY_NAMES`, `bundledFamily`), `GlyphFont` (глиф-движок fontbox) | -| `…/wordpdf/internal/` | 9 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–8, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы `public` (иначе родительский пакет не вызвал бы), публичные члены наружу только `normalize`/`STEP`/`declare`/`DependencyGuard.check`/`LayoutPostRenderer.register`; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `DrawingFoundException(OLE)` | +| `…/wordpdf/internal/` | 11 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–10, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы `public` (иначе родительский пакет не вызвал бы), публичные члены наружу только `normalize`/`STEP`/`declare`/`DependencyGuard.check`/`LayoutPostRenderer.register`; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `DrawingFoundException(OLE)` | | `…/wordpdf/internal/doc/` | Мост `.doc` → `.docx`: 18 классов (см. секцию «Мост») — `CfbReader`, `FibHeader`, `PieceTable`, `Grpprl`, `ChpxIndex`, `PapxIndex`, `Styles`, `Tables`, `Lists`, `Sections`, `FontTable`, `SummaryInfo`, `Headers`, `OfficeArt`, `PrcData`, `DocFile`, `DocxWriter`, `DocToDocx` (публичные `convert`/`countPages`; вложенный `DocxBody` — рендер текста и табличного автомата в XML) | | `…/wordpdf/internal/chart/` |17 классов Java2D-рендера диаграмм/SmartArt в PNG (public только `DrawingPreRenderer.run`)| | `wordpdf-core/src/main/resources/fonts/` | 30 TTF + 3 лицензии — бинарные фикстуры, часть jar | -| `wordpdf-core/src/main/resources/xslt/` | `docx2fo.xslt` — вендорный XSL-FO-стилист (копия docx4j-export-fo + AUDIT-FIX-патч), часть jar | +| `wordpdf-core/src/main/resources/xslt/` | `docx2fo.xslt` — вендорный XSL-FO-стилист (копия docx4j-export-fo + AUDIT-FIX-патчи), часть jar | | `wordpdf-core/src/test/resources/samples/` | 25 закоммиченных фикстур: 13 `.docx` + 12 `.doc` (11 эталонов заказчика из `develop/doc/` с теми же базовыми именами + `doc-formats.doc`); `.docx` проходят `docs/standards/docx/validate-fixtures.py`, `.doc` — бинарные, XSD к ним неприменим | | `wordpdf-core/src/test/resources/geom/` | `presetShapeDefinitions.xml` — копия приложения ECMA-376, синхрон таблицы `PresetGeometry` (только в тестах, в jar не попадает) | | `wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/` | REST API (10 классов): `WordPdfApplication` (единственный public), `ConvertController`, `ConversionService` (очередь), `ApiExceptionHandler`, `ApiKeyFilter`, `OpenApiConfig` (`@SecurityScheme` X-API-Key) + 4 класса исключений | @@ -169,7 +172,7 @@ python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources # Перевендорить XSL-FO-стилист после апгрейда docx4j (этого потребует гейт vendoredXsltTracksJarCopy): unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-export-fo-<версия>.jar \ org/docx4j/convert/out/fo/docx2fo.xslt > wordpdf-core/src/main/resources/xslt/docx2fo.xslt -# затем перенести AUDIT-FIX-патч (w:rPr/w:position → baseline-shift, образец — комментарий в самом файле) +# затем перенести AUDIT-FIX-патчи (position → baseline-shift; AUDIT-FIX-2 move/bdo/dir — образец в комментарии самого файла) ``` Задачи mise: `verify`, `app-package`, `app-run`, `web-install`, `web-build`, `web-lint`, `web-dev`, `prod-tests`. Venv прод-автотестов `prod-autotests/.venv` mise создаёт сам (`[env]` в `mise.toml`). @@ -189,7 +192,7 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \ ## Code Conventions & Common Patterns - Классы `final`, приватный конструктор, только `static` (stateless, DI нет; конфигурация — `Docx4jProperties` + classpath-ресурсы). Исключения — экземпляры по природе: `BundledFontMapper` (`extends BestMatchingMapper`), обёртка цветов `DrawMlColor` (instance, но не наследник docx4j) и Spring-компоненты `wordpdf-app`. -- Нормализаторы — единый контракт `internal/DocxNormalizer` + константа `STEP`; цепочка `WordPdfConverter.normalizers()` = `DocxRewritePipeline.STEP` (правила 1–8 одним zip-проходом) + лямбда `OleObjectNormalizer`; нечего менять → **тот же массив**; package-private хук `static String rewrite(String xml)` для юнит-тестов (возвращает `null` при отсутствии изменений; есть у 8 из 9 — у многочастного `OleObjectNormalizer` нет); у `StrictOoxmlNormalizer` есть также `rewritePart(entryName, xml)`, у `TableIndentNormalizer` — `rewritePart(name, xml, band)` (per-part-логика, хуки пайплайна); правятся только части `word/*.xml`. +- Нормализаторы — единый контракт `internal/DocxNormalizer` + константа `STEP`; цепочка `WordPdfConverter.normalizers()` = `DocxRewritePipeline.STEP` (правила 1–10 одним zip-проходом) + лямбда `OleObjectNormalizer`; нечего менять → **тот же массив**; package-private хук `static String rewrite(String xml)` для юнит-тестов (возвращает `null` при отсутствии изменений; есть у 10 из 11 — у многочастного `OleObjectNormalizer` нет); у `StrictOoxmlNormalizer` есть также `rewritePart(entryName, xml)`, у `TableIndentNormalizer` — `rewritePart(name, xml, band)` (per-part-логика, хуки пайплайна); правятся только части `word/*.xml`. - Ошибки публичного API — только `ConversionException extends RuntimeException`; внутренние исключения оборачиваются на границе. В chart — деградация вместо падения. - Javadoc на русском, объясняет «почему» и ссылается на регрессию и фикстуру (формат: `Регрессия — WordPdfConverterTest#имя, фикстура samples/….docx`) — новый фикс оформлять так же. - Константы UPPER_SNAKE с числовыми эталонными значениями (`PIE_DEPTH`, `MAX_PAGES`); начертания `V_REGULAR/V_BOLD/...`; модели — `record`; размеры в chart — в пунктах, растр × `DPI/72`. @@ -240,7 +243,7 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \ - Гейт `maven-pmd-plugin` 3.28.0 на `verify` для обоих модулей, ruleset `pmd-ruleset.xml`, `includeTests=true`. Версия PMD-движка в pom не пинится (тянется плагином). - Гейт JaCoCo `0.8.15`: `jacoco:check` (правило BUNDLE, LINE COVEREDRATIO `0.90` — обоих модулей; в `wordpdf-core/pom.xml` execution `check` переопределён и добавляет BRANCH COVEREDRATIO `0.85` — только для core) на `verify`; агент подключается в surefire через `argLine` = `@{argLine} -Djava.awt.headless=true` (свойство `argLine` в корневом pom по умолчанию пусто и перезаписывается `prepare-agent` — `mvn test -Djacoco.skip=true` без агента работоспособно); `report` и `check` оба на `verify`, report раньше — при провале порога отчёт уже на диске; отчёты `target/site/jacoco/` (html+xml, xml нужен CI-сводке). Плотность покрытия держат тесты, а не заглушки: промахи в основном недостижимые IOException/catch-ветки (`GlyphFont`, `BundledFonts`) и защитные ветви сканеров нормализаторов/валидатора. -- 55 тестовых класса / 824 теста (core 49/781 — из них 17 классов / 210 тестов в `internal/doc/`, app 6/43: ConvertController 23 + ApiKeyFilter 8 + ConversionService 5 + ApiExceptionHandler 4 + ConvertLimits 2 + ConversionTimeout 1). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true`; только `Assertions` (Mockito/AssertJ не использовать; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`), тестовые классы package-private, зеркалят main-пакеты; только `@Test` + два `@BeforeAll` (warm-up шрифтов в `GlyphCoverageNormalizerTest` и `BundledFonts.init()` в `BundledFontsTest`) + `@AfterEach drainWorker` в `ConversionTimeoutTest` (дренировать отменённый FOP-рендер до следующего класса — гонка глобального `PhysicalFonts`). +- 57 тестовых класса / 868 теста (core 51/825 — из них 17 классов / 210 тестов в `internal/doc/`, `WordPdfConverterTest` 72 — включая блок аудита .docx 2026-11: правила 9–10, AUDIT-FIX-2 и пиннинг сносок/полей/titlePg/vMerge/sdt/txbx/OMML/highlight на синтетике через хелпер `docx(...)`; app 6/43: ConvertController 23 + ApiKeyFilter 8 + ConversionService 5 + ApiExceptionHandler 4 + ConvertLimits 2 + ConversionTimeout 1). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true`; только `Assertions` (Mockito/AssertJ не использовать; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`), тестовые классы package-private, зеркалят main-пакеты; только `@Test` + два `@BeforeAll` (warm-up шрифтов в `GlyphCoverageNormalizerTest` и `BundledFonts.init()` в `BundledFontsTest`) + `@AfterEach drainWorker` в `ConversionTimeoutTest` (дренировать отменённый FOP-рендер до следующего класса — гонка глобального `PhysicalFonts`). - **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` (пер-странично `setStartPage/setEndPage`), override `processTextPosition` для шрифта конкретного символа (`fontNameOf`), обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`) и счётчик картинок (`imageCount`/`distinctImageCount` — SMask игнорируется). Негативные маркеры: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`); в `tableImage_tableAndImage` — полное удаление пробелов (docx4j переносит слова в auto-fit таблицах). - Пиксели (BufferedImage) — только в unit-тестах chart-пейнтеров: безразмерные отношения к эталону Word (экспорт 300 dpi, числа зашиты в тесты), допуски `assertRatio` <0.06 (`PiePainterTest`, `CartesianPainterTest`) / <0.10 (`Surface3dPainterTest`, + `assertRange` ±6 pt для центров силуэта); пороги залитых px, перцентильные коридоры яркости, «серый» px — разброс каналов `GRAY_MAX_SPREAD=25`; исключение — структурная проверка чернил в `GlyphFontTest`. Эталонные файлы — `develop/`, вне git. Хелперы chart-тестов (`render`, `countColor`, `assertRatio`, `paint`) продублированы по классам — общего test-util нет. - `GlyphFont` (fontbox): метрики пиксельно-метрически эквивалентны AWT (ascent/descent/leading/advance совпадают до 4-го знака, кернинг-дрейф 0.0000 — DejaVu Sans, Carlito). Приёмочный стенд без-fontconfig: контейнер без `libfontconfig.so.1*` и `/etc/fonts`, `mvn verify` + `java -jar` (до перехода на GlyphFont там падали `GlyphCoverageNormalizerTest` 12 / `CartesianPainterTest` 3 / `PiePainterTest` 2 / chart-тесты `WordPdfConverterTest` 4, chart-рендер молча деградировал). `GlyphFontTest` написан без единого `java.awt.Font` — обязан проходить на хосте без fontconfig. @@ -248,5 +251,5 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \ - Юниты нормализаторов работают строками (`rewrite`) + zip'ами из `ZipOutputStream`; обязательные контракты: «нечего менять → тот же массив» (`assertSame`) и неприкосновенность частей вне `word/*.xml` (`[Content_Types].xml`). Тесты бьют и в package-private API (`GlyphCoverageNormalizer.split(text, family)`, `ChartSpec.readTitle`). Исключение — `OleObjectNormalizerTest`: многочастный нормализатор без `rewrite`-хука, тесты только через `normalize` на in-memory zip. - Юниты моста (`internal/doc/`): `CfbReaderTest` строит крафтовый CFB-байтстрим (сектор 512/mini 64: FAT/DIFAT/miniFAT/directory руками) и бьёт все guard-ветки (циклы FAT/DIFAT/MiniFAT, ссылки за файл, обрезанные потоки, root без mini stream, мусор в directory); `SummaryInfoTest` — крафтовый PropertySetStream (пинит **относительность offset от начала PropertySet**, реальные фикстуры её не различают); `PieceTableTest`/`ChpxIndexTest`/`PapxIndexTest` (в т.ч. `istdFor`: istd из UpxPapx, пустой grpprl ≠ null, bOffset=0 → дефолтные свойства при сохранённой границе)/`SectionsTest`/`FibHeaderTest` (пара fcStshf)/`GrpprlTest` (в т.ч. спец-длины: двухбайтовый cb у sprmTDefTable при operand >255 Б, у 0xC60D cb=0xFF — обрыв, у 0xC615 cb=0xFF — длина по формуле §2.9.182 (`scan_pChgTabsSentinel_lengthByFormula`))/`FontTableTest`/`HeadersTest`/`OfficeArtTest`/`PrcDataTest` — byte[]-конструкции in memory (`PrcDataTest`: разворачивание huge-PAPX/PTableProps на позиции указателя, union цепочки с легаси-зеркалом, guard'ы — cb-капа 0x3FA2, ptr за Data, цикл A→B→A); `StylesTest` — крафтовый STSH (LPStd/LPUpx): цепочка base→derived, цикл → пустая таблица, чужой stk/битый STSH нисходительны; `TablesTest` — крафтовый TAP: сетка TDefTable (XAS со знаком), границы Brc (cv fAuto) и Brc80 (ico, приоритет 0xD613), выравнивание sprmTJc/sprmTJc90 (u16, приоритет современного, 0 → null), деградация при битом TDefTable; `ListsTest` — крафтовые PlfLst/PlfLfo байтстримом (счёт LVL по fSimpleList 1/9, плейсхолдеры xst → `%{n+1}` и литеральный `%` → `%%`, MSONFC→ST_NumberFormat вкл. экзотика→decimal, ixchFollow→`w:suff`, grpprl уровня → `w:ind`/`w:rFonts`, LFOLVL fStartAt/fFormatting, обрыв LVL-массива, lsid без LSTF, нулевые lcb); `DocToDocxFormattingTest` — полный синтетический .doc через POIFS (крафтовые FIB/Clx/FKP-страницы: полные CHPX/PAPX-свойства, STSH-цепочка с переопределением и победой direct, spacing/tabs, таблица TTP+TDefTable+Brc с деградацией строки без сетки и многострочной ячейкой, колонтитук со стилевым jc, табы колонтитука из стиля sprmPChgTabs (`styleTabsChg_reachesFooterPart`/`styleTabsChgDel_removesStop`: прямой del с rgdxaClose вырезает stop стиля), таблица в odd footer со sprmTJc (`footerTable_jcCenterEmitted`: guard-¶ отдельным абзацем после строки, как в реальных Plcfhdd), знаки, поле в основном тексте, picLocation=0, 0Table, отсутствие табличного потока, списки: `listParagraphs_getNumPrAndNumberingPart` (sprmPIlfo/sprmPIlvl в PAPX → `w:numPr` + `word/numbering.xml` c `w:num`/Override/rels), `listCancelledByDirectZero_noNumPr` (ilfo стиля, перекрытый прямым 0), `ilvlSkipValue_noNumPr` (ilvl=0x0C), `missingListTables_degradeToPlain` (нулевые FIB-пары 73/74 — ни numbering-части, ни numPr)). Doc-регрессии конвертера — общие assert-хелперы docx-пар: `assertCyrillicAndStyles`/`assertPageNumbers`/`assertTableImage`/`assertOleObjectsRemoved`/`assertDrawingsBecomeImages`/`assertTooManyPages`/`assertExoticGlyphs` вызываются с `ru-plain.doc`/`page-numbers.doc`/`ru-table-image.doc`/`ole-embedded.doc`/`charts-smartart.doc`/`too-many-pages.doc`/`exotic-glyphs.doc` (тесты-пары называются по docx-имени, внутри зовут оба формата); `WordPdfValidatorTest#checkPageCountDoc_*` + `ConvertControllerTest` (`.doc` upload, `nonDocxFilename_rejected`). - App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); четыре контекста — `ConvertControllerTest` (пустой ключ), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` max-mb/max-pages), `ConversionTimeoutTest` (`@TestPropertySource` convert-timeout=1ms) — четыре разных набора свойств = четыре кэшированных контекста (отдельные классы, не `@Nested`: `@Nested` + `@TestPropertySource` не даёт отдельного контекста); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring-контекста (прямые юниты). -- Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `StrictOoxmlNormalizerTest`↔`strictOoxml_convertsNotRejected` (+`pageCount_strictBreaksCountedLightweight`; юниты `indCoexistLeftStartUntouched`/`tcMarCoexistKept`/`tcBordersElementsKeptTransitional`/`jcStartRenamedTransitional`/`tabStartRenamedTransitional`/`transitionalCoexistReturnsOriginalArray`), `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `InvisibleCharNormalizerTest`↔`invisibleChars_noEmptyLines`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `OleObjectNormalizerTest`↔`oleObjects_removedAndConverted`/`drawingErrors_errorFlagRejectsOle` (+app `errorFlagOle_rejected`/`oleObjects_removedByDefault`; юниты `objectWithImagedata_placeholderKept`/`objectWithoutImage_removed`/`objectWithDrawing_reusedVerbatim`/`controlBlockRemoved`/`sizeFromDxaOrig`/`styleUnits_allConvertToEmu`/`objectWithoutBin_stillRewritten`/`externalOleLinkRelRemoved`), `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCount_limitBoundary` 99/100/101, `cachedPagesUnreadableFallsBackToZero`, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`, `validate_notAZip`/`validate_plainZipRejected`/`validate_xlsxRenamedRejected`/`validate_zipBombRejected`/`validate_tooManyEntriesRejected`), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `PresetGeometryTest`↔`chartsSmartArt_drawingsBecomeImages` (`tableMatchesEcmaXml`), chart-пейнтеры↔`chartTypes_allTypesRenderAsImages`, `ChartSpecTest`↔автозаголовки/комбо/DoS (`hugePointIndex_rejectedNotOom`, `hugePtCount_rejectedNotOom`, `hugeCategoryIndex_rejectedNotOom`, `nonFiniteScalingBounds_dropped`, `overlayLegend_keepsPositionAndFlag`, `emptyTitleSingleSeriesBar_usesSeriesName`, `deletedTitleWithText_stillShown`, `deletedTitleValOmitted_stillShown`, `multiSeriesDoughnut_placeholderNotSeriesName`, `multiParagraphTitle_joinedWithNewlines`), `Surface3dPainterTest`↔`axisBounds_tinyMajorUnit_fallsBackToNiceUnit`/`axisBounds_zeroMajorUnit_fallsBackToNiceUnit`, `ChartRendererTest`↔`axisBounds_explicitHugeRange_reunitsToMaxTicks`/`axisBounds_infiniteSpan_fallsBackToData`/`stackedCumulative_*`/`stackedRange_coversNegativeSums`/`overlayLegend_drawnOverPlot`/`wireframeSurfaceLegend_hollowMarkers`, `DrawMlTextTest`↔`hugeWord_wrapsLinearly`/`fallbackFamilyAliasedToBundle`/`lineSpacingPct_compactsLines`, `DrawMlColorTest`↔`invalidSrgbHexFallsBackToOfficeDefault`, `SmartArtRendererTest`↔`normAutofitShrinksToFit`/`missingAutofitKeepsDeclaredSize`/`emptyTxBody_noPlaceholderInk`, `CartesianPainterTest`↔`stackedLine_seriesStackCumulatively`/`percentStackedLine_topSeriesFlatAtHundred`/`areaFill_closesToBaseline`/`combo_barsAndLineOnSecondary_bothDrawn`, `GlyphCoverageNormalizerTest`↔`multipleTextNodes_runLeftUntouched`/`nestedRunInTextBox_innerSplit`, `SymbolFontNormalizerTest`↔`nestedRunInTextBox_innerNormalized`, `WordPdfConverterTest`↔`noLoggingWarningInPdf`/`pdfTitle_comesFromParameter`/`hostileChartAxis_convertsNotHangs`/`hugeExtentChart_removedNotOom`/`chartWithoutExtent_errorFlagRejects`/`jcEndTransitional_rightAligned`/`rPrPosition_raisesBaseline`/`vendoredXsltTracksJarCopy` (аудит раскладки ECMA-376), `LayoutPostRendererTest`↔`tableCellPadding_textInsetLikeWord` (+`lineRuleAuto_wordSingleLinePitch` пинит метрический шаг «single» от псевдофиксов, `carlitoAutoBlock_untouched`), `TableIndentNormalizerTest`↔`tableIndentCentered_shiftedLikeWord` (+`rewritePart*`↔`headerTableIndent_centeredInHeader`, +`jcWithoutIndent_folded`/`rightWithoutIndent_folded`/`zeroIndent_folded`/`cellSpacingWithoutIndent_returnsNull`↔`tableCenteredNoIndent_shiftedLikeWord`), `NumberingSuffixNormalizerTest`↔`suffSpace_labelGetsSpace`, `ListsTest`+`DocToDocxFormattingTest#list*`↔`docLists_numberingAndBulletsRendered` (синтетический .doc со списками → PDF: `1.` `2.` `a)` `b)` `•`, ни одного `#`; фикстур со списками нет — крафт POIFS продублирован в `WordPdfConverterTest`), `PrcDataTest`+`DocToDocxFormattingTest#hugePapxRowMark_closesRowWithGridFromPrcData` (TTP-абзац с grpprl в PrcData Data-потока → `w:tbl`/`w:tr`/сетка из цепочки; фикстуры нет — `docTest.doc` заказчика не коммитим, крафт POIFS продублирован), `SectionsTest`+`HeadersTest`+`DocToDocxFormattingTest#twoSections*/sectionBreakInTable*`↔`docMultiSection_perSectionHeaders` (двухсекционный .doc → PDF: стр. 1 — ШАПКА-1+ПОДВАЛ-1, стр. 2 — ШАПКА-2 + унаследованный ПОДВАЛ-1, ни одной `#`; крафт POIFS продублирован в `WordPdfConverterTest`), `ChpxIndexTest#zeroOffset_defaultPropsBoundaryKept`+`DocToDocxFormattingTest#runFlags_*/keepNextKeepLines_*/sectLandscapePgNumCols_*/sectUnevenCols_*/cellVertAlign_*/drawnObject_*`+`SectionsTest#orientationPgNumColumns_applied/unevenColumns_perIndexWidths/restartWithoutStart_clampsToOne`+`TablesTest#vertAlign_*`↔`WordPdfConverterTest#docClassD_landscapeHiddenDelCaps/#docClassD_pageNumberRestartLowerRoman/#docClassD_twoColumnsBreak/#docClassD_drawnObjectBecomesImage` (закрытие пробелов класса D: vanish-фильтр/правки/caps/position/keep, landscape+pgNumType, колонки+column break, vAlign, 0x08→inline-картинка; фикстур нет — крафт POIFS продублирован в обоих тестовых классах). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed`, `corruptNotAZip_rejected`, `plainZipNotDocx_rejected`, `junkInsideValidZip_conversionError` (500 на валидном .docx-контейнере с мусором), `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `drawingsAlwaysRendered`, `cyrillicAndPathInFilename_sanitizedResponseName`, `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey`, `dotSegmentOpenPrefix_rejected`, `errorFlagNotBoolean_rejected`, `methodNotSupportedReturns405`/`badContentTypeReturns415`. +- Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `StrictOoxmlNormalizerTest`↔`strictOoxml_convertsNotRejected` (+`pageCount_strictBreaksCountedLightweight`; юниты `indCoexistLeftStartUntouched`/`tcMarCoexistKept`/`tcBordersElementsKeptTransitional`/`jcStartRenamedTransitional`/`tabStartRenamedTransitional`/`transitionalCoexistReturnsOriginalArray`), `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `InvisibleCharNormalizerTest`↔`invisibleChars_noEmptyLines`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `OleObjectNormalizerTest`↔`oleObjects_removedAndConverted`/`drawingErrors_errorFlagRejectsOle` (+app `errorFlagOle_rejected`/`oleObjects_removedByDefault`; юниты `objectWithImagedata_placeholderKept`/`objectWithoutImage_removed`/`objectWithDrawing_reusedVerbatim`/`controlBlockRemoved`/`sizeFromDxaOrig`/`styleUnits_allConvertToEmu`/`objectWithoutBin_stillRewritten`/`externalOleLinkRelRemoved`), `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCount_limitBoundary` 99/100/101, `cachedPagesUnreadableFallsBackToZero`, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`, `validate_notAZip`/`validate_plainZipRejected`/`validate_xlsxRenamedRejected`/`validate_zipBombRejected`/`validate_tooManyEntriesRejected`), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `PresetGeometryTest`↔`chartsSmartArt_drawingsBecomeImages` (`tableMatchesEcmaXml`), chart-пейнтеры↔`chartTypes_allTypesRenderAsImages`, `ChartSpecTest`↔автозаголовки/комбо/DoS (`hugePointIndex_rejectedNotOom`, `hugePtCount_rejectedNotOom`, `hugeCategoryIndex_rejectedNotOom`, `nonFiniteScalingBounds_dropped`, `overlayLegend_keepsPositionAndFlag`, `emptyTitleSingleSeriesBar_usesSeriesName`, `deletedTitleWithText_stillShown`, `deletedTitleValOmitted_stillShown`, `multiSeriesDoughnut_placeholderNotSeriesName`, `multiParagraphTitle_joinedWithNewlines`), `Surface3dPainterTest`↔`axisBounds_tinyMajorUnit_fallsBackToNiceUnit`/`axisBounds_zeroMajorUnit_fallsBackToNiceUnit`, `ChartRendererTest`↔`axisBounds_explicitHugeRange_reunitsToMaxTicks`/`axisBounds_infiniteSpan_fallsBackToData`/`stackedCumulative_*`/`stackedRange_coversNegativeSums`/`overlayLegend_drawnOverPlot`/`wireframeSurfaceLegend_hollowMarkers`, `DrawMlTextTest`↔`hugeWord_wrapsLinearly`/`fallbackFamilyAliasedToBundle`/`lineSpacingPct_compactsLines`, `DrawMlColorTest`↔`invalidSrgbHexFallsBackToOfficeDefault`, `SmartArtRendererTest`↔`normAutofitShrinksToFit`/`missingAutofitKeepsDeclaredSize`/`emptyTxBody_noPlaceholderInk`, `CartesianPainterTest`↔`stackedLine_seriesStackCumulatively`/`percentStackedLine_topSeriesFlatAtHundred`/`areaFill_closesToBaseline`/`combo_barsAndLineOnSecondary_bothDrawn`, `GlyphCoverageNormalizerTest`↔`multipleTextNodes_runLeftUntouched`/`nestedRunInTextBox_innerSplit`, `SymbolFontNormalizerTest`↔`nestedRunInTextBox_innerNormalized`, `WordPdfConverterTest`↔`noLoggingWarningInPdf`/`pdfTitle_comesFromParameter`/`hostileChartAxis_convertsNotHangs`/`hugeExtentChart_removedNotOom`/`chartWithoutExtent_errorFlagRejects`/`jcEndTransitional_rightAligned`/`rPrPosition_raisesBaseline`/`vendoredXsltTracksJarCopy` (аудит раскладки ECMA-376), `LayoutPostRendererTest`↔`tableCellPadding_textInsetLikeWord` (+`lineRuleAuto_wordSingleLinePitch` пинит метрический шаг «single» от псевдофиксов, `carlitoAutoBlock_untouched`), `TableIndentNormalizerTest`↔`tableIndentCentered_shiftedLikeWord` (+`rewritePart*`↔`headerTableIndent_centeredInHeader`, +`jcWithoutIndent_folded`/`rightWithoutIndent_folded`/`zeroIndent_folded`/`cellSpacingWithoutIndent_returnsNull`↔`tableCenteredNoIndent_shiftedLikeWord`), `NumberingSuffixNormalizerTest`↔`suffSpace_labelGetsSpace`, `ListsTest`+`DocToDocxFormattingTest#list*`↔`docLists_numberingAndBulletsRendered` (синтетический .doc со списками → PDF: `1.` `2.` `a)` `b)` `•`, ни одного `#`; фикстур со списками нет — крафт POIFS продублирован в `WordPdfConverterTest`), `PrcDataTest`+`DocToDocxFormattingTest#hugePapxRowMark_closesRowWithGridFromPrcData` (TTP-абзац с grpprl в PrcData Data-потока → `w:tbl`/`w:tr`/сетка из цепочки; фикстуры нет — `docTest.doc` заказчика не коммитим, крафт POIFS продублирован), `SectionsTest`+`HeadersTest`+`DocToDocxFormattingTest#twoSections*/sectionBreakInTable*`↔`docMultiSection_perSectionHeaders` (двухсекционный .doc → PDF: стр. 1 — ШАПКА-1+ПОДВАЛ-1, стр. 2 — ШАПКА-2 + унаследованный ПОДВАЛ-1, ни одной `#`; крафт POIFS продублирован в `WordPdfConverterTest`), `ChpxIndexTest#zeroOffset_defaultPropsBoundaryKept`+`DocToDocxFormattingTest#runFlags_*/keepNextKeepLines_*/sectLandscapePgNumCols_*/sectUnevenCols_*/cellVertAlign_*/drawnObject_*`+`SectionsTest#orientationPgNumColumns_applied/unevenColumns_perIndexWidths/restartWithoutStart_clampsToOne`+`TablesTest#vertAlign_*`↔`WordPdfConverterTest#docClassD_landscapeHiddenDelCaps/#docClassD_pageNumberRestartLowerRoman/#docClassD_twoColumnsBreak/#docClassD_drawnObjectBecomesImage` (закрытие пробелов класса D: vanish-фильтр/правки/caps/position/keep, landscape+pgNumType, колонки+column break, vAlign, 0x08→inline-картинка; фикстур нет — крафт POIFS продублирован в обоих тестовых классах), `HiddenTextNormalizerTest`↔`hiddenText_notPrinted` (правило 9), `RubyNormalizerTest`↔`rubyBase_textPrinted` (правило 10), AUDIT-FIX-2↔`movedRevision_textPrinted`/`bdoDir_textPrinted` (фикстур нет — синтетический docx через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`), пиннинг аудита .docx↔`footnote_rendersAtPageBottom`, `endnote_rendersAtDocumentEnd`, `docxHyperlink_uriAnnotation`, `pageRefField_liveNotCached` (кэш 9001/7777 заменён живым номером), `dateField_notStaleCache` (кэш 01.02.2003 заменён текущей датой), `titlePg_firstPageHeader`, `vMergeCell_spansRows`, `sdtContent_rendered`, `drawingTextBox_textPrinted`, `ommlMath_drawnAsVectors` (пиксели: +150 тёмных px@150dpi сверх текста), `highlightAndShading_backgroundDrawn` (жёлтые px >0 против baseline 0). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed`, `corruptNotAZip_rejected`, `plainZipNotDocx_rejected`, `junkInsideValidZip_conversionError` (500 на валидном .docx-контейнере с мусором), `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `drawingsAlwaysRendered`, `cyrillicAndPathInFilename_sanitizedResponseName`, `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey`, `dotSegmentOpenPrefix_rejected`, `errorFlagNotBoolean_rejected`, `methodNotSupportedReturns405`/`badContentTypeReturns415`. - UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn). Прод-автотесты (pytest 9.1.1 + requests 2.34.2, 31 проверка — 27 под маркером `needs_key` (SKIP без ключа; включая `.doc`-фикстуры обоих путей — растры/OLE и границы страниц), 4 открытых: health/SPA-root/swagger/spec; env-конфиг, `mise exec -- python -m pytest -q .` из `prod-autotests/`) гоняются CI после deploy против живого прода. diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java index bc7743c..c98acad 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java @@ -100,8 +100,10 @@ public final class WordPdfConverter { * {@code options.maxPages()} — при отказе байтов результата нет. Страницы * считаются ровно раз по сырому входу, до аллокаций docx4j: для .docx — * lightweight-скан по zip, для .doc — по чистому бинарному документу до - * конвертации. Повторного скана по нормализованным байтам нет: правила 1–8 - * {@code DocxRewritePipeline} число учитываемых разрывов не меняют, а скан + * конвертации. Повторного скана по нормализованным байтам нет: правила + * 1–10 {@code DocxRewritePipeline} число учитываемых разрывов не + * увеличивают (правило 9 способно только убрать разрыв внутри скрытого + * рана — счёт по сырому входу остаётся верхней оценкой лимита), а скан * внутри живой JAXB-модели удваивал бы пиковую память. * * @param docxBytes байты .docx или бинарного .doc @@ -221,7 +223,7 @@ public final class WordPdfConverter { } /** - * Нормализация входных байтов (цепочка {@link #normalizers}: правила 1–8 + * Нормализация входных байтов (цепочка {@link #normalizers}: правила 1–10 * одним zip-проходом {@code DocxRewritePipeline} + условная OLE-вычистка) * и {@code WordprocessingMLPackage.load} полученного transitional-байта. * Нормализация переиспользует слот {@code bytes}: каждая замена массива @@ -240,8 +242,10 @@ public final class WordPdfConverter { * Конвейер байтовой нормализации docx. Порядок фиксирован: сначала один * zip-проход переписывания XML-частей (внутри части порядок рерайтов * Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→ - * NumberingSuffix значим: Strict первым — дальше transitional-байт; - * GlyphCoverage — по финальному тексту рана), затем OleObjectNormalizer + * NumberingSuffix→Hidden→Ruby значим: Strict первым — дальше transitional-байт; + * GlyphCoverage — по финальному тексту рана; Hidden — вырезает скрытые + * раны по финальному содержимому; Ruby — разворачивает руби-разметку, + * которую схема docx4j не биндит), затем OleObjectNormalizer * (меняет части, а не XML ранов). * Регрессии каждого рерайта — в javadoc соответствующего нормализатора. */ @@ -249,8 +253,8 @@ public final class WordPdfConverter { return List.of( // один zip-проход: strict→transitional, on/off, Symbol-PUA, // поля PAGE/NUMPAGES, невидимки, покрытие глифов, tblInd при - // jc≠left, suff=space — порядок рерайтов внутри части - // фиксирован (DocxRewritePipeline) + // jc≠left, suff=space, скрытый текст (vanish) — порядок + // рерайтов внутри части фиксирован (DocxRewritePipeline) DocxRewritePipeline.STEP, // OLE-объекты: при выключенном errorOnOle тихо удаляем // (часть/rels/w:object), при включённом — DrawingFoundException diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java index 7d482ae..a7302c4 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java @@ -5,6 +5,7 @@ import java.io.IOException; import java.io.InputStream; import java.nio.charset.StandardCharsets; import java.util.Collections; +import java.util.Set; import org.apache.commons.compress.archivers.zip.ZipArchiveEntry; import org.apache.commons.compress.archivers.zip.ZipArchiveOutputStream; @@ -14,17 +15,20 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel; /** * Единый zip-проход переписывания XML-частей (.docx) вместо отдельных * проходов нормализаторов: к каждой записи {@code word/*.xml} применяются - * все восемь рерайтов в фиксированном порядке - * Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix. + * все десять рерайтов в фиксированном порядке + * Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby. * Порядок значим: Strict первым — дальше части в transitional-виде * (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage - * режет раны по финальному тексту рана (после Symbol/Invisible). Каждый + * режет раны по финальному тексту рана (после Symbol/Invisible); Hidden + * последним — вырезает уже финальные раны (после Symbol/GLYPH-разбиений), + * а его OnOff-форма vanish читается после правила 2. Каждый * рерайт работает только содержимым одной части, поэтому по-частная - * цепочка эквивалентна последовательным полным проходам. Правило 7 - * (TableIndent) — исключение из «по-частности»: у header/footer-частей - * своей sectPr нет, ширина полосы передаётся из document.xml (один - * дополнительный inflate до цикла; многосекционный документ — полоса - * неоднозначна, header/footer пропускаются). + * цепочка эквивалентна последовательным полным проходам. Исключения из + * «по-частности» — контексты, читаемые один раз до цикла: правило 7 + * (TableIndent) — у header/footer-частей своей sectPr нет, ширина полосы + * передаётся из document.xml (многосекционный документ — полоса + * неоднозначна, header/footer пропускаются); правило 9 (Hidden) — + * стилевые vanish читаются из word/styles.xml (цепочка w:basedOn). * *

Неизменённые записи (медиа, rels, прочее) переносятся raw-копией * сжатых байтов — без inflate/deflate; прочие (редкие методы сжатия, @@ -48,7 +52,7 @@ public final class DocxRewritePipeline { public static final DocxNormalizer STEP = DocxRewritePipeline::normalize; /** - * Применяет восемь рерайтов к каждой записи {@code word/*.xml} за один + * Применяет десять рерайтов к каждой записи {@code word/*.xml} за один * проход zip. * * @param docx байты .docx (валидный zip) @@ -72,6 +76,16 @@ public final class DocxRewritePipeline { new String(zf.getInputStream(docEntry).readAllBytes(), StandardCharsets.UTF_8)); } + // Стилевые vanish для правила 9 (скрытый текст): часть стилевой + // цепочки w:basedOn вычисляется один раз до цикла. Записи нет → + // пустое множество, рерайт работает по прямому vanish. + Set hiddenStyles = Set.of(); + ZipArchiveEntry stylesEntry = zf.getEntry("word/styles.xml"); + if (stylesEntry != null) { + hiddenStyles = HiddenTextNormalizer.vanishStyles( + new String(zf.getInputStream(stylesEntry).readAllBytes(), + StandardCharsets.UTF_8)); + } for (ZipArchiveEntry entry : Collections.list(zf.getEntries())) { String name = entry.getName(); byte[] rewritten = null; @@ -111,6 +125,14 @@ public final class DocxRewritePipeline { if (next != null) { cur = next; } + next = HiddenTextNormalizer.rewritePart(name, cur, hiddenStyles); + if (next != null) { + cur = next; + } + next = RubyNormalizer.rewrite(cur); + if (next != null) { + cur = next; + } if (cur != xml) { changed = true; rewritten = cur.getBytes(StandardCharsets.UTF_8); diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizer.java new file mode 100644 index 0000000..f587c18 --- /dev/null +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizer.java @@ -0,0 +1,390 @@ +package ru.pjandro.wordpdf.internal; + +import java.io.ByteArrayInputStream; +import java.io.ByteArrayOutputStream; +import java.io.IOException; +import java.nio.charset.StandardCharsets; +import java.util.ArrayDeque; +import java.util.ArrayList; +import java.util.Comparator; +import java.util.Deque; +import java.util.HashMap; +import java.util.HashSet; +import java.util.List; +import java.util.Map; +import java.util.Set; +import java.util.regex.Matcher; +import java.util.regex.Pattern; +import java.util.zip.ZipEntry; +import java.util.zip.ZipInputStream; +import java.util.zip.ZipOutputStream; + +import org.apache.commons.compress.archivers.zip.ZipArchiveEntry; +import org.apache.commons.compress.archivers.zip.ZipFile; +import org.apache.commons.compress.utils.SeekableInMemoryByteChannel; + +/** + * Вырезание скрытых ранов ({@code w:rPr/w:vanish}, Part 1 §17.3.2.30) из + * XML-частей — до загрузки docx4j. + * + *

Word по умолчанию не выводит скрытый текст ни на экран, ни на печать, + * ни в PDF-export; XSL-FO-стилист docx4j {@code w:vanish} не читает вовсе + * (ни templates, ни реестр {@code org.docx4j.model.properties.run.*}), поэтому + * без этого шага скрытое содержимое утекает в PDF. Единственный слой, где + * это чичится без правки jar/FOP — байтовый нормализатор. + * + *

Скрытым считается ран, у которого в собственном {@code w:rPr} + * стоит truthy {@code w:vanish} (атрибут {@code w:val} опущен, {@code true}, + * {@code 1}, {@code on}; falsy — {@code false}/{@code 0}/{@code off}; OnOff- + * правило 2 к моменту запуска уже привело on/off к true/false, но обе формы + * принимаются) либо {@code w:rStyle} ссылается на стиль с vanish — по + * цепочке {@code w:basedOn} (капа 16, цикл — обрыв; тот же приём, что + * {@code internal/doc/Styles}). Прямой vanish ранa перекрывает стилевой; + * вложенные раны ({@code w:rubyBase}/{@code w:rt}, текстовые боксы) + * оцениваются независимо, но ран внутри уже удалённого внешнего не + * вырезается повторно (диапазоны сливаются при сборке). + * + *

Ран с защищённым содержимым ({@code w:fldChar}, {@code w:instrText}, + * {@code w:footnoteReference}, {@code w:endnoteReference}, {@code w:drawing}, + * {@code w:pict}, {@code w:object}, {@code w:txbxContent}) не трогается: + * удаление спаренных {@code begin…separate…end} сломало бы корректное поле, + * а ссылки/объекты в скрытом ране — редкость, деградация «скрытое поле + * осталось» безопаснее битого документа. + * + *

Ссылка {@code w:br type="page"} внутри скрытого рана удаляется вместе с + * раном (в Word скрытое содержимое не набирается и не разрывает страницу); + * валидатор считает страницы по сырому входу, оценка остаётся верхней — + * лимиту это не вредит. + * + *

В конвейере подключается девятым рерайтом в {@link DocxRewritePipeline} + * (после NumberingSuffix, чинить порядок 1–8 незачем) с контекстом — + * множеством vanish-стилей из {@code word/styles.xml}; в + * {@code WordPdfConverter#normalizers} напрямую не вызывается, как и + * остальные rewrite-нормализаторы. + * + *

Регрессия — WordPdfConverterTest#hiddenText_notPrinted. + */ +public final class HiddenTextNormalizer { + + /** Капа цепочки {@code w:basedOn} (образец — {@code doc.Styles.MAX_CHAIN}). */ + private static final int MAX_CHAIN = 16; + + /** Закрывающий слэш самозакрывающегося тега. */ + private static final char SELF_CLOSE = '/'; + + /** Открывающий/закрывающий тег рана; {@code }/{@code } и прочее не матчатся по границе имени. */ + private static final Pattern RUN_TOKEN = Pattern.compile("/])|"); + + /** Атрибут {@code w:val="..."} внутри тега. */ + private static final Pattern VAL_ATTR = Pattern.compile("w:val=\"([^\"]*)\""); + + /** Стилевой рана внутри rPr. */ + private static final Pattern RSTYLE = Pattern.compile("]*w:val=\"([^\"]+)\""); + + /** Открывающий {@code w:style} с capture'ом styleId. */ + private static final Pattern STYLE_OPEN = + Pattern.compile("]*w:styleId=\"([^\"]*)\"[^>]*>"); + + /** Стиль-предок. */ + private static final Pattern BASED_ON = Pattern.compile("]*w:val=\"([^\"]+)\""); + + /** Содержимое, при котором ран не вырезается (парные поля, ссылки, объекты). */ + private static final String[] PROTECTED = { + " vanishStyles = Set.of(); + try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx))) { + ZipArchiveEntry styles = zf.getEntry("word/styles.xml"); + if (styles != null) { + vanishStyles = vanishStyles(new String( + zf.getInputStream(styles).readAllBytes(), StandardCharsets.UTF_8)); + } + } catch (IOException brokenCatalog) { + // не-zip/битый центральный каталог — снисходительно, как остальные + // нормализаторы (полную проверку входа делает WordPdfValidator) + vanishStyles = Set.of(); + } + ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); + boolean changed = false; + try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); + ZipOutputStream zos = new ZipOutputStream(out)) { + ZipEntry entry; + while ((entry = zis.getNextEntry()) != null) { + byte[] data = zis.readAllBytes(); + String name = entry.getName(); + if (name.startsWith("word/") && name.endsWith(".xml")) { + String fixed = rewritePart(name, + new String(data, StandardCharsets.UTF_8), vanishStyles); + if (fixed != null) { + changed = true; + data = fixed.getBytes(StandardCharsets.UTF_8); + } + } + zos.putNextEntry(new ZipEntry(name)); + zos.write(data); + zos.closeEntry(); + } + } + return changed ? out.toByteArray() : docx; + } + + /** + * Рерайт с контекстом стилевой части: {@code word/styles.xml} и + * {@code word/numbering.xml} пропускаются (ранов там нет, а vanish в + * {@code styles.xml} — входные данные, не править их). + * + * @return новая строка либо null, если менять нечего + */ + static String rewritePart(String name, String xml, Set vanishStyleIds) { + if ("word/styles.xml".equals(name) || "word/numbering.xml".equals(name)) { + return null; + } + return rewrite(vanishStyleIds, xml); + } + + /** Рерайт только по прямому vanish (юнит-контракт). */ + static String rewrite(String xml) { + return rewrite(Set.of(), xml); + } + + /** + * Вырезает раны с truthy {@code w:vanish} (прямой или стилевой из + * {@code vanishStyleIds}). + * + * @return новая строка либо null, если менять нечего + */ + static String rewrite(Set vanishStyleIds, String xml) { + Matcher m = RUN_TOKEN.matcher(xml); + List starts = new ArrayList<>(); + List closes = new ArrayList<>(); + while (m.find()) { + starts.add(m.start()); + closes.add(m.group().charAt(1) == '/'); + } + if (starts.isEmpty()) { + return null; + } + Deque stack = new ArrayDeque<>(); // [start, tagEnd, vanish(0/1)] + List ranges = new ArrayList<>(); + for (int t = 0; t < starts.size(); t++) { + int pos = starts.get(t); + if (closes.get(t)) { + int[] frame = stack.pollFirst(); + if (frame == null) { + continue; // разбалансированный закрывающий — молча + } + if (frame[2] == 1 && !hasProtected(xml, frame[1], pos)) { + ranges.add(new int[] {frame[0], pos + "".length()}); + } + continue; + } + int tagEnd = xml.indexOf('>', pos + 4); + if (tagEnd < 0) { + return null; // битый XML — ничего не правим + } + if (xml.charAt(tagEnd - 1) == SELF_CLOSE) { + // пустой ран — вырезать нечего + continue; + } + int windowEnd = t + 1 < starts.size() ? starts.get(t + 1) : xml.length(); + boolean vanish = runVanished(xml, tagEnd, windowEnd, vanishStyleIds); + stack.addFirst(new int[] {pos, tagEnd, vanish ? 1 : 0}); + } + if (ranges.isEmpty()) { + return null; + } + ranges.sort(Comparator.comparingInt(r -> r[0])); + StringBuilder sb = new StringBuilder(xml.length()); + int last = 0; + int coveredUntil = 0; + for (int[] r : ranges) { + if (r[0] < coveredUntil) { + continue; // вложенный ран уже удалён внешним диапазоном + } + sb.append(xml, last, r[0]); + last = r[1]; + coveredUntil = r[1]; + } + sb.append(xml, last, xml.length()); + return sb.toString(); + } + + /** + * Множество {@code w:styleId} стилей с truthy vanish — своих или + * предка по {@code w:basedOn} (капа {@value #MAX_CHAIN}, цикл — обрыв). + * Битый/пустой вход → пустое множество (снисходительно, образец — + * {@code doc.Styles}). + */ + static Set vanishStyles(String stylesXml) { + if (stylesXml == null || stylesXml.isEmpty()) { + return Set.of(); + } + Map parents = new HashMap<>(); + Set ownVanish = new HashSet<>(); + Matcher sm = STYLE_OPEN.matcher(stylesXml); + List ids = new ArrayList<>(); + List blockStarts = new ArrayList<>(); + List blockEnds = new ArrayList<>(); + while (sm.find()) { + ids.add(sm.group(1)); + blockStarts.add(sm.end()); + blockEnds.add(-1); + } + for (int i = 0; i < ids.size(); i++) { + int blockStart = blockStarts.get(i); + int blockEnd = i + 1 < ids.size() ? startsOfStyleTag(stylesXml, blockStart) : -1; + if (blockEnd < 0) { + int close = stylesXml.indexOf("", blockStart); + blockEnd = close < 0 ? stylesXml.length() : close; + } + String block = stylesXml.substring(blockStart, blockEnd); + Matcher b = BASED_ON.matcher(block); + if (b.find()) { + parents.putIfAbsent(ids.get(i), b.group(1)); + } + if (rprRegionAndVanished(stylesXml, blockStart, blockEnd)) { + ownVanish.add(ids.get(i)); + } + } + Set result = new HashSet<>(); + for (String id : parents.keySet()) { + String cur = id; + int hops = 0; + Set seen = new HashSet<>(); + while (cur != null && hops++ < MAX_CHAIN && seen.add(cur)) { + if (ownVanish.contains(cur)) { + result.add(id); + break; + } + cur = parents.get(cur); + } + } + result.addAll(ownVanish); + return Set.copyOf(result); + } + + /** Позиция следующего открывающего {@code vanishStyleIds) { + int rpr = findRprStart(xml, windowStart, windowEnd); + if (rpr < 0) { + return false; + } + String region = rprRegion(xml, rpr, windowEnd); + if (region == null) { + return false; + } + if (hasTruthyVanish(region)) { + return true; + } + if (!vanishStyleIds.isEmpty()) { + Matcher r = RSTYLE.matcher(region); + if (r.find() && vanishStyleIds.contains(r.group(1))) { + return true; + } + } + return false; + } + + /** Начало собственного {@code } в окне (граница имени обязательна). */ + private static int findRprStart(String xml, int from, int to) { + int i = xml.indexOf("= 0 && i < to) { + char after = i + "' || after == '/' || after == '\t' || after == '\n') { + return i; + } + i = xml.indexOf("} внутри окна либо + * самозакрывающийся {@code }; закрывающий тег потомка (за окном) + * не принимается — иначе в окно попал бы чужой vanish. + */ + private static String rprRegion(String xml, int rprStart, int windowEnd) { + int closing = xml.indexOf("", rprStart); + if (closing >= 0 && closing < windowEnd) { + return xml.substring(rprStart, closing + "".length()); + } + int gt = xml.indexOf('>', rprStart); + if (gt >= 0 && gt < windowEnd && xml.charAt(gt - 1) == '/') { + return xml.substring(rprStart, gt + 1); + } + return null; + } + + /** Есть ли в регионе truthy {@code w:vanish}. */ + private static boolean hasTruthyVanish(String region) { + int i = region.indexOf("= 0) { + int after = i + "' || c == '/' || c == '\t' || c == '\n' || c == '\r') { + int end = region.indexOf('>', i); + String tag = end < 0 ? region.substring(i) : region.substring(i, end + 1); + Matcher v = VAL_ATTR.matcher(tag); + if (!v.find()) { + return true; // вал опущен — default true (Part 1 §17.3.2.30) + } + if (truthy(v.group(1))) { + return true; + } + } + } + i = region.indexOf("= 0 && i < to) { + return true; + } + } + return false; + } +} diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/RubyNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/RubyNormalizer.java new file mode 100644 index 0000000..7b1004e --- /dev/null +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/RubyNormalizer.java @@ -0,0 +1,104 @@ +package ru.pjandro.wordpdf.internal; + +import java.io.ByteArrayInputStream; +import java.io.ByteArrayOutputStream; +import java.io.IOException; +import java.nio.charset.StandardCharsets; +import java.util.regex.Pattern; +import java.util.zip.ZipEntry; +import java.util.zip.ZipInputStream; +import java.util.zip.ZipOutputStream; + +/** + * Разбор руби-разметки ({@code w:rubyBase}/{@code w:rt}/{@code w:rubyPr}, + * Part 1 §17.3.3.19/.20/.21) в байтах до загрузки docx4j. + * + *

Джинябиндованные схемы docx4j 17.3.2 {@code w:rubyBase}/{@code w:rt} + * в {@code w:r} не содержат (unmarshaller сообщает «unexpected + * element» и складывает содержимое в sidecar-DOM, невидимый XSLT), поэтому + * текст базы руби теряется ещё до стилиста — шаблон в XSLT тут бессилен + * (в отличие от {@code w:moveFrom}/{@code w:moveTo}/{@code w:bdo}/{@code w:dir}, + * которые схема знает). Единственный слой починки — байтовый нормализатор. + * + *

Деградация принята: база ({@code w:rubyBase}/{@code w:rubyBaseText}) + * разворачивается в обычные раны ранa — текст печатается; надстрочница + * ({@code w:rt}) и форматирование руби ({@code w:rubyPr}, {@code w:rubyAlign}) + * удаляются вместе с содержимым — ruby-разметки в XSL-FO у FOP нет, а потеря + * текста хуже потери аннотации. + * + *

В конвейере подключается десятым рерайтом в {@link DocxRewritePipeline} + * (после Hidden; порядок 1–8 не перенумеровать); в + * {@code WordPdfConverter#normalizers} напрямую не вызывается, как и + * остальные rewrite-нормализаторы. + * + *

Регрессия — WordPdfConverterTest#rubyBase_textPrinted. + */ +public final class RubyNormalizer { + + private RubyNormalizer() { + } + + /** Блок {@code w:rt} (содержимое выбрасывается) — парный или самозакрывающийся. */ + private static final Pattern RT_BLOCK = + Pattern.compile("]*)?(?:/>|>.*?)", Pattern.DOTALL); + + /** Блок {@code w:rubyPr} (форматирование руби) — парный или самозакрывающийся. */ + private static final Pattern RUBY_PR_BLOCK = + Pattern.compile("]*)?(?:/>|>.*?)", Pattern.DOTALL); + + /** Одиночный {@code w:rubyPr}. */ + private static final Pattern RUBY_ALIGN = + Pattern.compile("]*)?(?:/>|>\\s*)", Pattern.DOTALL); + + private static final Pattern RUBY_BASE_OPEN = + Pattern.compile("]*)?>"); + private static final Pattern RUBY_BASE_TEXT_OPEN = + Pattern.compile("]*)?>"); + + /** + * Рерайт одной XML-строки: разворачивает {@code w:rubyBase}/ + * {@code w:rubyBaseText}, вырезает {@code w:rt}/{@code w:rubyPr}/ + * {@code w:rubyAlign}. Руби-токенов нет / ничего не поменялось → {@code null}. + */ + static String rewrite(String xml) { + if (!xml.contains("", ""); + out = RUBY_BASE_OPEN.matcher(out).replaceAll(""); + out = out.replace("", ""); + return out.equals(xml) ? null : out; + } + + /** + * Индивидуальный контракт {@link DocxNormalizer} (тесты); в конвейере + * {@link DocxRewritePipeline} вызывает {@link #rewrite} в общем проходе. + */ + public static byte[] normalize(byte[] docx) throws IOException { + ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); + boolean changed = false; + try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); + ZipOutputStream zos = new ZipOutputStream(out)) { + ZipEntry entry; + while ((entry = zis.getNextEntry()) != null) { + byte[] data = zis.readAllBytes(); + String name = entry.getName(); + if (name.startsWith("word/") && name.endsWith(".xml")) { + String fixed = rewrite(new String(data, StandardCharsets.UTF_8)); + if (fixed != null) { + changed = true; + data = fixed.getBytes(StandardCharsets.UTF_8); + } + } + zos.putNextEntry(new ZipEntry(name)); + zos.write(data); + zos.closeEntry(); + } + } + return changed ? out.toByteArray() : docx; + } +} diff --git a/wordpdf-core/src/main/resources/xslt/docx2fo.xslt b/wordpdf-core/src/main/resources/xslt/docx2fo.xslt index 6aeaa58..264924b 100644 --- a/wordpdf-core/src/main/resources/xslt/docx2fo.xslt +++ b/wordpdf-core/src/main/resources/xslt/docx2fo.xslt @@ -1156,6 +1156,25 @@ + + + + + + + + + + + ", java.util.regex.Matcher.quoteReplacement(call.group())); + restored = restored.replaceFirst( + "(?sm)^[ ]*[ \t]*\n", + ""); assertEquals(jar, restored, "вендорный xslt/docx2fo.xslt отличается от копии" - + " docx4j-export-fo вне AUDIT-FIX-региона: перевендорить и перенести патч"); + + " docx4j-export-fo вне AUDIT-FIX-регионов: перевендорить и перенести патчи"); } /** Правый край (X+ширина) самой правой глифы первой страницы. */ @@ -2202,4 +2210,379 @@ class WordPdfConverterTest { return out; } + // ==== Аудит .docx-путей по ECMA-376 (2026-11): фиксы vanish/ruby/move ==== + // ==== и пиннинг работающих фич (сноски, поля, titlePg, vMerge, SDT, ==== + // ==== текстовые боксы, OMML, highlight/shd) ==== + + private static final String W_NS = + "http://schemas.openxmlformats.org/wordprocessingml/2006/main"; + private static final String REL_NS = + "http://schemas.openxmlformats.org/officeDocument/2006/relationships/"; + private static final String XML_PROLOG = + ""; + private static final String A4_SECT = + ""; + + /** + * Transitional-docx с произвольными namespace'ами {@code w:document}, + * rels центрального документа, Override'ами content-types и доп. частями + * (каркас — {@link #minimalDocx}); {@code docRelsXml}/{@code typeOverrides} + * и {@code parts} — факультативно. + */ + private static byte[] docx(String docXmlns, String bodyXml, String sectPrXml, + String docRelsXml, String typeOverrides, Map parts) throws IOException { + ByteArrayOutputStream out = new ByteArrayOutputStream(); + try (ZipOutputStream zos = new ZipOutputStream(out)) { + putZip(zos, "[Content_Types].xml", XML_PROLOG + + "" + + "" + + "" + + "" + + (typeOverrides == null ? "" : typeOverrides) + + ""); + putZip(zos, "_rels/.rels", XML_PROLOG + + "" + + "" + + ""); + putZip(zos, "word/document.xml", XML_PROLOG + + "" + bodyXml + sectPrXml + + ""); + if (docRelsXml != null) { + putZip(zos, "word/_rels/document.xml.rels", docRelsXml); + } + if (parts != null) { + for (Map.Entry e : parts.entrySet()) { + putZip(zos, e.getKey(), e.getValue()); + } + } + } + return out.toByteArray(); + } + + /** Обёртка rels центрального документа. */ + private static String rels(String... relXmls) { + return XML_PROLOG + "" + + String.join("", relXmls) + ""; + } + + /** Черный (ink) / желтый пиксели первой страницы при 150 dpi (замеры аудита). */ + private static int countPixels(byte[] docx, boolean yellow) throws IOException { + byte[] pdf = WordPdfConverter.convert(docx, "тест"); + try (PDDocument d = Loader.loadPDF(pdf)) { + java.awt.image.BufferedImage img = new PDFRenderer(d).renderImageWithDPI(0, 150); + int n = 0; + for (int y = 0; y < img.getHeight(); y++) { + for (int x = 0; x < img.getWidth(); x++) { + int rgb = img.getRGB(x, y); + int r = (rgb >> 16) & 0xFF; + int g = (rgb >> 8) & 0xFF; + int b = rgb & 0xFF; + boolean hit = yellow ? (r > 180 && g > 180 && b < 120) + : (r < 128 && g < 128 && b < 128); + if (hit) { + n++; + } + } + } + return n; + } + } + + /** + * Скрытый текст не выводится: правило 9 (HiddenTextNormalizer) вырезает + * раны с прямым truthy vanish и с rStyle на vanish-стиль; falsy vanish + * остаётся. Word при печати/PDF-export скрытое не печатает. + * Регрессия — аудит ECMA-376 2026-11 (Part 1 §17.3.2.30). + */ + @Test + void hiddenText_notPrinted() throws IOException { + String body = "ВИДИМОЕ" + + "СКРЫТОЕ" + + "СКРЫТОЕСТИЛЬ" + + "НЕТАЙНОЕ"; + String styles = XML_PROLOG + "" + + "" + + ""; + byte[] doc = docx("xmlns:w=\"" + W_NS + "\"", body, A4_SECT, + rels(""), + "", + Map.of("word/styles.xml", styles)); + String t = norm(pdfText(convertPdf(doc, "тест"))); + assertFalse(t.contains("СКРЫТОЕ"), t); + assertTrue(t.contains("ВИДИМОЕ"), t); + assertTrue(t.contains("НЕТАЙНОЕ"), t); + } + + /** + * База руби печатается (правило 10, RubyNormalizer): схема docx4j не + * биндит {@code w:rubyBase}/{@code w:rt} — unmarshaller терял их до + * XSLT. Надстрочница удаляется (принятая деградация, §17.3.3.19/.20 — + * ruby-разметки в FOP нет) и пинится негативом. + */ + @Test + void rubyBase_textPrinted() throws IOException { + String body = "ДО" + + "РУБИБАЗА" + + "РУБИБАШКА" + + "ПОСЛЕ"; + String t = norm(pdfText(convertPdf(minimalDocx(body), "тест"))); + assertTrue(t.contains("РУБИБАЗА"), t); + assertFalse(t.contains("РУБИБАШКА"), t); + assertTrue(t.contains("ДО") && t.contains("ПОСЛЕ"), t); + } + + /** + * {@code w:bdo}/{@code w:dir} (§17.3.2.4/.7): текст печатается + * (AUDIT-FIX-2 в вендорном XSLT, до патча ловил catch-all); + * bidi-направление — принятая деградация. + */ + @Test + void bdoDir_textPrinted() throws IOException { + String body = "БДООТЕКСТ" + + "ДИРОТЕКСТ"; + String t = norm(pdfText(convertPdf(minimalDocx(body), "тест"))); + assertTrue(t.contains("БДООТЕКСТ"), t); + assertTrue(t.contains("ДИРОТЕКСТ"), t); + } + + /** + * Текст перемещённых правок ({@code w:moveFrom}/{@code w:moveTo}, + * §17.13.5.15/.17) печатается (AUDIT-FIX-2): до патча терялся целиком. + */ + @Test + void movedRevision_textPrinted() throws IOException { + String body = "БЫЛО" + + "ПЕРЕМЕЩЕНООТСКАДА" + + "ПЕРЕМЕЩЕНОКУДА"; + String t = norm(pdfText(convertPdf(minimalDocx(body), "тест"))); + assertTrue(t.contains("ПЕРЕМЕЩЕНООТСКАДА"), t); + assertTrue(t.contains("ПЕРЕМЕЩЕНОКУДА"), t); + } + + /** Сноска (§17.11.10) с номером рисуется под текстом страницы. */ + @Test + void footnote_rendersAtPageBottom() throws IOException { + String body = "ТЕКСТСОСНОСКОЙ" + + ""; + String footnotes = XML_PROLOG + "" + + "" + + "" + + "" + + "" + + "" + + "" + + "" + + " СНОСКАТЕКСТ" + + ""; + byte[] doc = docx("xmlns:w=\"" + W_NS + "\"", body, A4_SECT, + rels(""), + "", + Map.of("word/footnotes.xml", footnotes)); + String t = norm(pdfText(convertPdf(doc, "тест"))); + assertTrue(t.contains("ТЕКСТСОСНОСКОЙ"), t); + assertTrue(t.contains("СНОСКАТЕКСТ"), t); + } + + /** Концевая сноска (§17.11.3) — после основного текста, с заголовком docx4j. */ + @Test + void endnote_rendersAtDocumentEnd() throws IOException { + String body = "ТЕКСТСКОНЕВОЙ" + + ""; + String endnotes = XML_PROLOG + "" + + "" + + "" + + "" + + "" + + "" + + "" + + "" + + " КОНЕВКАТЕКСТ" + + ""; + byte[] doc = docx("xmlns:w=\"" + W_NS + "\"", body, A4_SECT, + rels(""), + "", + Map.of("word/endnotes.xml", endnotes)); + String t = norm(pdfText(convertPdf(doc, "тест"))); + assertTrue(t.contains("ТЕКСТСКОНЕВОЙ"), t); + assertTrue(t.contains("КОНЕВКАТЕКСТ"), t); + } + + /** Внешняя гиперссылка (§17.12.23): текст + PDF-аннотация /URI. */ + @Test + void docxHyperlink_uriAnnotation() throws IOException { + String body = "ДО" + + "" + + "ССЫЛКАТЕКСТ"; + byte[] doc = docx("xmlns:w=\"" + W_NS + "\" xmlns:r=\"" + REL_NS.substring(0, REL_NS.length() - 1) + "\"", + body, A4_SECT, + rels(""), + null, null); + Path pdf = convertPdf(doc, "тест"); + assertTrue(norm(pdfText(pdf)).contains("ССЫЛКАТЕКСТ")); + assertTrue(linkUris(pdf).contains("https://example.com/anchor"), linkUris(pdf).toString()); + } + + /** + * Поля страниц живут: {@code PAGEREF} (complex и вложенный в результат + * {@code TOC}) подменяет кэш живым номером страницы закладки + * (зонд аудита: кэш «9001»/«7777» исчезает, номер актуален). + */ + @Test + void pageRefField_liveNotCached() throws IOException { + String body = "РЕФC:" + + "" + + " PAGEREF _T1 \\h " + + "" + + "9001" + + "" + + "" + + "" + + "ЯКОРЬСТРАНИЦА" + + "" + + " TOC \\o \"1-3\" " + + "" + + "ГЛАВА" + + "" + + " PAGEREF _T1 " + + "" + + "7777" + + "" + + ""; + String t = norm(pdfText(convertPdf(minimalDocx(body), "тест"))); + assertFalse(t.contains("9001"), t); + assertFalse(t.contains("7777"), t); + assertTrue(t.matches("(?s).*РЕФC: ?1.*"), t); + assertTrue(t.contains("ГЛАВА"), t); + } + + /** Поле {@code DATE} пересчитывается: устаревший кэш из docx не выводится. */ + @Test + void dateField_notStaleCache() throws IOException { + String body = "ДАТА:" + + "" + + " DATE \\@ \"dd.MM.yyyy\" " + + "\\* MERGEFORMAT " + + "" + + "01.02.2003" + + ""; + String t = norm(pdfText(convertPdf(minimalDocx(body), "тест"))); + assertFalse(t.contains("01.02.2003"), t); + assertTrue(t.matches("(?s).*ДАТА: ?\\d{2}\\.\\d{2}\\.\\d{4}.*"), t); + } + + /** + * {@code titlePg} (§17.13.1.35): первая страница получает колонтитук + * {@code type="first"}, остальные — {@code default}. + */ + @Test + void titlePg_firstPageHeader() throws IOException { + String body = "СТРАНИЦА1" + + "" + + "СТРАНИЦА2"; + String sect = "" + + "" + + "" + + ""; + String hdr = "ШАПКА"; + Map parts = new LinkedHashMap<>(); + parts.put("word/header1.xml", XML_PROLOG + "" + + hdr + "ФИРСТ"); + parts.put("word/header2.xml", XML_PROLOG + "" + + hdr + "ДЕФОЛТ"); + byte[] doc = docx("xmlns:w=\"" + W_NS + "\" xmlns:r=\"" + REL_NS.substring(0, REL_NS.length() - 1) + "\"", + body, sect, + rels("" + + ""), + "" + + "", + parts); + Path pdf = convertPdf(doc, "тест"); + String p1 = norm(pdfPageText(pdf, 1)); + String p2 = norm(pdfPageText(pdf, 2)); + assertTrue(p1.contains("ШАПКАФИРСТ"), p1); + assertFalse(p1.contains("ШАПКАДЕФОЛТ"), p1); + assertTrue(p2.contains("ШАПКАДЕФОЛТ"), p2); + assertFalse(p2.contains("ШАПКАФИРСТ"), p2); + } + + /** {@code vMerge} (§17.4.70): текст restarted-ячейки один раз, continue — пусто. */ + @Test + void vMergeCell_spansRows() throws IOException { + String body = "" + + "" + + "" + + "" + + "СЛИЯНОЯЧЕЙКА" + + "" + + ""; + String t = norm(pdfText(convertPdf(minimalDocx(body), "тест"))); + assertEquals(1, t.split("СЛИЯНОЯЧЕЙКА", -1).length - 1, t); + assertFalse(t.contains("#"), t); + } + + /** Блочный {@code w:sdt} (§17.5.2): контент структурного тега рендерится. */ + @Test + void sdtContent_rendered() throws IOException { + String body = "" + + "СДТКОНТЕНТ"; + String t = norm(pdfText(convertPdf(minimalDocx(body), "тест"))); + assertTrue(t.contains("СДТКОНТЕНТ"), t); + } + + /** DrawingML-текстовый бокс ({@code wps:txbx}, §17.3.3.23): текст в PDF. */ + @Test + void drawingTextBox_textPrinted() throws IOException { + String body = "" + + "" + + "" + + "" + + "" + + "" + + "" + + "" + + "ТЕКСТБОКСА" + + "" + + ""; + byte[] doc = docx("xmlns:w=\"" + W_NS + "\"" + + " xmlns:wp=\"http://schemas.openxmlformats.org/drawingml/2006/wordprocessingDrawing\"", + body, A4_SECT, null, null, null); + String t = norm(pdfText(convertPdf(doc, "тест"))); + assertTrue(t.contains("ТЕКСТБОКСА"), t); + } + + /** + * OMML-формула (§22.1) рисуется вектором (jeuclid-fop): чернила страницы + * с дробью a/b заметно плотнее чернил того же текста без формулы + * (замер аудита: +150 px при 150 dpi; текст формулы из PDF не извлекается). + */ + @Test + void ommlMath_drawnAsVectors() throws IOException { + String marker = "МАТЕМАРКЕР"; + String math = marker + "" + + "a" + + "b"; + int plainPx = countPixels(minimalDocx(marker), false); + int mathPx = countPixels(minimalDocx(math), false); + assertTrue(mathPx - plainPx >= 100, "math=" + mathPx + " plain=" + plainPx); + } + + /** + * {@code w:highlight} и run-{@code w:shd} (§17.3.2.16/.29) рисуют фон — + * вопреки прежней записи аудита о «фоном не обладающем fo:inline» + * (замер: 1130 жёлтых px@150dpi против 0 без фона). + */ + @Test + void highlightAndShading_backgroundDrawn() throws IOException { + String body = "" + + "ХАЙЛАЙТЖЕЛТЫЙ" + + "" + + "ЗАТЕНЕНИЕЖЕЛТОЕ"; + assertTrue(countPixels(minimalDocx(body), true) > 0); + assertEquals(0, countPixels( + minimalDocx("ХАЙЛАЙТЖЕЛТЫЙ"), true)); + } + } diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizerTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizerTest.java new file mode 100644 index 0000000..60da7f6 --- /dev/null +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizerTest.java @@ -0,0 +1,228 @@ +package ru.pjandro.wordpdf.internal; + +import org.junit.jupiter.api.Test; + +import java.io.ByteArrayInputStream; +import java.io.ByteArrayOutputStream; +import java.io.IOException; +import java.nio.charset.StandardCharsets; +import java.util.LinkedHashMap; +import java.util.Map; +import java.util.Set; +import java.util.zip.ZipEntry; +import java.util.zip.ZipInputStream; +import java.util.zip.ZipOutputStream; + +import static org.junit.jupiter.api.Assertions.assertEquals; +import static org.junit.jupiter.api.Assertions.assertFalse; +import static org.junit.jupiter.api.Assertions.assertNotSame; +import static org.junit.jupiter.api.Assertions.assertNull; +import static org.junit.jupiter.api.Assertions.assertSame; +import static org.junit.jupiter.api.Assertions.assertTrue; + +/** + * Юниты {@link HiddenTextNormalizer}: вырезание ранов с truthy + * {@code w:vanish} (прямой и стилевой по цепочке {@code w:basedOn}, + * Part 1 §17.3.2.30 / §17.18.69). + */ +class HiddenTextNormalizerTest { + + /** Параграф с произвольными ранами. */ + private static String para(String runs) { + return "" + runs + ""; + } + + /** Ран с опциональным rPr и текстом. */ + private static String run(String rpr, String text) { + return "" + (rpr == null || rpr.isEmpty() ? "" : "" + rpr + "") + + "" + text + ""; + } + + /** Прямой truthy vanish — ран вырезан, видимый остался. */ + @Test + void vanishRun_removed() { + String xml = para(run("", "СКРЫТОЕ") + run("", "ВИДИМОЕ")); + String fixed = HiddenTextNormalizer.rewrite(xml); + assertFalse(fixed.contains("СКРЫТОЕ"), fixed); + assertTrue(fixed.contains("ВИДИМОЕ"), fixed); + } + + /** val="false" — ран остаётся (ST_OnOff §17.18.69). */ + @Test + void vanishValFalse_kept() { + String xml = para(run("", "НЕТАЙНОЕ")); + assertNull(HiddenTextNormalizer.rewrite(xml)); + } + + /** val="0" — тоже falsy. */ + @Test + void vanishValZero_kept() { + String xml = para(run("", "НЕТАЙНОЕ")); + assertNull(HiddenTextNormalizer.rewrite(xml)); + } + + /** on/off (форма до правила 2) — on скрыт, off оставлен. */ + @Test + void vanishOnOff_formsAccepted() { + String xml = para(run("", "СКРЫТОЕ") + + run("", "НЕТАЙНОЕ")); + String fixed = HiddenTextNormalizer.rewrite(xml); + assertFalse(fixed.contains("СКРЫТОЕ"), fixed); + assertTrue(fixed.contains("НЕТАЙНОЕ"), fixed); + } + + /** rStyle на стиль из множества vanish — ран вырезан (2-arg хук). */ + @Test + void vanishStyleViaRStyle_removed() { + String xml = para(run("", "СКРЫТОЕСТИЛЬ") + + run("", "ВИДИМОЕ")); + String fixed = HiddenTextNormalizer.rewrite(Set.of("Hidden"), xml); + assertFalse(fixed.contains("СКРЫТОЕСТИЛЬ"), fixed); + assertTrue(fixed.contains("ВИДИМОЕ"), fixed); + } + + /** Стиль без vanish не участвует: один только rStyle не скрывает. */ + @Test + void plainStyle_notRemovedWithoutContext() { + String xml = para(run("", "ТЕКСТ")); + assertNull(HiddenTextNormalizer.rewrite(xml)); + } + + /** Таблица стилей: vanish предка накрывает потомка по basedOn. */ + @Test + void vanishStyleBasedOnChain_removed() { + String styles = "" + + "" + + "" + + ""; + Set hidden = HiddenTextNormalizer.vanishStyles(styles); + assertTrue(hidden.contains("Base"), hidden.toString()); + assertTrue(hidden.contains("Derived"), hidden.toString()); + } + + /** Цикл basedOn A→B→A — обрыв без зависания, vanish достижим. */ + @Test + void vanishStyleCycleTerminates() { + String styles = "" + + "" + + "" + + ""; + assertTrue(HiddenTextNormalizer.vanishStyles(styles).isEmpty()); + } + + /** Битый/пустой STSH — пустое множество (снисходительно). */ + @Test + void brokenStyles_emptySet() { + assertTrue(HiddenTextNormalizer.vanishStyles(null).isEmpty()); + assertTrue(HiddenTextNormalizer.vanishStyles("").isEmpty()); + } + + /** Ран с fldChar не вырезается — не ломать спаренное поле. */ + @Test + void protectedRun_fldCharKept() { + String xml = "" + + "" + + "PAGE" + + "" + + ""; + assertNull(HiddenTextNormalizer.rewrite(xml)); + } + + /** Ран с drawing не вырезается. */ + @Test + void protectedRun_drawingKept() { + String xml = "" + + ""; + assertNull(HiddenTextNormalizer.rewrite(xml)); + } + + /** Внешний vanish-ран с вложенным раном выносится целиком. */ + @Test + void nestedRun_innerWithoutVanish_outerRemoved() { + String xml = "" + + "РУБИБАЗА" + + "ВИДИМОЕ"; + String fixed = HiddenTextNormalizer.rewrite(xml); + assertFalse(fixed.contains("РУБИБАЗА"), fixed); + assertTrue(fixed.contains("ВИДИМОЕ"), fixed); + } + + /** Вложенный vanish-ран внутри нескрытого внешнего — выносится вложенный. */ + @Test + void nestedRun_innerVanishOnly() { + String xml = "" + + "СКРЫТОЕ" + + "ВИДИМОЕ"; + String fixed = HiddenTextNormalizer.rewrite(xml); + assertFalse(fixed.contains("СКРЫТОЕ"), fixed); + assertTrue(fixed.contains("ВИДИМОЕ"), fixed); + } + + /** Нет vanish — null (контракт «нечего менять»). */ + @Test + void noVanish_returnsNull() { + assertNull(HiddenTextNormalizer.rewrite(para(run("", "ТЕКСТ")))); + } + + /** styles.xml/numbering.xml — name-guard: не переписываются. */ + @Test + void styleAndNumberingParts_skipped() { + String xml = para(run("", "СКРЫТОЕ")); + assertNull(HiddenTextNormalizer.rewritePart("word/styles.xml", xml, Set.of())); + assertNull(HiddenTextNormalizer.rewritePart("word/numbering.xml", xml, Set.of())); + } + + private static byte[] zip(Map parts) throws IOException { + ByteArrayOutputStream out = new ByteArrayOutputStream(); + try (ZipOutputStream zos = new ZipOutputStream(out)) { + for (Map.Entry e : parts.entrySet()) { + zos.putNextEntry(new ZipEntry(e.getKey())); + zos.write(e.getValue().getBytes(StandardCharsets.UTF_8)); + zos.closeEntry(); + } + } + return out.toByteArray(); + } + + private static Map unzip(byte[] zip) throws IOException { + Map out = new LinkedHashMap<>(); + try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(zip))) { + ZipEntry entry; + while ((entry = zis.getNextEntry()) != null) { + out.put(entry.getName(), + new String(zis.readAllBytes(), StandardCharsets.UTF_8)); + } + } + return out; + } + + /** normalize: vanish-ран вырезан из document.xml, styles.xml целая. */ + @Test + void normalize_rewritesDocumentKeepsStyles() throws IOException { + Map parts = new LinkedHashMap<>(); + parts.put("[Content_Types].xml", ""); + parts.put("word/document.xml", para(run("", "СКРЫТОЕ") + + run("", "СКРЫТОЕСТИЛЬ") + run("", "ВИДИМОЕ"))); + parts.put("word/styles.xml", "" + + ""); + byte[] src = zip(parts); + byte[] fixed = HiddenTextNormalizer.normalize(src); + assertNotSame(src, fixed); + Map got = unzip(fixed); + assertEquals("", got.get("[Content_Types].xml")); + assertTrue(got.get("word/styles.xml").contains(""), "стили не правим"); + String doc = got.get("word/document.xml"); + assertFalse(doc.contains("СКРЫТОЕ"), doc); + assertTrue(doc.contains("ВИДИМОЕ"), doc); + } + + /** normalize: нечего менять → тот же массив. */ + @Test + void normalize_noChange_returnsSameArray() throws IOException { + byte[] src = zip(Map.of( + "[Content_Types].xml", "", + "word/document.xml", para(run("", "ТЕКСТ")))); + assertSame(src, HiddenTextNormalizer.normalize(src)); + } +} diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/RubyNormalizerTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/RubyNormalizerTest.java new file mode 100644 index 0000000..d38e505 --- /dev/null +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/RubyNormalizerTest.java @@ -0,0 +1,128 @@ +package ru.pjandro.wordpdf.internal; + +import org.junit.jupiter.api.Test; + +import java.io.ByteArrayInputStream; +import java.io.ByteArrayOutputStream; +import java.io.IOException; +import java.nio.charset.StandardCharsets; +import java.util.zip.ZipEntry; +import java.util.zip.ZipInputStream; +import java.util.zip.ZipOutputStream; + +import static org.junit.jupiter.api.Assertions.assertEquals; +import static org.junit.jupiter.api.Assertions.assertFalse; +import static org.junit.jupiter.api.Assertions.assertNull; +import static org.junit.jupiter.api.Assertions.assertSame; +import static org.junit.jupiter.api.Assertions.assertTrue; + +/** + * Юниты правила 10: разворот {@code w:rubyBase}/{@code w:rubyBaseText}, + * вырезание {@code w:rt}/{@code w:rubyPr}/{@code w:rubyAlign} + * (Part 1 §17.3.3.18/.19/.20/.21). + */ +class RubyNormalizerTest { + + @Test + void rubyBase_unwrapped() { + String xml = "БАЗА"; + assertEquals("БАЗА", RubyNormalizer.rewrite(xml)); + } + + @Test + void rubyBaseWithAttrs_unwrapped() { + String xml = "Б"; + assertEquals("Б", RubyNormalizer.rewrite(xml)); + } + + @Test + void rubyBaseText_unwrapped() { + String xml = "Т" + + ""; + assertEquals("Т", RubyNormalizer.rewrite(xml)); + } + + @Test + void rtBlock_removed() { + String xml = "АННОТАЦИЯОСТАЛСЯ"; + String out = RubyNormalizer.rewrite(xml); + assertEquals("ОСТАЛСЯ", out); + } + + @Test + void rtSelfClosing_removed() { + String xml = "АБ"; + assertEquals("АБ", RubyNormalizer.rewrite(xml)); + } + + @Test + void rubyPrSelfClosing_removed() { + String xml = "Б"; + assertEquals("Б", RubyNormalizer.rewrite(xml)); + } + + @Test + void rubyPrPairedWithChildren_removed() { + String xml = ""; + assertEquals("", RubyNormalizer.rewrite(xml)); + } + + @Test + void loneRubyAlign_removed() { + String xml = "АБ"; + assertEquals("АБ", RubyNormalizer.rewrite(xml)); + } + + @Test + void noRuby_returnsNull() { + String xml = "ТЕКСТ"; + assertNull(RubyNormalizer.rewrite(xml)); + } + + @Test + void rubyRunWithVanish_marks() { + String xml = "Б" + + ""; + assertTrue(RubyNormalizer.rewrite(xml).startsWith("")); + } + + @Test + void unchanged_returnsOriginalArray() throws IOException { + byte[] doc = docx("word/document.xml", + "ТЕКСТ"); + assertSame(doc, RubyNormalizer.normalize(doc)); + } + + @Test + void rubyRewritten_viaNormalize() throws IOException { + byte[] doc = docx("word/document.xml", + "Б" + + "А"); + byte[] out = RubyNormalizer.normalize(doc); + String xml = entry(out, "word/document.xml"); + assertTrue(xml.contains("Б"), xml); + assertFalse(xml.contains("w:rt"), xml); + } + + private static byte[] docx(String name, String xml) throws IOException { + ByteArrayOutputStream out = new ByteArrayOutputStream(); + try (ZipOutputStream zos = new ZipOutputStream(out)) { + zos.putNextEntry(new ZipEntry(name)); + zos.write(xml.getBytes(StandardCharsets.UTF_8)); + zos.closeEntry(); + } + return out.toByteArray(); + } + + private static String entry(byte[] zip, String name) throws IOException { + try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(zip))) { + ZipEntry e; + while ((e = zis.getNextEntry()) != null) { + if (e.getName().equals(name)) { + return new String(zis.readAllBytes(), StandardCharsets.UTF_8); + } + } + } + throw new AssertionError("no entry " + name); + } +} -- 2.56.1