diff --git a/AGENTS.md b/AGENTS.md index fb4e8b2..5b12099 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -18,16 +18,20 @@ Порядок шагов 0–7 фиксирован (`convertToStream`), местами менять нельзя. Вход роутируется по сигнатуре: `PK\x03\x04` → docx-путь; `D0 CF 11 E0 A1 B1 1A E1` (CFB, MS-CFB §2.2) → `DocToDocx.convert` → in-memory `.docx` → тот же конвейер (предикат — `WordPdfValidator.isBinaryDoc`). Валидация — **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись zip/CFB → контейнер → страницы); для `.doc` — `checkPageCountDoc` по сырым байтам. -Порядок: шрифты (`BundledFontMapper` → `BundledFonts.init` → `restrictToBundled`) и правила 1–8 (`DocxRewritePipeline.STEP`) + `OleObjectNormalizer` — до `WordprocessingMLPackage.load`; `FOSettings`/`FopFallbackFonts`/`LayoutPostRenderer` — до `setCustomXsltTemplates(VendoredXslt.TEMPLATES)`; `Docx4J.toFO(…, FLAG_EXPORT_PREFER_XSL)` — последним; `finally` → `deleteEmbeddedFontTempFiles()` + сброс имиджевых кешей общей FopFactory + `BundledFonts.restrictToBundled()` (реестр шрифтов возвращается в бандл-состояние: `load()` регистрирует встроенные шрифты документа в глобальном `PhysicalFonts`). Полная таблица шагов и подсчёт страниц — `docs/agent/pipeline.md`. +Порядок: шрифты (`BundledFontMapper` → `BundledFonts.init` → `restrictToBundled`) и правила 1–9 (`DocxRewritePipeline.STEP`) + `OleObjectNormalizer` — до `WordprocessingMLPackage.load`; `FOSettings`/`FopFallbackFonts`/`LayoutPostRenderer` — до `setCustomXsltTemplates(VendoredXslt.TEMPLATES)`; `Docx4J.toFO(…, FLAG_EXPORT_PREFER_XSL)` — последним; `finally` → `deleteEmbeddedFontTempFiles()` + сброс имиджевых кешей общей FopFactory + `BundledFonts.restrictToBundled()` (реестр шрифтов возвращается в бандл-состояние: `load()` регистрирует встроенные шрифты документа в глобальном `PhysicalFonts`). Полная таблица шагов и подсчёт страниц — `docs/agent/pipeline.md`. ## Нормализаторы (`internal/DocxNormalizer`) -Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame`). Порядок фиксирован: Strict→OnOff→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby. Правила 1–8 применяет `DocxRewritePipeline.STEP` одним zip-проходом (неизменённые записи копируются raw-сжатыми байтами); `OleObjectNormalizer` (правило 9) — лямбдой в `WordPdfConverter.normalizers()`. `STEP` выставляют 7 из 8 rewrite-нормализаторов (нет у `RubyNormalizer`), у `OleObjectNormalizer` её нет. Правил Symbol-шрифтов и complex-полей PAGE/NUMPAGES больше нет — с docx4j 17.3.x их делает сам экспорт (#701, CR-067); пины отсутствия регрессии — `symbolFonts_bulletsAreNotHash`, `pageNumbers_recomputedNotCached`. Правила 1–9, guard'ы, номера секций и инвариант `mc-preprocessor.xslt` (собственный рерайт strict-URI ломать нельзя) — `docs/agent/pipeline.md`. +Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame`). Порядок фиксирован: Strict→OnOff→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby→Distribute. Правила 1–9 применяет `DocxRewritePipeline.STEP` одним zip-проходом (неизменённые записи копируются raw-сжатыми байтами); `OleObjectNormalizer` (правило 10) — лямбдой в `WordPdfConverter.normalizers()`. `STEP` выставляют 8 из 9 rewrite-нормализаторов (нет у `RubyNormalizer`), у `OleObjectNormalizer` её нет. Правил Symbol-шрифтов и complex-полей PAGE/NUMPAGES больше нет — с docx4j 17.3.x их делает сам экспорт (#701, CR-067); пины отсутствия регрессии — `symbolFonts_bulletsAreNotHash`, `pageNumbers_recomputedNotCached`. Правила 1–9, guard'ы, номера секций и инвариант `mc-preprocessor.xslt` (собственный рерайт strict-URI ломать нельзя) — `docs/agent/pipeline.md`. ## Мост `.doc` → `.docx` (`internal/doc`) 18 классов, 17 package-private; наружу — только `DocToDocx` (`convert`/`countPages`). Общий разбор — `DocFile`: CFB → потоки WordDocument / 0Table|1Table / Data + FIB + piece table. Новых runtime-зависимостей нет (POI/POIFS — test-scope). Источники: [MS-DOC] (`docs/standards/doc/`), [MS-CFB]/[MS-OLEPS]/[MS-ODRAW] (`docs/standards/binary/`). Байтовые раскладки по классам — `docs/agent/doc-bridge.md`. +## FOP-оверлей (`ru.pjandro:docx4j-fo-renderer-core`) + +Форк `org.docx4j:docx4j-fo-renderer-core` 2.12-docx4j.1 (он же Apache FOP 2.12) в репо `ai/xmlgraphics-fop-pj` (Gitea); версии вида `2.12-docx4j.1-pj.N` (наследование по схеме форка, README репо), артефакты — Nexus maven-hosted (входит в `maven-public`). Подключение: в `wordpdf-core/pom.xml` — exclusion `org.docx4j:docx4j-fo-renderer-core` из `docx4j-export-fo` + зависимость `ru.pjandro:docx4j-fo-renderer-core` (версия `${fop-overlay.version}` в корневом pom); тонкий `docx4j-fo-renderer` (hooks-маркер `Docx4jFop`) НЕ исключается. В оверлее наши патчи помечены `Added by pjandro`/`CR-0xx`, тесты — package `org.apache.fop.layoutmgr.word` (в т.ч. `DistributeLineTestCase` — пин justify-пары для distribute). Новый релиз оверлея: `mvn deploy` в репо форка → bump `fop-overlay.version` → `mvn clean verify` здесь. Пайплайн CI форка не связан с этим репо. + ## REST API (`wordpdf-app`, всё package-private кроме `WordPdfApplication`) `POST /api/v1/convert`: multipart-поле `file` (`.docx`/`.doc`) + query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолт каждого — `false`), `maxMb`/`maxPages` (лимиты входа: переопределяют серверный дефолт в обе стороны; ≤ 0 → 400). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`; имя — `ConversionService.safeBaseName`. Тело ошибки — `{"error": …}`. Error-флаги на `.doc` **не срабатывают** (BLIP-плейсхолдеры → картинки). `ApiExceptionHandler` не видит ошибок фильтров — 401 пишет сам `ApiKeyFilter`. @@ -51,11 +55,11 @@ Java2D → PNG: `ChartRenderer.DPI = 300`, потолок `MAX_PIXELS = 16_777_2 - `docx4j.fonts.discoverPhysicalFonts.enabled=false` и `discoverJarFonts.enabled=false` — static-блок: иначе `BestMatchingMapper` сканирует системные шрифты и jar'ы classpath'а, а `restrictToBundled()` всё найденное выбрасывает (~100–140 мс впустую на JVM). `discoverJarFonts("fonts-symbol")` свойством не гейтится — символ-шрифт регистрируется и снимается restrict'ом как раньше. - Единственный XSL-FO-стилист — вендорный `xslt/docx2fo.xslt` (копия из docx4j-export-fo 17.3.6 + два AUDIT-FIX-патча: `w:rPr/w:position` → `baseline-shift`, Part 1 §17.3.2.24; AUDIT-FIX-2 — `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir`, иначе их ловит catch-all `match="*"` и текст теряется). Дрейф-гейт `vendoredXsltTracksJarCopy`: вне AUDIT-FIX-регионов копия побайтно равна стилю из jar'а. `setCustomXsltTemplates` принимает предкомпилированный `Templates`. - `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`); приложение исключает его — логи ведёт logback. -- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.12-docx4j.1 (транзитив от `docx4j-export-fo`, в pom не пинится; пакеты `org.apache.fop.*`). `FopFallbackFonts` берёт `w:renderer` с mime `application/pdf`, иначе первый со шрифтами. +- FOP — собственный оверлей `ru.pjandro:docx4j-fo-renderer-core:${fop-overlay.version}` (форк `org.docx4j:docx4j-fo-renderer-core` 2.12-docx4j.1 = FOP 2.12 + word-layout; пакеты `org.apache.fop.*`; репо `ai/xmlgraphics-fop-pj`, артефакт — Nexus). `docx4j-export-fo` исключает центральный `org.docx4j:docx4j-fo-renderer-core`; тонкий `docx4j-fo-renderer` (маркер `Docx4jFop`, хук word-layout) остаётся из `docx4j-export-fo`. `FopFallbackFonts` берёт `w:renderer` с mime `application/pdf`, иначе первый со шрифтами. - `BundledFonts.init()` идемпотентен, распаковывает TTF в `wordpdf-fonts-*` (`deleteOnExit`); `dropNonBundled()` чистит `PhysicalFonts` от всего, что вне бандла; ВСЕ синхронизированные методы `BundledFonts` (`init`/`restrictToBundled`/`font`) держат монитор `WordPdfConverter.class` (не собственный замок класса) — тот же, что сериализует конвертации, поэтому внешний вызов рядом с идущей конвертацией безопасен автоматически. Регрессия — `WordPdfConverterTest#concurrentFontMutators_conversionsUnharmed`. - `PhysicalFonts` — глобальный и мутируемый → конвертации сериализуются монитором `WordPdfConverter.class` внутри ядра (общая `FopFactory` и сброс её image-кешей — под тем же монитором); приложение держит однопоточный воркер ради 503/timeout; `warmup()` идёт тем же потоком. - Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; правила StAX-подсчёта — `docs/agent/pipeline.md`. -- Не чинить: `jc="distribute"` (в FOP-форке 2.12 есть `text-align-last`, но маппинг `Justification` не эмитит его и межсимвольного разноса нет), `suff="tab"`/`lvlJc`, метрика «single», кернинг, `REF`/`SEQ`/`TOC`-кэш, руби-надстрочница, U+2188/U+218A — доказательства в `docs/agent/render-limitations.md`. `framePr` починен апстримом 17.3.6 (фрейм позиционируется). +- Не чинить: `suff="tab"`/`lvlJc`, метрика «single», кернинг, `REF`/`SEQ`/`TOC`-кэш, руби-надстрочница, U+2188/U+218A — доказательства в `docs/agent/render-limitations.md`. `framePr` починен апстримом 17.3.6 (фрейм позиционируется); `jc="distribute"` починен правилом 9 + justify-парой в `LayoutPostRenderer` (межсловный разнос всех строк, межсимвольный kashida не реализован). - Комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.6 (описанное поведение верно). ## Шрифты (30 TTF + 3 лицензии, SIL OFL, `wordpdf-core/src/main/resources/fonts/`) @@ -84,6 +88,13 @@ python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources **«Запусти тестовый сервер» (термин пользователя)** = полный dev-стенд, НЕ `java -jar`: `podman-compose -f compose.dev.yml up -d --build --force-recreate`, вход `http://:9011` без API-ключа; гейт — контейнеры healthy + корень SPA отвечает 200. `--force-recreate` обязателен: без него контейнеры остаются на старом образе. +**Ожидание готовности podman-контейнеров** (одинаково для dev-стенда и для собственных тестовых контейнеров): +- Гейт — наблюдаемый факт готовности, а не «подождал N секунд»: HTTP-эндпоинт сервиса (`curl -fs --max-time 2 …`) или, для контейнера с healthcheck, `podman inspect --format '{{.State.Health.Status}}'` = `healthy`. +- Ждать — синхронным `until`-циклом с жёстким потолком и коротким шагом, в том же вызове, что и идущая сразу за гейтом проверка: `timeout 180 sh -c 'until curl -fs --max-time 2 http://127.0.0.1:9011/ -o /dev/null; do sleep 2; done' && <смоук>`. Готово — цикл выходит за секунды; потолок срабатывает только при настоящей неполадке (тогда читать `podman logs `). +- **Нельзя** считать `healthy` по всему списку контейнеров (`grep -c healthy`): у контейнеров без healthcheck (nginx-гейтстенд) статус никогда не содержит `healthy` — такой цикл молча крутится до самого дедлайна, стена при этом уже готова. У контейнеров без healthcheck единственный гейт — HTTP. +- **Нельзя** крутить цикл ожидания отдельным async-job'ом и поллить его: либо `podman-compose up` + `until`-гейт + смоук одним синхронным вызовом, либо (если сборка образа долгая и уходит в фон) — по её завершении гейт-цикл синхронно. +- Одноразовая проверка в контейнере вообще не ждёт готовности: `podman run --rm ` блокирующий — читать exit code и stdout. + Пересоздание фикстур и перевендоривание стилиста — `docs/agent/repo-map.md`. Деплой: **прод** — на пользовательском LAN-сервере; **перед деплоем/перезапуском прочитать `/home/pjandro/prod/java-word-pdf/DEPLOY.md`**; пуск — push в `main` или Run workflow, ручных скриптов нет (детали — `docs/agent/ci-cd.md`). ## Code Conventions & Common Patterns diff --git a/docs/agent/pipeline.md b/docs/agent/pipeline.md index 87b0fe0..a1a6c91 100644 --- a/docs/agent/pipeline.md +++ b/docs/agent/pipeline.md @@ -6,11 +6,11 @@ |---|---|---| | 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j | | 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера (static `BestMatchingMapper`) регистрирует в `PhysicalFonts` только symbol-шрифты из `docx4j-export-fo-fonts-symbol` (сканы системы и jar'ов отключены в static-блоке `WordPdfConverter` гейт-свойствами — всё найденное всё равно выбрасывает `restrictToBundled()`); `init()` вызывает `dropNonBundled()` **до** регистрации бандла, `restrictToBundled()` оставляет реестр = бандл + встроенные в docx. Порядок `init()` после конструктора — инвариант: `addPhysicalFont` не перезаписывает занятый ключ (иначе системный Calibri ломает em-dash-fallback) | -|2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–8 — раздел «Нормализаторы: контракт и правила 1–9» в этом файле) + условная OLE-вычистка (правило 9)| +|2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–9 — раздел «Нормализаторы: контракт и правила 1–10» в этом файле) + условная OLE-вычистка (правило 10)| | 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF | | 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет) | | 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные | -| 4.25 | `LayoutPostRenderer.register(foSettings)` | Кастомный `FORenderer`: post-FO padding-компенсация таблиц (`start-indent` += `padding-left` первой ячейки), внутри — штатный `FORendererApacheFOP` | +| 4.25 | `LayoutPostRenderer.register(foSettings)` | Кастомный `FORenderer`: post-FO padding-компенсация таблиц (`start-indent` += `padding-left` первой ячейки) + justify-пара блокам с якорем `pj-distribute-` (правило 9), внутри — штатный `FORendererApacheFOP` | | 4.5 | `foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES)` | Стилист — вендорный `xslt/docx2fo.xslt` (копия docx4j-export-fo + AUDIT-FIX-патчи: `w:rPr/w:position`→`baseline-shift` и AUDIT-FIX-2 `moveFrom`/`moveTo`/`bdo`/`dir`); `Templates` компилируется один раз — `getTemplates` кастит значение в `Templates` | | 5 | `FORendererApacheFOP.getFopFactoryBuilder` + `getFOUserAgent` | Непустой `title` → заголовок PDF | | 6 | `Docx4J.toFO(foSettings, os, FLAG_EXPORT_PREFER_XSL)` | XSL-FO → PDF | @@ -26,9 +26,9 @@ - Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `w:sectPr` в body + `w:br type="page"` + `pageBreakBefore` (включая таблицы и `w:sdt`). Единственный путь — lightweight (StAX по zip, secure-ридер без DTD/external entities; `WordPdfValidator` не зависит от docx4j): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитуках — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy `val`: `null|true|1|on`). На не-zip молчит — подпись проверяет вызывающий. `checkPageCount` — один стриминговый проход `ZipInputStream` без буферизации частей (хелпер `noClose` глушит `close()` сканеров): потребление O(одной части) вместо O(суммы XML-частей). -### Нормализаторы: контракт и правила 1–9 (детали) +### Нормализаторы: контракт и правила 1–10 (детали) -Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Восемь rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby; константу `STEP` (`public static final DocxNormalizer`) выставляют семь из восьми (нет только у `RubyNormalizer` — он цепочный, подключается внутри пайплайна), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`. Правила 1–8 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 7; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` восьми нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим: +Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Девять rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby→Distribute; константу `STEP` (`public static final DocxNormalizer`) выставляют восемь из девяти (нет только у `RubyNormalizer` — он цепочный, подключается внутри пайплайна), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`. Правила 1–9 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 7; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` девяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим: 1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174a — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.7 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`). 2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается. @@ -41,6 +41,7 @@ 6. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; Part 1 §17.3.1.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace. 7. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.30): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, юниты — HiddenTextNormalizerTest. 8. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.18/.19/.20/.21): `w:rubyBase`/`w:rubyBaseText` разворачиваются в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.6 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest. -9. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `DrawingFoundException(OLE)`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет. +9. `DistributeStampNormalizer` — `w:pPr/w:jc w:val="distribute"` → невидимая закладка-якорь `w:bookmarkStart w:name="pj-distribute-<часть>-"` сразу после `` (Part 1 §17.18.44): docx4j для DISTRIBUTE не эмитит в FO ничего, канонический эквивалент — пара `text-align`/`text-align-last="justify"`, но стилист править нельзя (дрейф-гейт), а `LayoutPostRenderer` опознаёт абзац только по якорю — `BookmarkStartWriter` делает из закладки `` первым инлайн-ребёнком блока, фильтр дописывает блоку justify-пару (сериализация без префикса `fo:` учтена паттерном). Штампуются только content-части (document/footnotes/endnotes; в numbering у `CT_Lvl` закладок не бывает, `w:jc` в `trPr`/`tblPr` не читается — разбор только внутри `w:pPr`); счётчик id от max существующих +1, идемпотентность по метке `pj-distribute-`. Идёт после Hidden, чтобы не штамповать вырезанный абзац. Регрессия — WordPdfConverterTest#distribute_allLinesReachRightMargin, юниты — DistributeStampNormalizerTest, пин форка — DistributeLineTestCase. +10. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `DrawingFoundException(OLE)`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет. `mc-preprocessor.xslt` docx4j (в jar `docx4j-core`) перебивает strict-namespace'ы в transitional и конвертит `pt` в twips/half-points, но ветку перевода процентов в тысячные для namespace'ных атрибутов содержит с закомментированным `` (для атрибутов без namespace — она активна), а `w:start`/`w:end` в `w:left`/`w:right` не маппит вовсе. Поэтому собственный рерайт URI ломать нельзя — он сломал бы pt-конверсию preprocessor'а (FOP получил бы «10pt»). diff --git a/docs/agent/render-limitations.md b/docs/agent/render-limitations.md index 8029366..4f03e89 100644 --- a/docs/agent/render-limitations.md +++ b/docs/agent/render-limitations.md @@ -4,6 +4,6 @@ - Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно). -- Аудит раскладки по ECMA-376 Part 1 (2026-10, реаудит на docx4j 17.3.6 + форке FOP 2.12 — 2026-11) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается; в форке 2.12 свойство `text-align-last` **есть** (классы `TextAlignLast*`, `Block`/`FoProperties`), но маппинг docx4j `Justification.setXslFO` для `DISTRIBUTE` не эмитит его и ничего не эмитит вовсе (значение не попадает в `fo:text-align*` — замер: край строки 184 pt при полосе до 540 pt); `w:lvlJc` игнорируется (numbering-лейбл всегда у number position: `lvlJc="right"`/`"center"` рендерятся идентично `left` — лейблы по общему левому краю; suff=space чинит правило 6, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер на 17.3.6/форке 2.12: dx пары = сумма advance без поправки — Carlito «Wa»/«AV», DejaVu Sans «Ta»; GPOS-only у 22 TTF, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; GPOS-путь в форке тоже не применяется); свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19; при отсутствии `w:kern` Office не кернит — MS-OI29500 §21.1.2.3.9a) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 5), `w:suff="space"` (правило 6). Починено апстримом 17.3.6: `w:framePr` (фрейм позиционируется — замер: FRAME на x=252pt = левое поле 72pt + `w:x=180pt`; до апгрейда текст шёл в общем потоке), symbol-шрифты и complex-поля PAGE/NUMPAGES (экспорт сам маппит PUA-маркеры и пересчитывает page-поля). +- Аудит раскладки по ECMA-376 Part 1 (2026-10, реаудит на docx4j 17.3.6 + форке FOP 2.12 — 2026-11) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:lvlJc` игнорируется (numbering-лейбл всегда у number position: `lvlJc="right"`/`"center"` рендерятся идентично `left` — лейблы по общему левому краю; suff=space чинит правило 6, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер на 17.3.6/форке 2.12: dx пары = сумма advance без поправки — Carlito «Wa»/«AV», DejaVu Sans «Ta»; GPOS-only у 22 TTF, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; GPOS-путь в форке тоже не применяется); свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19; при отсутствии `w:kern` Office не кернит — MS-OI29500 §21.1.2.3.9a) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 5), `w:suff="space"` (правило 6). Починено на 17.3.6+форке: `w:jc="distribute"` (правило 9 `DistributeStampNormalizer` ставит закладку-якорь, `LayoutPostRenderer` дописывает блоку пару `text-align`/`text-align-last="justify"` — межсловный разнос всех строк, включая последнюю; пин в форке `DistributeLineTestCase`, в конвертере `distribute_allLinesReachRightMargin`; межсимвольный kashida-разнос §17.18.44 не реализован — для латиницы Word разносит межсловные пробелы, однословная строка не растягивается, потому что растягивать нечем). Починено апстримом 17.3.6: `w:framePr` (фрейм позиционируется — замер: FRAME на x=252pt = левое поле 72pt + `w:x=180pt`; до апгрейда текст шёл в общем потоке), symbol-шрифты и complex-поля PAGE/NUMPAGES (экспорт сам маппит PUA-маркеры и пересчитывает page-поля). - Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.13.1.35), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23), OMML-формулы рисуются вектором jeuclid-fop (§22.1 — текст из PDF не извлекается, пинь пикселями), фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 7); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 8 + AUDIT-FIX-2). Остаток (не чиним): `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 8 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура). diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DistributeStampNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DistributeStampNormalizer.java new file mode 100644 index 0000000..6c6d82e --- /dev/null +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DistributeStampNormalizer.java @@ -0,0 +1,187 @@ +package ru.pjandro.wordpdf.internal; + +import java.io.ByteArrayInputStream; +import java.io.ByteArrayOutputStream; +import java.io.IOException; +import java.nio.charset.StandardCharsets; +import java.util.regex.Matcher; +import java.util.regex.Pattern; +import java.util.zip.ZipEntry; +import java.util.zip.ZipInputStream; +import java.util.zip.ZipOutputStream; + +/** + * {@code w:pPr/w:jc w:val="distribute"} → невидимая закладка-штамп в начале + * абзаца — до загрузки docx4j (Part 1 §17.18.44). + * + *

Word при {@code distribute} растягивает межсловные пробелы каждой строки + * абзаца, включая последнюю. docx4j для DISTRIBUTE не эмитит в FO ничего + * ({@code Justification.setXslFO} не знает этого значения): абзац приходит в + * FOP без {@code text-align} и печатается по левому краю. Канонический FO + * эквивалент — {@code text-align="justify" text-align-last="justify"} (пин в + * форке: DistributeLineTestCase), но в XSLT-стилиста дописать атрибутику jc + * нельзя (дрейф-гейт {@code vendoredXsltTracksJarCopy}), а рендер-фильтр + * {@code LayoutPostRenderer} видит только FO и опознал бы distribute-абзац + * лишь по якорю. Штамп — этот якорь: {@code w:bookmarkStart + * w:name="pj-distribute-<часть>-"} сразу после {@code }; экспорт + * docx4j ({@code BookmarkStartWriter}) превращает её в {@code } первым инлайн-ребёнком блока, и фильтр дописывает + * блоку пару justify-свойств. Имена закладок уникальны в пределах конвертации + * (docx4j дубликаты выбрасывает с warn), поэтому счётчик per-part с меткой + * части в имени.

+ * + *

Штампуются только content-части (document/footnotes/endnotes): в + * {@code numbering.xml} у {@code CT_Lvl} закладки быть не может (не входит в + * EG_PPrGeneralContent, WML XSD), а {@code w:jc} в {@code trPr}/{@code tblPr} + * (выравнивание таблицы/строки) не читается — разбор идёт только содержимым + * {@code w:pPr}. Диапазон абзаца плоский: {@code w:p} не вложен в {@code w:p}. + * Уже проштампованный абзац не дублируется (идемпотентность). Нечего менять → + * {@code null} (контракт rewrite-хуков).

+ * + *

Регрессии — DistributeStampNormalizerTest (юнит), + * WordPdfConverterTest#distribute_allLinesReachRightMargin (конвейер), + * фикстура samples/distribute.docx.

+ */ +final class DistributeStampNormalizer { + + /** Начало абзаца: {@code } или {@code }; {@code w:pPr}-подобные не матчатся. */ + private static final Pattern PARA_START = Pattern.compile("/])"); + + /** justify-раскладка абзаца; ищем только внутри w:pPr. */ + private static final Pattern JC_DISTRIBUTE = + Pattern.compile("]*w:val=\"distribute\""); + + /** Существующие id закладок — штампуете от max+1 (Part 1: id уникален в части). */ + private static final Pattern BOOKMARK_ID = + Pattern.compile("]*w:id=\"(\\d+)\""); + + /** Собственные штампы — защита от повторного штампа (идемпотентность). */ + private static final String STAMP_MARK = "pj-distribute-"; + + /** Закрывающий слэш открывающего тега: {@code } — абзац без содержимого. */ + private static final char SELF_CLOSE_SLASH = '/'; + + private DistributeStampNormalizer() { + } + + /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ + static final DocxNormalizer STEP = DistributeStampNormalizer::normalize; + + /** + * Штампует distribute-абзацы content-части. + * + * @param part имя zip-записи ({@code word/document.xml} и т. п.) + * @param xml разметка части + * @return размеченная разметка либо {@code null}, если менять нечего + * (не content-часть / нет distribute-абзацев) + */ + static String rewrite(String part, String xml) { + String tag = contentTag(part); + if (tag == null) { + return null; + } + Matcher starts = PARA_START.matcher(xml); + StringBuilder sb = null; + int mark = 0; + int nextId = maxBookmarkId(xml) + 1; + int seq = 0; + while (starts.find()) { + int body = starts.end(); + int gt = xml.indexOf('>', body); + if (gt < 0) { + break; + } + if (xml.charAt(gt - 1) == SELF_CLOSE_SLASH) { + continue; // самозакрывающийся — pPr нет в помине + } + int end = xml.indexOf("", gt); + if (end < 0) { + break; + } + int pprOpen = xml.indexOf("= end) { + continue; + } + int pprClose = xml.indexOf("", pprOpen); + if (pprClose < 0 || pprClose >= end) { + continue; + } + CharSequence ppr = xml.subSequence(pprOpen, pprClose); + if (!JC_DISTRIBUTE.matcher(ppr).find()) { + continue; + } + int stamped = xml.indexOf(STAMP_MARK, gt); + if (stamped >= 0 && stamped < end) { + continue; // уже проштампован + } + seq++; + if (sb == null) { + sb = new StringBuilder(xml.length() + 64); + } + sb.append(xml, mark, pprClose + "".length()); + sb.append("") + .append(""); + mark = pprClose + "".length(); + } + return sb == null ? null : sb.append(xml, mark, xml.length()).toString(); + } + + /** + * Метка части для имён закладок; {@code null} — часть не content + * (в numbering/styles закладок быть не может, прочие не рендерятся). + */ + private static String contentTag(String part) { + switch (part) { + case "word/document.xml": + return "document"; + case "word/footnotes.xml": + return "footnotes"; + case "word/endnotes.xml": + return "endnotes"; + default: + return null; + } + } + + private static int maxBookmarkId(String xml) { + int max = 0; + Matcher m = BOOKMARK_ID.matcher(xml); + while (m.find()) { + try { + max = Math.max(max, Integer.parseInt(m.group(1))); + } catch (NumberFormatException ignored) { + // нечисловой id — не конкурент нашим id + } + } + return max; + } + + /** + * Самостоятельный zip-проход (тот же контракт, что у остальных; в + * конвейере вызывается {@link #rewrite} через {@link DocxRewritePipeline}). + * + * @param docx байты .docx (zip) + * @return те же или переупакованные байты + */ + static byte[] normalize(byte[] docx) throws IOException { + ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); + boolean changed = false; + try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); + ZipOutputStream zos = new ZipOutputStream(out)) { + ZipEntry entry; + while ((entry = zis.getNextEntry()) != null) { + byte[] data = zis.readAllBytes(); + String name = entry.getName(); + String fixed = name.startsWith("word/") && name.endsWith(".xml") + ? rewrite(name, new String(data, StandardCharsets.UTF_8)) + : null; + zos.putNextEntry(new ZipEntry(name)); + zos.write(fixed != null ? fixed.getBytes(StandardCharsets.UTF_8) : data); + zos.closeEntry(); + changed |= fixed != null; + } + } + return changed ? out.toByteArray() : docx; + } +} diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java index 032a098..8333fc2 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java @@ -15,13 +15,16 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel; /** * Единый zip-проход переписывания XML-частей (.docx) вместо отдельных * проходов нормализаторов: к каждой записи {@code word/*.xml} применяются - * все восемь рерайтов в фиксированном порядке - * Strict→OnOff→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby. + * все девять рерайтов в фиксированном порядке + * Strict→OnOff→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby→Distribute. * Порядок значим: Strict первым — дальше части в transitional-виде * (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage * режет раны по финальному тексту рана (после Invisible); Hidden - * последним — вырезает уже финальные раны (после GLYPH-разбиений), - * а его OnOff-форма vanish читается после правила 2. Каждый + * идёт после GlyphCoverage — вырезает уже финальные раны (после GLYPH-разбиений), + * а его OnOff-форма vanish читается после правила 2; Distribute (штамп + * {@code w:jc="distribute"} закладкой-якорем) — последним, он вставляет узел + * после {@code } и не трогает текст, но обязан видеть финальную + * разметку, чтобы не штамповать абзац, вырезанный Hidden. Каждый * рерайт работает только содержимым одной части, поэтому по-частная * цепочка эквивалентна последовательным полным проходам. Исключения из * «по-частности» — контексты, читаемые один раз до цикла: правило 5 @@ -59,7 +62,7 @@ public final class DocxRewritePipeline { public static final DocxNormalizer STEP = DocxRewritePipeline::normalize; /** - * Применяет восемь рерайтов к каждой записи {@code word/*.xml} за один + * Применяет девять рерайтов к каждой записи {@code word/*.xml} за один * проход zip. * * @param docx байты .docx (валидный zip) @@ -132,6 +135,10 @@ public final class DocxRewritePipeline { if (next != null) { cur = next; } + next = DistributeStampNormalizer.rewrite(name, cur); + if (next != null) { + cur = next; + } if (cur != xml) { changed = true; rewritten = cur.getBytes(StandardCharsets.UTF_8); diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/LayoutPostRenderer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/LayoutPostRenderer.java index 583a021..2ba7d1e 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/LayoutPostRenderer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/LayoutPostRenderer.java @@ -27,6 +27,13 @@ import java.util.regex.Pattern; * обратно к {@code start-indent}. Вложенные таблицы: первой считается ячейка * внешней — принятая аппроксимация (компенсация всё равно от default * cellMar). Регрессия — WordPdfConverterTest#tableCellPadding_textInsetLikeWord. + *
  • distribute → justify-пара. docx4j для {@code w:jc="distribute"} + * не эмитит в FO ничего; по якорю-закладке {@code pj-distribute-…} + * (DistributeStampNormalizer, правило 12) блоку дописывается + * {@code text-align="justify" text-align-last="justify"} — Word растягивает + * пробелы всех строк, включая последнюю (Part 1 §17.18.44). Регрессия — + * LayoutPostRendererTest (фильтр), + * WordPdfConverterTest#distribute_allLinesReachRightMargin (конвейер).
  • * * *

    {@code lineRule="auto"} НЕ правится: высота «single» 13.4277pt@11pt, @@ -56,6 +63,14 @@ public final class LayoutPostRenderer implements FORenderer { private static final double IN_TO_PT = 72.0; private static final Pattern TABLE = Pattern.compile("]*>"); + /** + * Якорь distribute-абзаца: fo:inline с id закладки-штампа. docx4j пишет + * его DOM-поддеревом ({@code XsltCommonFunctions.toNode}), на сериализации + * префикс может не унаследоваться — форма {@code }, + * поэтому префикс факультативен. + */ + private static final Pattern DISTRIBUTE_STAMP = + Pattern.compile("<(?:fo:)?inline\\b[^>]*\\bid=\"pj-distribute-[^\"]*\"[^>]*/>"); private static final Pattern START_INDENT = Pattern.compile("start-indent=\"(-?[0-9.]+)pt\""); private static final Pattern FIRST_CELL = Pattern.compile("]*>"); private static final Pattern PADDING_LEFT = @@ -84,7 +99,59 @@ public final class LayoutPostRenderer implements FORenderer { * возвращает ту же строку. */ static String fix(String fo) { - return compensateTablePadding(fo); + return compensateTablePadding(justifyDistributed(fo)); + } + + /** + * Абзац со штампом {@code w:jc="distribute"} (якорь-закладка + * {@code pj-distribute-…} от {@link DistributeStampNormalizer}) получает + * пару {@code text-align="justify" text-align-last="justify"} — + * канонический FO-эквивалент Word-раскладки (Part 1 §17.18.44; пин + * поведения — форк DistributeLineTestCase). Атрибут дописывается в тег + * ближайшего открывающего {@code fo:block} перед якорем; уже заданное + * {@code text-align} не перетирается. + */ + private static String justifyDistributed(String fo) { + Matcher stamp = DISTRIBUTE_STAMP.matcher(fo); + StringBuilder sb = null; + int mark = 0; + int search = 0; + while (stamp.find(search)) { + search = stamp.end(); + int block = fo.lastIndexOf("", block); + if (block < mark || block < 0 || (blockClose >= 0 && blockClose < stamp.start())) { + continue; // якорь вне блока/после закрытия — править нечего + } + int blockEnd = fo.indexOf('>', block + "") ? blockTag.length() - 2 : blockTag.length() - 1; + return blockTag.substring(0, close) + attrs + blockTag.substring(close); } /** diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/SampleDocxGenerator.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/SampleDocxGenerator.java index 0410380..9148ab7 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/SampleDocxGenerator.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/SampleDocxGenerator.java @@ -22,6 +22,7 @@ import org.apache.poi.xwpf.usermodel.XWPFAbstractNum; import org.apache.poi.xwpf.usermodel.XWPFNumbering; import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTR; import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTRPr; +import org.openxmlformats.schemas.wordprocessingml.x2006.main.STJc; import javax.imageio.ImageIO; import java.awt.Color; @@ -76,6 +77,7 @@ public final class SampleDocxGenerator { exoticGlyphs(dir.resolve("exotic-glyphs.docx")); tooManyPages(dir.resolve("too-many-pages.docx")); staleCache(dir.resolve("stale-cache.docx")); + distribute(dir.resolve("distribute.docx")); System.out.println("Готово: " + dir.toAbsolutePath()); } @@ -439,6 +441,35 @@ public final class SampleDocxGenerator { /** Сколько {@code w:t} в фикстуре stale-cache остаются без маркера. */ private static final int STALE_CACHE_UNMARKED_RUNS = 1; + /** + * w:jc="distribute" (+ контроль {@code both} и левый): Word растягивает + * пробелы всех строк, включая последнюю (Part 1 §17.18.44); docx4j для + * DISTRIBUTE не эмитит ничего, без правила 12 абзац печатается влево. + * Регрессия — WordPdfConverterTest#distribute_allLinesReachRightMargin. + */ + private static void distribute(Path out) throws Exception { + try (XWPFDocument doc = new XWPFDocument()) { + heading(doc, "Distribute justification", "Calibri"); + String text = "alpha bravo charlie delta echo foxtrot golf hotel " + + "india juliett kilo lima mike november oscar papa quebec romeo sierra"; + XWPFParagraph p = doc.createParagraph(); + setJc(p, STJc.DISTRIBUTE); + run(p, text, "Calibri", false, false); + p = doc.createParagraph(); + run(p, text, "Calibri", false, false); + p = doc.createParagraph(); + setJc(p, STJc.BOTH); + run(p, text, "Calibri", false, false); + save(doc, out); + } + } + + /** w:jc прямо в pPr: POI-перечисление Alignment не знает DISTRIBUTE. */ + private static void setJc(XWPFParagraph p, STJc.Enum val) { + CTPPr pPr = p.getCTP().isSetPPr() ? p.getCTP().getPPr() : p.getCTP().addNewPPr(); + pPr.addNewJc().setVal(val); + } + // ================== Вспомогательные ================== /** Абзац-заголовок: POI 5.5 не имеет createHeading, поэтому diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java index 467bc9f..59f4851 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java @@ -2932,4 +2932,61 @@ class WordPdfConverterTest { } } + /** + * w:jc="distribute" (Part 1 §17.18.44): Word растягивает пробелы всех строк, + * включая последнюю. docx4j для DISTRIBUTE не эмитит в FO ничего — без + * правила 12 (DistributeStampNormalizer) и justify-пары (LayoutPostRenderer) + * абзац печатается по левому краю. Фикстура — samples/distribute.docx: + * один и тот же текст абзацами distribute / left / both; правое поле + * A4 72pt → 523.28pt; хвостовая строка трёхсловная («quebec romeo sierra») — + * одно слово растягивать нечем (нет склейки), такие строки Word тоже оставляет + * на месте. last-line justify пинут в форке (DistributeLineTestCase). + */ + @Test + void distribute_allLinesReachRightMargin() throws Exception { + Path pdf = convertPdf(sampleBytes("distribute.docx"), "distribute"); + Map ends = new LinkedHashMap<>(); + Map lineTexts = new LinkedHashMap<>(); + try (PDDocument doc = Loader.loadPDF(pdf.toFile())) { + PDFTextStripper stripper = new PDFTextStripper() { + @Override + protected void processTextPosition(org.apache.pdfbox.text.TextPosition tp) { + String u = tp.getUnicode(); + if (!u.trim().isEmpty()) { + long y = Math.round(tp.getYDirAdj()); + double right = tp.getXDirAdj() + tp.getWidthDirAdj(); + double[] max = ends.computeIfAbsent(y, k -> new double[1]); + max[0] = Math.max(max[0], right); + lineTexts.computeIfAbsent(y, k -> new StringBuilder()).append(u); + } + super.processTextPosition(tp); + } + }; + String text = stripper.getText(doc); + assertEquals(3, count(text, "quebec"), "все три абзаца напечатаны"); + } + List tails = new ArrayList<>(); + for (Map.Entry e : lineTexts.entrySet()) { + if (e.getValue().toString().trim().endsWith("sierra")) { + tails.add(Math.round(ends.get(e.getKey())[0] * 10) / 10.0); + } + } + assertEquals(3, tails.size(), "найдены концы трёх абзацев"); + double right = 595.276 - 72.0; + assertTrue(Math.abs(tails.get(0) - right) < 1.5, + "distribute: последняя строка дотянута до правого поля, конец=" + tails.get(0)); + assertTrue(tails.get(1) < right - 20.0, + "левый абзац остаётся рваным: конец=" + tails.get(1)); + assertTrue(tails.get(2) < right - 20.0, + "both не растягивает последнюю строку: конец=" + tails.get(2)); + } + + private static int count(String hay, String needle) { + int n = 0; + for (int i = hay.indexOf(needle); i >= 0; i = hay.indexOf(needle, i + 1)) { + n++; + } + return n; + } + } diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/DistributeStampNormalizerTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/DistributeStampNormalizerTest.java new file mode 100644 index 0000000..fd36b9d --- /dev/null +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/DistributeStampNormalizerTest.java @@ -0,0 +1,165 @@ +package ru.pjandro.wordpdf.internal; + +import org.junit.jupiter.api.Test; + +import java.io.ByteArrayOutputStream; +import java.io.IOException; +import java.nio.charset.StandardCharsets; +import java.util.zip.ZipEntry; +import java.util.zip.ZipOutputStream; + +import static org.junit.jupiter.api.Assertions.assertEquals; +import static org.junit.jupiter.api.Assertions.assertFalse; +import static org.junit.jupiter.api.Assertions.assertNotSame; +import static org.junit.jupiter.api.Assertions.assertNull; +import static org.junit.jupiter.api.Assertions.assertSame; +import static org.junit.jupiter.api.Assertions.assertTrue; + +/** + * Юниты {@link DistributeStampNormalizer}: штамп {@code w:jc="distribute"} + * закладкой-якорем после {@code } (Part 1 §17.18.44, правило 12). + */ +class DistributeStampNormalizerTest { + + private static String document(String body) { + return "" + + "" + body + ""; + } + + /** Абзац с pPr (или без, если pPrInner пуст) и одним раном. */ + private static String para(String pPrInner, String text) { + return "" + (pPrInner.isEmpty() + ? "" : "" + pPrInner + "") + + "" + text + ""; + } + + private static final String JC_DISTRIBUTE = ""; + + /** distribute-абзац: штамп сразу после , id=1 (закладок нет). */ + @Test + void distribute_paragraphStampedAfterPPr() { + String xml = document(para(JC_DISTRIBUTE, "раз")); + String fixed = DistributeStampNormalizer.rewrite("word/document.xml", xml); + assertEquals(document(para(JC_DISTRIBUTE, "раз") + .replace("", "" + + "")), + fixed); + } + + /** Несколько абзацев: имена per-part по счёту, id за max существующих. */ + @Test + void multipleParagraphs_namesAndIdsUnique() { + String xml = document( + para(JC_DISTRIBUTE, "раз") + + "" + + "" + + "два" + + para(JC_DISTRIBUTE, "три")); + String fixed = DistributeStampNormalizer.rewrite("word/document.xml", xml); + assertTrue(fixed.contains("w:name=\"pj-distribute-document-1\""), fixed); + assertTrue(fixed.contains("w:name=\"pj-distribute-document-2\""), fixed); + assertFalse(fixed.contains("w:name=\"pj-distribute-document-3\""), fixed); + assertTrue(fixed.contains("") + countOf(fixed, ""), + "каждому start — свой end"); + } + + private static int countOf(String s, String sub) { + return (s.length() - s.replace(sub, "").length()) / sub.length(); + } + + /** Повторный вызов на проштампованном — null (идемпотентность). */ + @Test + void alreadyStamped_returnsNull() { + String xml = document(para(JC_DISTRIBUTE, "раз")); + String once = DistributeStampNormalizer.rewrite("word/document.xml", xml); + assertNull(DistributeStampNormalizer.rewrite("word/document.xml", once)); + } + + /** jc=center/both/нет — не our case: null. */ + @Test + void otherJustification_returnsNull() { + String xml = document(para("", "раз") + para("", "два")); + assertNull(DistributeStampNormalizer.rewrite("word/document.xml", xml)); + } + + /** jc вне w:pPr (например, w:jc строки таблицы в trPr) — не штампуется. */ + @Test + void jcOutsidePPr_returnsNull() { + String xml = document("" + + para("", "раз") + ""); + assertNull(DistributeStampNormalizer.rewrite("word/document.xml", xml)); + } + + /** numbering.xml (уровни списков с pPrGeneral) — часть не штампуется вовсе. */ + @Test + void nonContentPart_returnsNull() { + String xml = "" + JC_DISTRIBUTE + ""; + assertNull(DistributeStampNormalizer.rewrite("word/numbering.xml", xml)); + } + + /** footnotes.xml — штампуется с меткой части (имена не коллизируют с document). */ + @Test + void footnotes_partTagInName() { + String xml = document(para(JC_DISTRIBUTE, "сноска")); + String fixed = DistributeStampNormalizer.rewrite("word/footnotes.xml", xml); + assertTrue(fixed.contains("w:name=\"pj-distribute-footnotes-1\""), fixed); + } + + /** Самозакрывающийся абзац — не ломает разбор. */ + @Test + void selfClosingParagraph_survives() { + String xml = document("" + JC_DISTRIBUTE + + "тут"); + String fixed = DistributeStampNormalizer.rewrite("word/document.xml", xml); + assertTrue(fixed.contains("pj-distribute-document-1"), fixed); + } + + /** Контракт zip-пути: нечего менять → тот же массив; есть штамп → новые байты со штампом. */ + @Test + void normalize_identityWhenNothing_stampWhenDistribute() throws IOException { + byte[] clean = docx("чисто"); + assertSame(clean, DistributeStampNormalizer.normalize(clean)); + + byte[] dirty = docx("" + JC_DISTRIBUTE + "" + + "тяни"); + byte[] fixed = DistributeStampNormalizer.normalize(dirty); + assertNotSame(dirty, fixed); + String part = new String(entry(fixed, "word/document.xml"), StandardCharsets.UTF_8); + assertTrue(part.contains("w:name=\"pj-distribute-document-1\""), part); + } + + // ================== Синтетический .docx ================== + + private static byte[] docx(String body) throws IOException { + ByteArrayOutputStream bos = new ByteArrayOutputStream(); + try (ZipOutputStream zos = new ZipOutputStream(bos)) { + zos.putNextEntry(new ZipEntry("[Content_Types].xml")); + zos.write("".getBytes(StandardCharsets.UTF_8)); + zos.closeEntry(); + zos.putNextEntry(new ZipEntry("word/document.xml")); + zos.write(document(body).getBytes(StandardCharsets.UTF_8)); + zos.closeEntry(); + zos.putNextEntry(new ZipEntry("word/numbering.xml")); + zos.write("".getBytes(StandardCharsets.UTF_8)); + zos.closeEntry(); + } + return bos.toByteArray(); + } + + private static byte[] entry(byte[] zip, String name) throws IOException { + try (java.util.zip.ZipInputStream zis = + new java.util.zip.ZipInputStream(new java.io.ByteArrayInputStream(zip))) { + ZipEntry e; + while ((e = zis.getNextEntry()) != null) { + if (e.getName().equals(name)) { + return zis.readAllBytes(); + } + } + } + throw new IllegalArgumentException("нет записи " + name); + } +} diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/LayoutPostRendererTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/LayoutPostRendererTest.java index d898b0f..c865dca 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/LayoutPostRendererTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/LayoutPostRendererTest.java @@ -3,6 +3,7 @@ package ru.pjandro.wordpdf.internal; import org.junit.jupiter.api.Test; import static org.junit.jupiter.api.Assertions.assertEquals; +import static org.junit.jupiter.api.Assertions.assertFalse; import static org.junit.jupiter.api.Assertions.assertSame; import static org.junit.jupiter.api.Assertions.assertTrue; @@ -125,4 +126,57 @@ class LayoutPostRendererTest { String fo = "text"; assertSame(fo, LayoutPostRenderer.fix(fo)); } + + // ================== distribute-штамп ================== + + /** Якорь-закладка: блок получает пару justify-свойств (Part 1 §17.18.44). */ + @Test + void distributeStamp_justifyPairAdded() { + String fo = "" + + "alpha bravo"; + String fixed = LayoutPostRenderer.fix(fo); + assertTrue(fixed.contains(""), fixed); + } + + /** Реальная форма сериализации docx4j: DOM-поддерево без префикса fo. */ + @Test + void distributeStamp_unprefixedInline_stillStamped() { + String fo = "" + + "" + + "alpha"; + String fixed = LayoutPostRenderer.fix(fo); + assertTrue(fixed.contains(""), fixed); + } + + /** Текст уже выровнен (both + наш штамп) — дописывается только align-last. */ + @Test + void distributeStamp_existingTextAlignPreserved() { + String fo = "x"; + String fixed = LayoutPostRenderer.fix(fo); + assertTrue(fixed.contains("text-align=\"justify\" text-align-last=\"justify\""), fixed); + assertFalse(fixed.contains("text-align-last=\"justify\" text-align-last"), fixed); + } + + /** text-align-last уже задан — блок не трогается, чужая закладка молча живёт. */ + @Test + void distributeStamp_alignLastAlreadySet_untouched() { + String fo = "x"; + assertSame(fo, LayoutPostRenderer.fix(fo)); + } + + /** Закладка вне fo:block (после закрытия) — правки нет, FO не ломается. */ + @Test + void distributeStamp_outsideBlock_untouched() { + String fo = "до"; + assertSame(fo, LayoutPostRenderer.fix(fo)); + } + + /** Обычная закладка пользователя (не pj-distribute) — игнор. */ + @Test + void userBookmark_ignored() { + String fo = "x"; + assertSame(fo, LayoutPostRenderer.fix(fo)); + } } diff --git a/wordpdf-core/src/test/resources/samples/distribute.docx b/wordpdf-core/src/test/resources/samples/distribute.docx new file mode 100644 index 0000000..626fe7a Binary files /dev/null and b/wordpdf-core/src/test/resources/samples/distribute.docx differ