feat(core): правило 9 DistributeStampNormalizer - w:jc=distribute растягивает все строки (Part 1 17.18.44)
PR checks / web (pull_request) Successful in 51s
PR checks / java (pull_request) Failing after 1m3s

docx4j для DISTRIBUTE не эмитит в FO ничего - абзац печатался по левому краю.
Нормализатор ставит в distribute-абзацы закладку-якорь pj-distribute-<часть>-<n>
(после Hidden, content-части, идемпотентно), LayoutPostRenderer по якорю дописывает
блоку пару text-align/text-align-last=justify - межсловный разнос всех строк,
включая последнюю (пин форка DistributeLineTestCase). Паттерн якоря принимает и
префиксную, и безпрефиксную сериализацию fo:inline (DOM-поддерево toNode).
Фикстура distribute.docx (хвост трёхсловный - одно слово растягивать нечем),
регрессии distribute_allLinesReachRightMargin + юниты нормализатора и фильтра.

Доки: правила 1-9 (Ole - правило 10), шаг 4.25, FOP-оверлей в инвариантах и
новая секция AGENTS; render-limitations - distribute перенесён в починенное.
Дополнительно в AGENTS: заметки про гейт готовности podman-контейнеров.
This commit is contained in:
Pjandro
2026-11-08 23:18:56 +00:00
parent 6137fc705d
commit 838ec29a69
11 changed files with 596 additions and 16 deletions
+15 -4
View File
@@ -18,16 +18,20 @@
Порядок шагов 0–7 фиксирован (`convertToStream`), местами менять нельзя. Вход роутируется по сигнатуре: `PK\x03\x04` → docx-путь; `D0 CF 11 E0 A1 B1 1A E1` (CFB, MS-CFB §2.2) → `DocToDocx.convert` → in-memory `.docx` → тот же конвейер (предикат — `WordPdfValidator.isBinaryDoc`). Валидация — **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись zip/CFB → контейнер → страницы); для `.doc` — `checkPageCountDoc` по сырым байтам. Порядок шагов 0–7 фиксирован (`convertToStream`), местами менять нельзя. Вход роутируется по сигнатуре: `PK\x03\x04` → docx-путь; `D0 CF 11 E0 A1 B1 1A E1` (CFB, MS-CFB §2.2) → `DocToDocx.convert` → in-memory `.docx` → тот же конвейер (предикат — `WordPdfValidator.isBinaryDoc`). Валидация — **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись zip/CFB → контейнер → страницы); для `.doc` — `checkPageCountDoc` по сырым байтам.
Порядок: шрифты (`BundledFontMapper` → `BundledFonts.init` → `restrictToBundled`) и правила 1–8 (`DocxRewritePipeline.STEP`) + `OleObjectNormalizer` — до `WordprocessingMLPackage.load`; `FOSettings`/`FopFallbackFonts`/`LayoutPostRenderer` — до `setCustomXsltTemplates(VendoredXslt.TEMPLATES)`; `Docx4J.toFO(…, FLAG_EXPORT_PREFER_XSL)` — последним; `finally` → `deleteEmbeddedFontTempFiles()` + сброс имиджевых кешей общей FopFactory + `BundledFonts.restrictToBundled()` (реестр шрифтов возвращается в бандл-состояние: `load()` регистрирует встроенные шрифты документа в глобальном `PhysicalFonts`). Полная таблица шагов и подсчёт страниц — `docs/agent/pipeline.md`. Порядок: шрифты (`BundledFontMapper` → `BundledFonts.init` → `restrictToBundled`) и правила 1–9 (`DocxRewritePipeline.STEP`) + `OleObjectNormalizer` — до `WordprocessingMLPackage.load`; `FOSettings`/`FopFallbackFonts`/`LayoutPostRenderer` — до `setCustomXsltTemplates(VendoredXslt.TEMPLATES)`; `Docx4J.toFO(…, FLAG_EXPORT_PREFER_XSL)` — последним; `finally` → `deleteEmbeddedFontTempFiles()` + сброс имиджевых кешей общей FopFactory + `BundledFonts.restrictToBundled()` (реестр шрифтов возвращается в бандл-состояние: `load()` регистрирует встроенные шрифты документа в глобальном `PhysicalFonts`). Полная таблица шагов и подсчёт страниц — `docs/agent/pipeline.md`.
## Нормализаторы (`internal/DocxNormalizer`) ## Нормализаторы (`internal/DocxNormalizer`)
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame`). Порядок фиксирован: Strict→OnOff→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby. Правила 1–8 применяет `DocxRewritePipeline.STEP` одним zip-проходом (неизменённые записи копируются raw-сжатыми байтами); `OleObjectNormalizer` (правило 9) — лямбдой в `WordPdfConverter.normalizers()`. `STEP` выставляют 7 из 8 rewrite-нормализаторов (нет у `RubyNormalizer`), у `OleObjectNormalizer` её нет. Правил Symbol-шрифтов и complex-полей PAGE/NUMPAGES больше нет — с docx4j 17.3.x их делает сам экспорт (#701, CR-067); пины отсутствия регрессии — `symbolFonts_bulletsAreNotHash`, `pageNumbers_recomputedNotCached`. Правила 1–9, guard'ы, номера секций и инвариант `mc-preprocessor.xslt` (собственный рерайт strict-URI ломать нельзя) — `docs/agent/pipeline.md`. Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame`). Порядок фиксирован: Strict→OnOff→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby→Distribute. Правила 1–9 применяет `DocxRewritePipeline.STEP` одним zip-проходом (неизменённые записи копируются raw-сжатыми байтами); `OleObjectNormalizer` (правило 10) — лямбдой в `WordPdfConverter.normalizers()`. `STEP` выставляют 8 из 9 rewrite-нормализаторов (нет у `RubyNormalizer`), у `OleObjectNormalizer` её нет. Правил Symbol-шрифтов и complex-полей PAGE/NUMPAGES больше нет — с docx4j 17.3.x их делает сам экспорт (#701, CR-067); пины отсутствия регрессии — `symbolFonts_bulletsAreNotHash`, `pageNumbers_recomputedNotCached`. Правила 1–9, guard'ы, номера секций и инвариант `mc-preprocessor.xslt` (собственный рерайт strict-URI ломать нельзя) — `docs/agent/pipeline.md`.
## Мост `.doc` → `.docx` (`internal/doc`) ## Мост `.doc` → `.docx` (`internal/doc`)
18 классов, 17 package-private; наружу — только `DocToDocx` (`convert`/`countPages`). Общий разбор — `DocFile`: CFB → потоки WordDocument / 0Table|1Table / Data + FIB + piece table. Новых runtime-зависимостей нет (POI/POIFS — test-scope). Источники: [MS-DOC] (`docs/standards/doc/`), [MS-CFB]/[MS-OLEPS]/[MS-ODRAW] (`docs/standards/binary/`). Байтовые раскладки по классам — `docs/agent/doc-bridge.md`. 18 классов, 17 package-private; наружу — только `DocToDocx` (`convert`/`countPages`). Общий разбор — `DocFile`: CFB → потоки WordDocument / 0Table|1Table / Data + FIB + piece table. Новых runtime-зависимостей нет (POI/POIFS — test-scope). Источники: [MS-DOC] (`docs/standards/doc/`), [MS-CFB]/[MS-OLEPS]/[MS-ODRAW] (`docs/standards/binary/`). Байтовые раскладки по классам — `docs/agent/doc-bridge.md`.
## FOP-оверлей (`ru.pjandro:docx4j-fo-renderer-core`)
Форк `org.docx4j:docx4j-fo-renderer-core` 2.12-docx4j.1 (он же Apache FOP 2.12) в репо `ai/xmlgraphics-fop-pj` (Gitea); версии вида `2.12-docx4j.1-pj.N` (наследование по схеме форка, README репо), артефакты — Nexus maven-hosted (входит в `maven-public`). Подключение: в `wordpdf-core/pom.xml` — exclusion `org.docx4j:docx4j-fo-renderer-core` из `docx4j-export-fo` + зависимость `ru.pjandro:docx4j-fo-renderer-core` (версия `${fop-overlay.version}` в корневом pom); тонкий `docx4j-fo-renderer` (hooks-маркер `Docx4jFop`) НЕ исключается. В оверлее наши патчи помечены `Added by pjandro`/`CR-0xx`, тесты — package `org.apache.fop.layoutmgr.word` (в т.ч. `DistributeLineTestCase` — пин justify-пары для distribute). Новый релиз оверлея: `mvn deploy` в репо форка → bump `fop-overlay.version` → `mvn clean verify` здесь. Пайплайн CI форка не связан с этим репо.
## REST API (`wordpdf-app`, всё package-private кроме `WordPdfApplication`) ## REST API (`wordpdf-app`, всё package-private кроме `WordPdfApplication`)
`POST /api/v1/convert`: multipart-поле `file` (`.docx`/`.doc`) + query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолт каждого — `false`), `maxMb`/`maxPages` (лимиты входа: переопределяют серверный дефолт в обе стороны; ≤ 0 → 400). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`; имя — `ConversionService.safeBaseName`. Тело ошибки — `{"error": …}`. Error-флаги на `.doc` **не срабатывают** (BLIP-плейсхолдеры → картинки). `ApiExceptionHandler` не видит ошибок фильтров — 401 пишет сам `ApiKeyFilter`. `POST /api/v1/convert`: multipart-поле `file` (`.docx`/`.doc`) + query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолт каждого — `false`), `maxMb`/`maxPages` (лимиты входа: переопределяют серверный дефолт в обе стороны; ≤ 0 → 400). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`; имя — `ConversionService.safeBaseName`. Тело ошибки — `{"error": …}`. Error-флаги на `.doc` **не срабатывают** (BLIP-плейсхолдеры → картинки). `ApiExceptionHandler` не видит ошибок фильтров — 401 пишет сам `ApiKeyFilter`.
@@ -51,11 +55,11 @@ Java2D → PNG: `ChartRenderer.DPI = 300`, потолок `MAX_PIXELS = 16_777_2
- `docx4j.fonts.discoverPhysicalFonts.enabled=false` и `discoverJarFonts.enabled=false` — static-блок: иначе `BestMatchingMapper` сканирует системные шрифты и jar'ы classpath'а, а `restrictToBundled()` всё найденное выбрасывает (~100–140 мс впустую на JVM). `discoverJarFonts("fonts-symbol")` свойством не гейтится — символ-шрифт регистрируется и снимается restrict'ом как раньше. - `docx4j.fonts.discoverPhysicalFonts.enabled=false` и `discoverJarFonts.enabled=false` — static-блок: иначе `BestMatchingMapper` сканирует системные шрифты и jar'ы classpath'а, а `restrictToBundled()` всё найденное выбрасывает (~100–140 мс впустую на JVM). `discoverJarFonts("fonts-symbol")` свойством не гейтится — символ-шрифт регистрируется и снимается restrict'ом как раньше.
- Единственный XSL-FO-стилист — вендорный `xslt/docx2fo.xslt` (копия из docx4j-export-fo 17.3.6 + два AUDIT-FIX-патча: `w:rPr/w:position` → `baseline-shift`, Part 1 §17.3.2.24; AUDIT-FIX-2 — `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir`, иначе их ловит catch-all `match="*"` и текст теряется). Дрейф-гейт `vendoredXsltTracksJarCopy`: вне AUDIT-FIX-регионов копия побайтно равна стилю из jar'а. `setCustomXsltTemplates` принимает предкомпилированный `Templates`. - Единственный XSL-FO-стилист — вендорный `xslt/docx2fo.xslt` (копия из docx4j-export-fo 17.3.6 + два AUDIT-FIX-патча: `w:rPr/w:position` → `baseline-shift`, Part 1 §17.3.2.24; AUDIT-FIX-2 — `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir`, иначе их ловит catch-all `match="*"` и текст теряется). Дрейф-гейт `vendoredXsltTracksJarCopy`: вне AUDIT-FIX-регионов копия побайтно равна стилю из jar'а. `setCustomXsltTemplates` принимает предкомпилированный `Templates`.
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`); приложение исключает его — логи ведёт logback. - `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`); приложение исключает его — логи ведёт logback.
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.12-docx4j.1 (транзитив от `docx4j-export-fo`, в pom не пинится; пакеты `org.apache.fop.*`). `FopFallbackFonts` берёт `w:renderer` с mime `application/pdf`, иначе первый со шрифтами. - FOP — собственный оверлей `ru.pjandro:docx4j-fo-renderer-core:${fop-overlay.version}` (форк `org.docx4j:docx4j-fo-renderer-core` 2.12-docx4j.1 = FOP 2.12 + word-layout; пакеты `org.apache.fop.*`; репо `ai/xmlgraphics-fop-pj`, артефакт — Nexus). `docx4j-export-fo` исключает центральный `org.docx4j:docx4j-fo-renderer-core`; тонкий `docx4j-fo-renderer` (маркер `Docx4jFop`, хук word-layout) остаётся из `docx4j-export-fo`. `FopFallbackFonts` берёт `w:renderer` с mime `application/pdf`, иначе первый со шрифтами.
- `BundledFonts.init()` идемпотентен, распаковывает TTF в `wordpdf-fonts-*` (`deleteOnExit`); `dropNonBundled()` чистит `PhysicalFonts` от всего, что вне бандла; ВСЕ синхронизированные методы `BundledFonts` (`init`/`restrictToBundled`/`font`) держат монитор `WordPdfConverter.class` (не собственный замок класса) — тот же, что сериализует конвертации, поэтому внешний вызов рядом с идущей конвертацией безопасен автоматически. Регрессия — `WordPdfConverterTest#concurrentFontMutators_conversionsUnharmed`. - `BundledFonts.init()` идемпотентен, распаковывает TTF в `wordpdf-fonts-*` (`deleteOnExit`); `dropNonBundled()` чистит `PhysicalFonts` от всего, что вне бандла; ВСЕ синхронизированные методы `BundledFonts` (`init`/`restrictToBundled`/`font`) держат монитор `WordPdfConverter.class` (не собственный замок класса) — тот же, что сериализует конвертации, поэтому внешний вызов рядом с идущей конвертацией безопасен автоматически. Регрессия — `WordPdfConverterTest#concurrentFontMutators_conversionsUnharmed`.
- `PhysicalFonts` — глобальный и мутируемый → конвертации сериализуются монитором `WordPdfConverter.class` внутри ядра (общая `FopFactory` и сброс её image-кешей — под тем же монитором); приложение держит однопоточный воркер ради 503/timeout; `warmup()` идёт тем же потоком. - `PhysicalFonts` — глобальный и мутируемый → конвертации сериализуются монитором `WordPdfConverter.class` внутри ядра (общая `FopFactory` и сброс её image-кешей — под тем же монитором); приложение держит однопоточный воркер ради 503/timeout; `warmup()` идёт тем же потоком.
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; правила StAX-подсчёта — `docs/agent/pipeline.md`. - Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; правила StAX-подсчёта — `docs/agent/pipeline.md`.
- Не чинить: `jc="distribute"` (в FOP-форке 2.12 есть `text-align-last`, но маппинг `Justification` не эмитит его и межсимвольного разноса нет), `suff="tab"`/`lvlJc`, метрика «single», кернинг, `REF`/`SEQ`/`TOC`-кэш, руби-надстрочница, U+2188/U+218A — доказательства в `docs/agent/render-limitations.md`. `framePr` починен апстримом 17.3.6 (фрейм позиционируется). - Не чинить: `suff="tab"`/`lvlJc`, метрика «single», кернинг, `REF`/`SEQ`/`TOC`-кэш, руби-надстрочница, U+2188/U+218A — доказательства в `docs/agent/render-limitations.md`. `framePr` починен апстримом 17.3.6 (фрейм позиционируется); `jc="distribute"` починен правилом 9 + justify-парой в `LayoutPostRenderer` (межсловный разнос всех строк, межсимвольный kashida не реализован).
- Комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.6 (описанное поведение верно). - Комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.6 (описанное поведение верно).
## Шрифты (30 TTF + 3 лицензии, SIL OFL, `wordpdf-core/src/main/resources/fonts/`) ## Шрифты (30 TTF + 3 лицензии, SIL OFL, `wordpdf-core/src/main/resources/fonts/`)
@@ -84,6 +88,13 @@ python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources
**«Запусти тестовый сервер» (термин пользователя)** = полный dev-стенд, НЕ `java -jar`: `podman-compose -f compose.dev.yml up -d --build --force-recreate`, вход `http://<LAN-IP хоста>:9011` без API-ключа; гейт — контейнеры healthy + корень SPA отвечает 200. `--force-recreate` обязателен: без него контейнеры остаются на старом образе. **«Запусти тестовый сервер» (термин пользователя)** = полный dev-стенд, НЕ `java -jar`: `podman-compose -f compose.dev.yml up -d --build --force-recreate`, вход `http://<LAN-IP хоста>:9011` без API-ключа; гейт — контейнеры healthy + корень SPA отвечает 200. `--force-recreate` обязателен: без него контейнеры остаются на старом образе.
**Ожидание готовности podman-контейнеров** (одинаково для dev-стенда и для собственных тестовых контейнеров):
- Гейт — наблюдаемый факт готовности, а не «подождал N секунд»: HTTP-эндпоинт сервиса (`curl -fs --max-time 2 …`) или, для контейнера с healthcheck, `podman inspect <name> --format '{{.State.Health.Status}}'` = `healthy`.
- Ждать — синхронным `until`-циклом с жёстким потолком и коротким шагом, в том же вызове, что и идущая сразу за гейтом проверка: `timeout 180 sh -c 'until curl -fs --max-time 2 http://127.0.0.1:9011/ -o /dev/null; do sleep 2; done' && <смоук>`. Готово — цикл выходит за секунды; потолок срабатывает только при настоящей неполадке (тогда читать `podman logs <name>`).
- **Нельзя** считать `healthy` по всему списку контейнеров (`grep -c healthy`): у контейнеров без healthcheck (nginx-гейтстенд) статус никогда не содержит `healthy` — такой цикл молча крутится до самого дедлайна, стена при этом уже готова. У контейнеров без healthcheck единственный гейт — HTTP.
- **Нельзя** крутить цикл ожидания отдельным async-job'ом и поллить его: либо `podman-compose up` + `until`-гейт + смоук одним синхронным вызовом, либо (если сборка образа долгая и уходит в фон) — по её завершении гейт-цикл синхронно.
- Одноразовая проверка в контейнере вообще не ждёт готовности: `podman run --rm <image> <cmd>` блокирующий — читать exit code и stdout.
Пересоздание фикстур и перевендоривание стилиста — `docs/agent/repo-map.md`. Деплой: **прод** — на пользовательском LAN-сервере; **перед деплоем/перезапуском прочитать `/home/pjandro/prod/java-word-pdf/DEPLOY.md`**; пуск — push в `main` или Run workflow, ручных скриптов нет (детали — `docs/agent/ci-cd.md`). Пересоздание фикстур и перевендоривание стилиста — `docs/agent/repo-map.md`. Деплой: **прод** — на пользовательском LAN-сервере; **перед деплоем/перезапуском прочитать `/home/pjandro/prod/java-word-pdf/DEPLOY.md`**; пуск — push в `main` или Run workflow, ручных скриптов нет (детали — `docs/agent/ci-cd.md`).
## Code Conventions & Common Patterns ## Code Conventions & Common Patterns
+6 -5
View File
@@ -6,11 +6,11 @@
|---|---|---| |---|---|---|
| 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j | | 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j |
| 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера (static `BestMatchingMapper`) регистрирует в `PhysicalFonts` только symbol-шрифты из `docx4j-export-fo-fonts-symbol` (сканы системы и jar'ов отключены в static-блоке `WordPdfConverter` гейт-свойствами — всё найденное всё равно выбрасывает `restrictToBundled()`); `init()` вызывает `dropNonBundled()` **до** регистрации бандла, `restrictToBundled()` оставляет реестр = бандл + встроенные в docx. Порядок `init()` после конструктора — инвариант: `addPhysicalFont` не перезаписывает занятый ключ (иначе системный Calibri ломает em-dash-fallback) | | 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера (static `BestMatchingMapper`) регистрирует в `PhysicalFonts` только symbol-шрифты из `docx4j-export-fo-fonts-symbol` (сканы системы и jar'ов отключены в static-блоке `WordPdfConverter` гейт-свойствами — всё найденное всё равно выбрасывает `restrictToBundled()`); `init()` вызывает `dropNonBundled()` **до** регистрации бандла, `restrictToBundled()` оставляет реестр = бандл + встроенные в docx. Порядок `init()` после конструктора — инвариант: `addPhysicalFont` не перезаписывает занятый ключ (иначе системный Calibri ломает em-dash-fallback) |
|2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–8 — раздел «Нормализаторы: контракт и правила 1–9» в этом файле) + условная OLE-вычистка (правило 9)| |2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–9 — раздел «Нормализаторы: контракт и правила 1–10» в этом файле) + условная OLE-вычистка (правило 10)|
| 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF | | 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF |
| 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет) | | 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет) |
| 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные | | 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные |
| 4.25 | `LayoutPostRenderer.register(foSettings)` | Кастомный `FORenderer`: post-FO padding-компенсация таблиц (`start-indent` += `padding-left` первой ячейки), внутри — штатный `FORendererApacheFOP` | | 4.25 | `LayoutPostRenderer.register(foSettings)` | Кастомный `FORenderer`: post-FO padding-компенсация таблиц (`start-indent` += `padding-left` первой ячейки) + justify-пара блокам с якорем `pj-distribute-` (правило 9), внутри — штатный `FORendererApacheFOP` |
| 4.5 | `foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES)` | Стилист — вендорный `xslt/docx2fo.xslt` (копия docx4j-export-fo + AUDIT-FIX-патчи: `w:rPr/w:position`→`baseline-shift` и AUDIT-FIX-2 `moveFrom`/`moveTo`/`bdo`/`dir`); `Templates` компилируется один раз — `getTemplates` кастит значение в `Templates` | | 4.5 | `foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES)` | Стилист — вендорный `xslt/docx2fo.xslt` (копия docx4j-export-fo + AUDIT-FIX-патчи: `w:rPr/w:position`→`baseline-shift` и AUDIT-FIX-2 `moveFrom`/`moveTo`/`bdo`/`dir`); `Templates` компилируется один раз — `getTemplates` кастит значение в `Templates` |
| 5 | `FORendererApacheFOP.getFopFactoryBuilder` + `getFOUserAgent` | Непустой `title` → заголовок PDF | | 5 | `FORendererApacheFOP.getFopFactoryBuilder` + `getFOUserAgent` | Непустой `title` → заголовок PDF |
| 6 | `Docx4J.toFO(foSettings, os, FLAG_EXPORT_PREFER_XSL)` | XSL-FO → PDF | | 6 | `Docx4J.toFO(foSettings, os, FLAG_EXPORT_PREFER_XSL)` | XSL-FO → PDF |
@@ -26,9 +26,9 @@
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `w:sectPr` в body + `w:br type="page"` + `pageBreakBefore` (включая таблицы и `w:sdt`). Единственный путь — lightweight (StAX по zip, secure-ридер без DTD/external entities; `WordPdfValidator` не зависит от docx4j): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитуках — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy `val`: `null|true|1|on`). На не-zip молчит — подпись проверяет вызывающий. `checkPageCount` — один стриминговый проход `ZipInputStream` без буферизации частей (хелпер `noClose` глушит `close()` сканеров): потребление O(одной части) вместо O(суммы XML-частей). - Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `w:sectPr` в body + `w:br type="page"` + `pageBreakBefore` (включая таблицы и `w:sdt`). Единственный путь — lightweight (StAX по zip, secure-ридер без DTD/external entities; `WordPdfValidator` не зависит от docx4j): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитуках — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy `val`: `null|true|1|on`). На не-zip молчит — подпись проверяет вызывающий. `checkPageCount` — один стриминговый проход `ZipInputStream` без буферизации частей (хелпер `noClose` глушит `close()` сканеров): потребление O(одной части) вместо O(суммы XML-частей).
### Нормализаторы: контракт и правила 1–9 (детали) ### Нормализаторы: контракт и правила 1–10 (детали)
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Восемь rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby; константу `STEP` (`public static final DocxNormalizer`) выставляют семь из восьми (нет только у `RubyNormalizer` — он цепочный, подключается внутри пайплайна), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`. Правила 1–8 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 7; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` восьми нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим: Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Девять rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby→Distribute; константу `STEP` (`public static final DocxNormalizer`) выставляют восемь из девяти (нет только у `RubyNormalizer` — он цепочный, подключается внутри пайплайна), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`. Правила 1–9 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 7; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` девяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим:
1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174a — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.7 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`). 1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174a — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.7 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`).
2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается. 2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается.
@@ -41,6 +41,7 @@
6. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; Part 1 §17.3.1.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace. 6. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; Part 1 §17.3.1.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace.
7. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.30): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, юниты — HiddenTextNormalizerTest. 7. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.30): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, юниты — HiddenTextNormalizerTest.
8. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.18/.19/.20/.21): `w:rubyBase`/`w:rubyBaseText` разворачиваются в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.6 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest. 8. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.18/.19/.20/.21): `w:rubyBase`/`w:rubyBaseText` разворачиваются в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.6 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest.
9. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `<w:object`; не-zip/нет центрального каталога → входной массив — прежняя снисходительность), переупаковка — только при находке. Детект OLE-бинарников — по `[Content_Types].xml`: тип `…oleObject` **или** ложный `+xml`-тип у `.bin` (XML в bin не бывает; `printerSettings` не трогается). Удаляются вместе с rels-ссылками (по типу, включая `TargetMode=External`) и Override удалённых частей. Элементы `<w:object>` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `DrawingFoundException(OLE)`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет. 9. `DistributeStampNormalizer` — `w:pPr/w:jc w:val="distribute"` → невидимая закладка-якорь `w:bookmarkStart w:name="pj-distribute-<часть>-<n>"` сразу после `</w:pPr>` (Part 1 §17.18.44): docx4j для DISTRIBUTE не эмитит в FO ничего, канонический эквивалент — пара `text-align`/`text-align-last="justify"`, но стилист править нельзя (дрейф-гейт), а `LayoutPostRenderer` опознаёт абзац только по якорю — `BookmarkStartWriter` делает из закладки `<fo:inline id="pj-distribute-…"/>` первым инлайн-ребёнком блока, фильтр дописывает блоку justify-пару (сериализация без префикса `fo:` учтена паттерном). Штампуются только content-части (document/footnotes/endnotes; в numbering у `CT_Lvl` закладок не бывает, `w:jc` в `trPr`/`tblPr` не читается — разбор только внутри `w:pPr`); счётчик id от max существующих +1, идемпотентность по метке `pj-distribute-`. Идёт после Hidden, чтобы не штамповать вырезанный абзац. Регрессия — WordPdfConverterTest#distribute_allLinesReachRightMargin, юниты — DistributeStampNormalizerTest, пин форка — DistributeLineTestCase.
10. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `<w:object`; не-zip/нет центрального каталога → входной массив — прежняя снисходительность), переупаковка — только при находке. Детект OLE-бинарников — по `[Content_Types].xml`: тип `…oleObject` **или** ложный `+xml`-тип у `.bin` (XML в bin не бывает; `printerSettings` не трогается). Удаляются вместе с rels-ссылками (по типу, включая `TargetMode=External`) и Override удалённых частей. Элементы `<w:object>` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `DrawingFoundException(OLE)`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет.
`mc-preprocessor.xslt` docx4j (в jar `docx4j-core`) перебивает strict-namespace'ы в transitional и конвертит `pt` в twips/half-points, но ветку перевода процентов в тысячные для namespace'ных атрибутов содержит с закомментированным `<xsl:value-of select="$cleanValue * 1000"/>` (для атрибутов без namespace — она активна), а `w:start`/`w:end` в `w:left`/`w:right` не маппит вовсе. Поэтому собственный рерайт URI ломать нельзя — он сломал бы pt-конверсию preprocessor'а (FOP получил бы «10pt»). `mc-preprocessor.xslt` docx4j (в jar `docx4j-core`) перебивает strict-namespace'ы в transitional и конвертит `pt` в twips/half-points, но ветку перевода процентов в тысячные для namespace'ных атрибутов содержит с закомментированным `<xsl:value-of select="$cleanValue * 1000"/>` (для атрибутов без namespace — она активна), а `w:start`/`w:end` в `w:left`/`w:right` не маппит вовсе. Поэтому собственный рерайт URI ломать нельзя — он сломал бы pt-конверсию preprocessor'а (FOP получил бы «10pt»).
+1 -1
View File
@@ -4,6 +4,6 @@
- Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно). - Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно).
- Аудит раскладки по ECMA-376 Part 1 (2026-10, реаудит на docx4j 17.3.6 + форке FOP 2.12 — 2026-11) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается; в форке 2.12 свойство `text-align-last` **есть** (классы `TextAlignLast*`, `Block`/`FoProperties`), но маппинг docx4j `Justification.setXslFO` для `DISTRIBUTE` не эмитит его и ничего не эмитит вовсе (значение не попадает в `fo:text-align*` — замер: край строки 184 pt при полосе до 540 pt); `w:lvlJc` игнорируется (numbering-лейбл всегда у number position: `lvlJc="right"`/`"center"` рендерятся идентично `left` — лейблы по общему левому краю; suff=space чинит правило 6, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер на 17.3.6/форке 2.12: dx пары = сумма advance без поправки — Carlito «Wa»/«AV», DejaVu Sans «Ta»; GPOS-only у 22 TTF, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; GPOS-путь в форке тоже не применяется); свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19; при отсутствии `w:kern` Office не кернит — MS-OI29500 §21.1.2.3.9a) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 5), `w:suff="space"` (правило 6). Починено апстримом 17.3.6: `w:framePr` (фрейм позиционируется — замер: FRAME на x=252pt = левое поле 72pt + `w:x=180pt`; до апгрейда текст шёл в общем потоке), symbol-шрифты и complex-поля PAGE/NUMPAGES (экспорт сам маппит PUA-маркеры и пересчитывает page-поля). - Аудит раскладки по ECMA-376 Part 1 (2026-10, реаудит на docx4j 17.3.6 + форке FOP 2.12 — 2026-11) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:lvlJc` игнорируется (numbering-лейбл всегда у number position: `lvlJc="right"`/`"center"` рендерятся идентично `left` — лейблы по общему левому краю; suff=space чинит правило 6, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер на 17.3.6/форке 2.12: dx пары = сумма advance без поправки — Carlito «Wa»/«AV», DejaVu Sans «Ta»; GPOS-only у 22 TTF, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; GPOS-путь в форке тоже не применяется); свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19; при отсутствии `w:kern` Office не кернит — MS-OI29500 §21.1.2.3.9a) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 5), `w:suff="space"` (правило 6). Починено на 17.3.6+форке: `w:jc="distribute"` (правило 9 `DistributeStampNormalizer` ставит закладку-якорь, `LayoutPostRenderer` дописывает блоку пару `text-align`/`text-align-last="justify"` — межсловный разнос всех строк, включая последнюю; пин в форке `DistributeLineTestCase`, в конвертере `distribute_allLinesReachRightMargin`; межсимвольный kashida-разнос §17.18.44 не реализован — для латиницы Word разносит межсловные пробелы, однословная строка не растягивается, потому что растягивать нечем). Починено апстримом 17.3.6: `w:framePr` (фрейм позиционируется — замер: FRAME на x=252pt = левое поле 72pt + `w:x=180pt`; до апгрейда текст шёл в общем потоке), symbol-шрифты и complex-поля PAGE/NUMPAGES (экспорт сам маппит PUA-маркеры и пересчитывает page-поля).
- Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.13.1.35), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23), OMML-формулы рисуются вектором jeuclid-fop (§22.1 — текст из PDF не извлекается, пинь пикселями), фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 7); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 8 + AUDIT-FIX-2). Остаток (не чиним): `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 8 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура). - Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.13.1.35), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23), OMML-формулы рисуются вектором jeuclid-fop (§22.1 — текст из PDF не извлекается, пинь пикселями), фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 7); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 8 + AUDIT-FIX-2). Остаток (не чиним): `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 8 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура).
@@ -0,0 +1,187 @@
package ru.pjandro.wordpdf.internal;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream;
/**
* {@code w:pPr/w:jc w:val="distribute"} → невидимая закладка-штамп в начале
* абзаца — до загрузки docx4j (Part 1 §17.18.44).
*
* <p>Word при {@code distribute} растягивает межсловные пробелы каждой строки
* абзаца, включая последнюю. docx4j для DISTRIBUTE не эмитит в FO ничего
* ({@code Justification.setXslFO} не знает этого значения): абзац приходит в
* FOP без {@code text-align} и печатается по левому краю. Канонический FO
* эквивалент — {@code text-align="justify" text-align-last="justify"} (пин в
* форке: DistributeLineTestCase), но в XSLT-стилиста дописать атрибутику jc
* нельзя (дрейф-гейт {@code vendoredXsltTracksJarCopy}), а рендер-фильтр
* {@code LayoutPostRenderer} видит только FO и опознал бы distribute-абзац
* лишь по якорю. Штамп — этот якорь: {@code w:bookmarkStart
* w:name="pj-distribute-<часть>-<n>"} сразу после {@code </w:pPr>}; экспорт
* docx4j ({@code BookmarkStartWriter}) превращает её в {@code <fo:inline
* id="pj-distribute-…"/>} первым инлайн-ребёнком блока, и фильтр дописывает
* блоку пару justify-свойств. Имена закладок уникальны в пределах конвертации
* (docx4j дубликаты выбрасывает с warn), поэтому счётчик per-part с меткой
* части в имени.</p>
*
* <p>Штампуются только content-части (document/footnotes/endnotes): в
* {@code numbering.xml} у {@code CT_Lvl} закладки быть не может (не входит в
* EG_PPrGeneralContent, WML XSD), а {@code w:jc} в {@code trPr}/{@code tblPr}
* (выравнивание таблицы/строки) не читается — разбор идёт только содержимым
* {@code w:pPr}. Диапазон абзаца плоский: {@code w:p} не вложен в {@code w:p}.
* Уже проштампованный абзац не дублируется (идемпотентность). Нечего менять →
* {@code null} (контракт rewrite-хуков).</p>
*
* <p>Регрессии — DistributeStampNormalizerTest (юнит),
* WordPdfConverterTest#distribute_allLinesReachRightMargin (конвейер),
* фикстура samples/distribute.docx.</p>
*/
final class DistributeStampNormalizer {
/** Начало абзаца: {@code <w:p>} или {@code <w:p …>}; {@code w:pPr}-подобные не матчатся. */
private static final Pattern PARA_START = Pattern.compile("<w:p(?=[ >/])");
/** justify-раскладка абзаца; ищем только внутри w:pPr. */
private static final Pattern JC_DISTRIBUTE =
Pattern.compile("<w:jc\\b[^>]*w:val=\"distribute\"");
/** Существующие id закладок — штампуете от max+1 (Part 1: id уникален в части). */
private static final Pattern BOOKMARK_ID =
Pattern.compile("<w:bookmarkStart\\b[^>]*w:id=\"(\\d+)\"");
/** Собственные штампы — защита от повторного штампа (идемпотентность). */
private static final String STAMP_MARK = "pj-distribute-";
/** Закрывающий слэш открывающего тега: {@code <w:p/>} — абзац без содержимого. */
private static final char SELF_CLOSE_SLASH = '/';
private DistributeStampNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = DistributeStampNormalizer::normalize;
/**
* Штампует distribute-абзацы content-части.
*
* @param part имя zip-записи ({@code word/document.xml} и т. п.)
* @param xml разметка части
* @return размеченная разметка либо {@code null}, если менять нечего
* (не content-часть / нет distribute-абзацев)
*/
static String rewrite(String part, String xml) {
String tag = contentTag(part);
if (tag == null) {
return null;
}
Matcher starts = PARA_START.matcher(xml);
StringBuilder sb = null;
int mark = 0;
int nextId = maxBookmarkId(xml) + 1;
int seq = 0;
while (starts.find()) {
int body = starts.end();
int gt = xml.indexOf('>', body);
if (gt < 0) {
break;
}
if (xml.charAt(gt - 1) == SELF_CLOSE_SLASH) {
continue; // самозакрывающийся <w:p/> — pPr нет в помине
}
int end = xml.indexOf("</w:p>", gt);
if (end < 0) {
break;
}
int pprOpen = xml.indexOf("<w:pPr", body);
if (pprOpen < 0 || pprOpen >= end) {
continue;
}
int pprClose = xml.indexOf("</w:pPr>", pprOpen);
if (pprClose < 0 || pprClose >= end) {
continue;
}
CharSequence ppr = xml.subSequence(pprOpen, pprClose);
if (!JC_DISTRIBUTE.matcher(ppr).find()) {
continue;
}
int stamped = xml.indexOf(STAMP_MARK, gt);
if (stamped >= 0 && stamped < end) {
continue; // уже проштампован
}
seq++;
if (sb == null) {
sb = new StringBuilder(xml.length() + 64);
}
sb.append(xml, mark, pprClose + "</w:pPr>".length());
sb.append("<w:bookmarkStart w:id=\"").append(nextId++).append("\" w:name=\"")
.append(STAMP_MARK).append(tag).append('-').append(seq).append("\"/>")
.append("<w:bookmarkEnd w:id=\"").append(nextId - 1).append("\"/>");
mark = pprClose + "</w:pPr>".length();
}
return sb == null ? null : sb.append(xml, mark, xml.length()).toString();
}
/**
* Метка части для имён закладок; {@code null} — часть не content
* (в numbering/styles закладок быть не может, прочие не рендерятся).
*/
private static String contentTag(String part) {
switch (part) {
case "word/document.xml":
return "document";
case "word/footnotes.xml":
return "footnotes";
case "word/endnotes.xml":
return "endnotes";
default:
return null;
}
}
private static int maxBookmarkId(String xml) {
int max = 0;
Matcher m = BOOKMARK_ID.matcher(xml);
while (m.find()) {
try {
max = Math.max(max, Integer.parseInt(m.group(1)));
} catch (NumberFormatException ignored) {
// нечисловой id — не конкурент нашим id
}
}
return max;
}
/**
* Самостоятельный zip-проход (тот же контракт, что у остальных; в
* конвейере вызывается {@link #rewrite} через {@link DocxRewritePipeline}).
*
* @param docx байты .docx (zip)
* @return те же или переупакованные байты
*/
static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false;
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
ZipOutputStream zos = new ZipOutputStream(out)) {
ZipEntry entry;
while ((entry = zis.getNextEntry()) != null) {
byte[] data = zis.readAllBytes();
String name = entry.getName();
String fixed = name.startsWith("word/") && name.endsWith(".xml")
? rewrite(name, new String(data, StandardCharsets.UTF_8))
: null;
zos.putNextEntry(new ZipEntry(name));
zos.write(fixed != null ? fixed.getBytes(StandardCharsets.UTF_8) : data);
zos.closeEntry();
changed |= fixed != null;
}
}
return changed ? out.toByteArray() : docx;
}
}
@@ -15,13 +15,16 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
/** /**
* Единый zip-проход переписывания XML-частей (.docx) вместо отдельных * Единый zip-проход переписывания XML-частей (.docx) вместо отдельных
* проходов нормализаторов: к каждой записи {@code word/*.xml} применяются * проходов нормализаторов: к каждой записи {@code word/*.xml} применяются
* все восемь рерайтов в фиксированном порядке * все девять рерайтов в фиксированном порядке
* Strict→OnOff→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby. * Strict→OnOff→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby→Distribute.
* Порядок значим: Strict первым — дальше части в transitional-виде * Порядок значим: Strict первым — дальше части в transitional-виде
* (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage * (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage
* режет раны по финальному тексту рана (после Invisible); Hidden * режет раны по финальному тексту рана (после Invisible); Hidden
* последним — вырезает уже финальные раны (после GLYPH-разбиений), * идёт после GlyphCoverage — вырезает уже финальные раны (после GLYPH-разбиений),
* а его OnOff-форма vanish читается после правила 2. Каждый * а его OnOff-форма vanish читается после правила 2; Distribute (штамп
* {@code w:jc="distribute"} закладкой-якорем) — последним, он вставляет узел
* после {@code </w:pPr>} и не трогает текст, но обязан видеть финальную
* разметку, чтобы не штамповать абзац, вырезанный Hidden. Каждый
* рерайт работает только содержимым одной части, поэтому по-частная * рерайт работает только содержимым одной части, поэтому по-частная
* цепочка эквивалентна последовательным полным проходам. Исключения из * цепочка эквивалентна последовательным полным проходам. Исключения из
* «по-частности» — контексты, читаемые один раз до цикла: правило 5 * «по-частности» — контексты, читаемые один раз до цикла: правило 5
@@ -59,7 +62,7 @@ public final class DocxRewritePipeline {
public static final DocxNormalizer STEP = DocxRewritePipeline::normalize; public static final DocxNormalizer STEP = DocxRewritePipeline::normalize;
/** /**
* Применяет восемь рерайтов к каждой записи {@code word/*.xml} за один * Применяет девять рерайтов к каждой записи {@code word/*.xml} за один
* проход zip. * проход zip.
* *
* @param docx байты .docx (валидный zip) * @param docx байты .docx (валидный zip)
@@ -132,6 +135,10 @@ public final class DocxRewritePipeline {
if (next != null) { if (next != null) {
cur = next; cur = next;
} }
next = DistributeStampNormalizer.rewrite(name, cur);
if (next != null) {
cur = next;
}
if (cur != xml) { if (cur != xml) {
changed = true; changed = true;
rewritten = cur.getBytes(StandardCharsets.UTF_8); rewritten = cur.getBytes(StandardCharsets.UTF_8);
@@ -27,6 +27,13 @@ import java.util.regex.Pattern;
* обратно к {@code start-indent}. Вложенные таблицы: первой считается ячейка * обратно к {@code start-indent}. Вложенные таблицы: первой считается ячейка
* внешней — принятая аппроксимация (компенсация всё равно от default * внешней — принятая аппроксимация (компенсация всё равно от default
* cellMar). Регрессия — WordPdfConverterTest#tableCellPadding_textInsetLikeWord.</li> * cellMar). Регрессия — WordPdfConverterTest#tableCellPadding_textInsetLikeWord.</li>
* <li><b>distribute → justify-пара.</b> docx4j для {@code w:jc="distribute"}
* не эмитит в FO ничего; по якорю-закладке {@code pj-distribute-…}
* (DistributeStampNormalizer, правило 12) блоку дописывается
* {@code text-align="justify" text-align-last="justify"} — Word растягивает
* пробелы всех строк, включая последнюю (Part 1 §17.18.44). Регрессия —
* LayoutPostRendererTest (фильтр),
* WordPdfConverterTest#distribute_allLinesReachRightMargin (конвейер).</li>
* </ul> * </ul>
* *
* <p>{@code lineRule="auto"} НЕ правится: высота «single» 13.4277pt@11pt, * <p>{@code lineRule="auto"} НЕ правится: высота «single» 13.4277pt@11pt,
@@ -56,6 +63,14 @@ public final class LayoutPostRenderer implements FORenderer {
private static final double IN_TO_PT = 72.0; private static final double IN_TO_PT = 72.0;
private static final Pattern TABLE = Pattern.compile("<fo:table\\b[^>]*>"); private static final Pattern TABLE = Pattern.compile("<fo:table\\b[^>]*>");
/**
* Якорь distribute-абзаца: fo:inline с id закладки-штампа. docx4j пишет
* его DOM-поддеревом ({@code XsltCommonFunctions.toNode}), на сериализации
* префикс может не унаследоваться — форма {@code <inline xmlns="fo-uri" …/>},
* поэтому префикс факультативен.
*/
private static final Pattern DISTRIBUTE_STAMP =
Pattern.compile("<(?:fo:)?inline\\b[^>]*\\bid=\"pj-distribute-[^\"]*\"[^>]*/>");
private static final Pattern START_INDENT = Pattern.compile("start-indent=\"(-?[0-9.]+)pt\""); private static final Pattern START_INDENT = Pattern.compile("start-indent=\"(-?[0-9.]+)pt\"");
private static final Pattern FIRST_CELL = Pattern.compile("<fo:table-cell\\b[^>]*>"); private static final Pattern FIRST_CELL = Pattern.compile("<fo:table-cell\\b[^>]*>");
private static final Pattern PADDING_LEFT = private static final Pattern PADDING_LEFT =
@@ -84,7 +99,59 @@ public final class LayoutPostRenderer implements FORenderer {
* возвращает ту же строку. * возвращает ту же строку.
*/ */
static String fix(String fo) { static String fix(String fo) {
return compensateTablePadding(fo); return compensateTablePadding(justifyDistributed(fo));
}
/**
* Абзац со штампом {@code w:jc="distribute"} (якорь-закладка
* {@code pj-distribute-…} от {@link DistributeStampNormalizer}) получает
* пару {@code text-align="justify" text-align-last="justify"} —
* канонический FO-эквивалент Word-раскладки (Part 1 §17.18.44; пин
* поведения — форк DistributeLineTestCase). Атрибут дописывается в тег
* ближайшего открывающего {@code fo:block} перед якорем; уже заданное
* {@code text-align} не перетирается.
*/
private static String justifyDistributed(String fo) {
Matcher stamp = DISTRIBUTE_STAMP.matcher(fo);
StringBuilder sb = null;
int mark = 0;
int search = 0;
while (stamp.find(search)) {
search = stamp.end();
int block = fo.lastIndexOf("<fo:block", stamp.start());
int blockClose = block < mark ? -1 : fo.indexOf("</fo:block>", block);
if (block < mark || block < 0 || (blockClose >= 0 && blockClose < stamp.start())) {
continue; // якорь вне блока/после закрытия — править нечего
}
int blockEnd = fo.indexOf('>', block + "<fo:block".length());
if (blockEnd < 0 || fo.charAt(blockEnd - 1) == '/') {
continue; // пустой самозакрывающийся блок — не наш случай
}
String fixed = addJustify(fo.substring(block, blockEnd + 1));
if (fixed != null) {
if (sb == null) {
sb = new StringBuilder(fo.length() + 64);
}
sb.append(fo, mark, block).append(fixed);
mark = blockEnd + 1;
}
}
return sb == null ? fo : sb.append(fo, mark, fo.length()).toString();
}
/**
* @return тег блока с дописанными justify-свойствами либо {@code null},
* если {@code text-align-last} уже задан
*/
private static String addJustify(String blockTag) {
if (blockTag.contains("text-align-last=")) {
return null;
}
String attrs = blockTag.contains("text-align=\"")
? " text-align-last=\"justify\""
: " text-align=\"justify\" text-align-last=\"justify\"";
int close = blockTag.endsWith("/>") ? blockTag.length() - 2 : blockTag.length() - 1;
return blockTag.substring(0, close) + attrs + blockTag.substring(close);
} }
/** /**
@@ -22,6 +22,7 @@ import org.apache.poi.xwpf.usermodel.XWPFAbstractNum;
import org.apache.poi.xwpf.usermodel.XWPFNumbering; import org.apache.poi.xwpf.usermodel.XWPFNumbering;
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTR; import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTR;
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTRPr; import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTRPr;
import org.openxmlformats.schemas.wordprocessingml.x2006.main.STJc;
import javax.imageio.ImageIO; import javax.imageio.ImageIO;
import java.awt.Color; import java.awt.Color;
@@ -76,6 +77,7 @@ public final class SampleDocxGenerator {
exoticGlyphs(dir.resolve("exotic-glyphs.docx")); exoticGlyphs(dir.resolve("exotic-glyphs.docx"));
tooManyPages(dir.resolve("too-many-pages.docx")); tooManyPages(dir.resolve("too-many-pages.docx"));
staleCache(dir.resolve("stale-cache.docx")); staleCache(dir.resolve("stale-cache.docx"));
distribute(dir.resolve("distribute.docx"));
System.out.println("Готово: " + dir.toAbsolutePath()); System.out.println("Готово: " + dir.toAbsolutePath());
} }
@@ -439,6 +441,35 @@ public final class SampleDocxGenerator {
/** Сколько {@code w:t} в фикстуре stale-cache остаются без маркера. */ /** Сколько {@code w:t} в фикстуре stale-cache остаются без маркера. */
private static final int STALE_CACHE_UNMARKED_RUNS = 1; private static final int STALE_CACHE_UNMARKED_RUNS = 1;
/**
* w:jc="distribute" (+ контроль {@code both} и левый): Word растягивает
* пробелы всех строк, включая последнюю (Part 1 §17.18.44); docx4j для
* DISTRIBUTE не эмитит ничего, без правила 12 абзац печатается влево.
* Регрессия — WordPdfConverterTest#distribute_allLinesReachRightMargin.
*/
private static void distribute(Path out) throws Exception {
try (XWPFDocument doc = new XWPFDocument()) {
heading(doc, "Distribute justification", "Calibri");
String text = "alpha bravo charlie delta echo foxtrot golf hotel "
+ "india juliett kilo lima mike november oscar papa quebec romeo sierra";
XWPFParagraph p = doc.createParagraph();
setJc(p, STJc.DISTRIBUTE);
run(p, text, "Calibri", false, false);
p = doc.createParagraph();
run(p, text, "Calibri", false, false);
p = doc.createParagraph();
setJc(p, STJc.BOTH);
run(p, text, "Calibri", false, false);
save(doc, out);
}
}
/** w:jc прямо в pPr: POI-перечисление Alignment не знает DISTRIBUTE. */
private static void setJc(XWPFParagraph p, STJc.Enum val) {
CTPPr pPr = p.getCTP().isSetPPr() ? p.getCTP().getPPr() : p.getCTP().addNewPPr();
pPr.addNewJc().setVal(val);
}
// ================== Вспомогательные ================== // ================== Вспомогательные ==================
/** Абзац-заголовок: POI 5.5 не имеет createHeading, поэтому /** Абзац-заголовок: POI 5.5 не имеет createHeading, поэтому
@@ -2932,4 +2932,61 @@ class WordPdfConverterTest {
} }
} }
/**
* w:jc="distribute" (Part 1 §17.18.44): Word растягивает пробелы всех строк,
* включая последнюю. docx4j для DISTRIBUTE не эмитит в FO ничего — без
* правила 12 (DistributeStampNormalizer) и justify-пары (LayoutPostRenderer)
* абзац печатается по левому краю. Фикстура — samples/distribute.docx:
* один и тот же текст абзацами distribute / left / both; правое поле
* A4 72pt → 523.28pt; хвостовая строка трёхсловная («quebec romeo sierra») —
* одно слово растягивать нечем (нет склейки), такие строки Word тоже оставляет
* на месте. last-line justify пинут в форке (DistributeLineTestCase).
*/
@Test
void distribute_allLinesReachRightMargin() throws Exception {
Path pdf = convertPdf(sampleBytes("distribute.docx"), "distribute");
Map<Long, double[]> ends = new LinkedHashMap<>();
Map<Long, StringBuilder> lineTexts = new LinkedHashMap<>();
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
PDFTextStripper stripper = new PDFTextStripper() {
@Override
protected void processTextPosition(org.apache.pdfbox.text.TextPosition tp) {
String u = tp.getUnicode();
if (!u.trim().isEmpty()) {
long y = Math.round(tp.getYDirAdj());
double right = tp.getXDirAdj() + tp.getWidthDirAdj();
double[] max = ends.computeIfAbsent(y, k -> new double[1]);
max[0] = Math.max(max[0], right);
lineTexts.computeIfAbsent(y, k -> new StringBuilder()).append(u);
}
super.processTextPosition(tp);
}
};
String text = stripper.getText(doc);
assertEquals(3, count(text, "quebec"), "все три абзаца напечатаны");
}
List<Double> tails = new ArrayList<>();
for (Map.Entry<Long, StringBuilder> e : lineTexts.entrySet()) {
if (e.getValue().toString().trim().endsWith("sierra")) {
tails.add(Math.round(ends.get(e.getKey())[0] * 10) / 10.0);
}
}
assertEquals(3, tails.size(), "найдены концы трёх абзацев");
double right = 595.276 - 72.0;
assertTrue(Math.abs(tails.get(0) - right) < 1.5,
"distribute: последняя строка дотянута до правого поля, конец=" + tails.get(0));
assertTrue(tails.get(1) < right - 20.0,
"левый абзац остаётся рваным: конец=" + tails.get(1));
assertTrue(tails.get(2) < right - 20.0,
"both не растягивает последнюю строку: конец=" + tails.get(2));
}
private static int count(String hay, String needle) {
int n = 0;
for (int i = hay.indexOf(needle); i >= 0; i = hay.indexOf(needle, i + 1)) {
n++;
}
return n;
}
} }
@@ -0,0 +1,165 @@
package ru.pjandro.wordpdf.internal;
import org.junit.jupiter.api.Test;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertFalse;
import static org.junit.jupiter.api.Assertions.assertNotSame;
import static org.junit.jupiter.api.Assertions.assertNull;
import static org.junit.jupiter.api.Assertions.assertSame;
import static org.junit.jupiter.api.Assertions.assertTrue;
/**
* Юниты {@link DistributeStampNormalizer}: штамп {@code w:jc="distribute"}
* закладкой-якорем после {@code </w:pPr>} (Part 1 §17.18.44, правило 12).
*/
class DistributeStampNormalizerTest {
private static String document(String body) {
return "<w:document xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\">"
+ "<w:body>" + body + "</w:body></w:document>";
}
/** Абзац с pPr (или без, если pPrInner пуст) и одним раном. */
private static String para(String pPrInner, String text) {
return "<w:p>" + (pPrInner.isEmpty()
? "" : "<w:pPr>" + pPrInner + "</w:pPr>")
+ "<w:r><w:t>" + text + "</w:t></w:r></w:p>";
}
private static final String JC_DISTRIBUTE = "<w:jc w:val=\"distribute\"/>";
/** distribute-абзац: штамп сразу после </w:pPr>, id=1 (закладок нет). */
@Test
void distribute_paragraphStampedAfterPPr() {
String xml = document(para(JC_DISTRIBUTE, "раз"));
String fixed = DistributeStampNormalizer.rewrite("word/document.xml", xml);
assertEquals(document(para(JC_DISTRIBUTE, "раз")
.replace("</w:pPr>", "</w:pPr><w:bookmarkStart w:id=\"1\""
+ " w:name=\"pj-distribute-document-1\"/>"
+ "<w:bookmarkEnd w:id=\"1\"/>")),
fixed);
}
/** Несколько абзацев: имена per-part по счёту, id за max существующих. */
@Test
void multipleParagraphs_namesAndIdsUnique() {
String xml = document(
para(JC_DISTRIBUTE, "раз")
+ "<w:p><w:pPr><w:jc w:val=\"both\"/></w:pPr>"
+ "<w:bookmarkStart w:id=\"41\" w:name=\"_Toc1\"/><w:bookmarkEnd w:id=\"41\"/>"
+ "<w:r><w:t>два</w:t></w:r></w:p>"
+ para(JC_DISTRIBUTE, "три"));
String fixed = DistributeStampNormalizer.rewrite("word/document.xml", xml);
assertTrue(fixed.contains("w:name=\"pj-distribute-document-1\""), fixed);
assertTrue(fixed.contains("w:name=\"pj-distribute-document-2\""), fixed);
assertFalse(fixed.contains("w:name=\"pj-distribute-document-3\""), fixed);
assertTrue(fixed.contains("<w:bookmarkStart w:id=\"42\" w:name=\"pj-distribute-document-1\"")
&& fixed.contains("<w:bookmarkStart w:id=\"43\" w:name=\"pj-distribute-document-2\""),
"id продолжение существующих: " + fixed);
assertEquals(2, countOf(fixed, "<w:bookmarkEnd w:id=\"42\"/>") + countOf(fixed, "<w:bookmarkEnd w:id=\"43\"/>"),
"каждому start — свой end");
}
private static int countOf(String s, String sub) {
return (s.length() - s.replace(sub, "").length()) / sub.length();
}
/** Повторный вызов на проштампованном — null (идемпотентность). */
@Test
void alreadyStamped_returnsNull() {
String xml = document(para(JC_DISTRIBUTE, "раз"));
String once = DistributeStampNormalizer.rewrite("word/document.xml", xml);
assertNull(DistributeStampNormalizer.rewrite("word/document.xml", once));
}
/** jc=center/both/нет — не our case: null. */
@Test
void otherJustification_returnsNull() {
String xml = document(para("<w:jc w:val=\"center\"/>", "раз") + para("", "два"));
assertNull(DistributeStampNormalizer.rewrite("word/document.xml", xml));
}
/** jc вне w:pPr (например, w:jc строки таблицы в trPr) — не штампуется. */
@Test
void jcOutsidePPr_returnsNull() {
String xml = document("<w:tr><w:trPr><w:jc w:val=\"distribute\"/></w:trPr>"
+ para("", "раз") + "</w:tr>");
assertNull(DistributeStampNormalizer.rewrite("word/document.xml", xml));
}
/** numbering.xml (уровни списков с pPrGeneral) — часть не штампуется вовсе. */
@Test
void nonContentPart_returnsNull() {
String xml = "<w:numbering><w:lvl><w:pPr>" + JC_DISTRIBUTE + "</w:pPr></w:lvl></w:numbering>";
assertNull(DistributeStampNormalizer.rewrite("word/numbering.xml", xml));
}
/** footnotes.xml — штампуется с меткой части (имена не коллизируют с document). */
@Test
void footnotes_partTagInName() {
String xml = document(para(JC_DISTRIBUTE, "сноска"));
String fixed = DistributeStampNormalizer.rewrite("word/footnotes.xml", xml);
assertTrue(fixed.contains("w:name=\"pj-distribute-footnotes-1\""), fixed);
}
/** Самозакрывающийся абзац — не ломает разбор. */
@Test
void selfClosingParagraph_survives() {
String xml = document("<w:p w:rsidR=\"00A1\"/><w:p><w:pPr>" + JC_DISTRIBUTE
+ "</w:pPr><w:r><w:t>тут</w:t></w:r></w:p>");
String fixed = DistributeStampNormalizer.rewrite("word/document.xml", xml);
assertTrue(fixed.contains("pj-distribute-document-1"), fixed);
}
/** Контракт zip-пути: нечего менять → тот же массив; есть штамп → новые байты со штампом. */
@Test
void normalize_identityWhenNothing_stampWhenDistribute() throws IOException {
byte[] clean = docx("<w:p><w:r><w:t>чисто</w:t></w:r></w:p>");
assertSame(clean, DistributeStampNormalizer.normalize(clean));
byte[] dirty = docx("<w:p><w:pPr>" + JC_DISTRIBUTE + "</w:pPr>"
+ "<w:r><w:t>тяни</w:t></w:r></w:p>");
byte[] fixed = DistributeStampNormalizer.normalize(dirty);
assertNotSame(dirty, fixed);
String part = new String(entry(fixed, "word/document.xml"), StandardCharsets.UTF_8);
assertTrue(part.contains("w:name=\"pj-distribute-document-1\""), part);
}
// ================== Синтетический .docx ==================
private static byte[] docx(String body) throws IOException {
ByteArrayOutputStream bos = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(bos)) {
zos.putNextEntry(new ZipEntry("[Content_Types].xml"));
zos.write("<Types/>".getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
zos.putNextEntry(new ZipEntry("word/document.xml"));
zos.write(document(body).getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
zos.putNextEntry(new ZipEntry("word/numbering.xml"));
zos.write("<w:numbering/>".getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
}
return bos.toByteArray();
}
private static byte[] entry(byte[] zip, String name) throws IOException {
try (java.util.zip.ZipInputStream zis =
new java.util.zip.ZipInputStream(new java.io.ByteArrayInputStream(zip))) {
ZipEntry e;
while ((e = zis.getNextEntry()) != null) {
if (e.getName().equals(name)) {
return zis.readAllBytes();
}
}
}
throw new IllegalArgumentException("нет записи " + name);
}
}
@@ -3,6 +3,7 @@ package ru.pjandro.wordpdf.internal;
import org.junit.jupiter.api.Test; import org.junit.jupiter.api.Test;
import static org.junit.jupiter.api.Assertions.assertEquals; import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertFalse;
import static org.junit.jupiter.api.Assertions.assertSame; import static org.junit.jupiter.api.Assertions.assertSame;
import static org.junit.jupiter.api.Assertions.assertTrue; import static org.junit.jupiter.api.Assertions.assertTrue;
@@ -125,4 +126,57 @@ class LayoutPostRendererTest {
String fo = "<fo:root><fo:block font-family=\"DejaVu Sans\">text</fo:block></fo:root>"; String fo = "<fo:root><fo:block font-family=\"DejaVu Sans\">text</fo:block></fo:root>";
assertSame(fo, LayoutPostRenderer.fix(fo)); assertSame(fo, LayoutPostRenderer.fix(fo));
} }
// ================== distribute-штамп ==================
/** Якорь-закладка: блок получает пару justify-свойств (Part 1 §17.18.44). */
@Test
void distributeStamp_justifyPairAdded() {
String fo = "<fo:block font-family=\"Carlito Regular\"><fo:inline id=\"pj-distribute-document-1\"/>"
+ "alpha bravo</fo:block>";
String fixed = LayoutPostRenderer.fix(fo);
assertTrue(fixed.contains("<fo:block font-family=\"Carlito Regular\""
+ " text-align=\"justify\" text-align-last=\"justify\">"), fixed);
}
/** Реальная форма сериализации docx4j: DOM-поддерево без префикса fo. */
@Test
void distributeStamp_unprefixedInline_stillStamped() {
String fo = "<fo:block font-size=\"11.0pt\">"
+ "<inline xmlns=\"http://www.w3.org/1999/XSL/Format\" id=\"pj-distribute-document-1\"/>"
+ "alpha</fo:block>";
String fixed = LayoutPostRenderer.fix(fo);
assertTrue(fixed.contains("<fo:block font-size=\"11.0pt\""
+ " text-align=\"justify\" text-align-last=\"justify\">"), fixed);
}
/** Текст уже выровнен (both + наш штамп) — дописывается только align-last. */
@Test
void distributeStamp_existingTextAlignPreserved() {
String fo = "<fo:block text-align=\"justify\"><fo:inline id=\"pj-distribute-document-2\"/>x</fo:block>";
String fixed = LayoutPostRenderer.fix(fo);
assertTrue(fixed.contains("text-align=\"justify\" text-align-last=\"justify\""), fixed);
assertFalse(fixed.contains("text-align-last=\"justify\" text-align-last"), fixed);
}
/** text-align-last уже задан — блок не трогается, чужая закладка молча живёт. */
@Test
void distributeStamp_alignLastAlreadySet_untouched() {
String fo = "<fo:block text-align-last=\"center\"><fo:inline id=\"pj-distribute-footnotes-1\"/>x</fo:block>";
assertSame(fo, LayoutPostRenderer.fix(fo));
}
/** Закладка вне fo:block (после закрытия) — правки нет, FO не ломается. */
@Test
void distributeStamp_outsideBlock_untouched() {
String fo = "<fo:block>до</fo:block><fo:inline id=\"pj-distribute-document-1\"/>";
assertSame(fo, LayoutPostRenderer.fix(fo));
}
/** Обычная закладка пользователя (не pj-distribute) — игнор. */
@Test
void userBookmark_ignored() {
String fo = "<fo:block><fo:inline id=\"_Toc12345\"/>x</fo:block>";
assertSame(fo, LayoutPostRenderer.fix(fo));
}
} }