Compare commits

..

18 Commits

Author SHA1 Message Date
Pjandro b558fe1c30 docs: README — короткая точка входа, AGENTS — строка docs-*
PR checks / web (pull_request) Successful in 10s
PR checks / java (pull_request) Successful in 5m51s
PR checks / macos-sim (pull_request) Successful in 7m8s
- README сокращён: human-контент перенесён на сайт документации;
  остались структура, бутстрап, команды, задачи mise, ссылки на документацию.
- AGENTS.md: команды docs-* в Development Commands.
2026-11-22 21:39:08 +03:00
Pjandro 187938c4db build: mise-задачи docs-* и gitignore сайта
- docs-install/docs-serve/docs-build/docs-javadoc/docs-deploy;
  публикация: javadoc → strict-build → rsync в ~/srv/wordpdf-docs (:9012).
- gitignore: site/, docs/.venv/, docs/apidocs/.
2026-11-22 21:39:08 +03:00
Pjandro 0e9266450c build: maven-javadoc-plugin для публичного API core
- Корневой pom: версия 3.12.0 + pluginManagement (outputDirectory закреплён
  на target/site, цель — только javadoc:javadoc, лайфцикл verify не меняется).
- wordpdf-core объявляет плагин без executions; wordpdf-app javadoc не генерирует.
- Правки javadoc-комментарий по ошибкам doclint: {@code <=} в ChartImageHandler,
  полные имена {@link ru.pjandro.wordpdf.ConversionException} в DocToDocx.
2026-11-22 21:39:08 +03:00
Pjandro b3511f8b74 docs: сайт документации на MkDocs Material
- Контент-дерево docs/: пользователь, REST API, библиотека, архитектура,
  разработчику, эксплуатация; навигация обязательна (strict-сборка).
- docs/agent/ и docs/standards/ из сайта исключены (exclude_docs),
  ссылки на них — внешние, на Gitea.
- Javadoc публичного API core попадает на сайт как docs/apidocs (gitignored).
2026-11-22 21:39:08 +03:00
Pjandro ae7c8b755a docs: обновить AGENTS.md по итогам обхода репозитория
PR checks / web (pull_request) Successful in 9s
PR checks / java (pull_request) Successful in 3m23s
Main: tests, deploy, autotests / java (push) Successful in 11s
PR checks / macos-sim (pull_request) Successful in 6m45s
Main: tests, deploy, autotests / web (push) Successful in 11s
Main: tests, deploy, autotests / images-web (push) Successful in 16s
Main: tests, deploy, autotests / images-app (push) Successful in 4m22s
Main: tests, deploy, autotests / deploy (push) Successful in 1m55s
Main: tests, deploy, autotests / autotests (push) Successful in 20s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- internal/doc: 18 top-level классов; CHART_MEDIA_URI_PREFIX принадлежит DrawingPreRenderer
- required-контексты защиты main — java/web (GITEA-vars.md); macos-sim — PR-only, не гейт
- счётчики тестов 63 класса / 1005 (core 957); javadoc normalizers врёт про позицию MathFallback
- .env fail-closed для prod-like стенда; app-run; jeuclid/commons-logging exclusions;
  -Djacoco.skip=true; OLE-плейсхолдер; VITE_BASE-bake в images-web; Hamcrest inline-квалификация
2026-11-21 04:53:42 +03:00
Pjandro fca253b9f5 ci: job macos-sim — тесты под эмуляцией macOS (-Dos.name) на PR
PR checks / web (pull_request) Successful in 10s
PR checks / macos-sim (pull_request) Successful in 1m12s
Main: tests, deploy, autotests / web (push) Successful in 9s
Main: tests, deploy, autotests / images-web (push) Successful in 11s
Main: tests, deploy, autotests / java (push) Successful in 46s
PR checks / java (pull_request) Successful in 5m12s
Main: tests, deploy, autotests / images-app (push) Successful in 23s
Main: tests, deploy, autotests / deploy (push) Successful in 1m58s
Main: tests, deploy, autotests / autotests (push) Successful in 1m16s
Main: tests, deploy, autotests / rollback (push) Has been skipped
Containerfile.test получает ARG SUREFIRE_OS_NAME (пусто — прежнее
поведение), pr.yml — job macos-sim: тот же mvn clean verify с
-Dos.name='Mac OS X' (docx4j PhysicalFonts читает os.name и уходит в
MicrosoftFontsRegistry). Регрессия strictOoxml ловится до мержа.
Документация: AGENTS.md, docs/agent/ci-cd.md.
2026-11-21 03:43:44 +03:00
Pjandro e308db47da fix(fonts): реальные начертания бандла в getBoldForm/getItalicForm/getBoldItalicForm
PR checks / web (pull_request) Successful in 9s
PR checks / java (pull_request) Successful in 3m57s
Main: tests, deploy, autotests / web (push) Successful in 8s
Main: tests, deploy, autotests / java (push) Successful in 1m16s
Main: tests, deploy, autotests / images-web (push) Successful in 1m22s
Main: tests, deploy, autotests / images-app (push) Successful in 20s
Main: tests, deploy, autotests / deploy (push) Successful in 2m8s
Main: tests, deploy, autotests / autotests (push) Successful in 14s
Main: tests, deploy, autotests / rollback (push) Has been skipped
На macOS PhysicalFonts.getBoldForm для имён бандл-шрифтов ('Tinos Regular',
'Carlito Regular', ...) уходит в MicrosoftFontsRegistry, где у этих записей
Mac-имя файла null, и возвращает null; docx4j строит simulate-style fopconf
(все начертания на regular-TTF), FOP теряет реальные Bold/Italic — метрики и
кернинг ломают переносы (strictOoxml: 'таблица' -> 'таблиц а').

BundledFontMapper переопределяет три variant-form метода: семейство опознаётся
по embeddedURI regular-варианта, начертание берётся реальным из бандла; вне
бандла / без init() — родительская логика без изменений.

Тест: BundledFontMapperTest#variantForms_resolveBundleSibling (красный на macOS
без override); регрессии: WordPdfConverterTest#strictOoxml_convertsNotRejected,
#ruPlain_regularRunsUseRegularFont (проверены под -Dos.name='Mac OS X').
docs/agent/pipeline.md: абзац о macOS-ветке.
2026-11-21 03:06:39 +03:00
Pjandro f3ff218686 feat(core): собственный рендер OMML→PNG и полный FOP-конфиг шрифтов
PR checks / web (pull_request) Successful in 9s
PR checks / java (pull_request) Successful in 5m26s
Main: tests, deploy, autotests / web (push) Successful in 9s
Main: tests, deploy, autotests / images-web (push) Successful in 23s
Main: tests, deploy, autotests / java (push) Successful in 1m30s
Main: tests, deploy, autotests / images-app (push) Successful in 49s
Main: tests, deploy, autotests / deploy (push) Successful in 2m13s
Main: tests, deploy, autotests / autotests (push) Successful in 17s
Main: tests, deploy, autotests / rollback (push) Has been skipped
Замена JEuclid/AWT-ветки формул на детерминированный растер только
бандл-шрифтами jar (без fontconfig); FOP-конфиг дополняется всеми
бандл-начертаниями при каждом declare — иначе общая FopFactory
замораживает fopconf первого документа и теряет глифы.

MathModel/MathRenderer: OMML (§22.1) → дерево боксов → PNG 300 dpi
(только GlyphFont/fontbox, без java.awt.Font); метрики боксов равны
габариту paint (пределы nary/sPre не обрезаются канвой). Unsupported
конструкция или переполнение бюджета — текстовая деградация (m:t).
Inline-картинка опускается раном w:rPr/w:position на базовую линию
строки (FOP ставит инлайн-графику нижним краем на базу; AUDIT-FIX
baseline-shift). Байтовое правило 6 MathFallbackNormalizer (перед
GlyphCoverage) срезает unsupported-формулы до загрузки docx4j; формула
в wps:txbx уходит в docx4j-фолбэк mathText.

JEuclid исключён из pom (de.rototor jeuclid-core/jeuclid-fop); порядок
zip-правил сдвинут (MathFallback → 6). Порядок сканов шрифтов закрыт
гейтом FontsBundledOnlyInvariantTest + BundledFontAliases (единый
алиас-реестр вместо рефлексивных мутаций реестра).

Счётчики: 63 класса / 1004 теста (core 57/956, app 6/48); JaCoCo
BRANCH core 0.8518. Доки: pipeline/render-limitations/repo-map/
testing/doc-bridge/MEM_USAGE_UPGRADE синхронизированы.
2026-11-20 23:51:40 +03:00
Pjandro 202e4ca97e fix(fonts): FopFallbackFonts дополняет семейства реальными начертаниями
- declareFamily: family-level skip удалён; каждое начертание дописывается,
  если в конфиге нет записи с реальным TTF этого начертания (hasRealFace);
- общая FopFactory замораживает fopconf первого документа JVM, а docx4j
  декларирует только использованные начертания (частично/simulate-style) —
  на macOS это роняло ruPlain_regularRunsUseRegularFont (Carlito-Bold не
  встраивался) и strictOoxml_convertsNotRejected (кириллица на base-14);
- регрессии: FopFallbackFontsTest#declareWhenDocx4jDeclaredRegularOnly_addsMissingVariants,
  #declareWhenDocx4jDeclaredSimulatedStyle_addsRealFaces, #declareTwice_noDuplicates,
  WordPdfConverterTest#fopFactoryFrozenFromFirstDoc_fontsComplete (order-smoke).
2026-11-20 22:10:11 +03:00
Pjandro fa45b7a8be docs: обновить AGENTS.md по итогам аудита репозитория
PR checks / web (pull_request) Successful in 19s
PR checks / java (pull_request) Successful in 2m59s
Main: tests, deploy, autotests / web (push) Successful in 8s
Main: tests, deploy, autotests / java (push) Successful in 39s
Main: tests, deploy, autotests / images-app (push) Successful in 31s
Main: tests, deploy, autotests / images-web (push) Successful in 1m16s
Main: tests, deploy, autotests / deploy (push) Successful in 2m1s
Main: tests, deploy, autotests / autotests (push) Successful in 1m46s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- счётчики тестов 60 классов / 962 теста (core 54/914, app 6/48) вместо устаревших 59/898;
- internal/doc: 17 top-level классов + вложенный DocxBody;
- ValidationException бросает также convert() при options == null;
- открытые префиксы ApiKeyFilter: /actuator/ со слэшем + dot-segment гейт;
- деградация chart: wp:extent вне диапазона оставляет объект + warn;
- детализация шага 4 (4.25/4.5) и finally-очистки конвейера;
- добавлены: mem-bench, file-size-threshold=2MB, ловушка WORDPDF_API_KEY из .env mise,
  прод-вход pjandro.ru/pdf-converter/, лицензии шрифтов OFL/Bitstream-Vera/Noto,
  PMD-движок 6.55.0 как default плагина, явный выключенный TS-strict.
2026-11-20 21:06:52 +03:00
Pjandro 1c8f6e1516 docs: MEM_USAGE_UPGRADE.md — аудит памяти конвейера
PR checks / web (pull_request) Successful in 48s
PR checks / java (pull_request) Successful in 1m19s
Main: tests, deploy, autotests / java (push) Successful in 3m11s
Main: tests, deploy, autotests / web (push) Successful in 1m29s
Main: tests, deploy, autotests / images-app (push) Successful in 2m21s
Main: tests, deploy, autotests / images-web (push) Successful in 2m43s
Main: tests, deploy, autotests / deploy (push) Successful in 1m52s
Main: tests, deploy, autotests / autotests (push) Successful in 58s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- Методология харнеса (peak/used/GC-лог/JFR/VmHWM) и его ограничения;
- baseline suite×20+big, профиль аллокаций: доли приложения ≤0,44%, остальное — JAXB/XSLT/FOP;
- кандидаты A–E с замерными гейтами: все отклонены (A — измерением, B/C/E — долей ниже гейта);
- матрица флагов f1–f5: рекомендация проду -Xmx768m/G1 + mem_limit 1g вместо 2G/3G.
2026-11-17 05:46:10 +03:00
Pjandro 9d4661be3f test: MemoryBench начисто проходит PMD-гейт
- SystemPrintln: вывод харнеса через PrintStream(FileDescriptor.out) вместо System.out;
- AvoidLiteralsInIfCondition: условия сценариев вынесены в булевы локальные переменные;
- membench.sh: заметка про смену GC (нужен и -XX:-UseG1GC, иначе старт падает).
Полный ./mise.sh run verify после правки зелёный: core 914 + app 48, PMD/JaCoCo без нарушений.
2026-11-17 05:46:10 +03:00
Pjandro 67f8636b0c core,test: mem-bench харнес замера памяти (MemoryBench + membench.sh + mise task) 2026-11-17 05:08:54 +03:00
Pjandro 08c68305be docs: актуализация AGENTS.md по свежей сверке с кодом
PR checks / web (pull_request) Successful in 42s
Main: tests, deploy, autotests / web (push) Successful in 45s
PR checks / java (pull_request) Successful in 1m36s
Main: tests, deploy, autotests / images-web (push) Successful in 33s
Main: tests, deploy, autotests / java (push) Successful in 2m59s
Main: tests, deploy, autotests / images-app (push) Successful in 6m29s
Main: tests, deploy, autotests / deploy (push) Successful in 2m35s
Main: tests, deploy, autotests / autotests (push) Successful in 52s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- convert — только 3-аргументная сигнатура; App.tsx в components/; 11 zip-правил + OleObjectNormalizer как 12-й байтовый
- REST: открытые префиксы ApiKeyFilter, тело {"error": …}, карта 404/405/415 в repo-map
- расхождение compose (prod-like гасит springdoc, CI-прод держит swagger открытым); VITE_BASE в образе; подсети resolver; WORDPDF_SAMPLES_DIR; ручные фикстуры не перезаписывать
2026-11-17 04:14:23 +03:00
Pjandro f7304094ec fix: int-оверфлоу requireInFile и закрытие веток гейта JaCoCo
PR checks / web (pull_request) Successful in 43s
PR checks / java (pull_request) Successful in 2m47s
Main: tests, deploy, autotests / web (push) Successful in 41s
Main: tests, deploy, autotests / java (push) Successful in 3m37s
Main: tests, deploy, autotests / images-app (push) Successful in 48s
Main: tests, deploy, autotests / images-web (push) Successful in 38s
Main: tests, deploy, autotests / deploy (push) Successful in 2m0s
Main: tests, deploy, autotests / autotests (push) Successful in 47s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- requireInFile: (long) offset + len > fileLen — offset+len того же класса оверфлоу, что sectorOffset (DIFAT-сектор близ MAX_INT обходил проверку)
- CfbReader.chain: единая капка sect >= min(fat.length, sectorTotal) (меньше незакрытых исходов веток, контракт прежний), регрессии в javadoc
- CfbReaderTest#difatSectorFarBeyondFile_rejected — ветка sectorOffset (фat>MAX_INT при DIFAT[0]=0x400000)
- PieceTableTest#negativeStartCp_rejected: aCP[0] — все 4 байта 0xFF (один байт давал 255 и попадал в ветку монотонности, а не отрицательного CP)
2026-11-16 03:17:55 +03:00
Pjandro e6a8b86583 fix: замечания ревью — crash-гарды моста и сверка цитат MS-DOC
PR checks / web (pull_request) Successful in 44s
PR checks / java (pull_request) Failing after 1m22s
- CfbReader: цепочка FAT — сектор за sectorTotal → ConversionException «за концом FAT» (раньше FAT[>127] уходил за массив: ArrayIndexOutOfBounds на битом CFB)
- FibHeader: cbRgFcLcb — u16 по §2.5.1 (читался u32 → AIOOBE на FIB длиной 154 байта); csw/cslw MUST — цитата §2.5.1 Fib
- PieceTable: aCP[0] < 0 и endCp <= startCp → ConversionException (отрицательный aCP читал бы WordDocument до начала; отрицательный span ронял new String)
- Таблица nFib→cbRgFcLcb — ссыка на [MS-OSHARED] §2.1.1 Table 2
- Цитаты секций MS-DOC по ToC ms-doc-full.md: CSSAOperand §2.9.46, SHDOperand §2.9.249 (Shd §2.9.247, Ipat §2.9.121, Shd80 §2.9.248), Ico §2.9.119, SttbfFfn §2.9.286, Brc/BrcType §2.9.16/.22, PapxFkp §2.9.174 — в Grpprl/Tables/Sections/FibHeader, тестах моста, doc-bridge.md
- Регрессы: FibHeaderTest#blobEndAtBoundary_rejectedNotCrash, PieceTableTest#negativeStartCp_rejected, CfbReaderTest пин «за концом FAT»
2026-11-16 03:06:31 +03:00
Pjandro d44eac683a fix: PMD-чистые константы MUST-полей CFB и ветки покрытия гейта JaCoCo
PR checks / web (pull_request) Successful in 37s
PR checks / java (pull_request) Successful in 2m40s
- CfbReader: MiniStreamCutoff в именованную константу (§2.2) — гейт PMD AvoidLiteralsInIfCondition;
- GrpprlTest: полная таблица Kul→ST_Underline (§2.9.127, все 18 case);
- TableIndentNormalizerTest: явный w:type=pct и tblInd без w:w — пропуск свёртки;
- ChpxIndexTest/PapxIndexTest: отрицательный fcBte, fc раньше первого диапазона,
  вырожденный rgfc (§2.4.6.1) — ветки отказных гвардов.
2026-11-16 00:54:59 +03:00
Pjandro aaad5d2bb0 fix: устранение расхождений кода со спецификациями и синхронизация доков
PR checks / web (pull_request) Successful in 42s
PR checks / java (pull_request) Failing after 2m53s
- docx-нормализаторы: tblInd без w:type = dxa (§17.4.87); явный vanish=false перекрывает стиль (§17.3.2.70);
  RubyNormalizer снимает обёртку w:ruby и удаляет rubyBaseText; DocxOnOffNormalizer не трогает w:scrollbar;
  SymbolFontNormalizer читает прямые коды w:sym
- мост .doc: borderVal 0x1B→inset; STK_CHARACTER=2 (§2.4.6.5); grpprl toggle + знаковые XAS; ChpxIndex cb=0;
  PapxIndex cpara + ключ по последнему символу; sprmCIstd reset+preserve; Sections YAS/bkc/pgnStart/gutter/nfc;
  NPE-гард Lists; BrcMayBeNil = нет границы; emission (w:id, слоты шрифтов, Kul, ISS, header-картинки);
  OfficeArt 0x46B/TIFF/DIB/второй UID + warn EMF/WMF/PICT; PrcData стоп-обработка; CfbReader бюджет +
  MUST-поля заголовка (§2.2); FibHeader csw/cslw + cbRgFcLcb; PieceTable aCP-дубли + cbMac
- мёртвый код: девять неиспользуемых STEP-констант, недостижимая ветка pgMar
- javadoc: исправлены номера секций ECMA-376/MS-DOC/MS-CFB/MS-ODRAW в нормализаторах, chart-пакете, мосту
- доки: pipeline.md, repo-map.md, doc-bridge.md, render-limitations.md, AGENTS.md синхронизированы с кодом
2026-11-16 00:43:43 +03:00
123 changed files with 7197 additions and 1231 deletions
+25
View File
@@ -104,6 +104,31 @@ jobs:
f"{base}/{existing}" if existing else base, {"body": body})
PY
macos-sim:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v5
- name: Check maven mirror var
env:
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
run: |
[ -n "$MAVEN_MIRROR_URL" ] || {
echo "Задайте Actions Variable MAVEN_MIRROR_URL — см. GITEA-vars.md" >&2
exit 1
}
- name: Tests under macOS emulation (-Dos.name)
env:
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
run: |
DOCKER_BUILDKIT=0 docker build \
-f Containerfile.test \
--build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \
--build-arg "SUREFIRE_OS_NAME=Mac OS X" \
-t wordpdf-verify:macos-sim \
.
web:
runs-on: ubuntu-latest
steps:
+5
View File
@@ -44,3 +44,8 @@ DEPLOY.md
# Mise: локальный бинарь mise (bootstrap.sh / bootstrap.ps1)
/.mise/
# Сайт документации: сборка, venv, копия javadoc
site/
docs/.venv/
docs/apidocs/
+58 -52
View File
@@ -1,83 +1,87 @@
# Repository Guidelines
> Роутер: правила, инварианты и команды — здесь; глубокие детали — `docs/agent/*.md` (pipeline, doc-bridge, chart, testing, ci-cd, render-limitations, repo-map — каждый авторитетен наравне с этим файлом), нормативные форматы — `docs/standards/` (ссылка с номером секции обязательна).
> Роутер: правила, инварианты и команды — здесь; глубокие детали — `docs/agent/*.md` (pipeline, doc-bridge, chart, testing, ci-cd, repo-map, render-limitations — каждый авторитетен наравне с этим файлом), нормативные форматы — `docs/standards/` (навигатор — `docs/standards/README.md`, ссылка на спецификацию — с номером секции).
## Project Overview
Конвертер `.docx`/`.doc` → `.pdf` на чистом Java: docx4j 17.3.2 → XSL-FO → форк Apache FOP, без LibreOffice/Aspose. Бинарный `.doc` (Word 97-2003) переносится мостом MS-DOC/MS-CFB (`internal/doc`) в in-memory `.docx` и идёт тем же конвейером. Maven-мультимодуль `ru.pjandro:java-word-pdf:1.0.0`: `wordpdf-core` (библиотека), `wordpdf-app` (REST на Spring Boot 4.1.1); вне Maven-реактора — SPA `wordpdf-web` (React 19 + TS + Vite + Tailwind v4) и pytest-автотесты `prod-autotests/`. Java 17, только Maven.
Конвертер `.docx`/`.doc` → `.pdf` на чистом Java: docx4j 17.3.2 → XSL-FO → форк Apache FOP (`org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 — транзитив от `docx4j-export-fo`), без LibreOffice/Aspose. Бинарный `.doc` (Word 97-2003) переносится мостом MS-DOC/MS-CFB (`internal/doc`) в in-memory `.docx` и идёт тем же конвейером. Maven-мультимодуль `ru.pjandro:java-word-pdf:1.0.0`: `wordpdf-core` (библиотека), `wordpdf-app` (REST на Spring Boot 4.1.1); вне Maven-реактора — SPA `wordpdf-web` (React 19.2 + TS ~6.0 + Vite 8.3 + oxlint + Tailwind v4.3, npm; strict-режим TS намеренно не включён — сборка не strict-гейт) и pytest-автотесты `prod-autotests/`. Java 17, только Maven.
## Architecture & Data Flow
Единственный вход стека — gateway-контейнер nginx (`:9010` prod-like `compose.yml`, `:9011` dev `compose.dev.yml`), **не** 8080.
Единственный вход стека — gateway-контейнер nginx (`:9010` prod-like `compose.yml`, `:9011` dev `compose.dev.yml`), **не** 8080. Реальный прод-стек (`docker-compose.yml` + прод `nginx.conf`) рендерит CI-job `deploy` — копий на хосте/в репо не заводить. Наружный прод-вход — `https://pjandro.ru/pdf-converter/` (образ web собирается с `VITE_BASE=/pdf-converter/` — bake в job `images-web`, не в compose).
**Пайплайн** `WordPdfConverter.convert(byte[], String[, ConvertOptions])` → `convertToStream`; порядок шагов фиксирован:
**Пайплайн** `WordPdfConverter.convert(byte[] docxBytes, String title, ConvertOptions)` → `convertToStream` (публичная сигнатура единственная, 2-аргументной перегрузки **нет**); порядок шагов фиксирован:
0. `DependencyGuard.check()` (commons-compress ≥ 1.25.0 API-проба);
1. шрифты: `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` — строго в этом порядке, до `load()`;
2. нормализаторы (`DocxRewritePipeline.STEP` + лямбда `OleObjectNormalizer`) → `WordprocessingMLPackage.load`;
3. `setFontMapper`; 3.5 `DrawingPreRenderer.run` (chart/SmartArt → PNG; error-флаги бросаются здесь) — **обязателен до `FOSettings`**, иначе FOP молча теряет диаграммы;
4. `FOSettings` + `ChartImageHandler` + `FopFallbackFonts.declare` + `LayoutPostRenderer.register` + `setCustomXsltTemplates(VendoredXslt.TEMPLATES)`;
5. общая `FopFactory` (DCL); 6. `Docx4J.toFO(…, FLAG_EXPORT_PREFER_XSL)` — последним;
7. `finally`: сброс temp-шрифтов, `resetSharedImageCaches()` (иначе ~1,5 ГБ за 30 конвертаций), `restrictToBundled()` (иначе встроенные в предыдущий docx шрифты травят реестр).
3. `setFontMapper`; 3.5 `DrawingPreRenderer.run` (chart/SmartArt/OMML-формулы → PNG; error-флаги бросаются здесь) — **обязателен до `FOSettings`**, иначе FOP молча теряет диаграммы;
4. `FOSettings` + `ChartImageHandler` + `FopFallbackFonts.declare`; 4.25 `LayoutPostRenderer.register`; 4.5 `setCustomXsltTemplates(VendoredXslt.TEMPLATES)`;
5. общая `FopFactory` (DCL на мониторе `WordPdfConverter.class`);
6. `Docx4J.toFO(…, FLAG_EXPORT_PREFER_XSL)` — последним;
7. `finally`: сброс temp-шрифтов (`FontTablePart.deleteEmbeddedFontTempFiles()`), `resetSharedImageCaches()` (иначе ~1,5 ГБ за 30 конвертаций), `restrictToBundled()` (иначе встроенные в предыдущий docx шрифты травят реестр).
Вход роутируется по сигнатуре: `PK\x03\x04` → docx; `D0 CF 11 E0 A1 B1 1A E1` (CFB) → `DocToDocx.convert`. Валидация `WordPdfValidator` — **до** конвертера (для `.doc` страницы считаются по сырым байтам); `WordPdfValidator` не трогает docx4j — его пороги в `WordPdfConverter` объявлены compile-time literals (javac инлайнит, static-блок конвертера не дёргается).
`WordPdfValidator.validate` вызывается в `convert()` **до** монитора (параллельно); при `options == null` бросает `ValidationException` сам `convert()`. Вход роутируется по сигнатуре: `PK\x03\x04` → docx; `D0 CF 11 E0 A1 B1 1A E1` (CFB) → `DocToDocx.convert`. Для `.doc` страницы считаются по сырым байтам. Пороги валидатора в `WordPdfConverter` объявлены compile-time literals (javac инлайнит, static-блок конвертера не дёргается).
**Слои ядра** (`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`):
- публичный API: `WordPdfConverter`, `WordPdfValidator`, `ConvertOptions` (record), `ConversionException` + `ValidationException` (бросает **только** валидатор) + `Charts/SmartArt/OleFoundException`; `warmup()` — идемпотентный прогрев, решает вызывающий;
- `internal/`: контракт нормализатора — `byte[] normalize(byte[])`, нечего менять → **тот же массив** (`assertSame`); правила 1–11 идут одним zip-проходом `DocxRewritePipeline.STEP` в фиксированном порядке: Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby→MathFallback; неизменённые записи копируются raw-сжатыми байтами; наружу только `DocxNormalizer`, `DocxRewritePipeline.STEP`, `OleObjectNormalizer`, `FopFallbackFonts`, `LayoutPostRenderer`, `DependencyGuard`;
- `internal/doc`: мост `.doc`→`.docx`, 18 классов, наружу только `DocToDocx.convert/countPages`; раскладки — `docs/agent/doc-bridge.md`;
- `internal/chart`: Java2D → PNG (`ChartRenderer.DPI = 300`, `MAX_PIXELS` 4096² — понижает dpi через `fitDpi`; `MAX_POINTS` 100 000, бюджет chart-PNG на документ 128 MiB); модель **деградации**: битая chart-часть/превышение бюджета → объект удалён + warn, конвертация продолжается; `OutOfMemoryError` — не деградация, а `ConversionException` (500);
- публичный API: `WordPdfConverter`, `WordPdfValidator`, `ConvertOptions` (record `errorOnCharts/errorOnSmartArt/errorOnOle/maxMb/maxPages` — порядок полей фиксирован), `ConversionException` + `ValidationException` + `Charts/SmartArt/OleFoundException`; `warmup()` — идемпотентный прогрев (никогда не бросает), решает вызывающий;
- `internal/`: контракт нормализатора — `byte[] normalize(byte[])`, нечего менять → **тот же массив** (`assertSame`); правила 1–11 идут одним zip-проходом `DocxRewritePipeline.STEP` в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby (порядок в javadoc `WordPdfConverter.normalizers` устарел — не доверять), `OleObjectNormalizer` — 12-й, отдельным байтовым проходом (не zip); неизменённые записи копируются raw-сжатыми байтами; наружу только `DocxNormalizer`, `DocxRewritePipeline.STEP`, `OleObjectNormalizer`, `FopFallbackFonts`, `LayoutPostRenderer`, `DependencyGuard`;
- `internal/doc`: мост `.doc`→`.docx`, 18 top-level классов (17 package-private + `DocToDocx`) + вложенный `DocxBody`, наружу только `DocToDocx.convert/countPages`; любая бита/шифрованный/Word 6-95 входов → `ConversionException`; раскладки — `docs/agent/doc-bridge.md`;
- `internal/chart`: Java2D → PNG (`ChartRenderer.DPI = 300`, `MAX_PIXELS` 4096² — `fitDpi` понижает dpi; `MAX_POINTS` 100 000, бюджет chart/math-PNG на документ 128 MiB); формулы OMML — собственный растер `MathModel` (разбор §22.1 в дерево боксов, `SUPPORTED` — единый список конструкций) + `MathRenderer` (без AWT/JEuclid, только бандл через `GlyphFont`); модель **деградации**: битая chart-часть/превышение бюджета → объект удалён + warn; неподдерживаемая/битая формула → **текст** (конкатенация `m:t`) + warn; `wp:extent` вне диапазона/ноль → объект **остаётся** + warn (FOP молча потеряет); `OutOfMemoryError` — не деградация, а `ConversionException` (500);
- `fonts/GlyphFont`: метрика/глифы через fontbox напрямую, **без** `java.awt.Font` (fontconfig хосту не нужен).
**Concurrency-инвариант**: `PhysicalFonts` — глобальный мутируемый реестр → все конвертации сериализованы монитором `WordPdfConverter.class` (convert, warmup, DCL-фабрика, мутации `BundledFonts`). Приложение дополнительно держит однопоточный `ThreadPoolExecutor` (очередь 16 → 503, `wordpdf.convert-timeout=2m` → 504), головой очереди стоит `warmup()`.
**Concurrency-инвариант**: `PhysicalFonts` — глобальный мутируемый реестр → все конвертации сериализованы монитором `WordPdfConverter.class` (convert, warmup, DCL-фабрика, мутации `BundledFonts`, `BundledFonts.font()`). Приложение дополнительно держит однопоточный `ThreadPoolExecutor` (очередь 16 → 503, `wordpdf.convert-timeout=2m` → 504), головой очереди стоит `warmup()`; `WordPdfValidator.checkInput` выполняется синхронно до очереди.
**REST** (`wordpdf-app`, всё package-private кроме `WordPdfApplication`): `POST /api/v1/convert` (multipart `file` + `errorOnCharts/errorOnSmartArt/errorOnOle`, `maxMb/maxPages` переопределяют серверный дефолт в обе стороны, ≤ 0 → 400). Коды: 400 валидация/битые параметры, 401 `ApiKeyFilter` (`X-API-Key` ↔ `wordpdf.api-key`, пусто = выключено; Advice фильтров не видит — 401 пишет сам), 413 multipart, **422** отказ по графике (`DrawingRejectedException`, текст — контракт с фронтом), 500 `ConversionFailedException` (текст ядра только в лог), 503 переполнение очереди, 504 timeout. Полная карта — `docs/agent/repo-map.md`. На `.doc` error-флаги не срабатывают (BLIP-плейсхолдеры — уже растры).
**REST** (`wordpdf-app`, всё package-private кроме `WordPdfApplication`): `POST /api/v1/convert` (multipart `file` + `errorOnCharts/errorOnSmartArt/errorOnOle`, `maxMb/maxPages` переопределяют серверный дефолт в обе стороны, ≤ 0 → 400; `file.getBytes()` — только после проверки размера; имя файла из `Content-Disposition`, UTF-8 + `.pdf`). Коды: 400 валидация/битые параметры, 401 `ApiKeyFilter` (`X-API-Key` ↔ `wordpdf.api-key`, пусто = выключено, сравнение `MessageDigest.isEqual`; открытые префиксы `/actuator/` (со слэшем!), `/swagger-ui`, `/v3/api-docs`; dot-segment (`..`, `%2e`) заставляет требовать ключ даже на открытых; Advice фильтров не видит — 401 пишет сам), 413 multipart, **422** отказ по графике (`DrawingRejectedException`, фиксированные тексты CHARTS/SMART_ART/OLE — контракт с фронтом), 500 `ConversionFailedException` (текст ядра только в лог, наружу фиксированный), 503 переполнение очереди, 504 timeout; тело ошибки — `{"error": …}` (`record ApiError`). Полная карта, включая 404/405/415, — `docs/agent/repo-map.md`. На `.doc` error-флаги не срабатывают (OLE-вложения — U+0001, мост деградирует в картинки); при снятом флаге `.docx`-OLE теряет data-части, **но сохраняет плейсхолдер-картинку**.
**SPA** (`wordpdf-web/src`): вся сеть — единственная точка `api.ts` (ключ в localStorage `wordpdf.api.key`, `probeApiKey()`: 401=required / 405=open); единственный источник состояния — `useState` в `App.tsx`.
**SPA** (`wordpdf-web/src`): вся сеть — единственная точка `api.ts` (ровно 2 `fetch`: `convertDocx`, `probeApiKey()` — 401=required / иначе open; ключ в localStorage `wordpdf.api.key`, при 401 стирается; имя файла из `Content-Disposition filename*=utf-8''`); единственный источник состояния — `useState` в `components/App.tsx` (+ `useRef` для `AbortController`/blob-URL), store-библиотек нет; лимиты на клиенте не задаются — только сервер.
### Критические инварианты (нарушение = битый вывод, не исключение)
- Static-блок `WordPdfConverter`: `docx4j.convert.out.fo.gsubFeatures=false` (иначе `WordLayoutFixups` отказывает всем фиксам → FOP падает), `docx4j.fonts.discoverPhysicalFonts.enabled=false`, `discoverJarFonts.enabled=false` — не удалять.
- Единственный XSL-FO-стилист — вендорный `wordpdf-core/src/main/resources/xslt/docx2fo.xslt` (копия из docx4j-export-fo 17.3.2 + AUDIT-FIX-патчи); обновление docx4j = ручной перенос патчей; дрейф-гейт `vendoredXsltTracksJarCopy`.
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF; в app исключён (logback).
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 (транзитив от `docx4j-export-fo`, в pom не пинится); расхождения с upstream-доками FOP нормальны; `lineRule=auto` не «чинить».
- Chart-media префикс `/word/media/chart-*` — пакетный контракт с `ChartImageHandler` (отключение пересжатия); переименование молча вернёт мыльный ресемпл.
- Единственный XSL-FO-стилист — вендорный `wordpdf-core/src/main/resources/xslt/docx2fo.xslt` (копия из docx4j-export-fo 17.3.2 + AUDIT-FIX-патчи); обновление docx4j = ручной перенос патчей; дрейф-гейт `vendoredXsltTracksJarCopy`; команда ре-вендоринга — `docs/agent/repo-map.md`.
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF; в app исключён (logback). Fontbox логируется commons-logging — единственный мост `jcl-over-slf4j`; `commons-logging` исключён из pdfbox/fontbox в dependencyManagement.
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 (транзитив от `docx4j-export-fo`, в pom не пинится); `jeuclid-fop`/`jeuclid-core` исключены из `docx4j-export-fo` в core-pom (тянут AWT/fontconfig); расхождения с upstream-доками FOP нормальны; `lineRule=auto` не «чинить».
- Chart-media префикс `/word/media/chart-*` — константа `DrawingPreRenderer.CHART_MEDIA_URI_PREFIX` (package-private), пакетный контракт с `ChartImageHandler` (отключение пересжатия); переименование молча вернёт мыльный ресемпл.
- Стоп-лист «не чинить» (до любой попытки починить расхождение с Word — `docs/agent/render-limitations.md`): `jc="distribute"`, `suff="tab"`/`lvlJc`, кернинг, `framePr`, `REF`/`SEQ`/`TOC`-кэш, руби-надстрочница, `ptab`, U+2188/U+218A (GPL-шрифты не добавляем).
- Комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.2 (поведение описано верно).
## Key Directories
|Каталог|Назначение|
|---|---|
|`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API + `internal/` (нормализаторы) + `internal/doc/` (мост) + `internal/chart/` (рендер) + `fonts/`|
|`wordpdf-core/src/main/resources/`|`fonts/` (30 TTF + лицензии OFL), `xslt/docx2fo.xslt`, `slf4j-simple.properties`|
|`wordpdf-core/src/test/resources/samples/`|фикстуры: 13 `.docx` + 12 `.doc` (закоммичены, билдятся в test-jar для app)|
|`wordpdf-core/src/main/resources/`|`fonts/` (30 TTF + лицензии OFL/Bitstream-Vera/Noto), `xslt/docx2fo.xslt`, `slf4j-simple.properties`|
|`wordpdf-core/src/test/resources/samples/`|фикстуры: 13 `.docx` + 12 `.doc` (закоммичены, билдятся в test-jar для app; у app своего `src/test/resources` **нет**)|
|`wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/`|REST-слой (11 классов)|
|`wordpdf-web/src/`|SPA: `api.ts` (сеть), `App.tsx` (состояние), `components/`|
|`wordpdf-web/src/`|SPA: `api.ts` (вся сеть), `components/` (`App.tsx` — состояние, `ApiKeyGate`, `DropZone`, `PdfPreview`, `StatusMessage`, `Logo`)|
|`prod-autotests/`|pytest-проверки живого стенда (31: 4 открытые + 27 `needs_key`)|
|`docs/agent/` · `docs/standards/`|справочники поведения · закоммиченные спецификации (ECMA-376, MS-DOC/CFB/ODRAW…, навигатор — `docs/standards/README.md`)|
|`gateway/nginx.conf`|прод-like шлюз (`client_max_body_size 100m`, таймауты 300 с)|
|`develop/`|вне git: эталоны Word — **не фикстуры**, в тесты/jar не подключать|
|`gateway/nginx.conf`|прод-like шлюз (`client_max_body_size 100m`, таймауты 300 с, `resolver` привязан literal-ом к шлюзу сети)|
|`develop/`|вне git (gitignored): эталоны Word — **не фикстуры**, в тесты/jar не подключать|
## Development Commands
Бутстрап: `sh bootstrap.sh` (Windows: `powershell -ExecutionPolicy Bypass -File .\bootstrap.ps1`) — project-local mise в `./.mise/`, дальше всё через `./mise.sh` / `.\mise.ps1`.
Бутстрап: `sh bootstrap.sh` (Windows: `powershell -ExecutionPolicy Bypass -File .\bootstrap.ps1`) — project-local mise 2026.10.19 в `./.mise/` + `mise install` + `npm ci` web; дальше всё через `./mise.sh` / `.\mise.ps1` (тонкие exec-обёртки; инструменты — в `~/.local/share/mise`).
```bash
./mise.sh run verify # = mvn clean verify: тесты + PMD + JaCoCo (гейт перед push)
./mise.sh run verify-nofontconfig # тот же verify в контейнере без fontconfig (как CI)
./mise.sh run verify-nofontconfig # тот же verify в контейнерах без fontconfig (как CI)
mvn test -Djacoco.skip=true # работает: пустой <argLine> по умолчанию в корневом pom
mvn -pl wordpdf-core test -Dtest=WordPdfConverterTest#pageNumbers_recomputedNotCached
mvn -pl wordpdf-app -am test -Dtest=ConvertControllerTest#convertSample_returnsPdf # -am обязателен: core test-jar
./mise.sh run app-package && java -jar wordpdf-app/target/wordpdf-app-1.0.0.jar # :8080, ключ выключен
./mise.sh run app-package && ./mise.sh run app-run # jar :8080, ключ выключен
curl -F "file=@doc.docx" http://localhost:8080/api/v1/convert -o doc.pdf
./mise.sh run web-install|web-build|web-lint|web-dev # npm ci | tsc -b && vite build | oxlint | vite :5173
./mise.sh run mem-bench # membench.sh + core MemoryBench (MB_LABEL, --scenario suite|big|all, --dir develop/)
podman-compose -f compose.dev.yml up -d --build --force-recreate # dev-стенд :9011, без ключа
podman-compose up -d --build # prod-like стенд :9010 — fail-closed: нужен .env с WORDPDF_API_KEY (шаблон .env.example)
./mise.sh run prod-tests # pytest; обязателен WORDPDF_BASE_URL
./mise.sh run docs-install|docs-serve|docs-build|docs-javadoc|docs-deploy # сайт документации (MkDocs Material): venv+pip | preview :8000 | strict-сборка в site/ | javadoc core | публикация в ~/srv/wordpdf-docs (юнит wordpdf-docs.service, :9012)
python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources/samples/*.docx # XSD (lxml)
```
- «Запусти тестовый сервер» (термин пользователя) = dev-стенд выше, **не** `java -jar`; гейт готовности — контейнеры healthy + корень SPA 200; `--force-recreate` обязателен.
- `mvn test` PMD/JaCoCo **не** запускает (оба на `verify`); `mvn -pl wordpdf-app` без `-am` падает (зависимость от core test-jar).
- «Запусти тестовый сервер» (термин пользователя) = dev-стенд выше, **не** `java -jar`; вход — `http://<LAN-IP>:9011` (`hostname -I`); гейт готовности — контейнеры healthy (`podman-compose -f compose.dev.yml ps`) + корень SPA 200; `--force-recreate` обязателен.
- `mvn test` PMD и проверки JaCoCo **не** запускает (оба на `verify`; сам агент JaCoCo подключается и на `test` — execution `prepare-agent` на `initialize`); `mvn -pl wordpdf-app` без `-am` падает (зависимость от core test-jar).
- Деплой — push в `main` → Gitea Actions (детали — `docs/agent/ci-cd.md`); **перед деплоем/перезапуском прочитать `/home/pjandro/prod/java-word-pdf/DEPLOY.md`** (вне репо); ручных скриптов нет.
## Code Conventions & Common Patterns
@@ -85,40 +89,42 @@ python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources
- Классы `final`, приватный конструктор, только `static` (stateless, DI в ядре нет). Исключения-экземпляры: `BundledFontMapper`, Spring-компоненты app. В `internal/**` классы package-private; `public` — только вызываемые извне пакета, контракт не расширять.
- Ошибки публичного API — только `ConversionException extends RuntimeException`; `ValidationException` не оборачивать; в chart — деградация вместо падения; текст 500 наружу фиксированный (сообщения ядра логируются, не отдаются).
- Javadoc на русском: «зачем» со ссылкой на секцию спецификации (§17.3.2.24, [MS-DOC] §2.6.1…) + что сломается без шага + регрессия в формате `Регрессия — WordPdfConverterTest#имя, фикстура samples/….docx` (по этой строке грепом восстанавливаются пары «нормализатор-тест ↔ тест-в-конвейере»).
- Логирование по пакетам: `java.util.logging` — корневой пакет и `internal/`; SLF4J — `internal/chart` и `wordpdf-app`.
- Модели — `record` (`ConvertOptions`, `BundledFonts.Entry`, `ApiError`); константы UPPER_SNAKE с javadoc-обоснованием числа; holder-идиомы для ленивой инициализации (`VendoredXslt.TEMPLATES`); compile-time literals там, где важен инлайн (`WordPdfConverter` ↔ `WordPdfValidator`).
- Шрифты: новый шрифт = файл в `resources/fonts/` + запись в `BundledFonts.ENTRIES` (синхрон проверяет `BundledFontsTest`); алиасы — `BundledFontMapper.ALIASES` (Calibri→Carlito, Arial→Arimo, Times New Roman→Tinos, …), fallback — DejaVu Sans.
- Логирование по пакетам: `java.util.logging` — корневой пакет и `internal/` (`WordPdfConverter`, `OleObjectNormalizer`, `DocToDocx`); SLF4J — `internal/chart` (`ChartRenderer`, `DrawingPreRenderer`) и `wordpdf-app`; остальное молчит.
- Модели — `record` (`ConvertOptions`, `BundledFonts.Entry`, `MathRenderer.MathImage`, `ApiError`); константы UPPER_SNAKE с javadoc-обоснованием числа; holder-идиомы для ленивой инициализации (`VendoredXslt.TEMPLATES`); DCL+caches (`sharedFopFactory`, `GlyphFont.CACHE`); compile-time literals там, где важен инлайн (`WordPdfConverter` ↔ `WordPdfValidator`).
- Шрифты: новый шрифт = файл в `resources/fonts/` + запись в `BundledFonts.ENTRIES` (синхрон проверяет `BundledFontsTest`); алиасы — `BundledFontAliases.ALIASES` (Calibri→Carlito, Cambria→Caladea, Arial→Arimo, Times New Roman→Tinos, Courier New→Cousine, …; вынесено из `BundledFontMapper`, чтобы обращение к статикам не инициировало ungated-скан `BestMatchingMapper.<clinit>`), fallback — DejaVu Sans.
- PMD (`pmd-ruleset.xml`, execution `pmd-check` на `verify`, `includeTests=true`, валит любой приоритет): правила не перенастраивать, подавления (`@SuppressWarnings("PMD…")`, `// NOPMD`) запрещены — нарушения чинятся кодом.
- Git: origin `git.pjandro.ru:pjandro/java-word-pdf`; защищённые `main`/`master`/`dev`; все правки — через PR в дефолтную ветку; push — только после `./mise.sh run verify`. Прод-координаты и креды в репо не попадают (Gitea Variables/Secrets — `GITEA-vars.md`; `WORDPDF_API_KEY` ни в один файл).
- Git: origin `git.pjandro.ru:pjandro/java-word-pdf`; защищённые `main`/`master`/`dev`; все правки — через PR в дефолтную ветку; push — только после `./mise.sh run verify`. Прод-координаты и креды в репо не попадают (Gitea Variables/Secrets — `GITEA-vars.md`; прод-ключ — только Gitea Secret; локальный `.env` gitignored, только для prod-like стенда).
## Important Files
|Файл|Что держать в голове|
|---|---|
|`pom.xml` (корень)|единственное место версий (properties + dependencyManagement): docx4j 17.3.2, commons-compress 1.28.0, Boot 4.1.1 BOM, springdoc 3.1.1, JUnit 6.1.3, PDFBox 3.0.8, POI 5.5.1 (test), JaCoCo 0.8.15, PMD-плагин 3.21.2|
|`pom.xml` (корень)|единственное место версий (properties + dependencyManagement): docx4j 17.3.2, commons-compress 1.28.0, slf4j 2.0.20, Boot 4.1.1 BOM, springdoc 3.1.1, JUnit 6.1.3, PDFBox/fontbox 3.0.8, POI 5.5.1 (test), JaCoCo 0.8.15, PMD-плагин 3.21.2; там же плагины: compiler 3.16.0, surefire 3.6.0 (`-Djava.awt.headless=true`), jar 3.5.1; пустой `<argLine/>` — ради `-Djacoco.skip=true`|
|`wordpdf-core/src/main/java/.../WordPdfConverter.java`|весь конвейер, static-блок sysprops, пороги-константы, монитор сериализации|
|`wordpdf-app/src/main/resources/application.properties`|`convert-timeout=2m`, multipart 100 MB; `wordpdf.max-mb`/`max-pages` здесь **не объявлять намеренно** — пустое значение затенит `@Value`-дефолты 5/100|
|`wordpdf-core/pom.xml` / `wordpdf-app/pom.xml`|execution `test-jar`; BRANCH-гейт 0.85 (только core); exclusion `slf4j-simple`; Boot-4 имена: `spring-boot-starter-webmvc` (не `-web`), отдельный `spring-boot-webmvc-test`; `repackage` привязан явно|
|`Containerfile` / `Containerfile.test` / `compose*.yml` / `gateway/nginx.conf`|прод-образ (heap 2G, wget-healthcheck, FQDN FROM, обнуление прокси на команде) / CI-гейт без fontconfig / стенды :9010–:9011 / шлюз|
|`.gitea/workflows/pr.yml`, `main.yml`, `.ci/maven-settings.xml`|CI-конвейер; шаги java/web в обоих — идентичные; зеркало Nexus `${env.MAVEN_MIRROR_URL}`, `mirrorOf="*"`|
|`wordpdf-web/src/api.ts`, `vite.config.ts`|вся сеть SPA; `base` — только через env `VITE_BASE` (прод `/pdf-converter/`)|
|`wordpdf-app/src/main/resources/application.properties`|multipart 100MB/100MB (зеркалит nginx `client_max_body_size`) + `file-size-threshold=2MB` (сброс больших частей на диск — защита от OOM), `convert-timeout=2m`, `api-key=` (пусто = auth off), `forward-headers-strategy=framework`; `wordpdf.max-mb`/`max-pages` здесь **не объявлять намеренно** — пустое значение затенит `@Value`-дефолты 5/100 (≤ 0 на старте → `IllegalStateException`)|
|`wordpdf-core/pom.xml` / `wordpdf-app/pom.xml`|execution `test-jar`; BRANCH-гейт 0.85 (только core); exclusions: jeuclid (core), `slf4j-simple` (app); Boot-4 имена: `spring-boot-starter-webmvc` (не `-web`), отдельный `spring-boot-webmvc-test`; `repackage` привязан явно|
|`Containerfile` / `Containerfile.test` / `compose*.yml` / `gateway/nginx.conf`|прод-образ (heap 2G, mem_limit 3G, wget-healthcheck, FQDN FROM, non-root 10001, обнуление прокси на команде) / CI-гейт без fontconfig (Debian-база — alpine amd64-only; `SUREFIRE_OS_NAME` для macos-sim) / стенды :9010–:9011 / шлюз. Нюанс: repo `compose.yml` (prod-like) гасит springdoc env-ами и требует `.env`-ключ, а реальный прод из CI-рендера держит swagger открытым (`test_swagger_ui_open_without_key`) — не путать|
|`.gitea/workflows/pr.yml`, `main.yml`, `.ci/maven-settings.xml`|CI: jobs `java`/`web` в обоих — идентичные шаги, в `pr.yml` дополнительно `macos-sim` (те же тесты с `--build-arg SUREFIRE_OS_NAME="Mac OS X"`, только на PR, не required-гейт); `main.yml`: `images-* → deploy → autotests (+ rollback при failure)`; Maven в CI живёт в контейнере `maven:3.9-eclipse-temurin-17`; зеркало `${env.MAVEN_MIRROR_URL}`, `mirrorOf="*"`|
|`wordpdf-web/src/api.ts`, `vite.config.ts`|вся сеть SPA; `base` — только через env `VITE_BASE` (в прод-образ запекается `--build-arg VITE_BASE=/pdf-converter/` в job `images-web`)|
|`mise.toml`, `GITEA-vars.md`|пины инструментов и все таски / полный список Secrets+Variables CI и настройка branch protection|
## Runtime/Tooling Preferences
- Java 17 temurin + Maven 3.9.16 (пин в `mise.toml`, `mvnw` **нет** — только системный Maven из mise); UTF-8; Node 24, Python 3.15 — всё через project-local mise (`./.mise/bin/mise`, вне системы).
- Java 17 temurin + Maven 3.9.16 + Node 24 + Python 3.15 — пинины в `mise.toml`, всё через project-local mise (`./.mise/bin/mise`, вне системы); `mvnw` **нет** (`.mvn/` — пустой) — только Maven из mise. UTF-8.
- Только Maven (никаких Gradle/Ant). Версии зависимостей/плагинов — только в корневом `pom.xml`; FOP-форк отдельно не пинить; `commons-compress` не завышать (привязан к docx4j 17.3.2); `<repositories>` в pom не добавлять (зеркало — через settings).
- Контейнеры: podman/buildah; `FROM` только FQDN; хостовые прокси-переменные обнулять на самой команде в `RUN`/`HEALTHCHECK`; `DOCKER_BUILDKIT=0` (CI); healthcheck через wget, не curl; fontconfig рантайму не нужен (глифы — fontbox).
- Сеть: наружу публикуется только gateway (9010/9011); 8080/80 наружу не выставлять; подсети compose зафиксированы (nginx `resolver` привязан к шлюзу).
- Прод-стек (`docker-compose.yml`, `nginx.conf`) рендерится job'ом `deploy` из Variables — копий на хосте/в репо не заводить; required-контексты защиты `main` — буквально `PR checks / java (pull_request)`, `PR checks / web (pull_request)` (deploy/autotests не включать).
- Веб: только npm (`package-lock.json` закоммичен; никаких pnpm/yarn); линтер — oxlint (не eslint).
- Контейнеры: podman/buildah; `FROM` только FQDN; хостовые прокси-переменные обнулять на самой команде в `RUN`/`HEALTHCHECK`; `DOCKER_BUILDKIT=0` (CI); healthcheck через wget, не curl; fontconfig рантайму не нужен (глифы — fontbox); alpine-теги maven/temurin amd64-only — тестовый образ на Debian-базе.
- Сеть: наружу публикуется только gateway (9010/9011); 8080/80 наружу не выставлять; подсети compose зафиксированы (nginx `resolver` привязан literal-ом к шлюзу сети — 10.113.0.1 стенды / 10.112.0.1 прод).
- Прод-стек (`docker-compose.yml`, `nginx.conf`) рендерится job'ом `deploy` из Variables — копий на хосте/в репо не заводить; required-контексты защиты `main` (по `GITEA-vars.md`) — буквально `PR checks / java (pull_request)`, `PR checks / web (pull_request)`; `macos-sim`, deploy/autotests — не required.
## Testing & QA
- Гейты на `verify`: PMD 6.55.0 (движок плагина 3.21.2 — осознанный откат, ruleset использует удалённые в PMD 7 `*MustUseBraces`) + JaCoCo: LINE ≥ 0.90 оба модуля, BRANCH ≥ 0.85 только core; при провале отчёт уже в `target/site/jacoco/`. CI-эквивалент — `./mise.sh run verify-nofontconfig`.
- Стек: JUnit 6 (`org.junit.jupiter`), **только `Assertions`** — Mockito/AssertJ запрещены (в app-тестах допустим inline-Hamcrest `containsString` в `andExpect`); тестовые классы package-private, зеркалят main-пакеты; только `@Test` (исключения: два `@BeforeAll` прогрева и `@AfterEach drainWorker` в `ConversionTimeoutTest`); ни `@Nested`, ни `@ParameterizedTest`, ни `@Disabled`, ни `assertAll`.
- Гейты на `verify`: PMD (движок 6.55.0 — default внутри maven-pmd-plugin 3.21.2, отдельно в pom не пинится; осознанный откат — ruleset использует удалённые в PMD 7 `*MustUseBraces`; подавлений в коде нет и быть не должно) + JaCoCo: LINE ≥ 0.90 оба модуля, BRANCH ≥ 0.85 только core; при провале отчёт уже в `target/site/jacoco/` (`report` привязан до `check`). CI-эквивалент — `./mise.sh run verify-nofontconfig`.
- Стек: JUnit 6 (`org.junit.jupiter`), **только `Assertions`** — Mockito/AssertJ запрещены и в pom их нет; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` (полностью квалифицирован, без импортов) в `andExpect`; app не объявляет junit сам — только через `spring-boot-starter-test`. Тестовые классы package-private, зеркалят main-пакеты; только `@Test` (исключения: два `@BeforeAll` прогрева шрифтов и `@AfterEach drainWorker` в `ConversionTimeoutTest`); ни `@Nested`, ни `@ParameterizedTest`, ни `@Disabled`, ни `assertAll`.
- Именование: регрессионные — `объект_условие` (`pageNumbers_recomputedNotCached`), юниты — camelCase (`pageFieldBecomesFldSimple`).
- **PDF сравнивается текстом**: PDFBox 3 `PDFTextStripper` (`norm` схлопывает пробелы; негативные маркеры — `#`/`.notdef` и `Helvetica`; приём `fontNameOf` — имя шрифта символа). Пиксели — только юниты chart-пейнтеров (`assertRatio` < 0.06 / < 0.10). Сообщения ассертов — по-русски с наблюдаемым значением; литерал слева (`"%PDF".equals(…)`).
- Фикстуры — только закоммиченные `samples/*.docx`/`*.doc`, в тестах не генерировать (пересоздание — одноразовые `SampleDocxGenerator`/`ChartTypesDocxGenerator`, POI test-scope); XSD-невалидная фикстура правится, не код. Синтетика в памяти разрешена: docx — `ZipOutputStream` из литеральных XML, `.doc` — крафт `POIFSFileSystem`.
- **PDF сравнивается текстом**: PDFBox 3 `PDFTextStripper` (`norm` схлопывает пробелы; негативные маркеры — `#`/`.notdef` и `Helvetica`; приём `fontNameOf` — имя шрифта символа, живёт только в `WordPdfConverterTest`). Пиксели — только юниты chart-пейнтеров (`assertRatio` < 0.06 / < 0.10, эталонные числа Word-рендеров 300 dpi захардкожены). Тестовых утилит нет — хелперы намеренно дублируются в классах. Сообщения ассертов — по-русски с наблюдаемым значением; литерал слева (`"%PDF".equals(…)`).
- Фикстуры — только закоммиченные `samples/*.docx`/`*.doc`, в тестах не генерировать; XSD-невалидная фикстура правится, не код. Синтетика в памяти разрешена: docx — `ZipOutputStream` из литеральных XML, `.doc` — крафт `POIFSFileSystem`. Пересоздание — одноразовые `SampleDocxGenerator`/`ChartTypesDocxGenerator` (POI test-scope, команда — `docs/agent/repo-map.md`); `charts-smartart.docx` и `ole-embedded.docx` сделаны руками — **никогда не перезаписывать** (все 12 `.doc` — эталоны заказчика, не вывод генераторов).
- Идиома загрузки (ловушка): **core** — classloader без ведущего слэша (`getResourceAsStream("samples/…")`); **app** — class-relative со слэшем (`"/samples/…"`, ресурсы из core test-jar).
- App-тесты: 4 набора свойств = 4 класса-контекста (`ConvertControllerTest` пинует пустой `wordpdf.api-key=`; `ApiKeyFilterTest`; `ConvertLimitsTest`; `ConversionTimeoutTest`); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring; проверяют только HTTP-код/заголовки/текст ошибки; core-юниты Spring не поднимают.
- Регрессивная конвенция: фикс = нормализатор/рендерер + юнит + конвертер-тест + javadoc-ссылка. Счётчики и детали — `docs/agent/testing.md`.
- Прод-автотесты: pytest + requests, конфигурация **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY` факультативен → `needs_key` SKIP, `WORDPDF_MAX_MB`/`MAX_PAGES` — ожидаемые лимиты стенда); запуск `./mise.sh run prod-tests` либо job `autotests` в CI.
- App-тесты: 4 набора свойств = 4 Spring-контекста (`ConvertControllerTest` пинует пустой `wordpdf.api-key=`; `ApiKeyFilterTest`; `ConvertLimitsTest`; `ConversionTimeoutTest`); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring; проверяют только HTTP-код/заголовки/текст ошибки; core-юниты Spring не поднимают. Ловушка: mise инжектирует корневой `.env` в окружение задач — ambient `WORDPDF_API_KEY` взорвёт 401 все MockMvc-тесты, если ключ не запинен свойствами контекста.
- Регрессивная конвенция: фикс = нормализатор/рендерер + юнит + конвертер-тест + javadoc-ссылка. Счётчики (2026-11): 63 класса / 1005 тестов (core 57/957, app 6/48); детали — `docs/agent/testing.md`.
- Прод-автотесты: pytest 9.1.1 + requests 2.34.2 (timeout `(10,180)` — больше серверных 2m), конфигурация **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY` факультативен → `needs_key`-декоратор `skipif` (немаркированный marker — маркеры не регистрируются) даёт SKIP, `WORDPDF_MAX_MB`/`MAX_PAGES` — ожидаемые лимиты стенда 5/100, `WORDPDF_SAMPLES_DIR` — путь к фикстурам); запуск `./mise.sh run prod-tests` либо job `autotests` в CI.
+16 -1
View File
@@ -42,4 +42,19 @@ COPY wordpdf-core/pom.xml wordpdf-core/
COPY wordpdf-app/pom.xml wordpdf-app/
RUN HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= mvn -B -q dependency:go-offline
COPY . .
RUN HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= mvn -B clean verify
# Эмуляция чужой ОС в fork-нутом surefire-JVM: пусто (дефолт) — прежнее
# поведение (одна команда mvn, байт-в-байт как раньше); job `macos-sim` передаёт
# "Mac OS X" (docx4j PhysicalFonts читает os.name и уходит в
# MicrosoftFontsRegistry.getMsFonts()).
# Флаг на команде mvn попадает и в саму Maven-JVM: в Linux-JDK нет
# jdk/net/MacOSXSocketOptions, и первая же сетевая загрузка (surefire-провайдер,
# optional-зависимости, PMD-скин — всё, что НЕ закрыто dependency:go-offline)
# упала бы AssertionError на создании сокета. Поэтому при непустом флаге первым
# проходит полный verify БЕЗ флага — он догревает локальный репозиторий до нуля
# загрузок, и второй verify с флагом уже не открывает сокетов вовсе. Пустой флаг
# = один verify, прежний путь.
ARG SUREFIRE_OS_NAME=
RUN echo "SUREFIRE_OS_NAME=[${SUREFIRE_OS_NAME}]" && \
HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= \
sh -c '[ -z "$SUREFIRE_OS_NAME" ] || mvn -B -q clean verify || exit 1; \
exec mvn -B clean verify ${SUREFIRE_OS_NAME:+-Dos.name="$SUREFIRE_OS_NAME"}'
+32 -322
View File
@@ -6,22 +6,6 @@
идёт тем же конвейером. Шрифты упакованы в jar — конвертация не зависит от
шрифтов, установленных в системе (работает «из коробки» на голом сервере).
## Возможности
- Поддержка RU/EN: кириллица и латиница встраиваются в PDF (embedded-подмножества).
- Самодостаточность: TTF выгружаются из jar в временный каталог и регистрируются
в docx4j/FOP.
- Частые MS-шрифты подменяются метрически совместимыми open-source аналогами
(см. «Шрифты» ниже).
- Диаграммы и SmartArt растеризуются в PNG собственным Java2D-движком — без Word/LibreOffice.
- Бинарный `.doc` (Word 97–2003): текст, стили, таблицы, списки, колонтитуки,
картинки — собственный мост `internal/doc` без внешних зависимостей;
error-флаги диаграмм/SmartArt/OLE на `.doc` не срабатывают (BLIP-плейсхолдеры
уже растры → вставляются картинками; EMF/WMF/PICT пропускаются с warn).
- OLE-внедрения вычищаются перед загрузкой; картинка-плейсхолдер из документа сохраняется.
- Клиентская библиотека (`wordpdf-core`), REST API (`wordpdf-app`, Spring Boot)
и веб-интерфейс (`wordpdf-web`, React SPA).
## Структура
```
@@ -31,330 +15,56 @@ java-word-pdf/
└── wordpdf-web/ веб-интерфейс (React + TypeScript + Vite + Tailwind, вне Maven)
```
Ключевые классы (`wordpdf-core`):
## Быстрый старт
|Класс|Назначение|
|---|---|
|`ru.pjandro.wordpdf.WordPdfConverter`|публичный API: `convert(byte[], String, ConvertOptions)` — .docx/.doc по сигнатуре байтов, байты PDF на выходе; `warmup()` — прогрев ядра|
|`ru.pjandro.wordpdf.WordPdfValidator`|валидация входа и lightweight-оценка страниц без рендера (`checkInput`/`validate`; подсчёт страниц — внутренний метод)|
|`ru.pjandro.wordpdf.ConvertOptions`|опции конвертации (record `errorOnCharts, errorOnSmartArt, errorOnOle, maxMb, maxPages`); дефолтов в ядре нет — значения задаёт вызывающий|
|`ru.pjandro.wordpdf.ConversionException`|ошибки конвертации; подтипы `ValidationException` (некорректный вход) и `ChartsFoundException`/`SmartArtFoundException`/`OleFoundException` (по error-флагам)|
|`ru.pjandro.wordpdf.fonts.BundledFonts`|выгрузка TTF из jar и регистрация в docx4j|
|`ru.pjandro.wordpdf.fonts.BundledFontMapper`|маппинг имён шрифтов документа → TTF|
|`ru.pjandro.wordpdf.internal.DocxRewritePipeline`|правила 1–10 нормализации XML-частей одним zip-проходом (+ `OleObjectNormalizer`, правило 11)|
|`ru.pjandro.wordpdf.internal.doc.DocToDocx`|мост бинарного `.doc` → in-memory `.docx` (`convert`/`countPages`)|
|`ru.pjandro.wordpdf.internal.FopFallbackFonts`|декларация fallback-семейства в FOP-конфиге|
|`ru.pjandro.wordpdf.internal.chart.DrawingPreRenderer`|диаграммы/SmartArt → PNG до XSL-FO|
## Инструменты проекта (mise)
Java, Maven, Node и Python для разработки ставит project-local mise: сам бинарь —
в `./.mise/bin` (gitignored), кеш инструментов — в user-директории mise, в систему
ничего не устанавливается. Версии зафиксированы в корневом `mise.toml`
(temurin-17, maven 3.9.16, node 24, python 3.15).
Первая настройка — скачивает mise, ставит инструменты и делает `npm ci` SPA:
Первая настройка — project-local mise (ставит temurin-17, maven 3.9.16, node 24,
python 3.15 в кеш mise, в систему ничего не идёт) + `npm ci` SPA:
```bash
sh bootstrap.sh # Linux / macOS
```
```powershell
powershell -ExecutionPolicy Bypass -File .\bootstrap.ps1 # Windows
```
Дальше команды — через обёртку `./mise.sh` (Linux/macOS) или `.\mise.ps1` (Windows):
Дальше всё через обёртку `./mise.sh` (Windows: `.\mise.ps1`):
```bash
./mise.sh run verify # полный гейт перед push: тесты + PMD + JaCoCo
./mise.sh exec -- mvn -v # любая команда с инструментами проекта в PATH
./mise.sh tasks # список задач с описаниями
./mise.sh run verify # полный гейт перед push: тесты + PMD + JaCoCo
./mise.sh run app-package && ./mise.sh run app-run # бэкенд на :8080, ключ выключен
curl -F "file=@doc.docx" http://localhost:8080/api/v1/convert -o doc.pdf
```
Задачи проекта (`./mise.sh run <задача>`):
Стенды на контейнерах (podman), наружный вход — только nginx-gateway:
```bash
cp .env.example .env # WORDPDF_API_KEY: openssl rand -hex 32
podman-compose up -d --build # prod-like :9010 (fail-closed: без ключа не встанет)
podman-compose -f compose.dev.yml up -d --build --force-recreate # dev :9011, без ключа
```
## Задачи проекта (`./mise.sh run <задача>`)
|Задача|Содержание|
|---|---|
|`verify`|`mvn clean verify` — тесты + PMD + JaCoCo|
|`verify-nofontconfig`|`mvn clean verify` в контейнере без fontconfig (гейт CI; требует podman/docker)|
|`app-package`|исполняемый jar бэкенда|
|`app-run`|бэкенд на :8080, ключ выключен (после `app-package`)|
|`web-install`|`npm ci` в `wordpdf-web`|
|`web-build`|гейт SPA: `tsc -b && vite build`|
|`web-lint`|oxlint|
|`web-dev`|SPA на :5173, vite-proxy на :8080|
|`verify-nofontconfig`|тот же verify в контейнере без fontconfig (гейт CI; требует podman/docker)|
|`mem-bench`|замер памяти конвейера (TSV пиков + JFR)|
|`app-package` / `app-run`|исполняемый jar бэкенда / бэкенд на :8080|
|`web-install` / `web-build` / `web-lint` / `web-dev`|SPA: `npm ci` / гейт `tsc -b && vite build` / oxlint / :5173|
|`prod-tests`|прод-автотесты; обязателен `WORDPDF_BASE_URL`, факультативно `WORDPDF_API_KEY`|
|`docs-install` / `docs-serve` / `docs-build`|сайт документации: venv+pip / preview :8000 / strict-сборка в `site/`|
|`docs-javadoc` / `docs-deploy`|javadoc core / публикация сайта на rpi (:9012)|
Альтернатива обёртке — активировать mise в шелле и работать напрямую
(`mvn`, `npm`, `python`): `eval "$(./.mise/bin/mise activate bash)"`.
## Сборка
## Документация
Требуется **Java 17** и **Maven** (бэкенд), **Node.js `^20.19.0 || >=22.12.0`**
(engines Vite 8; mise ставит Node 24) — всё это ставит project-local mise
(см. «Инструменты проекта (mise)» выше). Команды ниже запускайте через
`./mise.sh exec -- …` (Windows: `.\mise.ps1 exec -- …`) либо после активации mise в шелле.
```bash
mvn clean verify # все модули + тесты
mvn -pl wordpdf-app -am package # исполняемый jar бэкенда
```
Результат: `wordpdf-app/target/wordpdf-app-<версия>.jar` (все зависимости
внутри). Для фронтенда — отдельные команды (вне Maven): `npm ci && npm run build`
в `wordpdf-web/` — по закоммиченному `package-lock.json` (то же делают задачи
mise `web-install`/`web-build`; результат — статика в `wordpdf-web/dist/`).
## Использование
### REST API
```bash
java -jar wordpdf-app/target/wordpdf-app-1.0.0.jar
curl -H "X-API-Key: $WORDPDF_API_KEY" -F "file=@doc.docx" \
http://localhost:8080/api/v1/convert -o doc.pdf
```
`POST /api/v1/convert` принимает multipart-поле `file` (.docx или .doc) и синхронно
возвращает байты PDF (`application/pdf`, `Content-Disposition: attachment;
filename*=UTF-8''…` — имя файла санитизировано, кириллица разрешена).
**Ключ доступа.** Заголовок `X-API-Key` сверяется со свойством `wordpdf.api-key`
(env `WORDPDF_API_KEY`); пустое свойство — аутентификация выключена (`java -jar`,
dev-стенд). Без ключа открыты `/actuator/`, `/swagger-ui`, `/v3/api-docs`; без ключа
или с неверным — 401 `{"error":"Ключ доступа не передан или неверен (заголовок X-API-Key)"}`.
**Факультативные query/form-параметры** `errorOnCharts`/`errorOnSmartArt`/`errorOnOle`
(Boolean, дефолт `false`): при `true` соответствующие объекты в документе отменяют
конвертацию с 422. Диаграммы/SmartArt конвертируются в растры всегда; OLE-объекты
при `errorOnOle=false` тихо удаляются.
**Лимиты входа**: свойства `wordpdf.max-mb`/`wordpdf.max-pages`
(env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`, дефолты 5 МБ / 100 страниц) —
дефолт эндпоинта; query/form-параметры `maxMb`/`maxPages` переопределяют его
в обе стороны (значения ≤ 0 → 400). Остальные пороги (распаковка архива,
XML-части, площади растров, число записей zip) выводятся из лимитов входа.
|Код|Смысл|
|---|---|
|200|PDF в теле ответа|
|400|некорректный вход (пустой / расширение не .docx/.doc / содержимое не zip и не CFB / зашифрованный .doc / больше лимита размера (`maxMb` или `wordpdf.max-mb`) / больше лимита страниц (`maxPages` или `wordpdf.max-pages`) / `maxMb`≤0 / `maxPages`≤0), отсутствующая часть `file`, некорректное значение error-флага|
|401|нет или неверен `X-API-Key`|
|404|неизвестный путь (в т.ч. `/v3/api-docs` при выключенном springdoc)|
|405|не-POST|
|413|тело запроса больше контейнерного лимита multipart (100 МБ; авторитетный лимит входа — `wordpdf.max-mb`, он даёт 400 раньше)|
|415|не-multipart тело|
|422|сработал error-флаг: в документе найдены диаграммы / SmartArt / OLE-объекты|
|500|ошибка ядра/рендера|
|503|очередь конвертации (16 мест) переполнена — повторить позже|
|504|конвертация дольше `wordpdf.convert-timeout` (по умолчанию 2m)|
Ошибки — JSON `{"error": "..."}`. Конвертации сериализуются одним воркером: ядро
мутирует глобальный реестр шрифтов; головой очереди на старте стоит `warmup()` —
первый запрос после деплоя идёт за прогретым ядром (~0,1–0,4 с вместо 1,4–1,9 с).
Интерактивная документация: Swagger UI —
`/swagger-ui.html`, OpenAPI — `/v3/api-docs` (доступны на `java -jar` и dev-стенде;
в compose-стеке springdoc выключён: `SPRINGDOC_API_DOCS_ENABLED=false`,
`SPRINGDOC_SWAGGER_UI_ENABLED=false`).
### Библиотека
```java
import ru.pjandro.wordpdf.WordPdfConverter;
import ru.pjandro.wordpdf.ConvertOptions;
import java.nio.file.Files;
import java.nio.file.Path;
byte[] docx = Files.readAllBytes(Path.of("doc.docx"));
byte[] pdf = WordPdfConverter.convert(docx, "doc"); // заголовок PDF
// с опциями: errorOnCharts/errorOnSmartArt/errorOnOle, лимиты МБ/страниц
pdf = WordPdfConverter.convert(docx, "doc", new ConvertOptions(true, false, false, 5, 100));
Files.write(Path.of("out.pdf"), pdf);
```
Ошибки валидации (содержимое не `.docx`/не `.doc` по сигнатуре, размер больше
5 МБ, страниц больше ста, зашифрованный `.doc`) бросают `ValidationException`
(подтип `ConversionException`). Формат определяется по сигнатуре байтов:
`PK\x03\x04` → .docx-путь, CFB-подпись `D0 CF 11 E0 A1 B1 1A E1` → мост → тот же
конвейер. Те же проверки без рендера доступны отдельно:
`WordPdfValidator.validate(bytes, options)`.
Работа с файлами — забота вызывающего: ядро пути не принимает.
#### Зависимость commons-compress (интеграция в чужой проект)
Ядру (через docx4j) нужен `org.apache.commons:commons-compress >= 1.25.0`,
рекомендована `1.28.0` — версию закрепляет POM ядра. Симптом старой версии в
classpath потребителя — `NoSuchMethodError:
org.apache.commons.compress.archivers.zip.ZipArchiveEntry
org.apache.commons.compress.archivers.zip.ZipArchiveInputStream.getNextEntry()`.
До входа в docx4j теперь срабатывает guard: `ConversionException` с текстом,
объясняющим, какую версию закрепить.
**Maven.** BOM (например, Spring Boot 3.x) пинит свою версию commons-compress,
а `dependencyManagement` потребителя перекрывает транзитивные версии
(«nearest wins») — закреплять нужно именно в нём:
```xml
<dependencyManagement>
<dependencies>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-compress</artifactId>
<version>1.28.0</version>
</dependency>
</dependencies>
</dependencyManagement>
```
Диагностика: `mvn dependency:tree -Dincludes=org.apache.commons:commons-compress`.
**Gradle.** По умолчанию Gradle выбирает максимальную версию и конфликт
разрешает сам — guard не сработает и не нужен. Понижает версию только явный
`constraints` / `platform` / `resolutionStrategy`: уберите понижение либо
закрепите нужную версию:
```kotlin
dependencies {
constraints {
implementation("org.apache.commons:commons-compress:1.28.0")
}
}
```
(либо `resolutionStrategy.force("org.apache.commons:commons-compress:1.28.0")`).
Диагностика: `gradle dependencies --configuration runtimeClasspath`.
### Веб-интерфейс и контейнеры (podman)
```bash
cp .env.example .env # WORDPDF_API_KEY: openssl rand -hex 32
podman-compose up -d --build
```
Наружный вход — nginx-контейнер `gateway` на `http://localhost:9010/` (контейнер
`app` наружу не публикуется). Файл `compose.yml` fail-closed: без `WORDPDF_API_KEY`
в `.env` стек не поднимется. Маршруты gateway: `/api/`, `/swagger-ui`,
`/v3/api-docs`, `/actuator` → `app:8080` (таймауты прокси 300s,
`client_max_body_size 100m`), остальное → `web` — чистая статика SPA.
Dev-стенд без ключа, с включённым springdoc:
```bash
podman-compose -f compose.dev.yml up -d --build --force-recreate # http://<LAN-IP>:9011
```
(`--force-recreate` обязателен: без него podman-compose пересоберёт образ, но
контейнеры оставит на старом — будет крутиться jar прошлой сборки)
Dev-режим без контейнеров: бэкенд `java -jar wordpdf-app/target/wordpdf-app-1.0.0.jar`
(порт 8080, ключ выключен) + `npm run dev` в `wordpdf-web/` → `http://localhost:5173`
(Vite проксирует `/api`, `/swagger-ui`, `/v3/api-docs` на 8080, CORS не нужен).
## Шрифты
В `wordpdf-core/src/main/resources/fonts/` упакованы 30 TTF: 7 текстовых
семейств по 4 начертания плюс два покрывающих шрифта (только regular):
| Семейство | Аналог MS-шрифта |
|---|---|
| Carlito | Calibri |
| Caladea | Cambria |
| Arimo | Arial |
| Tinos | Times New Roman |
| Cousine | Courier New |
| DejaVu Sans / DejaVu Serif | fallback |
| Noto Naskh Arabic | арабские дополнения U+07B1–U+08FF |
| Noto Sans Armenian | армянские знаки Unicode 16 |
`BundledFontMapper` подставляет метрически совместимые аналоги при конвертации
(`Calibri → Carlito` и т.д.). Нераспознанные шрифты и символы, не найденные в
шрифте ранa (em-dash «—», кавычки, U+2000–U+2EFF), падают в **DejaVu Sans**
(гарантированная кириллица). Знак, которого нет ни в шрифте ранa, ни там, куда
его отправил docx4j, ищет себе место сам: `GlyphCoverageNormalizer` режет такой
ран и для каждой части назначает покрывающее семейство — serif-раны в
**DejaVu Serif**, sans — в **DejaVu Sans**, экзотика — в Noto. Все шрифты
встраиваются в PDF как подмножества.
### Лицензии шрифтов
- Arimo, Cousine, Tinos, Carlito, Caladea — **SIL OFL 1.1**
(см. `fonts/FONT-LICENSE.txt`).
- DejaVu Sans / DejaVu Serif — **SIL OFL 1.1 / Bitstream Vera**
(см. `fonts/DejaVu-LICENSE.txt`).
- Noto Naskh Arabic, Noto Sans Armenian — **SIL OFL 1.1**
(см. `fonts/Noto-LICENSE.txt`).
## Как это работает
```
.docx/.doc ──> валидация входа ──> (.doc: мост → .docx в памяти)
──> нормализация байтов ──> docx4j (WordprocessingMLPackage)
──> диаграммы → PNG ──> XSL-FO (вендорный XSLT) ──> Apache FOP ──> PDF (embedded-шрифты)
```
1. Вход проверяется до рендера: размер → сигнатура (zip PK или CFB) → (.docx:
контейнер и страницы lightweight-StAX по zip; .doc: страницы по чистому
бинарному документу мостом) — `WordPdfValidator`, без зависимости от docx4j.
2. XML-части переписывает `DocxRewritePipeline` одним zip-проходом — десять
правил (порядок значим): strict→transitional (`w:start`/`w:end`, проценты),
`on/off` → `true/false` (иначе docx4j теряет значение, и regular-раны
рендерились жирным курсивом), маркеры Symbol/Wingdings → Unicode (вместо «#»),
поля `PAGE`/`NUMPAGES` → `w:fldSimple` (пересчитываются, а не печатают кэш
из docx), невидимые символы, раны со знаками вне их шрифта (резка по покрытию
глифов), `w:jc` center/right + `w:tblInd` → абсолютный отступ таблицы,
`w:suff="space"` → пробел в номере списка, скрытые раны (`w:vanish`), руби
(надстрочница вырезается). Затем вычищаются OLE-объекты (правило 11,
`OleObjectNormalizer`, картинка-плейсхолдер сохраняется).
3. Документ загружается в `WordprocessingMLPackage`, привязывается
`BundledFontMapper`.
4. Диаграммы и SmartArt предварительно растеризуются в PNG 300 dpi
(`DrawingPreRenderer`) — XSLT-экспорт docx4j их не умеет.
5. Экспорт в XSL-FO идёт вендорным стилем `xslt/docx2fo.xslt` (копия стилиста
docx4j-export-fo с AUDIT-FIX-патчами: `w:position` → `baseline-shift`,
`w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir`), перед рендером `LayoutPostRenderer`
компенсирует расхождение docx4j↔Word по padding таблиц; `Apache FOP`
(форк `docx4j-fo-renderer`) рендерит PDF, встраивая подмножества шрифтов.
## Ограничения
- Это **не** pixel-perfect рендер Word: раскладка, поля и некоторые эффекты
приближённые (ограничения FOP/docx4j, а не «мы что-то упустили»).
- Символы U+2000–U+2EFF (em-dash и т.п.) берутся из шрифта ранa, если в нём
есть глиф, иначе — из fallback-семейства DejaVu.
- Знаков, которых нет ни в одном шрифте бандла, это не касается: вместо них
остаётся `.notdef`. В эталонном экспорте Word (`develop/`, вне git) таких два — U+2188 (ↈ)
и U+218A (↊), они есть только в GNU FreeSerif под GPL, а бандл держится
целиком на SIL OFL.
- Поддержка таблиц/изображений — базовая (через docx4j/FOP).
- Часть расхождений с Word — неустранимые невозможности FOP/docx4j
(`jc="distribute"`, `suff="tab"`, кернинг, `framePr`, кэш `REF`/`SEQ`/`TOC`,
надстрочница руби) — полный перечень с доказательствами:
`docs/agent/render-limitations.md`.
- На `.doc` error-флаги диаграмм/SmartArt/OLE не срабатывают: BLIP-плейсхолдеры
бинарного формата — уже растры, они вставляются картинками; EMF/WMF/PICT
пропускаются с warn.
## Тесты
Тесты используют 25 закоммиченных фикстур (13 `.docx` + 12 `.doc`) из
`wordpdf-core/src/test/resources/samples/` (в тестах не генерируются; пересоздание —
test-утилита `SampleDocxGenerator`) и проверяют извлечённый PDFBox'ом текст и
встраивание шрифтов. Запуск: `mvn test`; полный гейт перед push —
`./mise.sh run verify` (тесты + PMD + JaCoCo).
API (`wordpdf-app`) проверяется `MockMvc`-сквозняками (`ConvertControllerTest`)
на тех же фикстурах — ядро отдаёт их test-jar'ом.
## CI/CD и деплой
- Pull request → Gitea Actions (`pr.yml`): Java — единственный `mvn clean verify` в контейнере без fontconfig + сводка покрытия комментарием в PR; Web — `npm ci`, build, lint.
- Push в `main` → `main.yml`: тесты → сборка и push образов `wordpdf-app`/`wordpdf-web` в реестр → deploy (job рендерит прод-конфиги, `podman-compose pull && up -d --force-recreate`, health-гейты, автооткат при провале) → prod-автотесты против живого стенда.
- Координаты прод-сервера и креды вне репозитория — Gitea Actions Variables/Secrets (настройка: `GITEA-vars.md`). Наружный вход стенда — путь `/pdf-converter/` за пользовательским nginx.
- Локальный прогон prod-автотестов (задача `prod-tests`: `pip install`
зависимостей + `pytest -q .` в `prod-autotests/`):
```bash
WORDPDF_BASE_URL=<стенд> WORDPDF_API_KEY=<ключ> ./mise.sh run prod-tests
```
31 проверка; без ключа 27 требующих его пропускаются.
- **Сайт документации** (пользователю / REST API / библиотека / архитектура /
разработчику / эксплуатация): `http://192.168.88.23:9012/`
— исходники в `docs/`, публикация `./mise.sh run docs-deploy`,
javadoc — там же по `/apidocs/`.
- Веб-конвертер (прод): `https://pjandro.ru/pdf-converter/`.
- Внутренние справочники для правки кода — `docs/agent/` (pipeline, doc-bridge,
chart, render-limitations, testing, ci-cd, repo-map), нормативные спецификации
форматов — `docs/standards/`.
- Правила репозитория — `AGENTS.md`.
+190
View File
@@ -0,0 +1,190 @@
# Потребление памяти при конвертации doc/docx → pdf: аудит и результаты апгрейда (2026-11)
Харнес: `MemoryBench` (`wordpdf-core/src/test/java/ru/pjandro/wordpdf/MemoryBench.java`, test-scope) +
`membench.sh` + `./mise.sh run mem-bench`. Числа ниже получены на них; методология и ограничения — §1.
## 1. Методология измерения
JVM: temurin 17.0.21, флаги харнеса `-Xms64m -Xmx2g -XX:+UseG1GC -XX:+HeapDumpOnOutOfMemoryError`
+ JFR `settings=profile` + `-Xlog:gc*=info,gc+heap=debug`. Машина — рабочая станция (amd64), не прод-контейнер.
Метрики на конвертацию (TSV-строки вывода харнеса):
|Метрика|Как снята|Смысл|
|---|---|---|
|`peak`|`MemoryPoolMXBean.getPeakUsage()` по хип-пулам с `reset()` перед каждой конвертацией|высокая вода кучи за конвертацию (включает невозвращённый мусор young-поколения — это мера запроса памяти, не live-сета)|
|`used`|сумма `getUsage().getUsed()` сразу после конвертации|куча «как есть» до ближайшего GC|
|`allocated-estimate`|GC-лог: выметенный Eden + humongous между паузами|честная оценка аллокаций (JFR-веса для этого не годятся — см. ограничения)|
|`max-live-after-gc`|GC-лог: максимум `M->M(after)` по паузам|живая куча после GC (включает конвертацию, идущую в момент паузы)|
|`VmHWM`|`/proc/self/status`|пик резидентной памяти процесса (куча + Metaspace + стеки + JFR-буферы)|
|`top-frames`/`app-sites`|агрегация `jdk.ObjectAllocationSample` из JFR|профиль аллокаций (относительная доля; веса — оценка сэмплера)|
Сценарии: `suite` — все 25 фикстур `samples/` (13 `.docx` + 12 `.doc`) циклами; `big` — синтетический
документ: `document.xml` фикстуры `ru-plain.docx` с повтором секции ×400 (≈1,6 МБ XML после
распаковки, ≈6000 строк контента, PDF ≈50 КБ/конвертация — много контента при малом in-put,
именно он и нагружает конвейер, а не байты входа).
Ограничения (важно для повторного прочтения чисел):
- **шум ±30% на фикстуру** между прогонами (старт нового JVM на сценарий, G1 растягивает young по
ходу прогона); сравнимы только суммарные/медианные агрегаты одного метода на одном железе;
- `peak` включает мусор: документ с большим churn даёт большой peak при малом live-сете;
- веса JFR `ObjectAllocationSample` (profile, period=20ms) — оценка сэмплера; абсолют — только GC-лог;
- фикстуры малы (вход ≤182 КБ, PDF в среднем 385 КБ): кандидаты, экономящие единицы мегабайт,
на них неотличимы от шума — это учитывалось в гейтах (§4).
Воспроизведение: `MB_LABEL=run ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-run.txt`;
матрица флагов — через env `MB_JAVA_OPTS` (флаги идут после дефолтных и переопределяют их).
## 2. Baseline (до правок)
`MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20` (JVM 17.0.21, пик 2026-11-17):
|Фикстура|n|peak p50, МБ|peak max, МБ|used avg, МБ|
|---|---|---|---|---|
|chart-types.docx|20|641|934|398|
|charts-smartart.doc|20|457|630|321|
|charts-smartart.docx|20|471|751|299|
|doc-formats.doc|20|261|783|326|
|en-plain.doc|20|302|819|273|
|en-plain.docx|20|278|855|298|
|exotic-glyphs.doc|20|328|907|325|
|exotic-glyphs.docx|20|312|950|287|
|ole-embedded.doc|20|298|540|238|
|ole-embedded.docx|20|269|574|222|
|page-numbers.doc|20|234|598|257|
|page-numbers.docx|20|272|558|266|
|ru-en-mixed.doc|20|300|453|293|
|ru-en-mixed.docx|20|344|528|298|
|ru-plain.doc|20|344|572|256|
|ru-plain.docx|20|281|455|274|
|ru-table-image.doc|20|331|462|267|
|ru-table-image.docx|20|299|522|263|
|ru-times.doc|20|275|561|275|
|ru-times.docx|20|251|580|256|
|stale-cache.doc|20|307|511|264|
|stale-cache.docx|20|323|525|269|
|symbol-bullets.docx|20|335|459|310|
|too-many-pages.doc|20|405|599|265|
|too-many-pages.docx|20|327|724|288|
|big (синтетика ×400)|5|924|976|360|
Итоги прогона: `allocated-estimate=36069MB` (≈71 МБ churn на конвертацию при медианном peak 300 МБ),
`max-live-after-gc=504MB`, паузы 536 шт./4815 мс; `VmHWM` процесса: 1,34 ГБ после suite-части,
1,56 ГБ после big-части (`-Xmx2g` доступен, куча растягивается под churn).
Главный вывод baseline: **память уходит не в копии документа, а в churn конвейера**. Вход 2,6–182 КБ
при peak 224–641 МБ — отношение долей порядка сотен. Профиль аллокаций (JFR, alloc-total —
оценка сэмплера 26,3 МБ взвешенных):
- доли приложения в топ-кадрах: `DocxRewritePipeline.normalize` — 0,44%, `WordPdfConverter.convert` —
0,36%, `GlyphFont.draw` — 0,10%; все остальные кадры `ru.pjandro.*` — ниже 0,1% (гейты §4);
- остальное — библиотеки: JAXB-андмаршалинг docx4j через DOM (`DOMScanner.visit/scan`,
`SAXOutput.getQName`, `NamespaceContextImpl.put`, `SAX2DOMEx.startElement`, `ClassFactory.create0`),
Xalan/XSLT, FOP (таблицы OpenType: `OTFAdvancedTypographicTableReader`, `OpenFont.readHorizontalMetrics`),
commons-io `IOUtils.byteArray`, `Arrays.copyOf`, `Throwable.fillInStackTrace` (docx4j использует
исключения как control flow — «Package field null» и т.п.);
- ~~JEuclid (`Parser.parseStreamSourceAsOdf`) — OMML-формулы на хосте с fontconfig (в CI/контейнере
иначе: MathFallback)~~ — **удалён из класса путей** (2026-11): jeuclid исключён exclusion'ом из
`docx4j-export-fo`, формулы рисует собственный `MathRenderer` (PNG, только бандл-шрифты);
`MathFallbackNormalizer` теперь деградирует в текст только конструкции вне `MathModel.SUPPORTED`.
## 3. Что нашли при чтении кода (архитектурные находки)
1. **FO материалзуется как `String`.** Форк `FORendererApacheFOP.convert(FODocumentHandler,
FOConverterContext, String)` (javap docx4j-export-fo 17.3.2) принимает весь выход XSLT одной
строкой UTF-16: для FO-документа это ≈2 байта/символ и FO в разы больше исходного XML.
Убрать можно только правкой форка (`templates.transform` стримом в FOP-парсер) — вне рамок
репозитория; фиделити-риск высокий. Дорожная карта.
2. **`disableFontCache()` в форке вызывается безусловно в 3 местах** (javap `FORendererApacheFOP`:
`FontManager.disableFontCache`), один участок защищён `Fop.isUseCache()` из fop.xconf
(по умолчанию кеш выключен) → таблицы шрифтов перечитываются на каждый рендер (видно в топ-кадрах).
Потенциальный рычаг (churn+CPU), но включение кеша влияет на сабзеттинг/метрики — только с
фиделити-прогоном, в форк/конфиг. Дорожная карта.
3. **`WordprocessingMLPackage` в docx4j 17.3.2 не имеет `close()`/`dispose()`** (javap пакета
`openpackaging.packages`/`parts` — только `setJaxbElement`/`unmarshal`): «освободить пакет явно»
API не даёт; пакет — локальная переменная `convertToStream` и умирает вместе со стеком.
4. **Валидатор делает два полных стриминговых прохода** по байтам входа (`checkPageCount` +
`checkDocxContainer`/`validate`): CPU, память O(8 КБ буферов) — на peak не влияет (§4, гейт E).
5. **Мост `.doc` уже отпускает потоки** (`releaseStreams`), но `DocxWriter.write` держит одновременно
`bodyXml`+`parts`+`hyperlinks` до `toByteArray()`; на фикстурах доля моста в аллокациях <0,15% —
не рычаг при текущих документах (§4, гейт C).
## 4. Кандидаты оптимизаций и гейты
Гейт: кандидат остаётся, только если после правки suite-сумма peak или big-peak улучшились ≥3%
(для «всегдашнего» A — плюс отсутствие регрессии); для B/C/E — плюс доля ≥5% в app-sites JFR.
Прогоны «до/после» — идентичной методикой, один и тот же компьютер, подряд.
|Кандидат|Доля в аллокациях (гейт 5%)|Замер после (гейт 3%)|Итог|
|---|---|---|---|
|A. Чанковый буфер PDF вместо `ByteArrayOutputStream`|—|`allocated` +0,7% (шум), сумма peak **+7,2% (хуже)**|отклонён, откачен|
|B. Needle-гейт декода в `DocxRewritePipeline`|`normalize` 0,44%|—|отклонён до правки|
|C. Ранний отпуск `bodyXml`/`parts`/`hyperlinks` в `DocxWriter.write`|кадров моста в топ-15 нет (<0,15%)|—|отклонён до правки|
|D. Явный release пакета docx4j|API отсутствует (§3.3)|—|нереализуем|
|E. Один проход валидатора|кадров валидатора в топ-15 нет (<0,1%)|—|отклонён до правки (плюс риск порядка ошибок — контракт 400-кодов)|
**Почему A отклонён измерением, хотя «в теории» экономит.** Реализация (`PdfOutputChunks`,
чанки вместо удваивающегося `byte[]`) протестирована на эквивалентность байтов и прогнана полным
бенчем (25 фикстур ×20 + big ×5, тот же метод):
- PDF фикстур в среднем 385 КБ: для них `PdfOutputChunks` с фиксированным чанком выделяет больше,
чем рост `ByteArrayOutputStream` от `Math.max(1<<16, docxBytes.length)` — сумма peak выросла на 7,2%;
- микробенч на 24 МБ (одноразовый `PeakProof`, куча 2г): peak 76 МБ у чанков против 61 МБ у BAOS —
чанк 1 МиБ на G1 humongous (регион 1 МиБ → 2 региона на чанк, отсюда ×2), чанк 256 КиБ уходит в
young и при подсчёте `peak` платит растянутым Eden; live-минимум чанков (P+P против 2–3P у BAOS)
выигрывает только на PDF десятки мегабайт, каких в фикстурах нет;
- вердикт гейта: не улучшено → откачен, конвейер остался на `ByteArrayOutputStream`.
**Итог по правкам ядра: ни один кандидат не прошёл гейт.** Это не «нечего улучшать», а «у текущих
документов память тратят библиотеки» (JAXB-via-DOM, XSLT, FOP-шрифты — §2; JEuclid больше
не потребитель — исключён из зависимостей): точечными
правками репозитория их не сократить, а правки библиотек/форка (FO-стриминг, font cache) —
отдельные задачи с фиделити-гейтом. Практический рычаг «потреблять меньше» прямо сейчас — размеры
кучи и GC (§5).
## 5. Матрица флагов JVM (итог: что ставить в прод)
Один и тот же прогон (`--scenario all --loops 5 --big-loops 2`), меняются только флаги
(`MB_JAVA_OPTS` поверх дефолта харнеса; для смены GC нужен и `-XX:-UseG1GC` — иначе старт падает
с «Multiple garbage collectors selected»). ВМ не кончалась ни на одном наборе, OOM'а нет нигде,
включая big-сценарий:
|Набор|VmHWM suite, МБ|VmHWM +big, МБ|max-live, МБ|Паузы (шт/мс)|Вывод|
|---|---|---|---|---|---|
|f1 — G1, `-Xmx2g` (дефолт харнеса; прод-Containerfile как раз `2G`/`mem_limit 3G`)|931|1337|575|159 / 1724|работает, но куча ×2,6 к реальной потребности|
|f2 — G1, `-Xmx768m`|802|902|451|183 / 1865|**рекомендуемый**: RSS ≤0,9 ГБ с JFR-буферами, запас к max-live 1,7×|
|f3 — G1, `-Xmx512m`|818|843|416|199 / 1877|работает, но max-live 416 из 512 — малый запас на chart-тяжёлые документы|
|f4 — Serial, `-Xmx512m`|748|748|482|126 / 4453|работает; паузы ×2,6 против G1|
|f5 — Serial, `-Xmx384m`|628|634|359|150 / 5803|максимальная плотность (RSS 0,63 ГБ); паузы ×3,4, max-live 359 из 384 — впритык|
`allocated-estimate` у Serial-прогонов — 0: awk-агрегатор GC-лога понимает G1-формат (регионы),
для Serial аллокации считаются по другому шаблону — на вывод матрицы не влияет.
Рекомендация прод-стеку (рендерится job'ом `deploy` из Gitea Variables — менять их, не репо):
1. Heap: `-Xmx768m` (f2) вместо `2G`; `mem_limit` — `1g` вместо `3G`. FopFactory/XSLT-кеш перманентны,
их размер от кучи не зависит; 451 МБ max-live — это ~3 конвертации chart-тяжёлых документов в полёте
(а конвертации сериализованы монитором — реально одна).
2. G1 оставить (~13 мс пауз на конвертацию против ~40 мс у Serial; при конвертациях 1–4 с это не
критично, но G1 при 768m ещё и ровнее ведёт humongous-аллокации растров чартов).
3. Плотность выше f2 (Serial 384m) достижима, но запас <7% к max-live на 384m — для прод-вариабельности
документов неприемлемо.
## 6. Итог апгрейда
- Ядро не изменено: ни один кандидат (A–E, §4) не прошёл замерный гейт; экономия памяти на текущих
документах лежит не в коде репозитория, а внутри JAXB/XSLT/FOP (§2–3). Правки форка
(FO-стриминг, font cache) — зафиксированные дорожные пункты с фиделити-гейтом.
- Практический эффект «потреблять меньше» — профиль кучи: `2G/3G → 768m/1g` (в ~3 раза меньше
резидентной памяти на стенде) без потери проходимости всех сценариев, включая big.
- Инфраструктура измерений осталась в репо: `MemoryBench` + `membench.sh` + `./mise.sh run mem-bench`
— любой следующий раунд начинается с baseline за 10 минут.
## 7. Как читать этот документ дальше
- Перепроверить числа: §1 (команды) — прогон ~10 мин, артефакты в `target/` и `wordpdf-core/target/membench-*.jfr`.
- Перед новым «починить память»: сначала топ-кадры собственного прогона — доли приложения ≤0,4% означают,
что чинить нужно библиотеки, а не `WordPdfConverter`.
- Стоп-лист § «не чинить» из `docs/agent/render-limitations.md` остаётся в силе: экономия памяти
не должна менять выход PDF (фиделити-тесты — единственный арбитр).
+1 -1
View File
@@ -4,7 +4,7 @@
Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр × `DPI/72`, размеры в пунктах, EMU→pt `cx/12700.0`). Потолок растра `ChartRenderer.MAX_PIXELS = 16_777_216` (4096², 64 МБ ARGB): при превышении `fitDpi` uniform-но понижает эффективный dpi (геометрия в пунктах и безразмерные пропорции не меняются; 24″-график: 208 МБ → 64 МБ, dpi 300 → ≈171); `SmartArtRenderer` использует тот же `DPI`/`fitDpi`. `ChartSpec.parse` (`enum Type`: PIE, PIE3D, DOUGHNUT, BAR, BAR_HORIZONTAL, LINE, AREA, SURFACE3D, AREA3D, BAR3D, LINE3D, RADAR, SCATTER, BUBBLE, STOCK, OF_PIE, SURFACE, UNSUPPORTED). `c:autoTitleDeleted` (§21.2.2.7, `val` опущен — default true) применяется только при отсутствии `c:title` (MS-OI29500 §2.1.1431(a)) — явный заголовок показывается при любом флаге; при отсутствии `c:title` и `val=0` рисуется автозаголовок. Пустой/пробельный `c:title` (или `val=0` без `c:title`) — автозаголовок Office (MS-OI29500 §2.1.1561(a)): одиночный ряд с именем → имя ряда (любой тип графика), иначе `ChartSpec.AUTO_TITLE = "Название диаграммы"`; несколько абзацев `a:p` склеиваются `'\n'` (жёсткий перенос в `DrawMlText`). Регрессии — `ChartSpecTest#emptyTitleSingleSeriesBar_usesSeriesName`, `#deletedTitleWithText_stillShown`, `#deletedTitleValOmitted_stillShown`, `#multiSeriesDoughnut_placeholderNotSeriesName`, `#multiParagraphTitle_joinedWithNewlines`. Палитра `accent1..6` темы; легенда по умолчанию снизу; `overlay` (§21.2.2.132) рисуется поверх области построения, место не резервирует.
Пейнтеры: `CartesianPainter` (2-D line/bar/area; `c:grouping` stacked/percentStacked §21.2.2.76 — ряд рисуется накопленной суммой через `ChartRenderer.stackedCumulative`), `PiePainter` (`PIE_DEPTH = 0.22`, `PIE_FIT = 0.865`), `Surface3dPainter` (камера — регрессия `cameraMatchesWordReference`: `DEPTH_RATIO = 0.705`, `HEIGHT_RATIO = 0.664`, `GUTTER_LEFT/RIGHT = 0.1485`, `GUTTER_TOP = 0.116`, `GUTTER_BOTTOM = 0.146`, свет `LIGHT_X/Y/Z = 0.83/0.48/0.28`; `c:rAngAx=true` приоритетнее `c:perspective` (MS-OI29500 §2.1.1516(b)); `c:wireframe` §21.2.2.205 — только каркас), `ScatterPainter` (радиус пузыря sqrt при `c:sizeRepresents="area"` §21.2.2.128), `RadarPainter` (спицы от 12 часов), `StockPainter` (upDownBars обводятся контуром, дефолт чёрный 0.75pt), `OfPiePainter` (MS-OI29500 §2.1.1507(a), §2.1.1545(a)), `Surface2dPainter` (контурная карта §21.2.2.204, marching squares, изолинии по `c:bandFmts` §21.2.2.13/.14), `Cartesian3dPainter` (bar3D/line3D/area3D §21.2.2.19/.101/.122, `c:shape` §21.2.3.44), `SmartArtRenderer` (кэш `word/diagrams/drawing1.xml` через relationship `…/office/2007/relationships/diagramDrawing`; формы — `PresetGeometry` из `a:prstGeom`, семь пресетов дословно из `presetShapeDefinitions.xml`; оператор `?:` = «if x > 0 then y else z» (ISO/IEC 29500-1, **не** x != 0); углы в Arc2D — со знаком минус; текст — `DrawMlText`, шрифты через `BundledFontMapper.bundledFamily`; autofit только `normAutofit` §21.1.2.1.2/.3; `dgm:prSet/@phldrT` не рисуется).
Пейнтеры: `CartesianPainter` (2-D line/bar/area; `c:grouping` stacked/percentStacked §21.2.2.76 — ряд рисуется накопленной суммой через `ChartRenderer.stackedCumulative`), `PiePainter` (`PIE_DEPTH = 0.22`, `PIE_FIT = 0.865`), `Surface3dPainter` (камера — регрессия `cameraMatchesWordReference`: `DEPTH_RATIO = 0.705`, `HEIGHT_RATIO = 0.664`, `GUTTER_LEFT/RIGHT = 0.1485`, `GUTTER_TOP = 0.116`, `GUTTER_BOTTOM = 0.146`, свет `LIGHT_X/Y/Z = 0.83/0.48/0.28`; `c:rAngAx=true` приоритетнее `c:perspective` (MS-OI29500 §2.1.1516(b)); `c:wireframe` §21.2.2.205 — только каркас), `ScatterPainter` (радиус пузыря sqrt при `c:sizeRepresents="area"` §21.2.2.128), `RadarPainter` (спицы от 12 часов), `StockPainter` (upDownBars обводятся контуром, дефолт чёрный 0.75pt), `OfPiePainter` (MS-OI29500 §2.1.1507(a), §2.1.1545(a)), `Surface2dPainter` (контурная карта §21.2.2.204, marching squares, изолинии по `c:bandFmts` §21.2.2.13/.14), `Cartesian3dPainter` (bar3D/line3D/area3D §21.2.2.19/.101/.122, `c:shape` §21.2.3.44), `SmartArtRenderer` (кэш `word/diagrams/drawing1.xml` через relationship `…/office/2007/relationships/diagramDrawing`; формы — `PresetGeometry` из `a:prstGeom`, семь пресетов дословно из `presetShapeDefinitions.xml`; оператор `?:` = «if x > 0 then y else z» (ISO/IEC 29500-1, **не** x != 0); углы в Arc2D — со знаком минус; текст — `DrawMlText`, шрифты через `BundledFontAliases.bundledFamily`; autofit только `normAutofit` §21.1.2.1.2/.3; `dgm:prSet/@phldrT` не рисуется).
Защитные лимиты против враждебного chart-XML: `ChartSpec.MAX_POINTS = 100_000` (`c:pt/@idx` §21.2.2.150/.151, `c:ptCount` §21.2.2.152 — ST_UnsignedInt без верхней границы; отказ `IllegalArgumentException` **до** предвыделения списка), `ChartRenderer.MAX_TICKS = 1000` (шаг ≤ 0/NaN/слишком мелкий в `axisBounds` заменяется `niceUnit` 1/2/5·10ⁿ), `DrawingPreRenderer.MAX_EXTENT_EMU = 22_000_000` (≈24″; при `cx/cy` вне капа объект **оставляется как есть** + warn, картинка не рендерится — регрессия `hugeExtentChart_removedNotOom`). Бросок перехватывает catch в `DrawingPreRenderer.renderChart` → штатная деградация «объект удалён + warn». Обход `pkg.getParts()` — только по **снимку** списка (вставка media-частей `addChartMedia→addPart→loadPart` мутирует реестр → CME); rels частей — `part.getRelationshipsPart()`, **не** `getOwningRelationshipPart()`; обход XML обязан раскрывать `JAXBElement`.
+1 -1
View File
@@ -6,7 +6,7 @@
### Job'ы workflow'ов
Два workflow. `.gitea/workflows/pr.yml` — `PR checks` (`pull_request` + `workflow_dispatch`): job `java` (fail-closed проверка Variable `MAVEN_MIRROR_URL` первым шагом → единственный прогон `mvn -B clean verify` внутри образа `Containerfile.test` — без fontconfig, набор тестов никогда не исполняется на хосте с fontconfig; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером podman, BuildKit-сессий нет; зеркало Nexus приходит `--build-arg` → извлечение двух `jacoco.xml` из образа `wordpdf-verify:ci` шагами `docker create`/`docker cp || true` — при непрошедшей сборке пустая сводка, тесты не затронуты) → `Coverage summary` (разбор извлечённого `target/site/jacoco/jacoco.xml` python-сниппетом в step summary) → `Comment coverage on PR` (тот же текст комментарием; создаётся один раз, повторные push обновляют по маркеру `<!-- jacoco-coverage -->`; `continue-on-error`). job `web` (кеш `~/.npm`, `npm ci` → `build` → `lint`; `setup-node` **нет** — нода берётся с раннера).
Два workflow. `.gitea/workflows/pr.yml` — `PR checks` (`pull_request` + `workflow_dispatch`): job `java` (fail-closed проверка Variable `MAVEN_MIRROR_URL` первым шагом → единственный прогон `mvn -B clean verify` внутри образа `Containerfile.test` — без fontconfig, набор тестов никогда не исполняется на хосте с fontconfig; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером podman, BuildKit-сессий нет; зеркало Nexus приходит `--build-arg` → извлечение двух `jacoco.xml` из образа `wordpdf-verify:ci` шагами `docker create`/`docker cp || true` — при непрошедшей сборке пустая сводка, тесты не затронуты) → `Coverage summary` (разбор извлечённого `target/site/jacoco/jacoco.xml` python-сниппетом в step summary) → `Comment coverage on PR` (тот же текст комментарием; создаётся один раз, повторные push обновляют по маркеру `<!-- jacoco-coverage -->`; `continue-on-error`). job `macos-sim` — тот же образ `Containerfile.test`, собранный с `--build-arg SUREFIRE_OS_NAME="Mac OS X"` (эмуляция macOS: единственный хост-зависимый код — docx4j `PhysicalFonts`, читающий `os.name`; внутри образа набор исполняется дважды — сначала `verify` без флага догревает локальный репозиторий до нуля загрузок, затем `verify` с флагом, т.к. Linux-JVM с `os.name=Mac OS X` падает AssertionError на первом же сетевом сокете; шагов JaCoCo/комментария нет — дублировали бы `java`), в `main.yml` отсутствует намеренно. job `web` (кеш `~/.npm`, `npm ci` → `build` → `lint`; `setup-node` **нет** — нода берётся с раннера).
`.gitea/workflows/main.yml` — `Main: tests, deploy, autotests` (`push` в `main` + `workflow_dispatch`): те же `java`/`web` (байт-байт дубль — workflow-файлы самодостаточны, reusable-workflow не вводить) → `images-app`/`images-web` (build+push каждого Containerfile в Nexus-реестр `${{ vars.REGISTRY }}`, теги `prod` + immovable `sha-<7 символов GITHUB_SHA>`; app печётся с `--build-arg MAVEN_MIRROR_URL=…` (зеркало Nexus в Containerfile); web печётся с `--build-arg VITE_BASE=/pdf-converter/`; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером podman, BuildKit-сессий нет; креды — вручную пишется `~/.docker/config.json`) → `deploy` (SSH на прод: рендер конфигов heredoc'ами в workspace раннера — appleboy/ssh-action непригоден, ломает heredoc; валидация PyYAML; прод-стек — подсеть `10.112.0.0/24` gw `10.112.0.1` (в репо-`compose.yml` — `10.113.0.0/24`, стенды разные), gateway биндится на `127.0.0.1:9010` + `$DEPLOY_HOST:9010`, `nginx.conf` — с `resolver 10.112.0.1`; сохранение `.rollback.env`; `login/pull/timeout 90 podman-compose up -d --force-recreate app web`; гейты healthy и image; gateway пересоздаётся последним; health-check) → `autotests` (venv + `prod-autotests/` против прода) → `rollback` (`if: failure()` — перерендер/перезалив прод-файлов тем же шагом, retag прежних image ID на `:prod`, `--force-recreate app web`, пересоздание gateway).
File diff suppressed because one or more lines are too long
+16 -13
View File
@@ -6,40 +6,43 @@
|---|---|---|
| 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j |
| 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера (static `BestMatchingMapper`) регистрирует в `PhysicalFonts` только symbol-шрифты из `docx4j-export-fo-fonts-symbol` (сканы системы и jar'ов отключены в static-блоке `WordPdfConverter` гейт-свойствами — всё найденное всё равно выбрасывает `restrictToBundled()`); `init()` вызывает `dropNonBundled()` **до** регистрации бандла, `restrictToBundled()` оставляет реестр = бандл + встроенные в docx. Порядок `init()` после конструктора — инвариант: `addPhysicalFont` не перезаписывает занятый ключ (иначе системный Calibri ломает em-dash-fallback) |
|2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–10 — раздел «Нормализаторы: контракт и правила 1–11» в этом файле) + условная OLE-вычистка (правило 11)|
|2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–11 — раздел «Нормализаторы: контракт и правила 1–12» в этом файле) + условная OLE-вычистка (правило 12)|
| 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF |
| 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет) |
| 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные |
| 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds`/`m:oMath` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет); формулы — собственный растер `MathModel`/`MathRenderer` (только бандл-шрифты, без AWT/JEuclid), inline-картинка опускается ран-`w:rPr/w:position` на свой нижний запас (FOP ставит инлайн-графику нижним краем на базу строки; регрессия — WordPdfConverterTest#ommlMathInline_sitsOnTextBaseline), неподдерживаемая конструкция — текстовая деградация + warn; budget chart/math-PNG общий |
| 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные. Конфиг обязан быть **полным при каждом `declare`**: docx4j декларирует из `fontsInUse` только использованные начертания (или simulate-style на regular-файле), а общая `FopFactory` замораживает fopconf **первого** документа JVM — `declareFamily`+`hasRealFace` дополняют каждое семейство недостающими реальными начертаниями (регрессия — `fopFactoryFrozenFromFirstDoc_fontsComplete`) |
| 4.25 | `LayoutPostRenderer.register(foSettings)` | Кастомный `FORenderer`: post-FO padding-компенсация таблиц (`start-indent` += `padding-left` первой ячейки), внутри — штатный `FORendererApacheFOP` |
| 4.5 | `foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES)` | Стилист — вендорный `xslt/docx2fo.xslt` (копия docx4j-export-fo + AUDIT-FIX-патчи: `w:rPr/w:position`→`baseline-shift` и AUDIT-FIX-2 `moveFrom`/`moveTo`/`bdo`/`dir`); `Templates` компилируется один раз — `getTemplates` кастит значение в `Templates` |
| 5 | `FORendererApacheFOP.getFopFactoryBuilder` + `getFOUserAgent` | Непустой `title` → заголовок PDF |
| 6 | `Docx4J.toFO(foSettings, os, FLAG_EXPORT_PREFER_XSL)` | XSL-FO → PDF |
| 7 | `finally` → `getFontTablePart().deleteEmbeddedFontTempFiles()` | В docx4j 17.x `OpcPackage.close()` нет — пакет в памяти |
`BundledFontMapper` переопределяет `getBoldForm`/`getItalicForm`/`getBoldItalicForm`: на macOS `PhysicalFonts.getBoldForm` для имён `Tinos Regular`/`Carlito Regular`/… уходит в `MicrosoftFontsRegistry` и возвращает `null` (у записей нет Mac-имени файла), из-за чего docx4j строил simulate-style fopconf — FOP терял реальные начертания и кернинг (регрессии `strictOoxml_convertsNotRejected`, `ruPlain_regularRunsUseRegularFont`). Override находит реальный вариант по `embeddedURI` regular-варианта.
### `warmup()` — прогрев ядра (шаги 0–7 на минимальном docx)
Первая конвертация после старта JVM стоит 1,3–1,7 с (JAXB/XSLT/FOP/классы; замер 2026-11), её платил первый запрос после деплоя. Публичный `WordPdfConverter.warmup()` прогоняет шаги 0–7 на минимальном docx, собранном в байтах (три zip-части константами, фикстуры не задействованы; алиас Calibri→Carlito греет маппер и embed-подмножество), и греет Java2D/PNG-энкодер (`warmRaster()` — растер + `GlyphFont.draw` + `ImageIO.write`), иначе первый чартный документ платит ещё ~200 мс. Идемпотентен (`volatile warmedUp`, метод `synchronized`), никогда не бросает (провал — warn в JUL), артефакты отбрасываются; вызывать на потоке, сериализующем конвертации. Ядро само себя не зовёт: `wordpdf-app` ставит warmup головой очереди воркеров в конструкторе `ConversionService`. Прогретый первый конверт ru-plain.docx HTTP-запросом: 0,13 с против 1,74 с (A/B на одной машине, сборки ветки и `main`).
### Валидация входа и подсчёт страниц
Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + явные разрывы)`; явные — 0x0C в основном тексте + `sprmPFPageBreakBefore` из PAPX. Тот же метод — вход приложения. Скан выполняется ровно один раз по сырому входу, до аллокаций docx4j: правила 1–10 число учитываемых разрывов не увеличивают (правило 9 способно только убрать разрыв внутри скрытого рана — счёт по сырому входу остаётся верхней оценкой лимита).
Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + разрывы 0x0C − непрерывные межсекционные (sprmSBkc 0/1) + sprmPFPageBreakBefore)` (код — `DocFile.countPages`). Тот же метод — вход приложения. Скан выполняется ровно один раз по сырому входу, до аллокаций docx4j: правила 1–11 число учитываемых разрывов не увеличивают (правило 10 способно только убрать разрыв внутри скрытого рана — счёт по сырому входу остаётся верхней оценкой лимита).
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `w:sectPr` в body + `w:br type="page"` + `pageBreakBefore` (включая таблицы и `w:sdt`). Единственный путь — lightweight (StAX по zip, secure-ридер без DTD/external entities; `WordPdfValidator` не зависит от docx4j): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитуках — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy `val`: `null|true|1|on`). На не-zip молчит — подпись проверяет вызывающий. `checkPageCount` — один стриминговый проход `ZipInputStream` без буферизации частей (хелпер `noClose` глушит `close()` сканеров): потребление O(одной части) вместо O(суммы XML-частей).
### Нормализаторы: контракт и правила 1–11 (детали)
### Нормализаторы: контракт и правила 1–12 (детали)
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Десять rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby; константу `STEP` (`public static final DocxNormalizer`) выставляют девять из десяти (нет только у `RubyNormalizer` — он цепочный, подключается внутри пайплайна), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`. Правила 1–10 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 9; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` десяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим:
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Одиннадцать rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby; константу `STEP` (`public static final DocxNormalizer`) несёт только `DocxRewritePipeline` (собирает рерайты сам), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`, а вместо `normalize(byte[])` у него `normalize(byte[], boolean)`. Правила 1–11 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 10; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` десяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим:
1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174a — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.7 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`).
1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174 — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.4 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`).
2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается.
3. `SymbolFontNormalizer` — PUA U+F000–U+F0FF (Symbol/Wingdings/Webdings) → Unicode + DejaVu Sans; переписывает `<w:sym>`, правит `w:lvl` в numbering.xml; 5 карт по 256 слотов (таблица `SymbolMapper` из docx4j 17.x).
4. `FieldNormalizer` — `fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple` (кэш страниц в PDF не попадает); вложенные/битые поля пропускаются.
5. `InvisibleCharNormalizer` — вырезает из `w:t` U+0085, U+2028, U+2029, U+200E/200F, U+202A–202E, U+2060, U+FEFF (FOP делает из них переносы/пустые строки, Arimo/Tinos рисуют боксы). U+00A0/U+00AD/U+200B–U+200D **не** трогает.
6. `GlyphCoverageNormalizer` — режет раны по покрытию глифов и пишет семейство в `w:rFonts`, иначе FOP рисует «#». Покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, **не** docx4j `GlyphCheck` (плодит INFO-лог; `java.awt.Font` требовал fontconfig на хосте). Для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (`dejavu serif`, `tinos`, `caladea`), затем в sans.
7. `TableIndentNormalizer` — свёртка `w:tblPr/w:jc` (center/right) с любым (в т.ч. отсутствующим/нулевым) `w:tblInd` в абсолютный `w:tblInd` с удалением `w:jc` (Word: tblInd — сдвиг от поля после центрирования, MS-OI29500 §2.1.155; docx4j при jc≠left игнорирует tblInd буквально — Part 1 §17.4.50, а центрированию пишет абсолютный start-indent **без** вычета cellMar, поверх которого padding-компенсация правила LayoutPostRenderer уводит текст на +padding — свёртка обязательна и при X=0): center → (W−T)/2+X, right → (W−T)+X, W — полоса набора (pgSz − pgMar left/right в transitional и `w:start`/`w:end` в strict; дефолты 11906/1440 — измеренное поведение docx4j, не ECMA-1800), T — Σ gridCol; пропускает несколько body-level `sectPr`, не-dxa `tblInd`, `tblPr` с `tblCellSpacing` без `tblInd` (нет корректной позиции вставки по CT_TblPrBase), `tblW pct`, нецелые gridCol. Кроме `rewrite`/`STEP` (document.xml, полоса из собственного sectPr) есть `rewritePart(part, xml, band)` — `word/headerN.xml`/`footerN.xml` с полосой из document.xml (в частях колонтитуков своего sectPr нет) и `bandOf(documentXml)` — экстрактор полосы (−1 — полосы нет). Регрессия — WordPdfConverterTest#tableIndentCentered_shiftedLikeWord, #headerTableIndent_centeredInHeader, #tableCenteredNoIndent_shiftedLikeWord.
8. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; Part 1 §17.3.1.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace.
9. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.30): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, юниты — HiddenTextNormalizerTest.
10. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.18/.19/.20/.21): `w:rubyBase`/`w:rubyBaseText` разворачиваются в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.2 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest.
11. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `<w:object`; не-zip/нет центрального каталога → входной массив — прежняя снисходительность), переупаковка — только при находке. Детект OLE-бинарников — по `[Content_Types].xml`: тип `…oleObject` **или** ложный `+xml`-тип у `.bin` (XML в bin не бывает; `printerSettings` не трогается). Удаляются вместе с rels-ссылками (по типу, включая `TargetMode=External`) и Override удалённых частей. Элементы `<w:object>` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `OleFoundException`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет.
6. `MathFallbackNormalizer` — байтовый скан OMML-формул (§22.1) до загрузки пакета: формулы с конструкциями вне `MathModel.SUPPORTED` (или structurally битые) деградируют в текст — `m:oMathPara`/`m:oMath` → обычные раны с конкатенацией `m:t` (как в штатном фолбэке docx4j `XsltFOFunctions.mathText`); поддерживаемые части не трогаются (`rewrite` → `null`, тот же массив) — их рисует собственный `MathRenderer` на шаге 3.5. Позиция **до GlyphCoverage** обязательна: деградировавшие раны с математическими символами (U+1D400+) обязаны пройти резку по покрытию, иначе FOP рисует «#». `m:oMathPara` содержит `m:oMath`, поэтому блок para заменяется первым. Регрессия — WordPdfConverterTest#ommlMathUnsupported_flattenedToText, юниты — MathFallbackNormalizerTest.
7. `GlyphCoverageNormalizer` — режет раны по покрытию глифов и пишет семейство в `w:rFonts`, иначе FOP рисует «#». Покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, **не** docx4j `GlyphCheck` (плодит INFO-лог; `java.awt.Font` требовал fontconfig на хосте). Для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (`dejavu serif`, `tinos`, `caladea`), затем в sans.
8. `TableIndentNormalizer` — свёртка `w:tblPr/w:jc` (center/right) с любым (в т.ч. отсутствующим/нулевым) `w:tblInd` в абсолютный `w:tblInd` с удалением `w:jc` (Word: tblInd — сдвиг от поля после центрирования, MS-OI29500 §2.1.155; docx4j при jc≠left игнорирует tblInd буквально — аудит раскладки ECMA-376, матрица B3, а центрированию пишет абсолютный start-indent **без** вычета cellMar, поверх которого padding-компенсация правила LayoutPostRenderer уводит текст на +padding — свёртка обязательна и при X=0): center → (W−T)/2+X, right → (W−T)+X, W — полоса набора (pgSz − pgMar left/right; у CT_PageMar полей `w:start`/`w:end` нет, полоса берётся из сырого document.xml до правила 1; дефолты 11906/1440 — измеренное поведение docx4j, ECMA дефолтов не фиксирует §17.6.11/.13), T — Σ gridCol; пропускает несколько body-level `sectPr`, `tblInd` с явным `w:type` ≠ dxa (опущенный type — dxa, §17.4.87), `tblPr` с `tblCellSpacing` без `tblInd` (нет корректной позиции вставки по CT_TblPrBase), `tblW pct`, нецелые gridCol. Кроме `rewrite` (document.xml, полоса из собственного sectPr) есть `rewritePart(part, xml, band)` — `word/headerN.xml`/`footerN.xml` с полосой из document.xml (в частях колонтитуков своего sectPr нет) и `bandOf(documentXml)` — экстрактор полосы (−1 — полосы нет). Регрессия — WordPdfConverterTest#tableIndentCentered_shiftedLikeWord, #headerTableIndent_centeredInHeader, #tableCenteredNoIndent_shiftedLikeWord.
9. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; ST_LevelSuffix Part 1 §17.9.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace.
10. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.41): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true; явный `false/0/off` в ране **перекрывает** vanish-стиль) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, #hiddenText_directFalseOverridesVanishStyle, юниты — HiddenTextNormalizerTest.
11. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.24–.28): снимается обёртка `w:ruby` (схемно-валидная транзишнл-разметка `w:r`→`w:ruby`→rubyPr/rt/rubyBase иначе достаёт catch-all-шаблону XSLT, и база теряется молча), `w:rubyBase` разворачивается в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.2 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest.
12. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `<w:object`; не-zip/нет центрального каталога → входной массив — прежняя снисходительность), переупаковка — только при находке. Детект OLE-бинарников — по `[Content_Types].xml`: тип `…oleObject` **или** ложный `+xml`-тип у `.bin` (XML в bin не бывает; `printerSettings` не трогается). Удаляются вместе с rels-ссылками (по типу, включая `TargetMode=External`) и Override удалённых частей. Элементы `<w:object>` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `OleFoundException`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет.
`mc-preprocessor.xslt` docx4j (в jar `docx4j-core`) перебивает strict-namespace'ы в transitional и конвертит `pt` в twips/half-points, но ветку перевода процентов в тысячные для namespace'ных атрибутов содержит с закомментированным `<xsl:value-of select="$cleanValue * 1000"/>` (для атрибутов без namespace — она активна), а `w:start`/`w:end` в `w:left`/`w:right` не маппит вовсе. Поэтому собственный рерайт URI ломать нельзя — он сломал бы pt-конверсию preprocessor'а (FOP получил бы «10pt»).
+2 -2
View File
@@ -4,6 +4,6 @@
- Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно).
- Аудит раскладки по ECMA-376 Part 1 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается, свойства `text-align-last` в форке нет (в docx4j-fo-renderer отсутствуют классы TextAlign*); `w:suff="tab"` и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab; suff=space чинит правило 8, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер: advance A→V = A→A — Carlito 6.369pt, DejaVu Sans 7.524pt@11pt): 22 TTF — GPOS-only, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19; при отсутствии `w:kern` Office не кернит — MS-OI29500 §21.1.2.3.9a) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 7), `w:suff="space"` (правило 8).
- Аудит раскладки по ECMA-376 Part 1 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается, свойства `text-align-last` в форке нет (в docx4j-fo-renderer отсутствуют классы TextAlign*); `w:suff="tab"` и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab; suff=space чинит правило 9, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер: advance A→V = A→A — Carlito 6.369pt, DejaVu Sans 7.524pt@11pt): 22 TTF — GPOS-only, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19: кернинг применяется, только когда элемент задан; при отсутствии `w:kern` не кернит; MS-OI29500 §2.1.83 уточняет лишь диапазон `w:val`) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 8), `w:suff="space"` (правило 9).
- Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.13.1.35), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23), OMML-формулы рисуются вектором jeuclid-fop (§22.1 — текст из PDF не извлекается, пинь пикселями), фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 9); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 10 + AUDIT-FIX-2). Остаток (не чиним): `w:framePr` игнорируется — текст печатается в общем потоке, геометрия фрейма теряется (ни XSLT, ни `createBlockForPPr` не читают); `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 10 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура).
- Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.10.6), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23; формула внутри текстового бокса до растера не доходит — обход drawing-нагрузку не спускается и уходит в docx4j-фолбэк `mathText`, конкатенация `m:t`; регрессия — WordPdfConverterTest#drawingTextBoxMath_convertsViaDocx4jTextFallback), OMML-формулы (§22.1) рисует собственный растер `MathModel`/`MathRenderer` — PNG 300 dpi, только бандл-шрифты jar, без AWT/JEuclid (текст из PDF не извлекается, пинь пикселями); неподдерживаемая конструкция или превышение бюджета — текстовая деградация (конкатенация `m:t`, `MathFallbackNormalizer`, правило 6) + warn, inline-формула выравнивается по базовой линии текста (мат-ось Word — принятая деградация), `m:oMathPara` — отдельный центрированный абзац (left/right по `m:jc`, indentLeft→left); фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 10); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 11 + AUDIT-FIX-2). Остаток (не чиним): `w:framePr` игнорируется — текст печатается в общем потоке, геометрия фрейма теряется (ни XSLT, ни `createBlockForPPr` не читают); `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 11 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура).
+7 -7
View File
@@ -5,10 +5,10 @@
| Путь | Назначение |
|---|---|
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String,ConvertOptions)`), `WordPdfValidator` (`checkInput`/`validate` наружу; `checkPageCount`/`checkPageCountDoc`/`isBinaryDoc` — package-private, всё без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `ChartsFoundException`/`SmartArtFoundException`/`OleFoundException` (по error-флагам), `ConvertOptions` (record; дефолтов в ядре нет). Пороги защиты — производные от лимитов входа: `WordPdfValidator.maxDecompressedBytes`/`maxDecompressedXmlBytes` (`max(MIN_*×MiB, maxMb×10/4MiB + maxPages×64/32KiB)`, крышек нет), `maxZipEntries` (`max(2048, maxMb×512 + maxPages×32)`), `maxImagePixels` (`maxMb×5_000_000`); коэффициенты и полы — package-private литералы `WordPdfConverter` (`DECOMPRESS_*`, `MIN_DECOMPRESSED_*`, `IMAGE_PIXELS_PER_MAX_MB`, `ZIP_ENTRIES_*`, javac их инлайнит — валидатор не инициализирует конвертер) |
| `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontMapper` (алиасы, self-map, `DISPLAY_NAMES`, `bundledFamily`), `GlyphFont` (глиф-движок fontbox) |
| `…/wordpdf/internal/` | 11 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–10, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы package-private; `public` — `DocxNormalizer`, `DocxRewritePipeline` (наружу только `STEP`, `normalize` package-private), `OleObjectNormalizer`, `FopFallbackFonts` (`declare`), `LayoutPostRenderer` (`register`), `DependencyGuard` (`check`), остальные нормализаторы полностью package-private; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `OleFoundException` |
| `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontAliases` (алиасы, `DISPLAY_NAMES`, `bundledFamily` — без наследования, статика безопасна до гейта), `BundledFontMapper` (экземпляр-маппер docx4j), `GlyphFont` (глиф-движок fontbox) |
| `…/wordpdf/internal/` | 12 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–11, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы package-private; `public` — `DocxNormalizer`, `DocxRewritePipeline` (наружу только `STEP`, `normalize` package-private), `OleObjectNormalizer`, `FopFallbackFonts` (`declare`), `LayoutPostRenderer` (`register`), `DependencyGuard` (`check`), остальные нормализаторы полностью package-private; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `OleFoundException` |
| `…/wordpdf/internal/doc/` | Мост `.doc` → `.docx`: 18 классов (детали — `docs/agent/doc-bridge.md`) — `CfbReader`, `FibHeader`, `PieceTable`, `Grpprl`, `ChpxIndex`, `PapxIndex`, `Styles`, `Tables`, `Lists`, `Sections`, `FontTable`, `SummaryInfo`, `Headers`, `OfficeArt`, `PrcData`, `DocFile`, `DocxWriter`, `DocToDocx` (публичные `convert`/`countPages`; вложенный `DocxBody` — рендер текста и табличного автомата в XML) |
| `…/wordpdf/internal/chart/` |18 классов Java2D-рендера диаграмм/SmartArt в PNG (public: `DrawingPreRenderer.run` и `ChartImageHandler` — второй инстанцируется из `WordPdfConverter`)|
| `…/wordpdf/internal/chart/` |21 классов Java2D-рендера диаграмм/SmartArt/OMML-формул в PNG (`MathModel`/`MathRenderer`/`MathUnsupportedException` — формулы); public: `DrawingPreRenderer.run` и `ChartImageHandler` — второй инстанцируется из `WordPdfConverter`|
| `wordpdf-core/src/main/resources/fonts/` | 30 TTF + 3 лицензии — бинарные фикстуры, часть jar |
| `wordpdf-core/src/main/resources/xslt/` | `docx2fo.xslt` — вендорный XSL-FO-стилист (копия docx4j-export-fo + AUDIT-FIX-патчи), часть jar |
| `wordpdf-core/src/test/resources/samples/` | 25 закоммиченных фикстур: 13 `.docx` + 12 `.doc` (11 эталонов заказчика из `develop/doc/` с теми же базовыми именами + `doc-formats.doc`); `.docx` проходят `docs/standards/docx/validate-fixtures.py`, `.doc` — бинарные, XSD к ним неприменим |
@@ -30,7 +30,7 @@
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java` — точка входа библиотеки + static-блок `gsubFeatures` + `normalizers(options)` (порядок цепочки).
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java` — валидация входа и lightweight-подсчёт страниц (StAX, без docx4j).
- Дефолтов лимитов в ядре нет (`WordPdfSettings` упразднён): лимиты входа всегда приходят с вызовом через `ConvertOptions`, производные пороги считает `WordPdfValidator.max*` (см. таблицу выше).
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java` — замена диаграмм/SmartArt на PNG; владеет `MAX_EXTENT_EMU` и деградацией при падении рендера.
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java` — замена диаграмм/SmartArt/OMML-формул на PNG; владеет `MAX_EXTENT_EMU` и деградацией при падении рендера (формула — текст вместо удаления).
- `wordpdf-app/src/main/resources/application.properties` — multipart 100MB (`max-file-size`/`max-request-size` + `file-size-threshold=2MB` — части крупнее 2 МБ на диск, не в память; в тон gateway `client_max_body_size 100m`), `wordpdf.convert-timeout=2m`, пустой `wordpdf.api-key`, `server.forward-headers-strategy=framework` (префикс прод-прокси для springdoc) + `springdoc.swagger-ui.persist-authorization=true`; `wordpdf.max-mb`/`max-pages` здесь намеренно нет.
- `wordpdf-app/pom.xml` — `spring-boot-maven-plugin` с **явной** execution `repackage` (в 4.1.1 сам не связывается, jar останется тонким); `slf4j-simple` исключён; `spring-boot-starter-webmvc` (Boot 4: переименован из starter-web) + `spring-boot-starter-actuator` (нужен HEALTHCHECK контейнера `/actuator/health`); тест-зависимости: `spring-boot-webmvc-test` (в Boot 4 автоконфиг MockMvc вынесен из starter-test), test-jar core.
- `wordpdf-core/pom.xml` — `maven-jar-plugin` execution `test-jar` (публикует фикстуры для app); JaCoCo execution `check` переопределён (LINE 0.90 + BRANCH 0.85).
@@ -107,9 +107,9 @@ unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-expo
PMD: `failurePriority` в плагине не задан — на практике `verify` валит нарушение любой приоритетности; закрытый список правил — единственный источник `pmd-ruleset.xml` (в AGENTS.md не дублируется). Четыре правила `*MustUseBraces` деприкейтед в 6.55.0 — предупреждения «Discontinue using…» в логе verify ожидаемы.
- Нормализаторы — единый контракт `internal/DocxNormalizer` + константа `STEP`; цепочка `WordPdfConverter.normalizers()` = `DocxRewritePipeline.STEP` (правила 1–10 одним zip-проходом) + лямбда `OleObjectNormalizer`; нечего менять → **тот же массив**; package-private хук `static String rewrite(String xml)` для юнит-тестов (возвращает `null` при отсутствии изменений; есть у 10 из 11 — у многочастного `OleObjectNormalizer` нет); у `StrictOoxmlNormalizer` есть также `rewritePart(entryName, xml)`, у `TableIndentNormalizer` — `rewritePart(name, xml, band)` (per-part-логика, хуки пайплайна); правятся только части `word/*.xml`.
- Нормализаторы — единый контракт `internal/DocxNormalizer`; константа `STEP` только у `DocxRewritePipeline` (сам собирает цепочку); цепочка `WordPdfConverter.normalizers()` = `DocxRewritePipeline.STEP` (правила 1–11 одним zip-проходом) + лямбда `OleObjectNormalizer`; нечего менять → **тот же массив**; package-private хук `static String rewrite(String xml)` для юнит-тестов (возвращает `null` при отсутствии изменений; есть у 11 из 12 — у многочастного `OleObjectNormalizer` нет); у `StrictOoxmlNormalizer` есть также `rewritePart(entryName, xml)`, у `TableIndentNormalizer` — `rewritePart(name, xml, band)` (per-part-логика, хуки пайплайна); правятся только части `word/*.xml`.
- Классы в `internal` — `public` (иначе родительский пакет не вызвал бы), но публичные члены наружу только `normalize`/`STEP`/`declare`/`DrawingPreRenderer.run`/`DependencyGuard.check` (`rewrite`, карты — package-private); в `wordpdf-app` всё package-private кроме `WordPdfApplication`.
- Классы в `internal` — package-private; `public` только контракт наружу: `DocxNormalizer`, `DocxRewritePipeline`(+`STEP`), `OleObjectNormalizer`, `FopFallbackFonts`(+`declare`), `LayoutPostRenderer`(+`register`), `DependencyGuard`(+`check`) и `DrawingPreRenderer`(+`run`); `rewrite`-хуки и карты — package-private; в `wordpdf-app` всё package-private кроме `WordPdfApplication`.
- Гейт JaCoCo `0.8.15`: `jacoco:check` (правило BUNDLE, LINE COVEREDRATIO `0.90` — обоих модулей; в `wordpdf-core/pom.xml` execution `check` переопределён и добавляет BRANCH COVEREDRATIO `0.85` — только для core) на `verify`; агент подключается в surefire через `argLine` = `@{argLine} -Djava.awt.headless=true` (свойство `argLine` в корневом pom по умолчанию пусто и перезаписывается `prepare-agent` — `mvn test -Djacoco.skip=true` без агента работоспособно); `report` и `check` оба на `verify`, report раньше — при провале порога отчёт уже на диске; отчёты `target/site/jacoco/` (html+xml, xml нужен CI-сводке). Плотность покрытия держат тесты, а не заглушки: промахи в основном недостижимые IOException/catch-ветки (`GlyphFont`, `BundledFonts`) и защитные ветви сканеров нормализаторов/валидатора.
- Счётчики тестов и описание блока аудита .docx 2026-11 — `docs/agent/testing.md`. JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true`; только `Assertions` (Mockito/AssertJ не использовать; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`), тестовые классы package-private, зеркалят main-пакеты; только `@Test` + два `@BeforeAll` (warm-up шрифтов в `GlyphCoverageNormalizerTest` и `BundledFonts.init()` в `BundledFontsTest`) + `@AfterEach drainWorker` в `ConversionTimeoutTest` (дренировать отменённый FOP-рендер до следующего класса — гонка глобального `PhysicalFonts`).
@@ -121,4 +121,4 @@ PMD: `failurePriority` в плагине не задан — на практик
## Шрифты (детали)
`DISPLAY_NAMES` — обратный маппинг lowercase→отображаемое имя для `documentFontName` (пишет `GlyphCoverageNormalizer` в `w:rFonts`). `BundledFontMapper.bundledFamily` — public-хук «имя шрифта из docx → бандл-семейство или fallback» (пользуется chart-движком). `GlyphFont` — глиф-движок на fontbox (метрики + растеризация глифов для chart-движка и покрытия глифов); читает TTF **напрямую из classpath** `fonts/<file>` (не из temp-каталога `BundledFonts`), кэш по `family/variant`, `of()` возвращает `null` для неизвестного семейства; `java.awt.Font` из рантайм-пути убран, AWT остаётся только как геометрия Graphics2D.
`DISPLAY_NAMES` — обратный маппинг lowercase→отображаемое имя для `documentFontName` (пишет `GlyphCoverageNormalizer` в `w:rFonts`). `BundledFontAliases.bundledFamily` — public-хук «имя шрифта из docx → бандл-семейство или fallback» (пользуется chart/math-движком и покрытием); вынесен из `BundledFontMapper`, чтобы обращение к статике не тянуло `BestMatchingMapper.<clinit>` (скан classpath вне гейта свойств `docx4j.fonts.discover*`, которые выставляет `WordPdfConverter.<clinit>`). `GlyphFont` — глиф-движок на fontbox (метрики + растеризация глифов для chart-движка и покрытия глифов); читает TTF **напрямую из classpath** `fonts/<file>` (не из temp-каталога `BundledFonts`), кэш по `family/variant`, `of()` возвращает `null` для неизвестного семейства; `java.awt.Font` из рантайм-пути убран, AWT остаётся только как геометрия Graphics2D.
+2 -2
View File
@@ -2,7 +2,7 @@
### Счётчики (2026-11)
- 59 тестовых классов / 898 тестов: core 53/849 (`internal/doc/` 17/225, `internal/chart/` 17/271, `WordPdfConverterTest` 77), app 6/49 (ConvertController 23, ApiKeyFilter 8, ConversionService 5, ApiExceptionHandler 5, ConvertLimits 5, ConversionTimeout 3). Обновлять при изменении набора.
- 63 тестовых классов / 1004 теста: core 57/956 (`internal/doc/` 17/256, `internal/chart/` 18/301, `WordPdfConverterTest` 87), app 6/48 (ConvertController 26, ApiKeyFilter 8, ConversionService 5, ApiExceptionHandler 5, ConvertLimits 3, ConversionTimeout 1). Обновлять при изменении набора.
### Пиксели, метрики шрифтов, стенд без fontconfig
@@ -31,5 +31,5 @@
- `lineRuleAuto_wordSingleLinePitch` — пинит метрический шаг «single» (13.4277pt) от псевдофиксов раскладки; `carlitoAutoBlock_untouched` — блок без явного `w:line` не трогается.
- `vendoredXsltTracksJarCopy` — дрейф-гейт: вне AUDIT-FIX-регионов вендорный `docx2fo.xslt` обязан быть побайтно равен стилисту из jar'а docx4j-export-fo (при апгрейде docx4j — перевендорить и перенести патчи).
- Крафт POIFS (закоммиченных фикстур нет, крафт продублирован в `WordPdfConverterTest`): `ListsTest`+`DocToDocxFormattingTest#list*`↔`docLists_numberingAndBulletsRendered` (синтетический .doc со списками → PDF: `1.` `2.` `a)` `b)` `•`, ни одного `#`; фикстур со списками нет — крафт POIFS продублирован в `WordPdfConverterTest`), `PrcDataTest`+`DocToDocxFormattingTest#hugePapxRowMark_closesRowWithGridFromPrcData` (TTP-абзац с grpprl в PrcData Data-потока → `w:tbl`/`w:tr`/сетка из цепочки; фикстуры нет — `docTest.doc` заказчика не коммитим, крафт POIFS продублирован), `SectionsTest`+`HeadersTest`+`DocToDocxFormattingTest#twoSections*/sectionBreakInTable*`↔`docMultiSection_perSectionHeaders` (двухсекционный .doc → PDF: стр. 1 — ШАПКА-1+ПОДВАЛ-1, стр. 2 — ШАПКА-2 + унаследованный ПОДВАЛ-1, ни одной `#`; крафт POIFS продублирован в `WordPdfConverterTest`), `ChpxIndexTest#zeroOffset_defaultPropsBoundaryKept`+`DocToDocxFormattingTest#runFlags_*/keepNextKeepLines_*/sectLandscapePgNumCols_*/sectUnevenCols_*/cellVertAlign_*/drawnObject_*`+`SectionsTest#orientationPgNumColumns_applied/unevenColumns_perIndexWidths/restartWithoutStart_clampsToOne`+`TablesTest#vertAlign_*`↔`WordPdfConverterTest#docClassD_landscapeHiddenDelCaps/#docClassD_pageNumberRestartLowerRoman/#docClassD_twoColumnsBreak/#docClassD_drawnObjectBecomesImage` (закрытие пробелов класса D: vanish-фильтр/правки/caps/position/keep, landscape+pgNumType, колонки+column break, vAlign, 0x08→inline-картинка; фикстур нет — крафт POIFS продублирован в обоих тестовых классах).
- Синтетика через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`: AUDIT-FIX-2↔`movedRevision_textPrinted`/`bdoDir_textPrinted` (фикстур нет — синтетический docx через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`); пиннинг аудита .docx↔`footnote_rendersAtPageBottom`, `endnote_rendersAtDocumentEnd`, `docxHyperlink_uriAnnotation`, `pageRefField_liveNotCached` (кэш 9001/7777 заменён живым номером), `dateField_notStaleCache` (кэш 01.02.2003 заменён текущей датой), `titlePg_firstPageHeader`, `vMergeCell_spansRows`, `sdtContent_rendered`, `drawingTextBox_textPrinted`, `ommlMath_drawnAsVectors` (пиксели: +150 тёмных px@150dpi сверх текста), `highlightAndShading_backgroundDrawn` (жёлтые px >0 против baseline 0), аудит [MS-DOC] моста 2026-11: `GrpprlTest#tInsertOperand_skippedBySpra`/`tInsertOperand_truncated_aborts` (sprmTInsert — 4 байта, хвост TAP не рассинхронизирован), `TablesTest#cellPadding_*` + `DocToDocxFormattingTest#cellMargins_becomeTcMar` ↔ `WordPdfConverterTest#tableTcMar_textInsetLikeWord` (CSSA→w:tcMar, пайплайн красит поля ячейки как tblCellMar — текст на margin+padding), `StylesTest#characterStyle_stk3_chainViaCharChain`/`charChain_nonCharacterStk_empty` + `DocToDocxFormattingTest#charStyle_viaIstd_mergesUnderDirect` (sprmCIstd: символьная chpx-цепочка между стилевой и прямыми, direct wins), `DocToDocxFormattingTest#runHighlightAndShading_inRPr`/`runShadingPattern_degradesToBackFill`/`paraShd_inPPrBeforeJc` ↔ `docHighlightAndShading_yellowPixels` (Ico→ST_HighlightColor; w:shd в форме FOP val="clear"+fill; паттерн→cvBack), `SectionsTest#titlePage_flagFromSepx` + `DocToDocxFormattingTest#titlePage_emittedAfterCols` ↔ `docTitlePage_firstHeaderOnlyFirstPage` (sprmSFTitlePage + first-слоты Plcfhdd → headerReference type="first", первая страница — только first-шапка)..
- Синтетика через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`: AUDIT-FIX-2↔`movedRevision_textPrinted`/`bdoDir_textPrinted` (фикстур нет — синтетический docx через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`); пиннинг аудита .docx↔`footnote_rendersAtPageBottom`, `endnote_rendersAtDocumentEnd`, `docxHyperlink_uriAnnotation`, `pageRefField_liveNotCached` (кэш 9001/7777 заменён живым номером), `dateField_notStaleCache` (кэш 01.02.2003 заменён текущей датой), `titlePg_firstPageHeader`, `vMergeCell_spansRows`, `sdtContent_rendered`, `drawingTextBox_textPrinted`, `ommlMath_renderedAsPng` (пиксели: +150 тёмных px@150dpi сверх текста, текст формулы не извлекается), `ommlMathUnsupported_flattenedToText`, `highlightAndShading_backgroundDrawn` (жёлтые px >0 против baseline 0), аудит [MS-DOC] моста 2026-11: `GrpprlTest#tInsertOperand_skippedBySpra`/`tInsertOperand_truncated_aborts` (sprmTInsert — 4 байта, хвост TAP не рассинхронизирован), `TablesTest#cellPadding_*` + `DocToDocxFormattingTest#cellMargins_becomeTcMar` ↔ `WordPdfConverterTest#tableTcMar_textInsetLikeWord` (CSSA→w:tcMar, пайплайн красит поля ячейки как tblCellMar — текст на margin+padding), `StylesTest#characterStyle_stk3_chainViaCharChain`/`charChain_nonCharacterStk_empty` + `DocToDocxFormattingTest#charStyle_viaIstd_mergesUnderDirect` (sprmCIstd: символьная chpx-цепочка между стилевой и прямыми, direct wins), `DocToDocxFormattingTest#runHighlightAndShading_inRPr`/`runShadingPattern_degradesToBackFill`/`paraShd_inPPrBeforeJc` ↔ `docHighlightAndShading_yellowPixels` (Ico→ST_HighlightColor; w:shd в форме FOP val="clear"+fill; паттерн→cvBack), `SectionsTest#titlePage_flagFromSepx` + `DocToDocxFormattingTest#titlePage_emittedAfterCols` ↔ `docTitlePage_firstHeaderOnlyFirstPage` (sprmSFTitlePage + first-слоты Plcfhdd → headerReference type="first", первая страница — только first-шапка)..
- App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed`, `corruptNotAZip_rejected`, `plainZipNotDocx_rejected`, `junkInsideValidZip_conversionError` (500 на валидном .docx-контейнере с мусором), `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `drawingsAlwaysRendered`, `cyrillicAndPathInFilename_sanitizedResponseName`, `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey`, `dotSegmentOpenPrefix_rejected`, `errorFlagNotBoolean_rejected`, `methodNotSupportedReturns405`/`badContentTypeReturns415`.
+52
View File
@@ -0,0 +1,52 @@
# Аутентификация
## Ключ доступа
Все запросы, кроме открытых путей, требуют заголовок:
```
X-API-Key: <ключ>
```
Ключ сверяется со свойством сервера `wordpdf.api-key` (env `WORDPDF_API_KEY`).
Сравнение — `MessageDigest.isEqual` (защита от timing-атак). **Пустое свойство =
аутентификация выключена** — так работают `java -jar` и dev-стенд (:9011).
Без ключа или с неверным:
```
HTTP 401
{"error":"Ключ доступа не передан или неверен (заголовок X-API-Key)"}
```
## Открытые пути
Без ключа всегда доступны (матч по **префиксу со слэшем**, без учёта
forwarded-contextPath):
|Префикс|Что|
|---|---|
|`/actuator/`|health-checks Spring Boot|
|`/swagger-ui`|Swagger UI|
|`/v3/api-docs`|OpenAPI-спек|
!!! warning "Точечные сегменты обходят открытие"
Пути с точечными сегментами (`..` или их URL-код `%2e`) **никогда** не считаются
открытыми: запрос вида `/actuator/../api/v1/convert` потребует ключ даже на
открытом префиксе. Это защита от обхода фильтра через нормализацию пути.
## Где задаётся ключ
|Среда|Как|
|---|---|
|`java -jar`|`wordpdf.api-key=` пусто — auth выключен; включить: `--wordpdf.api-key=…` или env `WORDPDF_API_KEY`|
|prod-like стенд (:9010)|обязателен `.env` с `WORDPDF_API_KEY` (fail-closed: без него стек не поднимется), шаблон — `.env.example`|
|прод|env-переменная контейнера из Gitea Secret (в репозитории и на диске ключа нет)|
Сгенерировать ключ: `openssl rand -hex 32`.
## Как фронтенд узнаёт про ключ
SPA при старте опрашивает сервис (`probeApiKey()`, `GET /api/v1/convert`): 401 —
сервер требует ключ, показывается экран ввода; иначе — интерфейс открывается сразу.
Введённый ключ хранится в `localStorage` браузера и стирается при ответе 401.
+45
View File
@@ -0,0 +1,45 @@
# Эндпоинт конвертации
```
POST /api/v1/convert
```
Тело запроса — `multipart/form-data` с обязательным полем **`file`**: файл `.docx`
(OOXML) или `.doc` (Word 97–2003, переносится мостом в .docx в памяти). Файлы других
расширений отклоняются 400.
## Факультативные query/form-параметры
Параметры можно передать в query-строке или как form-поля.
|Параметр|Тип|Дефолт|Действие|
|---|---|---|---|
|`errorOnCharts`|Boolean|`false`|при `true` диаграммы в документе отменяют конвертацию (422); диаграммы конвертируются в растры всегда|
|`errorOnSmartArt`|Boolean|`false`|при `true` SmartArt отменяет конвертацию (422)|
|`errorOnOle`|Boolean|`false`|при `true` OLE-объекты отменяют конвертацию (422); при `false` OLE-объекты тихо удаляются, картинка-плейсхолдер сохраняется|
|`maxMb`|число|свойство сервера `wordpdf.max-mb` (5)|лимит размера входа в МБ; переопределяет серверный дефолт **в обе стороны**; `≤ 0` → 400|
|`maxPages`|число|свойство сервера `wordpdf.max-pages` (100)|лимит числа страниц; переопределяет в обе стороны; `≤ 0` → 400|
!!! note "На `.doc` error-флаги не срабатывают"
Плейсхолдеры диаграмм/SmartArt/OLE в бинарном формате — это BLIP-растры, мост
вставляет их картинками; векторные EMF/WMF/PICT пропускаются с warn. Флаги
работают только для `.docx`.
## Успешный ответ
```
HTTP 200
Content-Type: application/pdf
Content-Disposition: attachment; filename*=UTF-8''Документ.pdf
```
Имя файла берётся из `Content-Disposition` загруженного файла, санитизируется
(разрешены буквы, цифры, пробел и `._-`; кириллица разрешена; пустое имя → `document`)
и используется единожды для имени файла, заголовка ответа и заголовка PDF.
## Обработка
Задача ставится в однопоточную очередь воркеров (16 мест). Проверка размера —
синхронно до очереди. Конвертация дольше `wordpdf.convert-timeout` (2m) → 504,
очередь полна → 503. Полная таблица ответов — [Коды ошибок](errors.md),
пороги — [Лимиты](limits.md).
+55
View File
@@ -0,0 +1,55 @@
# Коды ошибок
Ошибки — JSON вида `{"error": "..."}`.
## Полная таблица
|Код|Смысл|
|---|---|
|200|PDF в теле ответа|
|400|некорректный вход (пустой / расширение не .docx/.doc / содержимое не zip и не CFB / зашифрованный .doc / больше лимита размера (`maxMb` или `wordpdf.max-mb`) / больше лимита страниц (`maxPages` или `wordpdf.max-pages`) / `maxMb`≤0 / `maxPages`≤0), отсутствующая часть `file`, некорректное значение error-флага|
|401|нет или неверен `X-API-Key`|
|404|неизвестный путь (в т.ч. `/v3/api-docs` при выключенном springdoc)|
|405|не-POST|
|413|тело запроса больше контейнерного лимита multipart (100 МБ; авторитетный лимит входа — `wordpdf.max-mb`, он даёт 400 раньше)|
|415|не-multipart тело|
|422|сработал error-флаг: в документе найдены диаграммы / SmartArt / OLE-объекты|
|500|ошибка ядра/рендера|
|503|очередь конвертации (16 мест) переполнена — повторить позже|
|504|конвертация дольше `wordpdf.convert-timeout` (по умолчанию 2m)|
## Фиксированные тексты
Тексты ниже — контракт с фронтендом, они не меняются:
|Код|Тело|
|---|---|
|401|`{"error":"Ключ доступа не передан или неверен (заголовок X-API-Key)"}`|
|404|`{"error":"Не найдено"}`|
|405|`{"error":"Метод не поддерживается"}`|
|415|`{"error":"Неподдерживаемый тип содержимого"}`|
|422 (диаграммы)|`{"error":"Конвертация отменена: в документе найдены диаграммы"}`|
|422 (SmartArt)|`{"error":"Конвертация отменена: в документе найден SmartArt"}`|
|422 (OLE)|`{"error":"Конвертация отменена: в документе найдены OLE-объекты"}`|
|500|`{"error":"Не удалось конвертировать документ"}`|
Другие 400-тексты параметризованы, например: `Файл не передан (multipart-поле «file»
обязательно)`, `Поддерживаются только .docx и .doc: <имя>`, `Файл больше <N> МБ: …`,
`Некорректное значение параметра «<имя>»`.
!!! info "500 — деталь только в лог"
Сообщения ядра (`ConversionException` и др.) логируются на сервере, наружу
всегда уходит фиксированный текст — внутренние детали не текут клиенту.
## Исключение → обработчик (для отладки)
|HTTP|Источник|
|---|---|
|400|`ValidationException`, `BadRequestException`, `MethodArgumentTypeMismatchException`, `MissingServletRequestPartException`|
|401|`ApiKeyFilter` (пишет ответ сам, до диспетчера)|
|404 / 405 / 415|`NoResourceFoundException` / `HttpRequestMethodNotSupportedException` / `HttpMediaTypeNotSupportedException`|
|413|`MaxUploadSizeExceededException`|
|422|`DrawingRejectedException`|
|500|`ConversionFailedException`|
|503|`ConversionRejectedException`|
|504|`ConversionTimeoutException`|
+74
View File
@@ -0,0 +1,74 @@
# Примеры клиентов
Базовый адрес зависит от стенда: прод `https://pjandro.ru/pdf-converter/api/v1/convert`,
prod-like локально `http://localhost:9010/api/v1/convert`, dev `http://<LAN-IP>:9011/api/v1/convert`,
`java -jar` — `http://localhost:8080/api/v1/convert`.
## curl
Без ключа (сервер с выключенной аутентификацией):
```bash
curl -F "file=@doc.docx" http://localhost:8080/api/v1/convert -o doc.pdf
```
С ключом и error-флагом:
```bash
curl -H "X-API-Key: $WORDPDF_API_KEY" \
-F "file=@Отчёт.docx" \
"https://pjandro.ru/pdf-converter/api/v1/convert?errorOnOle=true&maxMb=10" \
-o out.pdf
```
## JavaScript (fetch)
```js
const form = new FormData();
form.append("file", fileInput.files[0], fileInput.files[0].name);
const resp = await fetch("/api/v1/convert", {
method: "POST",
headers: apiKey ? { "X-API-Key": apiKey } : {},
body: form,
});
if (!resp.ok) {
const { error } = await resp.json().catch(() => ({ error: resp.statusText }));
throw new Error(error);
}
// имя файла из Content-Disposition: attachment; filename*=UTF-8''%D0%9E%D1%82%D1%87%D1%91%D1%82.pdf
const cd = resp.headers.get("Content-Disposition") ?? "";
const m = cd.match(/filename\*=UTF-8''([^;]+)/i);
const name = m ? decodeURIComponent(m[1]) : "document.pdf";
const blobUrl = URL.createObjectURL(await resp.blob());
const a = Object.assign(document.createElement("a"), { href: blobUrl, download: name });
a.click();
URL.revokeObjectURL(blobUrl);
```
Обработка 401 — стереть сохранённый ключ и показать экран ввода; 422 — показать
`error` из тела (документ содержит диаграммы/SmartArt/OLE).
## Python (requests)
Таймаут обязан быть больше серверных 2 минут на чтение:
```python
import requests
resp = requests.post(
"https://pjandro.ru/pdf-converter/api/v1/convert",
headers={"X-API-Key": API_KEY} if API_KEY else {},
files={"file": open("doc.docx", "rb")},
params={"errorOnCharts": "false"},
timeout=(10, 180), # connect 10 c, read 180 c — больше серверных 2m
)
resp.raise_for_status()
with open("doc.pdf", "wb") as f:
f.write(resp.content)
```
Так же устроены прод-автотесты репозитория (`prod-autotests/`, pytest + requests).
+53
View File
@@ -0,0 +1,53 @@
# REST API
Базовый путь — корень сервера; единственный эндпоинт:
```
POST /api/v1/convert
```
Quickstart — конвертировать документ и сохранить PDF (ключ доступа, если сервер его
требует, — в заголовке `X-API-Key`):
```bash
curl -H "X-API-Key: $WORDPDF_API_KEY" -F "file=@doc.docx" \
https://pjandro.ru/pdf-converter/api/v1/convert -o doc.pdf
```
Локальный бэкенд (`java -jar`, порт 8080, ключ выключен):
```bash
java -jar wordpdf-app/target/wordpdf-app-1.0.0.jar
curl -F "file=@doc.docx" http://localhost:8080/api/v1/convert -o doc.pdf
```
Успешный ответ — `200`, тело — байты PDF (`Content-Type: application/pdf`,
`Content-Disposition: attachment; filename*=UTF-8''…`).
## Документация в самом сервисе
|Что|Путь|Когда доступно|
|---|---|---|
|Swagger UI|`/swagger-ui.html`|пока включён springdoc|
|OpenAPI (JSON)|`/v3/api-docs`|пока включён springdoc|
На `java -jar` и dev-стенде (:9011) springdoc включён; на проде он также открыт
(проверяется автотестом `test_swagger_ui_open_without_key`). В локальном prod-like
compose-стеке springdoc выключен env-ами `SPRINGDOC_API_DOCS_ENABLED=false` и
`SPRINGDOC_SWAGGER_UI_ENABLED=false` (в этом случае `/v3/api-docs` отвечает 404).
## Разделы
- [Аутентификация](authentication.md) — ключ `X-API-Key`.
- [Эндпоинт конвертации](convert-endpoint.md) — параметры и ответ.
- [Коды ошибок](errors.md) — полная таблица и тексты.
- [Лимиты](limits.md) — размер, страницы, очередь, таймаут.
- [Примеры клиентов](examples.md) — curl, JavaScript, Python.
## Как устроена обработка
Конвертации сериализуются **одним воркером**: ядро мутирует глобальный реестр шрифтов,
поэтому все конвертации идут последовательно (очередь — 16 мест, переполнение → 503).
Головой очереди на старте стоит `warmup()` — прогрев ядра (~1,5–2,5 с), чтобы первый
запрос после деплоя не платил за инициализацию JAXB/XSLT/FOP. Проверка размера входа
выполняется синхронно, до постановки в очередь.
+47
View File
@@ -0,0 +1,47 @@
# Лимиты
## Лимиты входа
|Свойство|Env|Дефолт|Смысл|
|---|---|---|---|
|`wordpdf.max-mb`|`WORDPDF_MAX_MB`|5|максимальный размер файла в МБ (MiB)|
|`wordpdf.max-pages`|`WORDPDF_MAX_PAGES`|100|максимальное число страниц|
Это **дефолт эндпоинта**: параметры запроса `maxMb`/`maxPages` переопределяют его
в обе стороны (значения `≤ 0` → 400; верхнего серверного потолка нет — защитные
пороги растут вместе с лимитами). Значение свойства сервера `≤ 0` — падение
приложения на старте (`IllegalStateException`).
## Производные защитные пороги
Остальные пороги выводятся из лимитов входа (`WordPdfValidator`), проверяются
до рендера, одним lightweight-сканом:
- распакованный размер архива;
- суммарный распакованный размер XML-частей;
- число записей zip и защита от дубликатов записей;
- площади растровых изображений (пиксели);
- размер `[Content_Types].xml` (жёсткие 8 МБ).
Превышение любого — `400` (в библиотеке — `ValidationException`).
## Потолок инфраструктуры — 100 МБ
`spring.servlet.multipart.max-file-size`/`max-request-size` = 100MB — потолок
контейнера, зеркалит `client_max_body_size 100m` nginx-шлюза. Тело больше — 413.
Логический лимит входа (`wordpdf.max-mb`, дефолт 5 МБ) отсекает раньше и даёт 400;
413 возможен только когда серверный лимит поднят администратором выше дефолта.
Части загрузки больше 2 МБ (`file-size-threshold=2MB`) сбрасываются на диск Tomcat —
heap держит только копию байтов одной сериализованной конвертации.
## Очередь и таймаут
|Параметр|Значение|Поведение|
|---|---|---|
|ёмкость очереди|16 мест|переполнение → **503** (повторить позже)|
|`wordpdf.convert-timeout`|`2m` (env `WORDPDF_CONVERT_TIMEOUT`)|конвертация дольше → **504** (задача отменяется)|
Конвертации исполняются строго последовательно одним воркером (ядро мутирует
глобальный реестр шрифтов); при таймауте `future.cancel(true)` не останавливает FOP
мгновенно — текущая конвертация дожигается, следующий запрос ждёт её в очереди.
+62
View File
@@ -0,0 +1,62 @@
# Диаграммы, SmartArt, формулы
XSLT-экспорт docx4j диаграммы не умеет, поэтому `DrawingPreRenderer` (шаг 3.5
конвейера) **до** генерации XSL-FO заменяет `c:chart` / `dgm:relIds` / `m:oMath`
на PNG-картинки (`pic:pic`). Рендер — собственный Java2D-движок (`internal/chart`,
21 класс), без Word/LibreOffice/JEuclid; текст рисуется глифами fontbox (`GlyphFont`),
поэтому fontconfig серверу не нужен.
## Диаграммы
- Выход: PNG **300 dpi** (`ChartRenderer.DPI = 300`), размеры из `wp:extent` (EMU→pt).
- Поддерживаемые типы (`ChartSpec.Type`): `PIE`, `PIE3D`, `DOUGHNUT`, `BAR`,
`BAR_HORIZONTAL`, `LINE`, `AREA`, `SURFACE3D`, `AREA3D`, `BAR3D`, `LINE3D`,
`RADAR`, `SCATTER`, `BUBBLE`, `STOCK`, `OF_PIE`, `SURFACE` (+ `UNSUPPORTED`).
- **Combo** («Комбинированная», §21.2.2.145): несколько групп в одном plotArea
(bar+line/area), привязка по `c:axId`, вторичная ось значений справа; серии
масштабируются по своей оси.
- Стекинг `stacked`/`percentStacked` — ряды накопленной суммой.
- Геометрия/камера 3-D и пропорции откалиброваны по эталонным экспортам Word
(пиксельные тесты с допусками).
## Умные границы (враждебный XML)
|Бюджет|Значение|Поведение при превышении|
|---|---|---|
|`ChartRenderer.MAX_PIXELS`|16 777 216 (4096², 64 МБ ARGB)|`fitDpi` понижает эффективный dpi (24″-график: 300→≈171 dpi), геометрия не меняется|
|`ChartSpec.MAX_POINTS`|100 000|отказ **до** предвыделения списка|
|`ChartRenderer.MAX_TICKS`|1000|безумный шаг оси заменяется «красивым» 1/2/5·10ⁿ|
|`DrawingPreRenderer.MAX_EXTENT_EMU`|22 000 000 (≈24″)|объект **остаётся как есть** + warn (не удаляется)|
|бюджет chart/math-PNG на документ|128 MiB|объект удаляется + warn|
## Модель деградации
Битая/неподдерживаемая часть роняет не конвертацию, а объект:
|Ситуация|Исход|
|---|---|
|битая chart-часть / превышение бюджета PNG|объект удалён + warn|
|неподдерживаемая/битая OMML-формула|**текст** (конкатенация `m:t`) + warn — текст терять хуже|
|`wp:extent` вне диапазона/ноль|объект остаётся + warn (FOP молча потеряет)|
|`OutOfMemoryError`|не деградация — `ConversionException` (REST 500)|
## SmartArt
`SmartArtRenderer` рисует диаграмму по разметке [MS-ODRAWXML]/§21.4: узлы, макет,
связи; тот же DPI/`fitDpi`.
## Формулы OMML
Собственный растер: `MathModel` разбирает OMML (§22.1) в дерево боксов,
`MathRenderer` рисует его только бандл-шрифтами. Конструкции вне списка `SUPPORTED`
деградируют в текст ещё на шаге нормализации (правило 6). Inline-формула опускается
на нижний запас рана — FOP ставит инлайн-графику нижним краем на базу строки.
## Контрафт media-частей
PNG-части получают имена `/word/media/chart-N.png` (константа
`CHART_MEDIA_URI_PREFIX`); по этому префиксу `ChartImageHandler` отключает
пересжатие картинок в FOP — переименование молча вернёт «мыльный» ресемпл.
Глубина (пейнтеры, калибровки, спецификационные секции) —
[chart.md (репозиторий)](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/docs/agent/chart.md).
+61
View File
@@ -0,0 +1,61 @@
# Мост .doc → .docx
Бинарный формат Word 97–2003 читается **собственным мостом** без внешних
зависимостей (POI остаётся test-scope): байты `.doc` парсятся по спецификациям
**[MS-DOC]** (сам документ) и **[MS-CFB]** (OLE2-контейнер), собираются in-memory
`.docx` — и дальше идут тем же конвейером, что и обычные docx.
## Точка входа
```java
DocToDocx.convert(byte[] docBytes, long maxMb) // → байты .docx (вызывает WordPdfConverter)
DocToDocx.countPages(byte[] docBytes) // → страницы по сырым байтам (вызывает валидатор)
```
Страницы `.doc` считаются **по сырым байтам до конвертации** (PageCount из
SummaryInformation, разрывы 0x0C, межсекционные разрывы, `pageBreakBefore`) —
тот же скан используется валидатором лимита страниц. Любой брак (не-CFB, шифрованный
документ, Word 6–95) → `ConversionException` (в REST — 400).
## Классы пакета `internal/doc` (18 top-level)
|Класс|Спецификация|Что делает|
|---|---|---|
|`CfbReader`|[MS-CFB] §2.2–2.6|FAT/DIFAT/miniFAT, directory; бюджеты против враждебного FAT, любой брак → `ConversionException`|
|`FibHeader`|[MS-DOC] §2.5.1|заголовок FIB: потоки 1Table/0Table, пары fc/lcb нужных индексов, сверка раскладок по nFib|
|`PieceTable`|§2.9.135|текст: куски CP1252/UTF-16LE, клампинг к `cbMac`, проверка aCP|
|`Grpprl`|§2.6.2|свойства форматирования (sprm'ы): bold/italic/шрифт/цвет/подсветка/заливка/отступы/табуляции|
|`ChpxIndex` / `PapxIndex`|§2.4.6|FKP-страницы символьных/абзацных свойств|
|`Styles`|§2.9.271|STSH: стилевые цепочки абзацев и символов (stk=1/2)|
|`Tables`|§2.6.3|TAP TTP-абзаца → сетка, границы, выравнивание таблицы|
|`Lists`|§2.9.200/.201|PlfLst/PlfLfo → `word/numbering.xml`|
|`Sections`|§2.8.26|PlcfSed → геометрия секций, ориентация, нумерация страниц, `titlePg`|
|`FontTable`|§2.9.286|SttbfFfn: индекс ftc → имя семейства|
|`SummaryInfo`|[MS-OLEPS]|`\x01SummaryInformation`: в т.ч. PageCount|
|`Headers`|§2.4.1|Plcfhdd: 6 колонтитуков на секцию → `headerN.xml`/`footerN.xml`|
|`OfficeArt`|[MS-ODRAW]|картинки: BLIP-хранилище (JPEG/PNG/TIFF/DIB/EMF/WMF/PICT)|
|`PrcData`|§2.9.210|разворачивание «огромных» grpprl, вынесенных за FKP-страницу|
|`DocToDocx`|—|оркестратор + вложенный `DocxBody` (сборка document.xml)|
|`DocxWriter`|—|мульти-частный zip: content-types, rels, numbering, headers, media|
17 из 18 классов package-private; наружу — только `DocToDocx`.
## Модель деградации (не падение)
|Объект в .doc|Поведение|
|---|---|
|OLE-внедрения (U+0001 в тексте)|плейсхолдер заменяется его же BLIP-картинкой|
|картинки JPEG/PNG/TIFF/DIB|переносятся дословно / через ImageIO в PNG|
|EMF/WMF/PICT|пропуск с warn (векторные растеризаторы не в контуре)|
|битые/неподдерживаемые конструкции|снисходительный разбор, объект исчезает или упрощается — текст не теряется|
Поэтому **error-флаги (`errorOnCharts`/`errorOnSmartArt`/`errorOnOle`) на `.doc` не
срабатывают**: OLE-вложения бинарного формата — это U+0001 с BLIP-плейсхолдером,
мост деградирует их в картинки, «OLE-объектов» в смысле docx-пути в результате нет.
## Сознательный остаток
Семантика рестартов списков (`fNoRestart`/`ilvlRestartLim`), `fLegal`,
AUTONUM-поля (трактуются как обычные списки), часть тонкостей объединённых ячеек —
осознанные упрощения вне контура; полный перечень —
[doc-bridge.md (репозиторий)](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/docs/agent/doc-bridge.md).
+63
View File
@@ -0,0 +1,63 @@
# Шрифты
Конвертация не зависит от шрифтов системы: **30 TTF упакованы в jar**
`wordpdf-core/src/main/resources/fonts/`, выгружаются во временный каталог и
регистрируются в docx4j/FOP. Реестр шрифтов после каждой конвертации возвращается
к бандлу — шрифты, встроенные в чужие docx, не влияют на последующие документы.
`java.awt.Font` не используется (метрики и глифы — fontbox напрямую), поэтому
**fontconfig серверу не нужен**.
## Бандл
7 текстовых семейств по 4 начертания + 2 покрывающих (только regular):
|Семейство|Аналог MS-шрифта|Назначение|
|---|---|---|
|Carlito|Calibri|метрически совместимая замена|
|Caladea|Cambria|метрически совместимая замена|
|Arimo|Arial|метрически совместимая замена|
|Tinos|Times New Roman|метрически совместимая замена|
|Cousine|Courier New|метрически совместимая замена|
|DejaVu Sans / DejaVu Serif|—|fallback с гарантированной кириллицей|
|Noto Naskh Arabic|—|арабские дополнения U+07B1–U+08FF|
|Noto Sans Armenian|—|армянские знаки Unicode 16|
## Алиасы (`BundledFontAliases`)
Имена шрифтов из документа подменяются аналогами при конвертации:
|Имя в docx|Физический шрифт|
|---|---|
|Calibri|Carlito|
|Cambria|Caladea|
|Arial|Arimo|
|Times New Roman|Tinos|
|Courier New|Cousine|
## Fallback-цепочка
1. **Ран** идёт своим шрифтом (по `w:rFonts` + алиасам).
2. Знака нет в шрифте рана (тире «—», кавычки, U+2000–U+2EFF) — ран падает в
**DejaVu Sans** (FOP-фолбэк-семейства задекларированы всецело, шаг 4 конвейера).
3. Serif-раны ищут покрытие сначала в serif-семействах (DejaVu Serif, Tinos, Caladea).
4. Знака нет и там — `GlyphCoverageNormalizer` (правило 7) режет ран и каждой части
назначает покрывающее семейство: serif → DejaVu Serif, sans → DejaVu Sans,
экзотика → Noto.
5. Знака нет ни в одном шрифте бандла — остаётся `.notdef` (пустой бокс).
Все шрифты встраиваются в PDF как **подмножества** (кириллица и латиница
воспроизводятся на любом просмотрщике).
## Лицензии
|Шрифты|Лицензия|
|---|---|
|Arimo, Cousine, Tinos, Carlito, Caladea|SIL OFL 1.1 (`fonts/FONT-LICENSE.txt`)|
|DejaVu Sans / DejaVu Serif|SIL OFL 1.1 / Bitstream Vera (`fonts/DejaVu-LICENSE.txt`)|
|Noto Naskh Arabic, Noto Sans Armenian|SIL OFL 1.1 (`fonts/Noto-LICENSE.txt`)|
GPL-шрифты в бандл не добавляем намеренно (из-за этого два символа эталона —
U+2188/U+218A — остаются `.notdef`; см. [Ограничения](limitations.md)).
Новый шрифт = файл в `resources/fonts/` + запись в `BundledFonts.ENTRIES`
(синхронность проверяет `BundledFontsTest`).
+40
View File
@@ -0,0 +1,40 @@
# Ограничения рендера
Конвертер **не является pixel-perfect рендером Word**: часть расхождений —
неустранимые невозможности связки docx4j + Apache FOP, а не упущения проекта.
## Что конвертируется приближённо
- Раскладка, поля и некоторые эффекты могут отличаться от Word (ограничения
FOP/docx4j по построению).
- Символы U+2000–U+2EFF (тире, кавычки): из шрифта рана, если в нём есть глиф,
иначе — из fallback-семейства DejaVu.
- Знаков, которых нет ни в одном шрифте бандла, это не касается: вместо них
остаётся `.notdef` (пустой бокс). В эталонном наборе таких два: U+2188 (ↈ) и
U+218A (↊) — глифы есть только в GNU FreeSerif под GPL, а бандл держится целиком
на SIL OFL.
- Поддержка таблиц/изображений — базовая (уровень docx4j/FOP).
- На `.doc` error-флаги диаграмм/SmartArt/OLE не срабатывают: BLIP-плейсхолдеры
бинарного формата — уже растры (вставляются картинками), EMF/WMF/PICT пропускаются
с warn — [Мост .doc](doc-bridge.md).
## Стоп-лист «не чинить»
До любой попытки «починить» расхождение с Word — сверьтесь со списком: это
невозможности движка, попытка фикса хуже самого расхождения.
|Конструкция|Что происходит|Почему не чинится|
|---|---|---|
|`w:jc="distribute"`|рендерится как left|межсимвольного распределения в FOP нет; `text-align-last` в форке отсутствует|
|`w:suff="tab"`|игнорируется (label через hanging-tab)|нужна per-item ширина; совпадает с поведением docx4j|
|`w:lvlJc`|игнорируется|—|
|кернинг|не применяется|—|
|`framePr` (обтекание)|не поддерживается|—|
|кэш полей `REF`/`SEQ`/`TOC`|печатается кэш из docx|живой пересчёт вне контура (`PAGE`/`NUMPAGES`/`PAGEREF`/`DATE` — пересчитываются)|
|руби (надстрочница)|надстрочная часть вырезается, база печатается|ruby-разметки в FOP нет; потеря текста хуже потери аннотации|
|`ptab`|не поддерживается|—|
|U+2188/U+218A|`.notdef`|GPL-шрифты не добавляем намеренно|
|`lineRule="auto"`|—|не «чинить»: метрический шаг пинен тестом|
Полный перечень с доказательствами по ECMA-376 —
[render-limitations.md (репозиторий)](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/docs/agent/render-limitations.md).
+68
View File
@@ -0,0 +1,68 @@
# Архитектура
## Конвейер конвертации (шаги 0–7)
Единственный вход ядра — `WordPdfConverter.convert(byte[], String, ConvertOptions)`;
порядок шагов фиксирован и каждый обоснован:
|#|Шаг|Зачем|
|---|---|---|
|0|`DependencyGuard.check()`|API-проба commons-compress ≥ 1.25.0 — понятная ошибка вместо `NoSuchMethodError` внутри docx4j|
|1|`new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()`|реестр шрифтов = только бандл (+ встроенные в docx); системные сканы отключены гейт-свойствами; порядок строго такой, до `load()`|
|2|нормализаторы → `WordprocessingMLPackage.load`|12 правил переписывания байтов одним zip-проходом + OLE-вычистка (см. ниже)|
|3|`setFontMapper`|привязка имён шрифтов документа к физическим TTF|
|3.5|`DrawingPreRenderer.run`|диаграммы/SmartArt/OMML-формулы → PNG 300 dpi; **обязателен до `FOSettings`**, иначе FOP молча теряет диаграммы|
|4|`FOSettings` + `ChartImageHandler` + `FopFallbackFonts.declare`|FOP встраивает только задекларированные семейства; декларуются все бандл-семейства|
|4.25/4.5|`LayoutPostRenderer.register`, `setCustomXsltTemplates`|padding-компенсация таблиц; вендорный XSLT с AUDIT-FIX-патчами|
|5–6|общая `FopFactory` (DCL) → `Docx4J.toFO(..., FLAG_EXPORT_PREFER_XSL)`|XSL-FO → PDF|
|7|`finally`|сброс temp-шрифтов, сброс общих кешей картинок (иначе ~1,5 ГБ за 30 конвертаций), возврат реестра к бандлу|
Нормализаторы правил 1–11 (один zip-проход, порядок значим): strict→transitional,
`on/off`→`true/false`, Symbol/Wingdings→Unicode, поля `PAGE`/`NUMPAGES` →
`w:fldSimple` (пересчёт вместо кэша), невидимые символы, OMML-фолбэк, резка ранов
по покрытию глифов, отступ таблиц, `suff="space"`, скрытый текст, руби. Правило 12 —
`OleObjectNormalizer` (отдельным байтовым проходом).
Полное «что делает каждый шаг и почему именно так» —
[pipeline.md (репозиторий)](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/docs/agent/pipeline.md).
## Слои ядра (`wordpdf-core`)
|Слой|Содержимое|
|---|---|
|публичный API (`ru.pjandro.wordpdf`)|`WordPdfConverter`, `WordPdfValidator`, `ConvertOptions`, иерархия ошибок — см. [API библиотеки](../library/api.md)|
|`internal/`|нормализаторы (контракт `byte[] normalize(byte[])`), `FopFallbackFonts`, `LayoutPostRenderer`, `DependencyGuard`|
|`internal/doc/`|мост бинарного `.doc` → in-memory `.docx` — [Мост .doc](doc-bridge.md)|
|`internal/chart/`|Java2D-рендер диаграмм/SmartArt/формул → PNG — [Диаграммы](charts.md)|
|`fonts/`|бандл из 30 TTF, маппинг алиасов, `GlyphFont` (метрики/глифы через fontbox, без AWT) — [Шрифты](fonts.md)|
Всё, кроме публичного API, — package-private; контракт наружу не расширяется.
## Параллельность
`PhysicalFonts` docx4j — глобальный мутируемый реестр → **все конвертации
сериализованы монитором класса `WordPdfConverter.class`**. Приложение (`wordpdf-app`)
дополнительно держит однопоточный `ThreadPoolExecutor` с очередью 16 мест (переполнение
→ 503, timeout 2m → 504), головой очереди стоит `warmup()`.
## REST-конвейер приложения (`wordpdf-app`)
`POST /api/v1/convert` → `ApiKeyFilter` (401) → `ConvertController` (проверка
расширения/размера, параметры) → `ConversionService` (очередь, Future с таймаутом,
перевод исключений ядра в HTTP) → ядро. Обработчик исключений пишет JSON
`{"error": …}` — карта кодов в [REST API](../api/errors.md). В модуле 11 классов,
все package-private кроме `WordPdfApplication`.
## Веб-интерфейс (`wordpdf-web`)
React SPA; вся сеть — ровно две функции в `api.ts` (`convertDocx`, `probeApiKey`),
состояние — `useState` в `App.tsx`, store-библиотек нет. Запросы идут на тот же
путь `/api/...` относительно базы раздачи — CORS не нужен.
## Внешние поверхности
- `gateway/nginx.conf` — единственная наружная точка стендов (:9010/:9011):
`/api/`, `/swagger-ui`, `/v3/api-docs`, `/actuator` → app:8080, остальное → web;
[Эксплуатация: стенды](../operations/stack.md).
- Прод (`https://pjandro.ru/pdf-converter/`) рендерится job'ом `deploy` из
Gitea Variables — [Деплой](../operations/deployment.md).
+64
View File
@@ -0,0 +1,64 @@
# Как контрибьютить
## Ветка и PR
Репозиторий: `git.pjandro.ru:pjandro/java-word-pdf`. Защищённые ветки — `main`,
`master`, `dev`: прямо в них не коммитим.
1. Ветка от свежей `main` (`git switch -c <name>`).
2. Коммиты логическими блоками.
3. Перед push — полный гейт: `./mise.sh run verify`.
4. `git push -u origin <name>` → pull request в дефолтную ветку.
5. CI на PR: `java` (единственный `mvn clean verify` в контейнере без fontconfig +
сводка покрытия комментарием) и `web` (`npm ci`, build, lint) — оба required.
`macos-sim` — не required.
## Конвенции кода
- Классы `final`, приватный конструктор, только `static` (stateless, DI в ядре нет);
в `internal/**` — package-private, `public` только вызываемым извне пакета.
- Ошибки публичного API — только `ConversionException` (и подтипы); в chart —
деградация вместо падения.
- Javadoc на русском: «зачем» + ссылка на секцию спецификации (§17.3.2.24,
[MS-DOC] §2.6.1…) + что сломается без шага + регрессия в формате
`Регрессия — WordPdfConverterTest#имя, фикстура samples/….docx` (по этой строке
грепом восстанавливаются пары тестов).
- Модели — `record`; константы UPPER_SNAKE с javadoc-обоснованием числа.
- PMD-подавления (`@SuppressWarnings("PMD…")`, `// NOPMD`) запрещены.
- Логирование: `java.util.logging` — корневой пакет и `internal/`; SLF4J —
`internal/chart` и `wordpdf-app`; остальное молчит.
## Регрессивная конвенция (фикс бага)
Каждый фикс расхождения с Word оформляется полным набором:
```
нормализатор/рендерер → юнит на правило → тест во всём конвейере
→ javadoc-ссылка «Регрессия — Тест#имя, фикстура …»
```
Фикстуры для новых тестов не генерируются на лету и не перезаписываются:
`charts-smartart.docx` и `ole-embedded.docx` сделаны руками и **не перезаписываются
никогда**; все 12 `.doc` — эталоны заказчика.
## Критические инварианты (нарушение = битый вывод)
Прежде чем править ядро — прогнать глазами список (полный — `AGENTS.md`,
[repo-map](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/docs/agent/repo-map.md)):
- static-блок `WordPdfConverter` (sysprops `gsubFeatures=false`, отключение
сканов PhysicalFonts) — не удалять;
- `DrawingPreRenderer` обязан идти **до** `FOSettings`, иначе FOP молча теряет диаграммы;
- порядок нормализаторов правил 1–11 фиксирован;
- вендорный `docx2fo.xslt` — единственный XSL-стилист, дрейф-гейт
`vendoredXsltTracksJarCopy`;
- `slf4j-simple` обязателен в ядре;
- префикс `/word/media/chart-*` — контракт с `ChartImageHandler`;
- финальный `finally`-блок: temp-шрифты, кеши картинок, возврат реестра к бандлу.
## Документация сайта
Разделы сайта живут в `docs/` (кроме `docs/agent/`, `docs/standards/` — они не входят
в сайт). Правка/новая страница: обязательна запись в `nav` `mkdocs.yml` (иначе
strict-сборка падает). Проверка: `./mise.sh run docs-build`. Публикация —
[`docs-deploy`](../operations/docs-site.md).
+83
View File
@@ -0,0 +1,83 @@
# Окружение разработчика
Требуется **Java 17**, **Maven 3.9.16**, **Node 24** (engines Vite: `^20.19.0 ||
>=22.12.0`), **Python 3.15** (прод-автотесты, сайт документации). Всё это ставит
project-local mise: сам бинарь — в `./.mise/bin` (gitignored), кеш инструментов —
в user-директории mise, **в систему ничего не устанавливается**. Версии пиныны
в `mise.toml`.
## Бутстрап (первая настройка)
```bash
sh bootstrap.sh # Linux / macOS: качает mise, ставит инструменты, npm ci SPA
```
```powershell
powershell -ExecutionPolicy Bypass -File .\bootstrap.ps1 # Windows
```
Дальше команды — через обёртку `./mise.sh` (Windows: `.\mise.ps1`):
```bash
./mise.sh run verify # полный гейт перед push
./mise.sh exec -- mvn -v # любая команда с инструментами в PATH
./mise.sh tasks # список задач
```
Альтернатива — активировать mise в шелле и работать напрямую (`mvn`, `npm`, `python`):
`eval "$(./.mise/bin/mise activate bash)"`.
## Задачи mise
|Задача|Содержание|
|---|---|
|`verify`|`mvn clean verify` — тесты + PMD + JaCoCo (гейт перед push)|
|`verify-nofontconfig`|тот же verify в контейнере без fontconfig (как CI; требует podman/docker)|
|`mem-bench`|замер памяти конвейера (TSV пиков + JFR)|
|`app-package`|исполняемый jar бэкенда|
|`app-run`|бэкенд на :8080, ключ выключен (после `app-package`)|
|`web-install`|`npm ci` в `wordpdf-web`|
|`web-build`|гейт SPA: `tsc -b && vite build`|
|`web-lint`|oxlint|
|`web-dev`|SPA на :5173, vite-proxy на :8080|
|`prod-tests`|прод-автотесты; обязателен `WORDPDF_BASE_URL`, факультативно `WORDPDF_API_KEY`|
|`docs-install`|venv `docs/.venv` + `mkdocs-material`|
|`docs-serve`|локальный предпросмотр сайта на :8000 (live-reload)|
|`docs-build`|strict-сборка сайта в `site/` (битые ссылки/навигация = ошибка)|
|`docs-javadoc`|javadoc публичного API core в `wordpdf-core/target/site/apidocs`|
|`docs-deploy`|публикация сайта на rpi (:9012): javadoc + strict-build + rsync|
## Прямые команды (без задач)
```bash
mvn clean verify # все модули + тесты
mvn test -Djacoco.skip=true # тесты без агента покрытия
mvn -pl wordpdf-core test -Dtest=WordPdfConverterTest#pageNumbers_recomputedNotCached
mvn -pl wordpdf-app -am test # -am обязателен: app берёт фикстуры из test-jar core
mvn -pl wordpdf-app -am package # исполняемый jar → wordpdf-app/target/
java -jar wordpdf-app/target/wordpdf-app-1.0.0.jar # :8080, ключ выключен
npm ci && npm run build # в wordpdf-web/ (или задачи web-*)
npm run dev # SPA :5173, проксирует /api на :8080
```
## Стенды на контейнерах (podman)
```bash
# dev (:9011), без ключа, springdoc включён
podman-compose -f compose.dev.yml up -d --build --force-recreate
# prod-like (:9010), fail-closed: нужен .env с WORDPDF_API_KEY (шаблон .env.example)
cp .env.example .env # ключ: openssl rand -hex 32
podman-compose up -d --build
```
`--force-recreate` для dev обязателен: без него podman-compose пересоберёт образ,
но контейнеры оставит на старом jar. Наружу публикуется только nginx-gateway
(9010/9011), 8080 наружу не выставляется. Подробности —
[Стенды](../operations/stack.md).
!!! info "«Запусти тестовый сервер»"
Так в проекте называют dev-стенд (`compose.dev.yml`, `http://<LAN-IP>:9011`),
а не `java -jar`. Готовность — контейнеры healthy (`podman-compose -f
compose.dev.yml ps`) + корень SPA отвечает 200.
+71
View File
@@ -0,0 +1,71 @@
# Тесты
## Гейты
Полный гейт перед push — `./mise.sh run verify` (= `mvn clean verify`); на `verify`
висят и валят сборку:
|Гейт|Порог|
|---|---|
|surefire (тесты)|все зелёные, `-Djava.awt.headless=true`|
|PMD (`pmd-ruleset.xml`)|любой приоритет нарушения валит; `includeTests=true`; **подавления запрещены** — чинить кодом|
|JaCoCo LINE|≥ 0.90 (оба модуля)|
|JaCoCo BRANCH|≥ 0.85 (только `wordpdf-core`)|
Провал — HTML/XML-отчёт уже в `target/site/jacoco/`. CI-эквивалент без fontconfig —
`./mise.sh run verify-nofontconfig`. `mvn test` PMD/JaCoCo-гейты не запускает.
## Стек и конвенции
- **JUnit 6** (`org.junit.jupiter`), **только `Assertions`** — Mockito/AssertJ
запрещены, их нет в pom (в app-тестах допустим inline-Hamcrest
`org.hamcrest.Matchers.containsString` в `andExpect`).
- Только `@Test` (исключения: два `@BeforeAll` прогрева шрифтов, `@AfterEach
drainWorker` в `ConversionTimeoutTest`); ни `@Nested`, ни `@ParameterizedTest`,
ни `@Disabled`, ни `assertAll`.
- Тестовые классы package-private, зеркалят main-пакеты.
- Именование: регрессионные — `объект_условие` (`pageNumbers_recomputedNotCached`),
юниты — camelCase (`pageFieldBecomesFldSimple`).
- Сообщения ассертов — по-русски, с наблюдаемым значением; литерал слева.
- Тестовых утилит нет — хелперы намеренно дублируются в классах.
## Фикстуры
Только закоммиченные `wordpdf-core/src/test/resources/samples/`: **13 `.docx` +
12 `.doc`** (`.doc` — эталоны заказчика). В тестах фикстуры **не генерировать**;
XSD-невалидную `.docx`-фикстуру правят, а не код
(`python3 docs/standards/docx/validate-fixtures.py …`). Синтетика в памяти разрешена:
docx — `ZipOutputStream` из литеральных XML, `.doc` — крафт `POIFSFileSystem`.
Ловушка загрузки: **core** грузит classloader-ресурсом без ведущего слэша
(`getResourceAsStream("samples/…")`), **app** — class-relative со слэшем
(`/samples/…`, ресурсы из test-jar core; отсюда обязательный `-am`).
## Как проверяется PDF
**Текстом, не растеризацией**: PDFBox 3 `PDFTextStripper` (нормализация пробелов);
негативные маркеры — `#` (.notdef) и `Helvetica` (фолбэк-шрифт FOP); имя шрифта
символа — приём `fontNameOf`; встроенные подмножества — обход ресурсов страниц
(`EAAAAA+Carlito-Bold`). Пиксели (BufferedImage, отношения к эталонам Word 300 dpi
с допусками) — только юниты chart-пейнтеров.
## App-тесты
4 набора свойств = 4 Spring-контекста: `ConvertControllerTest` (пин пустого
`wordpdf.api-key=`), `ApiKeyFilterTest`, `ConvertLimitsTest`, `ConversionTimeoutTest`;
`ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring. Проверяют HTTP-код,
заголовки, текст ошибки. Ловушка: mise инжектирует корневой `.env` в окружение задач
— ambient `WORDPDF_API_KEY` дал бы 401 во всех MockMvc-тестах, поэтому ключ пинится
свойствами контекста.
## Прод-автотесты
`prod-autotests/` (pytest + requests): 31 проверка против **живого** стенда —
4 открытые + 27 `needs_key` (SKIP без ключа). Конфигурация только env:
`WORDPDF_BASE_URL` (обязателен), `WORDPDF_API_KEY`, `WORDPDF_MAX_MB`/`MAX_PAGES`,
`WORDPDF_SAMPLES_DIR`. Таймауты `(10, 180)` — больше серверных 2m. Запуск:
`WORDPDF_BASE_URL=… ./mise.sh run prod-tests` (в CI гоняются job'ом `autotests`
после deploy).
Глубина (счётчики, пары «нормализатор ↔ тест», пиксельные допуски) —
[testing.md (репозиторий)](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/docs/agent/testing.md).
+64
View File
@@ -0,0 +1,64 @@
# Word → PDF конвертер
Конвертация **.docx/.doc → PDF** на чистой Java: `docx4j` 17.3.2 + форк `Apache FOP`
(`org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6), **без LibreOffice и без Aspose**.
Бинарный `.doc` (Word 97–2003) читается собственным мостом [MS-DOC]/[MS-CFB]
и переносится в .docx в памяти — дальше идёт тем же конвейером. Шрифты упакованы
в jar: конвертация не зависит от шрифтов, установленных в системе, и работает
«из коробки» на голом сервере.
## Три поверхности
|Поверхность|Что это|Куда смотреть|
|---|---|---|
|Веб-интерфейс|React SPA: перетащил файл → предпросмотр PDF → скачивание. Публикация: `https://pjandro.ru/pdf-converter/`|[Пользователю](user.md)|
|REST API|`POST /api/v1/convert` (Spring Boot 4.1.1), ключ доступа, Swagger UI|[REST API](api/index.md)|
|Java-библиотека|`wordpdf-core`: `WordPdfConverter.convert(...)` — байты docx на входе, байты PDF на выходе|[Библиотека](library/getting-started.md)|
## Как это работает (схема)
```
.docx/.doc ──> валидация входа ──> (.doc: мост → .docx в памяти)
──> нормализация байтов ──> docx4j (WordprocessingMLPackage)
──> диаграммы → PNG ──> XSL-FO (вендорный XSLT) ──> Apache FOP ──> PDF (embedded-шрифты)
```
1. Вход проверяется до рендера (`WordPdfValidator`): размер → сигнатура байтов
(zip `PK\x03\x04` или CFB `D0 CF 11 E0`) → контейнер и страницы lightweight-сканом,
без зависимости от docx4j.
2. XML-части переписывает `DocxRewritePipeline` одним zip-проходом (12 правил
нормализации), затем OLE-объекты вычищает `OleObjectNormalizer`.
3. Документ загружается в `WordprocessingMLPackage`, привязывается `BundledFontMapper`.
4. Диаграммы и SmartArt предварительно растеризуются в PNG 300 dpi собственным
Java2D-движком (`DrawingPreRenderer`) — XSLT-экспорт docx4j их не умеет.
5. Экспорт в XSL-FO идёт вендорным стилем `docx2fo.xslt`; `Apache FOP` рендерит
PDF, встраивая подмножества шрифтов.
Полностью, с обоснованиями — [Архитектура](architecture/overview.md).
## Возможности
- RU/EN: кириллица и латиница встраиваются в PDF как embedded-подмножества.
- Частые MS-шрифты подменяются метрически совместимыми open-source аналогами
([Шрифты](architecture/fonts.md)).
- Диаграммы (17 типов, включая комбинированные) и SmartArt — PNG без Word/LibreOffice
([Диаграммы](architecture/charts.md)).
- `.doc`: текст, стили, таблицы, списки, колонтитуки, картинки — собственный мост
([Мост .doc](architecture/doc-bridge.md)).
## Ключевые версии
|Компонент|Версия|
|---|---|
|Java|17 (temurin)|
|docx4j|17.3.2|
|Apache FOP (форк `docx4j-fo-renderer*`)|2.11-docx4j.6|
|commons-compress|1.28.0 (минимум 1.25.0)|
|Spring Boot|4.1.1|
|springdoc|3.1.1|
|SPA|React 19.2 + TypeScript ~6.0 + Vite 8.3|
## Ссылки
- [Javadoc публичного API `wordpdf-core`](/apidocs/index.html)
- [Внутренние справочники репозитория](internal-guides.md) — для глубокой правки кода.
+39
View File
@@ -0,0 +1,39 @@
# Внутренние справочники репозитория
Сайт покрывает «как пользоваться и как устроено». Для **глубокой правки кода**
в репозитории живут авторитетные справочники (`docs/agent/`, читаются наравне
с `AGENTS.md`) и закоммиченные спецификации форматов (`docs/standards/`).
В этот сайт они не включены (огромные тексты спецификаций) — ссылки ведут на Gitea.
## Справочники `docs/agent/`
|Документ|Читать при|
|---|---|
|[pipeline.md](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/docs/agent/pipeline.md)|правке конвейера `WordPdfConverter`, нормализаторов, валидатора; шаги 0–7 с обоснованиями, правила 1–12|
|[doc-bridge.md](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/docs/agent/doc-bridge.md)|правке моста `internal/doc`; классы ↔ секции [MS-DOC]/[MS-CFB], остаток моста|
|[chart.md](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/docs/agent/chart.md)|правке `internal/chart`; пейнтеры, калибровки по Word, защитные лимиты, §ECMA-376|
|[render-limitations.md](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/docs/agent/render-limitations.md)|любой попытке «починить» расхождение с Word — сначала стоп-лист|
|[testing.md](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/docs/agent/testing.md)|добавлении/правке тестов; счётчики, пиксельные допуски, фикстуры, конвенции|
|[ci-cd.md](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/docs/agent/ci-cd.md)|правке workflow'ов, Containerfile'ов, деплоя|
|[repo-map.md](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/docs/agent/repo-map.md)|поиске «где живёт X»: полная карта каталогов/файлов, REST-карта, конвенции|
## Спецификации `docs/standards/`
Нормативные тексты форматов, закоммиченные в репозиторий
(навигатор — `docs/standards/README.md`, ссылка в коде — с номером секции):
|Каталог|Содержимое|
|---|---|
|`ooxml/`|ECMA-376 Part 1 (PDF + md), [MS-OI29500], [MS-ODRAWXML], полные наборы XSD strict/transitional|
|`binary/`|[MS-CFB], [MS-OSHARED], [MS-ODRAW], [MS-OLEPS], [MS-OFFCRYPTO], [MS-OVBA], [MS-WMF], [MS-EMF]|
|`doc/`|[MS-DOC] — бинарный формат Word 97–2003|
|`docx/`|XSD-валидация фикстур (`validate-fixtures.py`)|
## Корневые документы
- [`AGENTS.md`](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/AGENTS.md) —
правила репозитория: конвейер, инварианты, команды, конвенции, гейты.
- [`README.md`](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/README.md) —
короткая точка входа в проект.
- [`GITEA-vars.md`](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/GITEA-vars.md) —
все Secrets/Variables CI и настройка branch protection.
+75
View File
@@ -0,0 +1,75 @@
# API библиотеки
Публичный API мал и стабилен: два сервисных класса, один record, пять видов ошибок.
Javadoc каждого члена — [apidocs](/apidocs/index.html).
## `WordPdfConverter`
```java
public final class WordPdfConverter {
public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options)
throws ConversionException;
public static synchronized void warmup();
}
```
- `convert` — единственный путь конвертации (двухаргументной перегрузки **нет**).
Принимает байты `.docx` или `.doc` (маршрутизация по сигнатуре), возвращает байты PDF.
`title` — заголовок PDF. `options == null` → `ValidationException`.
- `warmup()` — идемпотентный прогрев конвейера; не бросает.
## `WordPdfValidator`
Те же проверки входа **без рендера** — например, для валидации загрузки до очереди:
```java
public static void checkInput(byte[] docxBytes, long maxMb) throws ValidationException;
public static void validate(byte[] docxBytes, ConvertOptions options) throws ValidationException;
```
Проверяются: непустота, размер (`maxMb`), сигнатура (zip/CFB), для docx — контейнер
(`[Content_Types].xml` с типом документа), производные пороги (распаковка, XML,
растры, записи zip), число страниц (lightweight-скан, без docx4j; для `.doc` —
по сырым байтам мостом).
## `ConvertOptions`
```java
public record ConvertOptions(boolean errorOnCharts, boolean errorOnSmartArt,
boolean errorOnOle, long maxMb, int maxPages) {}
```
**Порядок полей фиксирован.** `maxMb`/`maxPages` должны быть больше 0. Дефолтов
в ядре нет — значения задаёт вызывающий. Диаграммы/SmartArt конвертируются всегда;
флаги только отменяют конвертацию находкой.
## Ошибки
```
ConversionException (RuntimeException)
├── ValidationException — вход некорректен (не docx/doc, размер, страницы, битый zip…)
├── ChartsFoundException — errorOnCharts и найдены диаграммы
├── SmartArtFoundException — errorOnSmartArt и найден SmartArt
└── OleFoundException — errorOnOle и найдены OLE-объекты
```
Ловите `ConversionException` — он покрывает всё; `ValidationException` — отдельно,
когда хотите различать «пользователь прислал мусор» и «конвертер не смог».
## Инвариант параллельности
`convert` **потокобезопасен, но сериализован**: все конвертации идут под монитором
класса `WordPdfConverter.class` — ядро мутирует глобальный реестр шрифтов docx4j
(`PhysicalFonts`). Параллельные вызовы корректны, но исполняются последовательно;
собственный пул/очередь с отказом при переполнении — забота вызывающего
(так делает `wordpdf-app`: один воркер, очередь 16).
## Шрифты и окружение
- Шрифты выгружаются из jar во временный каталог; реестр после каждой конвертации
возвращается к бандлу — встроенные в чужие docx шрифты не «травят» последующие
конвертации.
- `java.awt.Font` не используется (глифы — fontbox напрямую): **fontconfig хосту не нужен**,
контейнер без `/etc/fonts` работает.
- Нужен SLF4J-провайдер (см. [первые шаги](getting-started.md)) — иначе текст
предупреждений попадает в PDF.
+66
View File
@@ -0,0 +1,66 @@
# Зависимости потребителя
## commons-compress: единственная ловушка интеграции
Ядру (транзитивно, через docx4j) нужен `org.apache.commons:commons-compress`
**≥ 1.25.0**, рекомендован **1.28.0** — версию закрепляет POM `wordpdf-core`.
Симптом старой версии в classpath потребителя:
```
NoSuchMethodError: org.apache.commons.compress.archivers.zip.ZipArchiveEntry
org.apache.commons.compress.archivers.zip.ZipArchiveInputStream.getNextEntry()
```
До входа в docx4j теперь срабатывает guard (`DependencyGuard`): вместо мутного
`NoSuchMethodError` внутри docx4j — `ConversionException` с текстом, объясняющим,
какую версию закрепить.
### Maven: закреплять в `dependencyManagement`
BOM (например, Spring Boot 3.x) пинит свою версию commons-compress, а
`dependencyManagement` потребителя перекрывает транзитивные версии («nearest wins»)
— закреплять нужно именно в нём:
```xml
<dependencyManagement>
<dependencies>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-compress</artifactId>
<version>1.28.0</version>
</dependency>
</dependencies>
</dependencyManagement>
```
Диагностика:
```bash
mvn dependency:tree -Dincludes=org.apache.commons:commons-compress
```
### Gradle: достаточно не понижать
По умолчанию Gradle выбирает максимальную версию и конфликт разрешает сам —
guard не сработает и не нужен. Понижает версию только явный `constraints` /
`platform` / `resolutionStrategy`: уберите понижение либо закрепите нужную версию:
```kotlin
dependencies {
constraints {
implementation("org.apache.commons:commons-compress:1.28.0")
}
}
```
(либо `resolutionStrategy.force("org.apache.commons:commons-compress:1.28.0")`).
Диагностика: `gradle dependencies --configuration runtimeClasspath`.
## Прочие транзитивные зависимости
|Артефакт|Зачем|Нужно ли трогать|
|---|---|---|
|`docx4j-export-fo` (+ форк FOP `docx4j-fo-renderer*`)|конвейер XSL-FO → PDF|нет|
|`slf4j-simple`|единственный SLF4J-провайдер из коробки — без провайдера docx4j пишет «TO HIDE THESE MESSAGES» в PDF|исключить, если у приложения свой провайдер|
|`jcl-over-slf4j`|мост commons-logging (pdfbox/fontbox) → slf4j|нет (`commons-logging` исключён)|
|`fontbox`|чтение TTF напрямую, без `java.awt.Font`|нет|
+72
View File
@@ -0,0 +1,72 @@
# wordpdf-core: первые шаги
`wordpdf-core` — Java-библиотека конвертации `.docx`/`.doc` → PDF. Без LibreOffice,
без Aspose, без системных шрифтов: все TTF упакованы в jar.
## Подключение
```xml
<dependency>
<groupId>ru.pjandro</groupId>
<artifactId>wordpdf-core</artifactId>
<version>1.0.0</version>
</dependency>
```
Требуется **Java 17**. Единственный обязательный аспект интеграции — версия
`commons-compress` (см. [Зависимости](dependencies.md)).
## Минимальный пример
```java
import ru.pjandro.wordpdf.WordPdfConverter;
import java.nio.file.Files;
import java.nio.file.Path;
byte[] docx = Files.readAllBytes(Path.of("doc.docx"));
byte[] pdf = WordPdfConverter.convert(docx, "doc",
new ru.pjandro.wordpdf.ConvertOptions(false, false, false, 5, 100));
Files.write(Path.of("out.pdf"), pdf);
```
Второй аргумент — заголовок PDF (пустой/`null` — без заголовка). Работа с файлами —
забота вызывающего: ядро пути не принимает, только байты.
Формат входа определяется **по сигнатуре байтов**, расширение имени файла ядру
неизвестно:
|Сигнатура|Маршрут|
|---|---|
|`PK\x03\x04`|zip → OOXML-путь (docx4j)|
|`D0 CF 11 E0 A1 B1 1A E1`|CFB → мост .doc → .docx в памяти → тот же конвейер|
## Опции конвертации
`ConvertOptions` — record из пяти полей (детали в [API библиотеки](api.md)):
error-флаги диаграмм/SmartArt/OLE и лимиты размера/страниц. Дефолтов в ядре нет —
все пять значений задаёт вызывающий:
```java
// отменить конвертацию, если в документе есть диаграммы; лимиты 10 МБ / 200 страниц
var opts = new ConvertOptions(true, false, false, 10, 200);
byte[] pdf = WordPdfConverter.convert(bytes, "Отчёт", opts);
```
## Прогрев
Первая конвертация после старта JVM стоит ~1,3–1,7 с (инициализация JAXB/XSLT/FOP).
`WordPdfConverter.warmup()` прогоняет весь конвейер на минимальном встроенном docx
и идемпотентен (повторные вызовы — no-op); бросать не должен никогда — решение
о реакции на сбой прогревает код. Вызывайте на старте приложения, если не хотите,
чтобы первый пользователь платил за инициализацию:
```java
WordPdfConverter.warmup(); // ~1,5–2,5 с, один раз при старте
```
## Провайдер логов
В classpath потребителя **обязан быть SLF4J-провайдер**. Без него docx4j пишет
предупреждение «TO HIDE THESE MESSAGES…» **прямо в выходной PDF**. В jar `wordpdf-core`
для этого включён `slf4j-simple`; если ваше приложение приносит свой провайдер
(logback и т.п.) — исключите `slf4j-simple` из транзитивных зависимостей.
+52
View File
@@ -0,0 +1,52 @@
# Конфигурация сервера (`wordpdf-app`)
## Свойства и env
|Свойство|Env|Дефолт|Смысл|
|---|---|---|---|
|`wordpdf.api-key`|`WORDPDF_API_KEY`|пусто|ключ заголовка `X-API-Key`; пусто = аутентификация выключена|
|`wordpdf.max-mb`|`WORDPDF_MAX_MB`|5 (литерал `@Value`)|дефолтный лимит размера входа, МБ (MiB); ≤ 0 на старте → `IllegalStateException`|
|`wordpdf.max-pages`|`WORDPDF_MAX_PAGES`|100 (литерал `@Value`)|дефолтный лимит страниц; ≤ 0 → падение на старте|
|`wordpdf.convert-timeout`|`WORDPDF_CONVERT_TIMEOUT`|`2m`|таймаут одной конвертации (Duration) → 504|
|`spring.servlet.multipart.max-file-size` / `max-request-size`|—|`100MB`|потолок контейнера, зеркалит nginx `client_max_body_size 100m`|
|`spring.servlet.multipart.file-size-threshold`|—|`2MB`|части больше — на диск Tomcat (heap держит только копию одной сериализованной конвертации)|
|`server.forward-headers-strategy`|—|`framework`|работа за префикс-срезающим прокси (`X-Forwarded-*`); `native` не понимает `X-Forwarded-Prefix`|
|`springdoc.api-docs.enabled`|`SPRINGDOC_API_DOCS_ENABLED`|`true`|OpenAPI-спек; `false` → `/v3/api-docs` отдаёт 404|
|`springdoc.swagger-ui.enabled`|`SPRINGDOC_SWAGGER_UI_ENABLED`|`true`|Swagger UI|
|`springdoc.swagger-ui.persist-authorization`|—|`true`|не требовать ключ заново после перезагрузки страницы UI|
Ограничитель очереди (16 мест) — константа `ConversionService.QUEUE_CAPACITY`,
не конфигурируется.
!!! warning "Не объявляйте `wordpdf.max-mb`/`max-pages` в `application.properties`"
Дефолты 5/100 живут литералами `@Value` в `ConvertController`. Пустое значение
ключа в properties **затенит** литерал и сломает старт. Либо не объявляйте
(тогда дефолт), либо конкретное число.
## Примеры запуска
```bash
# ключ + лимиты через env
WORDPDF_API_KEY=$(openssl rand -hex 32) WORDPDF_MAX_MB=10 \
java -jar wordpdf-app/target/wordpdf-app-1.0.0.jar
# или аргументами
java -jar wordpdf-app/target/wordpdf-app-1.0.0.jar \
--wordpdf.api-key=secret --wordpdf.convert-timeout=3m
```
В prod-like compose-стеке `WORDPDF_API_KEY` читается из `.env` (fail-closed:
`${WORDPDF_API_KEY:?}` — без него стек не поднимается), на проде ключ приходит
только из Gitea Secret через окружение контейнера.
## Что задала не я, а инфраструктура
|Параметр|Где|Значение|
|---|---|---|
|`client_max_body_size`|`gateway/nginx.conf`|`100m`|
|proxy_read timeout|`gateway/nginx.conf`|300 с|
|heap контейнера app|`Containerfile` (ENTRYPOINT)|`-Xms2g -Xmx2g`; лимит `mem_limit: 3g` — в compose|
|`VITE_BASE`|build-arg образа web|`/pdf-converter/` (путь публикации на проде)|
Значение `maxMb`/`maxPages` конкретного стенда прод-автотесты читают из
`WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES` (на проде — 5/100).
+54
View File
@@ -0,0 +1,54 @@
# Деплой (прод)
Наружный вход прода — **`https://pjandro.ru/pdf-converter/`** (пользовательский
nginx режет префикс и проксирует на стек конвертера). Публикация полностью
автоматизрована: **push в `main` → Gitea Actions**.
## Пайплайн `main.yml`
```
java + web (тесты/гейты) ──> images-app + images-web (build+push в реестр)
──> deploy (рендер прод-стека, pull, up, health-гейты, автооткат)
──> autotests (pytest против живого прода; провал → rollback)
```
1. **`java` / `web`** — те же гейты, что на PR (`mvn clean verify` в контейнере
без fontconfig; `npm ci`/build/lint).
2. **`images-app` / `images-web`** — сборка Containerfile в Nexus-реестр, теги
`prod` + неизменяемый `sha-<7 символов>`; web печётся с
`VITE_BASE=/pdf-converter/` (путь публикации запекается в образ).
3. **`deploy`** — job **рендерит** `docker-compose.yml` и `nginx.conf` в директорию
деплоя из Gitea Variables (прод-хост не хранит ни конфигураций, ни секретов;
API-ключ — из Secret через окружение деплоя, на диск не пишется), затем
login/pull/`up -d --force-recreate app web`, гейты healthy + recreate gateway.
Единственное состояние на проде — `.rollback.env` (image id предыдущего рана).
4. **`autotests`** — 31 pytest-проверка против живого стенда; провал → откат
на образ из `.rollback.env`.
## Где креды и координаты
Всё вне репозитория — **Gitea Actions Variables/Secrets** (полный список и настройка
branch protection: [`GITEA-vars.md`](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/GITEA-vars.md)).
Прод-ключ `WORDPDF_API_KEY` — только Secret. В репо и на диске прод-хоста ключа нет.
## Ручные операции
!!! warning "Перед ручным перезапуском прода"
Прочитать `/home/pjandro/prod/java-word-pdf/DEPLOY.md` (живёт на прод-хосте,
вне репозитория) — там актуальные координаты и процедура. Ручных скриптов
деплоя в репозитории нет и не заводить.
Прод-образ/`compose` правятся только через CI-рендер; копий прод-стека на хосте
или в репо быть не должно.
## Проверка после деплоя
CI сам докладывает по job'ам (`/actions/runs/<id>/jobs`); руками:
```bash
curl -sf https://pjandro.ru/pdf-converter/actuator/health # 200 {"status":"UP"}
curl -s -o /dev/null -w '%{http_code}\n' https://pjandro.ru/pdf-converter/ # 200 SPA
```
Глубина (нюансы runner'ов, `DOCKER_BUILDKIT=0`, реестр, rollback-механика) —
[ci-cd.md (репозиторий)](http://git.pjandro.ru/pjandro/java-word-pdf/src/branch/main/docs/agent/ci-cd.md).
+88
View File
@@ -0,0 +1,88 @@
# Этот сайт документации
Статический сайт (MkDocs Material) собирается из `docs/` этого репозитория и
раздаётся nginx-контейнером на rpi-хосте LAN-сервера:
- адрес: **`http://192.168.88.23:9012/`** (LAN; наружу не публикуется);
- статика: `/home/pjandro/srv/wordpdf-docs/` (rsync без рестарта контейнера);
- javadoc публичного API: [`/apidocs/index.html`](/apidocs/index.html).
## Публикация (с хоста, из репозитория)
```bash
./mise.sh run docs-install # разово: venv docs/.venv + mkdocs-material
./mise.sh run docs-deploy # javadoc → strict-build → rsync в ~/srv/wordpdf-docs
```
`docs-deploy` выполняет фиксированный порядок: `mvn javadoc:javadoc` → копия
`wordpdf-core/target/site/apidocs` → `docs/apidocs` → `mkdocs build --strict` →
`rsync -a --delete site/ ~/srv/wordpdf-docs/`. **Рестарт сервиса не нужен** —
nginx раздаёт файлы с смонтированного тома. Strict-сборка ловит битые ссылки и
страницы вне `nav`.
Dev-цикл: `./mise.sh run docs-serve` → `http://127.0.0.1:8000/` (live-reload).
## Сервис отдачи
Rootless podman (nginx-контейнер) под user-systemd (`linger=yes`). Юнит
`~/.config/systemd/user/wordpdf-docs.service` (вне git; канон текста — здесь):
```ini
[Unit]
Description=Word PDF — сайт документации (nginx static, :9012)
[Service]
# podman run без -d — foreground, systemd видит основной процесс
ExecStart=/usr/bin/podman run --name wordpdf-docs --replace -p 9012:80 -v /home/pjandro/srv/wordpdf-docs:/usr/share/nginx/html:ro docker.io/library/nginx:alpine
ExecStopPost=/usr/bin/podman rm -f wordpdf-docs
Restart=on-failure
RestartSec=5
TimeoutStopSec=30
[Install]
WantedBy=default.target
```
Разовая установка (на хосте `192.168.88.23`):
```bash
podman pull docker.io/library/nginx:alpine
install -d /home/pjandro/srv/wordpdf-docs
systemctl --user daemon-reload
systemctl --user enable --now wordpdf-docs.service
```
Проверка/управление:
```bash
systemctl --user status wordpdf-docs.service
journalctl --user -u wordpdf-docs.service -n 50
curl -sf -o /dev/null -w '%{http_code}\n' http://127.0.0.1:9012/
```
Порт 9012: соседние 9010/9011 заняты стендами конвертера (конвенция сети), 8000 —
dev-preview. Наружу (wan) не публикуем; наружный nginx `pjandro.ru` при желании
добавит владелец сервера отдельно.
## Почему не Gitea Pages
Публиковать на инстансе `git.pjandro.ru` (Gitea 1.26.4) проверенным способом «Pages»
нельзя — встроенного Pages в этой сборке нет:
- в swagger инстанса отсутствует эндпоинт `/repos/{owner}/{repo}/pages`,
в config cheat sheet — `ENABLE_PAGES`/`PAGES_DOMAIN`;
- FAQ инстанса: «Gitea doesn't provide a built-in Pages server»;
- в Gitea Actions игнорируется `jobs.*.environment`, не поддерживаются scopes
`pages`/`deployments`; тандем `upload-pages-artifact` + `deploy-pages`
неработоспособен (`upload-artifact@v4` не поддерживается, `@v3` подвешивается).
Поэтому публикация — локальная задача `docs-deploy` на том же хосте, где живёт
сервис; CI не участвует (docs-файлы не требуют гейтов).
## Что входит в сайт / не входит
В сайт попадают все страницы `docs/`, **кроме** `docs/agent/`, `docs/standards/`
и `docs/requirements.txt` (`exclude_docs` в `mkdocs.yml`) — это внутренние
справочники и спецификации, на них ведут внешние ссылки на Gitea
([Внутренние справочники](../internal-guides.md)). Каталог `docs/apidocs/`
(gitignored) заполняется задачей `docs-deploy` и копируется mkdocs как статика.
+61
View File
@@ -0,0 +1,61 @@
# Стенды и топология
Наружу публикуется **только nginx-gateway**; контейнер `app` (:8080) наружу не
выставляется никогда. Порты стендов зафиксированы конвенцией сети.
|Стенд|Файл|Вход|Ключ доступа|springdoc|
|---|---|---|---|---|
|prod|`docker-compose.yml` (рендерится CI)|`https://pjandro.ru/pdf-converter/`|обязателен (Gitea Secret)|открыт|
|prod-like (локально)|`compose.yml`|`http://localhost:9010/`|fail-closed: `.env` с `WORDPDF_API_KEY`|выключен env-ами|
|dev|`compose.dev.yml`|`http://<LAN-IP>:9011/`|выключен|включён|
|без контейнеров|`java -jar` + `npm run dev`|`:8080` + `:5173`|выключен|включён|
## Gateway (prod-like/dev)
`gateway/nginx.conf`: `client_max_body_size 100m`, таймауты прокси 300 с,
`resolver` привязан literal-ом к шлюзу docker-сети стенда (10.113.0.1 / 10.112.0.1 —
не путать при копировании).
Маршруты:
|Location|Куда|
|---|---|
|`/api/`|`app:8080` (URI передаётся как есть)|
|`/swagger-ui`, `/v3/api-docs`, `/actuator`|`app:8080`|
|`/` (остальное)|`web` — чистая статика SPA|
`proxy_pass` через переменную + `resolver` — чтобы DNS-имя контейнера резолвилось
на каждый запрос, а не один раз при старте nginx.
## Подъём
```bash
# dev (:9011) — «тестовый сервер» проекта
podman-compose -f compose.dev.yml up -d --build --force-recreate
# prod-like (:9010) — нужен .env с WORDPDF_API_KEY (fail-closed), шаблон .env.example
cp .env.example .env # WORDPDF_API_KEY: openssl rand -hex 32
podman-compose up -d --build
```
!!! warning "--force-recreate"
Без него podman-compose пересоберёт образ, но контейнеры оставит на старом —
будет крутиться jar прошлой сборки.
## Прод
Прод-стек (`docker-compose.yml` + прод `nginx.conf`) **не хранится ни на хосте, ни в
репозитории** — job `deploy` в CI рендерит их из Gitea Variables (ключ — из Secret,
на диск не пишется), затем pull/`up -d --force-recreate`/health-гейты/автооткат.
Копии прод-конфигов на хосте/в репо — нарушение конвенции. Подробности —
[Деплой](deployment.md).
## Порты (конвенция)
|Порт|Кто|
|---|---|
|9010|prod-like gateway|
|9011|dev gateway|
|9012|сайт документации (nginx static, [Docs-сайт](docs-site.md))|
|8080|`java -jar` бэкенд (только localhost)|
|5173|vite dev-сервер SPA|
+74
View File
@@ -0,0 +1,74 @@
# Troubleshooting
Симптом → причина → действие. Только подтверждённое поведение стендов.
## 401 «Ключ доступа не передан или неверен»
- Забыт заголовок `X-API-Key` / ключ не совпадает со `WORDPDF_API_KEY` сервера.
- Prod-like стенд не поднимается без `.env` — это fail-closed (`${WORDPDF_API_KEY:?}`),
не баг.
- Запрос идёт через точечный сегмент (`/actuator/../api/...`) — открытые префиксы
с `..`/`%2e` ключем не обходятся, так и задумано.
- Фронт: экран ключа не появляется, хотя сервер его требует? Проверьте, что
`probeApiKey()` дошёл до сервера (network-вкладка); ключ из localStorage
стирается при 401.
## 422 «Конвертация отменена: … найдены диаграммы/SmartArt/OLE-объекты»
Не ошибка — сработал включённый error-флаг запроса. Снимите `errorOnCharts`/
`errorOnSmartArt`/`errorOnOle` (по умолчанию выключены). На `.doc` флаги не
срабатывают в принципе (плейсхолдеры — растры).
## 503
Очередь конвертации (16 мест) полна: воркер один, все конвертации сериализованы.
Повторите позже. Систематически — увеличивайте время ответа вниз (документы
поменьше) или масштабируйте количество экземпляров за балансировщиком (каждый
со своей очередью).
## 504
Конвертация дольше `wordpdf.convert-timeout` (2m). Уменьшите документ (много
больших растров/диаграмм) или поднимите таймаут серверу. Учтите: отменённая
конвертация дожигается, следующий запрос ждёт её в очереди.
## 413
Тело больше контейнерного потолка multipart (100 МБ) или nginx `client_max_body_size
100m` — обе границы стоят 100 МБ. Логический лимит входа (`wordpdf.max-mb`, дефолт
5 МБ) отсекает раньше и даёт 400, так что 413 — это когда серверный лимит поднят
выше 100 МБ бессмысленно либо запрос идёт мимо ожидаемого пути. Файл реально меньше,
но 413? Проверьте, не режет ли промежуточный прокси.
## В PDF напечатано «...TO HIDE THESE MESSAGES...»
В classpath нет SLF4J-провайдера — docx4j пишет предупреждения прямо в PDF.
Для библиотеки: оставить `slf4j-simple` (в транзитивах `wordpdf-core`) или принести
свой провайдер. Для app: `slf4j-simple` исключён в пользу logback — если логическая
конфигурация app сломана и SLF4J не инициализирован, верните провайдер.
## Картинки диаграмм «мыльные» (ресемпл)
Нарушен контракт префикса media-частей `/word/media/chart-*`: по нему
`ChartImageHandler` отключает пересжатие PNG в FOP. Если части переименованы
ручной правкой — верните префикс (`DrawingPreRenderer.CHART_MEDIA_URI_PREFIX`).
## Вместо знаков — `#` или пустые боксы
- `#` — глифа нет ни в шрифте ранa, ни в fallback, и не сработала резка по покрытию
(для docx-пута это регрессия — заведите issue с документом).
- Пустой бокс `.notdef` для U+2188/U+218A — известное ограничение OFL-бандла, не чинится.
- «Битый»/подменённый шрифт в целом — проверьте алиасы (`Calibri→Carlito` и т.д.,
[Шрифты](../architecture/fonts.md)): подмена метрически совместима и ожидаема.
## Стенд крутит старый код после пересборки
podman-compose пересобрал образ, но контейнеры остались на старом — перезапустите
с `--force-recreate` ([Стенды](stack.md)).
## `.doc` не конвертируется (400)
Проверьте сигнатуру: `D0 CF 11 E0 A1 B1 1A E1`. Word 6–95 и зашифрованные (Office 95
password) документы мостом не поддерживаются → 400/`ValidationException`. Расширение
`.doc` при zip-содержимом (переименованный docx) маршрутизируется по байтам — это
не ошибка.
+1
View File
@@ -0,0 +1 @@
mkdocs-material==9.8.2
+56
View File
@@ -0,0 +1,56 @@
# Пользователю
## Где открыть
Веб-конвертер: **`https://pjandro.ru/pdf-converter/`**. Работает в любом современном
браузере, установка не нужна.
## Как пользоваться
1. Перетащите файл `.docx` или `.doc` в зону загрузки (или выберите его через диалог).
2. Документ конвертируется на сервере; результат появляется во встроенном
предпросмотре PDF.
3. Нажмите «Скачать» — PDF сохранится под именем исходного файла с расширением `.pdf`
(кириллица в имени поддерживается).
В форме есть три переключателя («Диаграммы», «SmartArt», «OLE-объекты», по умолчанию
выключены): при включённом конвертация **отменится**, если документ содержит
соответствующие объекты, и интерфейс покажет понятное сообщение. По умолчанию
диаграммы и SmartArt конвертируются в картинки всегда, а OLE-объекты тихо удаляются
(картинка-плейсхолдер из документа сохраняется).
## Ключ доступа
Если сервер защищён ключом доступа, при первом открытии появится экран ввода ключа.
Ключ хранится в браузере (localStorage) и подставляется автоматически; при неверном
ключе стирается, и экран появляется снова. Если сервер ключ не требует, экран не
показывается вовсе.
## Поддерживаемые форматы
|Формат|Что это|
|---|---|
|`.docx`|OOXML (Word 2007 и новее), включая строгий (strict) OOXML|
|`.doc`|бинарный Word 97–2003; читается собственным мостом, без Word и LibreOffice|
Лимиты документа (размер, число страниц) задаёт сервер; конкретные значения зависят
от развёрнутого экземпляра.
## Что конвертируется точно, а что приближённо
Конвертер **не является pixel-perfect рендером Word**: это ограничения движка
FOP/docx4j, а не упущение проекта. Текст, стили, таблицы, списки, колонтитуки,
картинки, диаграммы и SmartArt воспроизводятся надёжно; раскладка, поля и некоторые
эффекты могут отличаться от Word.
Символы, которых нет в шрифте ранa (например, тире «—», кавычки), берутся из
fallback-семейства DejaVu с гарантированной кириллицей. Знаков, которых нет ни в одном
шрифте бандла, это не касается — для них останутся пустые боксы; в эталонном наборе
таких символа два (U+2188, U+218A — римские/осмы числительные, доступны только в
GPL-шрифтах).
На `.doc` переключатели «Диаграммы/SmartArt/OLE» не срабатывают: плейсхолдеры
бинарного формата — уже растры, они вставляются картинками; векторные EMF/WMF/PICT
пропускаются.
Полный перечень известных расхождений — [Ограничения рендера](architecture/limitations.md).
Executable
+128
View File
@@ -0,0 +1,128 @@
#!/bin/sh
# Замер памяти конвейера конвертации: пики кучи на конвертацию (TSV из MemoryBench)
# + топ аллокаций по JFR (jdk.ObjectAllocationSample). Методика и числа —
# docs/MEM_USAGE_UPGRADE.md.
#
# Вход: env MB_LABEL — метка прогона (before/after/f1…, файл JFR per-label);
# env MB_JAVA_OPTS — доп. флаги JVM ПОСЛЕ дефолтных (переопределение Xmx/GC
# для матрицы флагов; при -Xmx меньше дефолтного дефолт просто заменяется;
# для смены GC нужен и выключатель дефолта: "-XX:-UseG1GC -XX:+UseSerialGC",
# иначе JVM падает на старте с "Multiple garbage collectors selected");
# аргументы проходят в MemoryBench: --scenario suite|big|all|, --loops N,
# --big-loops N, --dir PATH (реальные документы, напр. develop/).
#
# Пример: MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-before.txt
set -eu
cd "$(dirname "$0")"
LABEL=${MB_LABEL:-run}
mvn -q -pl wordpdf-core test-compile
CPFILE=$PWD/wordpdf-core/target/cp.txt
if [ ! -f "$CPFILE" ] || [ wordpdf-core/pom.xml -nt "$CPFILE" ]; then
mvn -q -pl wordpdf-core org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
-Dmdep.outputFile="$CPFILE" -Dmdep.includeScope=test
fi
JFR=$PWD/wordpdf-core/target/membench-$LABEL.jfr
GCLOG=$PWD/wordpdf-core/target/membench-$LABEL.gc.log
ERRLOG=$PWD/wordpdf-core/target/membench-$LABEL.err
printf '# git %s\n' "$(git rev-parse HEAD)"
printf '# date %s\n' "$(date -u +%FT%TZ)"
printf '# MB_JAVA_OPTS=%s\n' "${MB_JAVA_OPTS:-}"
# MB_JAVA_OPTS без кавычек — намеренно: несколько флагов одним словом пользователя.
# shellcheck disable=SC2086
java -Xms64m -Xmx2g -XX:+UseG1GC -Djava.awt.headless=true \
-Xlog:gc*=info,gc+heap=debug:file=$GCLOG \
${MB_JAVA_OPTS:-} \
-XX:StartFlightRecording=filename=$JFR,settings=profile,maxsize=0,loglevel=error \
-cp "wordpdf-core/target/classes:wordpdf-core/target/test-classes:$(cat "$CPFILE")" \
ru.pjandro.wordpdf.MemoryBench "$@" 2>"$ERRLOG"
# --- аллокации по GC-логу (абсолютная оценка) -----------------------------------
# allocated ≈ выметенный Eden + выметенные humongous-области (G1); max-live —
# максимум heap после пауз (тренд накопления); паузы — число/сумма.
# awk — портативный (mawk/gawk): без 3-аргументного match().
echo
awk '
/Region Size:/ {
for (i = 1; i <= NF; i++) { if ($i ~ /^[0-9]+M$/) { tok = $i; sub(/M$/, "", tok); rs = tok + 0 } }
}
/Eden regions:/ {
for (i = 1; i <= NF; i++) {
if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); eden += (a[1] - a[2]) * rs }
}
}
/Humongous regions:/ {
for (i = 1; i <= NF; i++) {
if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); hum += (a[1] - a[2]) * rs }
}
}
/Pause (Young|Full)/ && /M->/ {
pauses++
tail = $NF; if (tail ~ /[0-9]ms$/) { sub(/ms$/, "", tail); ptime += tail }
for (i = 1; i <= NF; i++) {
if ($i ~ /^[0-9]+M->[0-9]+M/) {
v = $i; sub(/\(.*/, "", v); split(v, m, "->")
if (m[2] + 0 > maxlive) { maxlive = m[2] + 0 }
}
}
}
END {
printf "gc-summary allocated-estimate=%dMB max-live-after-gc=%dMB pauses=%d pause-total=%dms\n",
eden + hum, maxlive, pauses, ptime
}
' "$GCLOG"
# --- агрегация аллокаций из JFR -------------------------------------------------
TOPF=$(mktemp); APPF=$(mktemp)
trap 'rm -f "$TOPF" "$APPF"' EXIT
jfr print --events jdk.ObjectAllocationSample "$JFR" | awk \
-v TOPF="$TOPF" -v APPF="$APPF" '
function framekey(line, k) {
k = line
sub(/^[ \t]+/, "", k)
sub(/ line: [0-9]+$/, "", k)
return k
}
function cls(key, c) {
c = key
sub(/ ?\(.*$/, "", c)
sub(/^[^ ]*\//, "", c)
return c
}
/^ *weight = / { w = $3 + 0 }
/^ *stackTrace = \[/ { instk = 1; nf = 0; next }
instk == 1 && /^ *\]/ {
instk = 0
if (nf == 0) { next }
top = fr[1]
app = ""
for (i = 1; i <= nf; i++) {
c = cls(fr[i])
if (c !~ /^(java|javax|jdk|sun|com\.sun|org\.apache|org\.docx4j|org\.springframework|org\.springdoc|org\.w3c|org\.xml|net\.sf|org\.slf4j|ch\.qos)/) {
app = fr[i]
break
}
}
wsum[top] += w
if (app != "") { asum[app] += w }
next
}
instk == 1 { nf++; fr[nf] = framekey($0) }
END {
for (k in wsum) { print wsum[k] "\t" k > TOPF }
for (k in asum) { print asum[k] "\t" k > APPF }
}
'
echo
printf '===== top-frames: суммарный вес аллокаций, байт (JFR profile, оценка) — label %s =====\n' "$LABEL"
sort -rn "$TOPF" | head -15
printf '===== alloc-total: %s байт\n' "$(awk '{s+=$1} END {printf "%.0f", s}' "$TOPF")"
echo
printf '===== app-sites: аллокации с первым кадром из приложения (attribution) =====\n'
sort -rn "$APPF" | head -15
+34
View File
@@ -18,6 +18,10 @@ run = "mvn clean verify"
description = "mvn clean verify в контейнере без fontconfig (гейт, которым живёт CI; verify — хост-гейт без контейнера)"
run = "podman build -f Containerfile.test ."
[tasks.mem-bench]
description = "Замер памяти конвейера: TSV пиков кучи + топ аллокаций JFR (docs/MEM_USAGE_UPGRADE.md)"
run = "sh membench.sh"
[tasks.app-package]
description = "Исполняемый jar бэкенда"
run = "mvn -pl wordpdf-app -am package"
@@ -50,3 +54,33 @@ run = "npm run dev"
description = "Прод-автотесты; обязателен WORDPDF_BASE_URL (факультативно WORDPDF_API_KEY)"
dir = "prod-autotests"
run = "python -m pip install -q -r requirements.txt && python -m pytest -q ."
[tasks.docs-install]
description = "Зависимости сайта документации: venv docs/.venv + mkdocs-material"
run = [
"[ -d docs/.venv ] || python -m venv docs/.venv",
"docs/.venv/bin/python -m pip install -q -r docs/requirements.txt",
]
[tasks.docs-serve]
description = "Локальный предпросмотр сайта на :8000 (live-reload)"
run = "docs/.venv/bin/mkdocs serve -a 127.0.0.1:8000"
[tasks.docs-build]
description = "Strict-сборка сайта в site/ (битые ссылки/навигация = ошибка)"
run = "docs/.venv/bin/mkdocs build --strict"
[tasks.docs-javadoc]
description = "Javadoc публичного API core в wordpdf-core/target/site/apidocs"
run = "mvn -q -pl wordpdf-core -am javadoc:javadoc"
[tasks.docs-deploy]
description = "Публикация сайта на rpi (:9012): javadoc + strict-build + rsync в ~/srv/wordpdf-docs"
run = [
"mvn -q -pl wordpdf-core -am javadoc:javadoc",
"rm -rf docs/apidocs",
"cp -r wordpdf-core/target/site/apidocs docs/apidocs",
"docs/.venv/bin/mkdocs build --strict",
"install -d /home/pjandro/srv/wordpdf-docs",
"rsync -a --delete site/ /home/pjandro/srv/wordpdf-docs/",
]
+76
View File
@@ -0,0 +1,76 @@
site_name: «Word → PDF конвертер» — документация
site_description: "docx4j + Apache FOP на чистой Java: библиотека, REST API, веб-интерфейс"
docs_dir: docs
site_dir: site
exclude_docs: |
/agent/
/standards/
/requirements.txt
# javadoc-копия (docs/apidocs, заполняет docs-deploy) — статика вне навигации;
# её md-файлы (legal/*) mkdocs иначе показывает как страницы вне nav
not_in_nav: |
/apidocs/**/*.md
theme:
name: material
language: ru
palette:
- scheme: default
primary: indigo
toggle:
icon: material/weather-sunny
name: Тёмная тема
- scheme: slate
primary: indigo
toggle:
icon: material/weather-night
name: Светлая тема
features:
- navigation.sections
- navigation.top
- toc.follow
- search.suggest
markdown_extensions:
- admonition
- attr_list
- footnotes
- toc:
permalink: true
- pymdownx.details
- pymdownx.superfences
- pymdownx.highlight:
anchor_linenums: true
plugins:
- search:
lang: ru
nav:
- Главное: index.md
- Пользователю: user.md
- REST API:
- api/index.md
- Аутентификация: api/authentication.md
- Эндпоинт конвертации: api/convert-endpoint.md
- Коды ошибок: api/errors.md
- Лимиты: api/limits.md
- Примеры клиентов: api/examples.md
- Библиотека wordpdf-core:
- library/getting-started.md
- library/api.md
- library/dependencies.md
- Архитектура:
- architecture/overview.md
- architecture/doc-bridge.md
- architecture/charts.md
- architecture/fonts.md
- architecture/limitations.md
- Разработчику:
- development/setup.md
- development/testing.md
- development/contributing.md
- Эксплуатация:
- operations/stack.md
- operations/configuration.md
- operations/deployment.md
- operations/troubleshooting.md
- operations/docs-site.md
- "Отчёт: потребление памяти": MEM_USAGE_UPGRADE.md
- Внутренние справочники репозитория: internal-guides.md
+23
View File
@@ -39,6 +39,8 @@
<!-- Покрытие: последняя стабильная на Maven Central -->
<jacoco.version>0.8.15</jacoco.version>
<!-- Javadoc публичного API core: последняя стабильная на Maven Central -->
<maven-javadoc-plugin.version>3.12.0</maven-javadoc-plugin.version>
<!-- Пустой дефолт: при -Djacoco.skip=true surefire не споткнётся
о неразвёрнутый @{argLine}; prepare-agent перезаписывает его -->
<argLine></argLine>
@@ -156,6 +158,27 @@
<artifactId>maven-jar-plugin</artifactId>
<version>3.5.1</version>
</plugin>
<!-- Javadoc: генерация только по явной цели javadoc:javadoc
(объявлен без executions в wordpdf-core) — поведение
mvn clean verify не затрагивает. -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-javadoc-plugin</artifactId>
<version>${maven-javadoc-plugin.version}</version>
<configuration>
<encoding>UTF-8</encoding>
<doclint>all,-missing</doclint>
<show>protected</show>
<nohelp>true</nohelp>
<windowtitle>wordpdf-core API</windowtitle>
<doctitle>wordpdf-core API (javadoc)</doctitle>
<!-- пин вывода: у 3.12.0 дефолт target/reports (параметр
outputDirectory, поверх него плагин сам кладёт apidocs/),
фиксируем target/site → target/site/apidocs — оттуда
копирует задача docs-deploy -->
<outputDirectory>${project.build.directory}/site</outputDirectory>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-pmd-plugin</artifactId>
+27
View File
@@ -29,6 +29,24 @@
<dependency>
<groupId>org.docx4j</groupId>
<artifactId>docx4j-export-fo</artifactId>
<!-- JEuclid (MathML-рендер FOP) исключён: формулы OMML больше не
доходят до FO — DrawingPreRenderer заменяет каждую math-узел
собственным растером (MathModel/MathRenderer) или текстом, а
MathFallbackNormalizer (правило 6) срезает unsupported до
загрузки. Jeuclid тянул AWT-менеджер шрифтов (fontconfig —
падение на без-fontconfig хостах) и системные шрифты в вывод;
инвариант «шрифты только бандла» пинит
FontsBundledOnlyInvariantTest. -->
<exclusions>
<exclusion>
<groupId>de.rototor.jeuclid</groupId>
<artifactId>jeuclid-fop</artifactId>
</exclusion>
<exclusion>
<groupId>de.rototor.jeuclid</groupId>
<artifactId>jeuclid-core</artifactId>
</exclusion>
</exclusions>
</dependency>
<!-- Простой логгер в консоль (slf4j). Обязателен: без него docx4j
пишет предупреждение прямо в выходной PDF. -->
@@ -125,6 +143,15 @@
</execution>
</executions>
</plugin>
<!-- Javadoc публичного API модуля (цель javadoc:javadoc, задача mise
docs-javadoc; результат target/site/apidocs попадает на сайт
документации). Без executions: в лайфцикл не вмешивается.
wordpdf-app javadoc не генерирует — единственного public-класса
WordPdfApplication недостаточно для раздела документации. -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-javadoc-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
@@ -157,7 +157,7 @@ public final class WordPdfConverter {
* считаются ровно раз по сырому входу, до аллокаций docx4j: для .docx —
* lightweight-скан по zip, для .doc — по чистому бинарному документу до
* конвертации. Повторного скана по нормализованным байтам нет: правила
* 1–10 {@code DocxRewritePipeline} число учитываемых разрывов не
* 1–11 {@code DocxRewritePipeline} число учитываемых разрывов не
* увеличивают (правило 9 способно только убрать разрыв внутри скрытого
* рана — счёт по сырому входу остаётся верхней оценкой лимита), а скан
* внутри живой JAXB-модели удваивал бы пиковую память.
@@ -401,7 +401,8 @@ public final class WordPdfConverter {
LayoutPostRenderer.register(foSettings);
// 4.5 Вендорный xslt/docx2fo.xslt = копия из docx4j-export-fo +
// AUDIT-FIX-патч (w:rPr position) — стилист jar'а не
// AUDIT-FIX-патчи (w:rPr/w:position→baseline-shift;
// AUDIT-FIX-2: moveFrom/moveTo/bdo/dir) — стилист jar'а не
// используется.
foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES);
@@ -430,13 +431,13 @@ public final class WordPdfConverter {
}
resetSharedImageCaches();
BundledFonts.restrictToBundled();
// Примечание: в docx4j 11.x OpcPackage.close() отсутствует —
// Примечание: в docx4j 17.x OpcPackage.close() отсутствует —
// пакет загружается в память и ничего не закрывает.
}
}
/**
* Нормализация входных байтов (цепочка {@link #normalizers}: правила 1–10
* Нормализация входных байтов (цепочка {@link #normalizers}: правила 1–11
* одним zip-проходом {@code DocxRewritePipeline} + условная OLE-вычистка)
* и {@code WordprocessingMLPackage.load} полученного transitional-байта.
* Нормализация переиспользует слот {@code bytes}: каждая замена массива
@@ -455,10 +456,11 @@ public final class WordPdfConverter {
* Конвейер байтовой нормализации docx. Порядок фиксирован: сначала один
* zip-проход переписывания XML-частей (внутри части порядок рерайтов
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→
* NumberingSuffix→Hidden→Ruby значим: Strict первым — дальше transitional-байт;
* NumberingSuffix→Hidden→Ruby→MathFallback значим: Strict первым — дальше transitional-байт;
* GlyphCoverage — по финальному тексту рана; Hidden — вырезает скрытые
* раны по финальному содержимому; Ruby — разворачивает руби-разметку,
* которую схема docx4j не биндит), затем OleObjectNormalizer
* которую схема docx4j не биндит; MathFallback — деградирует OMML-формулы
* в текст m:t, когда JEuclid недоступен), затем OleObjectNormalizer
* (меняет части, а не XML ранов).
* Регрессии каждого рерайта — в javadoc соответствующего нормализатора.
*/
@@ -466,7 +468,8 @@ public final class WordPdfConverter {
return List.of(
// один zip-проход: strict→transitional, on/off, Symbol-PUA,
// поля PAGE/NUMPAGES, невидимки, покрытие глифов, tblInd при
// jc≠left, suff=space, скрытый текст (vanish) — порядок
// jc≠left, suff=space, скрытый текст (vanish), снятие обёртки
// w:ruby, OMML-фолбэк в текст — порядок
// рерайтов внутри части фиксирован (DocxRewritePipeline)
DocxRewritePipeline.STEP,
// OLE-объекты: при выключенном errorOnOle тихо удаляем
@@ -476,7 +479,8 @@ public final class WordPdfConverter {
}
/**
* Вендорный docx2fo.xslt (копия из docx4j-export-fo + AUDIT-FIX-патч).
* Вендорный docx2fo.xslt (копия из docx4j-export-fo + AUDIT-FIX-патчи:
* w:rPr/w:position→baseline-shift; AUDIT-FIX-2: moveFrom/moveTo/bdo/dir).
* {@code AbstractXsltExporterDelegate.getTemplates} кастит значение
* {@code setCustomXsltTemplates} в {@code Templates} — компилируем заранее;
* {@code Templates} неизменяем и потокобезопасен, один экземпляр на процесс.
@@ -0,0 +1,106 @@
package ru.pjandro.wordpdf.fonts;
import java.util.HashMap;
import java.util.Locale;
import java.util.Map;
/**
* Таблица алиасов имён шрифтов и обратное имя для {@code w:rFonts}.
*
* Почему это вынесено из {@link BundledFontMapper}: обращение к статикам
* маппера (чарты, GlyphCoverageNormalizer, MathModel) по правилам JVM
* инициализирует и суперкласс {@code BestMatchingMapper}, чей
* {@code <clinit>} сканирует classpath-джары в реестр {@code PhysicalFonts};
* системный скан гейтится свойствами {@code docx4j.fonts.discover*},
* которые выставляет {@code WordPdfConverter.<clinit>}, — и при раннем
* обращении к мапперу скан мог пройти без гейта. У этого класса нет
* наследования, его статика безопасна при любом порядке загрузки.
* Экземпляр {@code BundledFontMapper} создаётся только в конвейере
* {@code WordPdfConverter} — всегда после его {@code <clinit>}.
*/
public final class BundledFontAliases {
/**
* Алиасы: имя шрифта из документа (lowercase) -> бандл-семейство (lowercase).
* Croscore (Arimo/Tinos/Cousine) и crosextra (Carlito/Caladea) шрифты
* метрически совместимы с соответствующими MS-шрифтами и содержат
* кириллицу.
*/
static final Map<String, String> ALIASES;
static {
Map<String, String> m = new HashMap<>();
// Частые MS-шрифты -> open-source аналоги
m.put("calibri", "carlito");
m.put("calibri light", "carlito");
m.put("cambria", "caladea");
m.put("arial", "arimo");
m.put("times new roman", "tinos");
m.put("courier new", "cousine");
// Бандл-шрифты сами по себе (на случай, если документ прямо
// указывает одно из них)
m.put("carlito", "carlito");
m.put("caladea", "caladea");
m.put("arimo", "arimo");
m.put("tinos", "tinos");
m.put("cousine", "cousine");
m.put("dejavu sans", "dejavu sans");
m.put("dejavu serif", "dejavu serif");
// Покрывающие шрифты (в документе обычно не встречаются, но если
// встречаться — маппятся на себя, а не в DejaVu-фолбэк)
m.put("noto naskh arabic", "noto naskh arabic");
m.put("noto sans armenian", "noto sans armenian");
ALIASES = Map.copyOf(m);
}
/** Финальный fallback: шрифт с гарантированной кириллицей. */
private static final String FALLBACK_FAMILY = BundledFonts.FALLBACK_FAMILY;
/**
* Имя семейства для записи в {@code w:rFonts} (ключ — lowercase-семейство).
* Нужно {@code GlyphCoverageNormalizer}: он пишет в разрезанный ран
* человекочитаемое имя, а {@code BundledFontMapper.populateFontMappings}
* маппит его обратно на TTF.
*/
private static final Map<String, String> DISPLAY_NAMES = Map.of(
"dejavu sans", "DejaVu Sans",
"dejavu serif", "DejaVu Serif",
"noto naskh arabic", "Noto Naskh Arabic",
"noto sans armenian", "Noto Sans Armenian");
/**
* Имя, которое docx4j {@code RunFontSelector} запрашивает у маппера для
* символов диапазона U+2000–U+2EFF (em-dash «—», кавычки «„», многоточие
* «…»), если шрифт ранa не содержит глифа. Это виртуальное имя (в
* документе его нет), поэтому маппим его на {@link #FALLBACK_FAMILY}:
* без записи символ остаётся без font-family в FO и рендерится системным
* неembedded-шрифтом (Helvetica).
*/
static final String SYMBOL_FONT = "Segoe UI Symbol";
private BundledFontAliases() {
}
/**
* Бандл-семейство для имени шрифта из документа (таблица алиасов)
* или финальный fallback. Используется пре-рендером диаграмм и формул
* (internal/chart), которому нужен тот же шрифт, что и у текста PDF.
*/
public static String bundledFamily(String docFontName) {
String family = ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
return family != null && BundledFonts.regular(family) != null
? family
: FALLBACK_FAMILY;
}
/**
* Имя шрифта, которое можно поставить в {@code w:rFonts}, чтобы получить
* бандл-семейство {@code family}: {@code GlyphCoverageNormalizer} пишет
* его в разрезанные раны. Обратная к {@link #bundledFamily} операция —
* имена берутся из таблицы алиасов, поэтому маппинг гарантированно
* возвращается к тому же семейству.
*/
public static String documentFontName(String family) {
return DISPLAY_NAMES.getOrDefault(family, family);
}
}
@@ -4,10 +4,8 @@ import org.docx4j.fonts.BestMatchingMapper;
import org.docx4j.fonts.PhysicalFont;
import org.docx4j.wml.Fonts;
import java.util.HashMap;
import java.util.LinkedHashSet;
import java.util.Locale;
import java.util.Map;
import java.util.Set;
/**
@@ -15,7 +13,8 @@ import java.util.Set;
*
* Стратегия (см. {@link #populateFontMappings}):
* 1. Частые MS-шрифты заменяются метрически совместимыми open-source
* аналогами (таблица алиасов) — они есть в jar и содержат кириллицу.
* аналогами (таблица алиасов {@link BundledFontAliases}) — они есть в
* jar и содержат кириллицу.
* 2. Нераспознанные шрифты передаются родительскому
* {@link BestMatchingMapper} (совпадение по Panose-кодам среди
* доступных шрифтов).
@@ -27,95 +26,30 @@ import java.util.Set;
* файл для каждого начертания. Ключи register*Form — точное имя из
* документа: docx4j ищет варианты именно по нему.
*
* ВАЖНО (macOS): {@code PhysicalFonts.getBoldForm} для имён бандл-шрифтов
* ({@code Tinos Regular}, {@code Carlito Regular}, …) на macOS уходит в
* {@code MicrosoftFontsRegistry} и возвращает {@code null} — у этих записей
* нет Mac-имени файла. docx4j тогда строит simulate-style fopconf (все
* начертания на regular-TTF), и FOP теряет реальные Bold/Italic: другие
* метрики и кернинг ломают переносы в узких ячейках (регрессии —
* {@code WordPdfConverterTest#strictOoxml_convertsNotRejected},
* {@code #ruPlain_regularRunsUseRegularFont}). Override-ы
* {@code getBoldForm}/{@code getItalicForm}/{@code getBoldItalicForm}
* отдают реальные бандл-варианты.
*
* ВАЖНО (порядок инициализации): конструктор BestMatchingMapper
* запускает обнаружение системных шрифтов, которые могут занять те же
* имена в реестре docx4j. Поэтому {@code BundledFonts.init()} нужно
* вызывать ПОСЛЕ создания маппера, чтобы бандл-шрифты оказались в
* реестре поверх системных.
* реестре поверх системных. Таблица алиасов вынесена в
* {@link BundledFontAliases}, чтобы обращение к ней не инициировало этот
* класс до гейта {@code WordPdfConverter.<clinit>}.
*/
public class BundledFontMapper extends BestMatchingMapper {
/**
* Алиасы: имя шрифта из документа (lowercase) -> бандл-семейство (lowercase).
* Croscore (Arimo/Tinos/Cousine) и crosextra (Carlito/Caladea) шрифты
* метрически совместимы с соответствующими MS-шрифтами и содержат
* кириллицу.
*/
private static final Map<String, String> ALIASES;
/** Финальный fallback: шрифт с гарантированной кириллицей. */
private static final String FALLBACK_FAMILY = BundledFonts.FALLBACK_FAMILY;
/**
* Имя семейства для записи в {@code w:rFonts} (ключ — lowercase-семейство).
* Нужно {@code GlyphCoverageNormalizer}: он пишет в разрезанный ран
* человекочитаемое имя, а {@link #populateFontMappings} маппит его
* обратно на TTF.
*/
private static final Map<String, String> DISPLAY_NAMES = Map.of(
"dejavu sans", "DejaVu Sans",
"dejavu serif", "DejaVu Serif",
"noto naskh arabic", "Noto Naskh Arabic",
"noto sans armenian", "Noto Sans Armenian");
/**
* Имя, которое docx4j {@code RunFontSelector} запрашивает у маппера для
* символов диапазона U+2000–U+2EFF (em-dash «—», кавычки «„», многоточие
* «…»), если шрифт ранa не содержит глифа. Это виртуальное имя (в
* документе его нет), поэтому маппим его на {@link #FALLBACK_FAMILY}:
* без записи символ остаётся без font-family в FO и рендерится системным
* неembedded-шрифтом (Helvetica).
*/
static final String SYMBOL_FONT = "Segoe UI Symbol";
static {
Map<String, String> m = new HashMap<>();
// Частые MS-шрифты -> open-source аналоги
m.put("calibri", "carlito");
m.put("calibri light", "carlito");
m.put("cambria", "caladea");
m.put("arial", "arimo");
m.put("times new roman", "tinos");
m.put("courier new", "cousine");
// Бандл-шрифты сами по себе (на случай, если документ прямо
// указывает одно из них)
m.put("carlito", "carlito");
m.put("caladea", "caladea");
m.put("arimo", "arimo");
m.put("tinos", "tinos");
m.put("cousine", "cousine");
m.put("dejavu sans", "dejavu sans");
m.put("dejavu serif", "dejavu serif");
// Покрывающие шрифты (в документе обычно не встречаются, но если
// встречаться — маппятся на себя, а не в DejaVu-фолбэк)
m.put("noto naskh arabic", "noto naskh arabic");
m.put("noto sans armenian", "noto sans armenian");
ALIASES = Map.copyOf(m);
}
/**
* Бандл-семейство для имени шрифта из документа (таблица алиасов)
* или финальный fallback. Используется пре-рендером диаграмм
* (internal/chart), которому нужен тот же шрифт, что и у текста PDF.
*/
public static String bundledFamily(String docFontName) {
String family = ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
return family != null && BundledFonts.regular(family) != null
? family
: FALLBACK_FAMILY;
}
/**
* Имя шрифта, которое можно поставить в {@code w:rFonts}, чтобы получить
* бандл-семейство {@code family}: {@code GlyphCoverageNormalizer} пишет
* его в разрезанные раны. Обратная к {@link #bundledFamily} операция —
* имена берутся из таблицы алиасов, поэтому маппинг гарантированно
* возвращается к тому же семейству.
*/
public static String documentFontName(String family) {
return DISPLAY_NAMES.getOrDefault(family, family);
}
/**
* Вызывается docx4j при {@code package.setFontMapper(...)}: для каждого
* имени шрифта, использованного в документе, нужно определить, каким
@@ -126,21 +60,21 @@ public class BundledFontMapper extends BestMatchingMapper {
*/
@Override
public void populateFontMappings(Set<String> documentFontNames, Fonts wmlFonts) throws Exception {
// Виртуальное имя для символов U+2000–U+2EFF (см. SYMBOL_FONT):
// Виртуальное имя для символов U+2000–U+2EFF (см. BundledFontAliases.SYMBOL_FONT):
// маппим сразу, чтобы оно не попало в remaining и родительский
// BestMatchingMapper не пытался искать его в fontTable (и не логировал
// "Font Segoe UI Symbol not found in font table!").
if (BundledFonts.regular(FALLBACK_FAMILY) != null) {
mapFamily(SYMBOL_FONT, FALLBACK_FAMILY);
mapFamily(BundledFontAliases.SYMBOL_FONT, FALLBACK_FAMILY);
}
Set<String> remaining = new LinkedHashSet<>();
for (String docFontName : documentFontNames) {
if (SYMBOL_FONT.equalsIgnoreCase(docFontName)) {
if (BundledFontAliases.SYMBOL_FONT.equalsIgnoreCase(docFontName)) {
// уже маппировано выше
continue;
}
String family = ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
String family = BundledFontAliases.ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
if (family == null || BundledFonts.regular(family) == null) {
// Нет алиаса (или init() не вызван) — доверимся родителю
remaining.add(docFontName);
@@ -163,6 +97,51 @@ public class BundledFontMapper extends BestMatchingMapper {
}
}
/** Начертание бандла вместо registry-эвристики: см. «ВАЖНО (macOS)» в javadoc класса. */
@Override
public PhysicalFont getBoldForm(String fontName, PhysicalFont physicalFont) {
PhysicalFont bundled = bundledSibling(physicalFont, BundledFonts.V_BOLD);
return bundled != null ? bundled : super.getBoldForm(fontName, physicalFont);
}
/** Начертание бандла вместо registry-эвристики: см. «ВАЖНО (macOS)» в javadoc класса. */
@Override
public PhysicalFont getItalicForm(String fontName, PhysicalFont physicalFont) {
PhysicalFont bundled = bundledSibling(physicalFont, BundledFonts.V_ITALIC);
return bundled != null ? bundled : super.getItalicForm(fontName, physicalFont);
}
/** Начертание бандла вместо registry-эвристики: см. «ВАЖНО (macOS)» в javadoc класса. */
@Override
public PhysicalFont getBoldItalicForm(String fontName, PhysicalFont physicalFont) {
PhysicalFont bundled = bundledSibling(physicalFont, BundledFonts.V_BOLD_ITALIC);
return bundled != null ? bundled : super.getBoldItalicForm(fontName, physicalFont);
}
/**
* Реальное начертание бандл-семейства, к которому относится {@code pf}.
*
* <p>Семейство опознаётся по {@code embeddedURI} regular-варианта, а не
* по имени: на macOS имя в реестре docx4j — полное из TTF-таблицы
* ({@code Tinos Regular}), и именно на нём ломается
* {@code PhysicalFonts.getBoldForm}. Шрифт вне бандла (или {@code pf ==
* null}, {@code BundledFonts.init()} не вызван) → {@code null}, вызывающий
* идёт родительской логикой.</p>
*/
private static PhysicalFont bundledSibling(PhysicalFont pf, String variant) {
if (pf == null || pf.getEmbeddedURI() == null) {
return null;
}
String uri = pf.getEmbeddedURI().toString();
for (String family : BundledFonts.families()) {
PhysicalFont regular = BundledFonts.regular(family);
if (regular != null && uri.equals(regular.getEmbeddedURI().toString())) {
return BundledFonts.font(family, variant);
}
}
return null;
}
/**
* Привязывает все начертания семейства к имени шрифта из документа.
*/
@@ -13,7 +13,7 @@ import java.util.regex.Pattern;
/**
* Нормализация ST_OnOff-значений в docx перед загрузкой docx4j.
*
* docx4j 11.x теряет атрибуты {@code w:val="off"} / {@code w:val="on"}
* docx4j 17.x теряет атрибуты {@code w:val="off"} / {@code w:val="on"}
* при JAXB-разборе (тип поля {@code Boolean} не принимает "on"/"off",
* поле остаётся null и {@code BooleanDefaultTrue.isVal()} считается
* true). Из-за этого явные {@code <w:b w:val="off"/>} и
@@ -22,6 +22,11 @@ import java.util.regex.Pattern;
* docx4j разбирает корректно, поэтому заменяем "off"->"false",
* "on"->"true" в XML-частях word/*.xml.
*
* <p>Исключение — {@code w:scrollbar} (свойство фрейма, §17.15.2.37): его
* {@code w:val} — ST_FrameScrollbar (none/left/right/leftAndRight,
* §17.18.32), единственный не-ST_OnOff носитель on/off в WML; переписывать
* его нельзя — вывод станет невалидным.
*
* Если совпадений нет, возвращает исходный массив без переупаковки zip.
*/
final class DocxOnOffNormalizer {
@@ -33,15 +38,12 @@ final class DocxOnOffNormalizer {
* {@code w:t} не правится. Регрессия — DocxOnOffNormalizerTest#onOffInTextNotTouched.
*/
private static final Pattern ON_OFF = Pattern.compile(
"(<[A-Za-z][A-Za-z0-9:]*(?:\\s[^<>]*)?)w:val=([\"'])(on|off)\\2",
"(<(?!w:scrollbar\\b)[A-Za-z][A-Za-z0-9:]*(?:\\s[^<>]*)?)w:val=([\"'])(on|off)\\2",
Pattern.CASE_INSENSITIVE);
private DocxOnOffNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = DocxOnOffNormalizer::normalize;
/**
* Заменяет в XML-частях docx (word/*.xml) w:val="off"/"on"
* на "false"/"true".
@@ -16,11 +16,13 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
* Единый zip-проход переписывания XML-частей (.docx) вместо отдельных
* проходов нормализаторов: к каждой записи {@code word/*.xml} применяются
* все одиннадцать рерайтов в фиксированном порядке
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby→MathFallback.
* Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby.
* Порядок значим: Strict первым — дальше части в transitional-виде
* (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage
* (TableIndent читает transitional-атрибуты {@code w:}); MathFallback
* шестым — flatten unsupported-формул даёт обычный текст ранов, который
* следующий GlyphCoverage покрывает кириллицей бандла; GlyphCoverage
* режет раны по финальному тексту рана (после Symbol/Invisible); Hidden
* последним — вырезает уже финальные раны (после Symbol/GLYPH-разбиений),
* девятым — вырезает уже финальные раны (после Symbol/GLYPH-разбиений),
* а его OnOff-форма vanish читается после правила 2. Каждый
* рерайт работает только содержимым одной части, поэтому по-частная
* цепочка эквивалентна последовательным полным проходам. Исключения из
@@ -66,7 +68,8 @@ public final class DocxRewritePipeline {
// Ширина полосы набора для правила 7 (таблицы в header/footer-
// частях своей sectPr не содержат): из сырого document.xml —
// геометрия инвариантна к рерайтам цепочки (Strict не трогает
// w:pgSz/@w:w, а pgMar-чередование left|start покрывает strict).
// w:pgSz/@w:w; у strict CT_PageMar start/end нет вовсе —
// только left/right).
// Записи нет/несколько секций → −1, header/footer консервативно
// пропускаются (та же неоднозначность полосы, что для body).
int band = -1;
@@ -113,6 +116,10 @@ public final class DocxRewritePipeline {
if (next != null) {
cur = next;
}
next = MathFallbackNormalizer.rewrite(cur);
if (next != null) {
cur = next;
}
next = GlyphCoverageNormalizer.rewrite(cur);
if (next != null) {
cur = next;
@@ -133,10 +140,6 @@ public final class DocxRewritePipeline {
if (next != null) {
cur = next;
}
next = MathFallbackNormalizer.rewrite(cur);
if (next != null) {
cur = next;
}
if (!cur.equals(xml)) {
changed = true;
rewritten = cur.getBytes(StandardCharsets.UTF_8);
@@ -44,9 +44,6 @@ final class FieldNormalizer {
private FieldNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = FieldNormalizer::normalize;
/**
* Переписывает поддерживаемые поля во всех word/*.xml частях docx.
*
@@ -26,7 +26,16 @@ import ru.pjandro.wordpdf.fonts.BundledFonts;
* рендерится шрифтом просмотрщика либо .notdef («#»). Поэтому в конфиг
* добавляются ВСЕ шрифты бандла: стоит они в документе или нет, решает FO.
*
* Метод идемпотентен: уже задекларированное семейство не дублируется.
* Конфиг обязан быть полным при каждом {@code declare}: общая FopFactory
* ({@code WordPdfConverter.sharedFopFactory}) строится из fopconf первого
* документа JVM, а docx4j декларирует из {@code fontsInUse} только
* использованные начертания — {@code declareFamily} дополняет семейство
* недостающими реальными начертаниями, а не пропускает его целиком.
* Идемпотентность: начертание, уже имеющее в конфиге запись на реальном
* TTF, не дублируется.
*
* <p>Регрессия — FopFallbackFontsTest#declareWhenDocx4jDeclaredRegularOnly_addsMissingVariants,
* WordPdfConverterTest#fopFactoryFrozenFromFirstDoc_fontsComplete.
*/
public final class FopFallbackFonts {
@@ -49,7 +58,15 @@ public final class FopFallbackFonts {
}
}
/** Одно семейство: regular + существующие начертания (Noto — только regular). */
/**
* Одно семейство: каждое начертание, для которого в конфиге нет
* записи с реальным TTF этого начертания (Noto — только regular,
* отсутствующие варианты пропускаются). Family-level «уже есть —
* пропускаем всё» запрещён: docx4j декларирует только использованные
* начертания (или simulate-style на одном файле), а общая FopFactory
* замораживает конфиг первого документа на всю JVM — пропущенное
* семейство остаётся неполным для всех последующих конвертаций.
*/
private static void declareFamily(Fonts rendererFonts, ObjectFactory factory,
String family) {
PhysicalFont regular = BundledFonts.regular(family);
@@ -61,21 +78,43 @@ public final class FopFallbackFonts {
// и под это же имя декларируются все начертания (так делает
// docx4j FopConfigUtil.createVariant).
String familyName = regular.getName();
for (Fonts.Font existing : rendererFonts.getFont()) {
for (Fonts.Font.FontTriplet triplet : existing.getFontTriplet()) {
if (familyName.equals(triplet.getName())) {
return;
String[][] variants = {
{BundledFonts.V_REGULAR, "normal", "normal"},
{BundledFonts.V_BOLD, "normal", "bold"},
{BundledFonts.V_ITALIC, "italic", "normal"},
{BundledFonts.V_BOLD_ITALIC, "italic", "bold"},
};
for (String[] v : variants) {
PhysicalFont variant = BundledFonts.font(family, v[0]);
if (variant == null
|| hasRealFace(rendererFonts, familyName, v[1], v[2], variant)) {
continue;
}
addFont(rendererFonts, factory, familyName, variant, v[1], v[2]);
}
}
/**
* Есть ли в конфиге запись триплета (familyName, style, weight) именно
* на реальном TTF {@code variant}. Триплет без этого embed-url
* (simulate-style docx4j — все начертания на regular-файле) реальным
* лицом не считается: FOP встроит из него не то начертание.
*/
private static boolean hasRealFace(Fonts rendererFonts, String familyName,
String style, String weight, PhysicalFont variant) {
String url = variant.getEmbeddedURI().toString();
for (Fonts.Font font : rendererFonts.getFont()) {
if (!url.equals(font.getEmbedUrl())) {
continue;
}
for (Fonts.Font.FontTriplet triplet : font.getFontTriplet()) {
if (familyName.equals(triplet.getName()) && style.equals(triplet.getStyle())
&& weight.equals(triplet.getWeight())) {
return true;
}
}
}
addFont(rendererFonts, factory, familyName, regular, "normal", "normal");
addFont(rendererFonts, factory, familyName,
BundledFonts.bold(family), "normal", "bold");
addFont(rendererFonts, factory, familyName,
BundledFonts.italic(family), "italic", "normal");
addFont(rendererFonts, factory, familyName,
BundledFonts.boldItalic(family), "italic", "bold");
return false;
}
/**
@@ -1,6 +1,6 @@
package ru.pjandro.wordpdf.internal;
import ru.pjandro.wordpdf.fonts.BundledFontMapper;
import ru.pjandro.wordpdf.fonts.BundledFontAliases;
import ru.pjandro.wordpdf.fonts.BundledFonts;
import ru.pjandro.wordpdf.fonts.GlyphFont;
@@ -38,7 +38,7 @@ import java.util.concurrent.ConcurrentHashMap;
* Делаем то, что должен был сделать рендер: ран, в тексте которого есть
* знаки без глифа, разрезается на части, и каждой части явно назначается
* бандл-семейство, где глиф есть ({@link #targetFamily}). Имя пишется в
* {@code w:rFonts}, дальше {@link BundledFontMapper} маппит его на TTF,
* {@code w:rFonts}, дальше {@code BundledFontMapper} маппит его на TTF,
* а {@link FopFallbackFonts} декларирует его в FOP-конфиге.
*
* Правила, ограничивающие вмешательство:
@@ -81,9 +81,6 @@ final class GlyphCoverageNormalizer {
private GlyphCoverageNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = GlyphCoverageNormalizer::normalize;
/**
* Разрезает раны с непокрытыми глифами в XML-частях docx (word/*.xml).
*
@@ -409,7 +406,7 @@ final class GlyphCoverageNormalizer {
if (!m.find()) {
return null;
}
return BundledFontMapper.bundledFamily(m.group(2));
return BundledFontAliases.bundledFamily(m.group(2));
}
/**
@@ -417,7 +414,7 @@ final class GlyphCoverageNormalizer {
* {@code w:rFonts}, а если их нет — вставляет элемент первым ребёнком.
*/
private static String forceFont(String rPr, String family) {
String name = BundledFontMapper.documentFontName(family);
String name = BundledFontAliases.documentFontName(family);
String fonts = "<w:rFonts w:ascii=\"" + name + "\" w:hAnsi=\"" + name + "\"/>";
if (rPr.isEmpty()) {
return "<w:rPr>" + fonts + "</w:rPr>";
@@ -24,7 +24,7 @@ import org.apache.commons.compress.archivers.zip.ZipFile;
import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
/**
* Вырезание скрытых ранов ({@code w:rPr/w:vanish}, Part 1 §17.3.2.30) из
* Вырезание скрытых ранов ({@code w:rPr/w:vanish}, Part 1 §17.3.2.41) из
* XML-частей — до загрузки docx4j.
*
* <p>Word по умолчанию не выводит скрытый текст ни на экран, ни на печать,
@@ -39,8 +39,13 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
* правило 2 к моменту запуска уже привело on/off к true/false, но обе формы
* принимаются) либо {@code w:rStyle} ссылается на стиль с vanish — по
* цепочке {@code w:basedOn} (капа 16, цикл — обрыв; тот же приём, что
* {@code internal/doc/Styles}). Прямой vanish ранa перекрывает стилевой;
* вложенные раны ({@code w:rubyBase}/{@code w:rt}, текстовые боксы)
* {@code internal/doc/Styles}). Прямой vanish ранa перекрывает стилевой
* (§17.7.3: в конфликте toggle выигрывает direct formatting); принятое
* упрощение стилевого слоя — явный falsy {@code w:val} <b>у стиля</b>
* (vanish=false поверх vanish-предка по {@code w:basedOn}) не
* разворачивается: стиль с {@code w:vanish} делает раны скрытыми
* независимо от {@code w:val}; вложенные раны
* ({@code w:rubyBase}/{@code w:rt}, текстовые боксы)
* оцениваются независимо, но ран внутри уже удалённого внешнего не
* вырезается повторно (диапазоны сливаются при сборке).
*
@@ -101,9 +106,6 @@ final class HiddenTextNormalizer {
private HiddenTextNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = HiddenTextNormalizer::normalize;
/**
* Вырезает скрытые раны (только прямой {@code w:vanish}) из XML-частей
* docx; {@code word/styles.xml}/{@code word/numbering.xml} пропускаются.
@@ -313,6 +315,9 @@ final class HiddenTextNormalizer {
if (hasTruthyVanish(region)) {
return true;
}
if (hasExplicitFalsyVanish(region)) {
return false; // явный w:val=false/0/off перекрывает стилевой vanish (§17.7.3)
}
if (!vanishStyleIds.isEmpty()) {
Matcher r = RSTYLE.matcher(region);
if (r.find() && vanishStyleIds.contains(r.group(1))) {
@@ -364,7 +369,7 @@ final class HiddenTextNormalizer {
String tag = end < 0 ? region.substring(i) : region.substring(i, end + 1);
Matcher v = VAL_ATTR.matcher(tag);
if (!v.find()) {
return true; // вал опущен — default true (Part 1 §17.3.2.30)
return true; // вал опущен — default true (Part 1 §17.3.2.41)
}
if (truthy(v.group(1))) {
return true;
@@ -376,11 +381,21 @@ final class HiddenTextNormalizer {
return false;
}
/** truthy по Part 1 §17.18.69 ST_OnOff: false/0/off — выключено, прочее — включено. */
/** truthy по Part 1 §22.9.2.7 ST_OnOff: false/0/off — выключено, прочее — включено. */
private static boolean truthy(String val) {
return !"false".equalsIgnoreCase(val) && !"0".equals(val) && !"off".equalsIgnoreCase(val);
}
/** Явный falsy {@code w:vanish} (val=false/0/off) — перекрытие стилевого. */
private static final Pattern FALSY_VANISH =
Pattern.compile("<w:vanish\\b[^>]*w:val=\"(?:false|0|off)\"",
Pattern.CASE_INSENSITIVE);
/** Есть ли в регионе явный falsy {@code w:vanish} (val=false/0/off). */
private static boolean hasExplicitFalsyVanish(String region) {
return FALSY_VANISH.matcher(region).find();
}
/** Есть ли защищённый элемент в содержимом рана [from, to). */
private static boolean hasProtected(String xml, int from, int to) {
for (String p : PROTECTED) {
@@ -27,9 +27,10 @@ import java.util.zip.ZipOutputStream;
* в невидимый DejaVu — FOP рисует «тофу» прямо в тексте.</li>
* </ul>
*
* Zero-width знаки, значимые для shaping и переносов (U+00A0, U+00AD,
* U+200B, U+200C, U+200D), НЕ трогаем: во всех шрифтах бандла они
* нулевой ширины и пустых строк не создают.
* NBSP (U+00A0, ширина пробела — не zero-width) и zero-width знаки, значимые
* для shaping и переносов (U+00AD, U+200B, U+200C, U+200D), НЕ трогаем:
* во всех шрифтах бандла NBSP широк, остальное нулевой ширины, и ни то ни
* другое пустых строк не создаёт.
*
* Правим байты zip до JAXB-разбора, как остальные нормализаторы; запускается
* до {@link GlyphCoverageNormalizer}, чтобы тот не искал шрифт для уже
@@ -86,9 +87,6 @@ final class InvisibleCharNormalizer {
private InvisibleCharNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = InvisibleCharNormalizer::normalize;
/**
* Вырезает невидимые символы из текстовых узлов XML-частей docx
* (word/*.xml).
@@ -1,89 +1,265 @@
package ru.pjandro.wordpdf.internal;
import ru.pjandro.wordpdf.internal.chart.MathModel;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/**
* Деградация OMML-формул (§22.1) в текст на хостах без fontconfig.
* Байтовый скан формул OMML (§22.1): блок {@code m:oMathPara}/{@code m:oMath},
* содержащий math-элемент вне {@link MathModel#SUPPORTED}, заменяется раном с
* конкатенацией текста {@code m:t} (как штатный фолбэк docx4j
* {@code XsltFOFunctions.mathText}) — формула видна текстом, а не теряется.
*
* <p>docx4j превращает {@code m:oMath}/{@code m:oMathPara} в
* {@code fo:instream-foreign-object} с MathML, а FOP рисует его через
* jeuclid-fop. JEuclid при первой формуле обращается к AWT-менеджеру шрифтов,
* которому на Linux нужен fontconfig; без него конвертация падает
* {@code InternalError: Fontconfig head is null} (репро: arm64 без /etc/fonts;
* контейнерный рантайм проекта тоже без fontconfig — Containerfile).
* Поэтому до загрузки docx4j формулы заменяются обычными ранами с текстом
* {@code m:t} (конкатенация, как в штатном фолбэке docx4j
* {@code XsltFOFunctions.mathText}) — формула видна, приложение не падает.
* <p>Зачем скан до загрузки docx4j: собственный растер формул
* ({@code MathModel}/{@code MathRenderer} в {@code DrawingPreRenderer})
* уронил бы unsupported-конструкцию в {@code MathUnsupportedException} и
* деградировал тем же текстом — но скан даёт детерминизм «формула целиком
* текстом» для байтового уровня пайплайна и не зависит от JAXB-биндинга.
* Рантайм-деградация остаётся второй сетью (биндинг может не смонтировать
* неизвестный элемент, который скан увидел).
*
* <p>На хосте с fontconfig рерайт не срабатывает (возвращается {@code null},
* пайплайн отдаёт тот же массив). Позиция в цепочке — после Ruby (правило 11):
* {@code m:oMathPara} содержит {@code m:oMath}, поэтому блок para заменяется
* первым, иначе остался бы несбалансированный каркас. Префикс {@code m:}
* предполагается (Word и strict-OOXML используют его; StrictOoxmlNormalizer
* его не переименовывает).
* <p>Скан namespace-aware: префиксы, привязанные к math-URI на корневом
* элементе (+ переопределения {@code xmlns} внутри блока), — unsupported
* проверяется только для тегов в math-namespace; префиксы чужих namespace'ов
* ( {@code w:rPr} внутри рана формулы) игнорируются. Непривязанный/отсутствующий
* map объявлений при наличии {@code :oMath} — консервативная обработка «как
* math» (риск потерять контент при недобитом биндинге сильнее избыточной
* деградации).
*
* <p>Регрессия — WordPdfConverterTest#ommlMath_drawnAsVectors.
* <p>Позиция в цепочке — шестое правило, перед GlyphCoverage: flatten даёт
* обычный текст ранов, который следующий рерайт покрывает кириллицей бандла
* (раньше формулы с {@code &#x043C;} теряли глифы именно из-за порядка —
* GlyphCoverage не видел текст внутри OMML). Блок para заменяется первым:
* {@code m:oMathPara} содержит {@code m:oMath}, иначе остался бы
* несбалансированный каркас.
*/
final class MathFallbackNormalizer {
/** {@code m:oMathPara} ... {@code </m:oMathPara>} — блок формулы. */
private static final Pattern MATH_PARA = Pattern.compile(
"<m:oMathPara(?:\\s[^>]*)?>.*?</m:oMathPara>", Pattern.DOTALL);
/** Закрывающий символ открывающего тега (скан конца корня формулы). */
private static final char TAG_END = '>';
/** Самозакрывающийся {@code <m:oMathPara/>}. */
private static final Pattern MATH_PARA_SELF = Pattern.compile(
"<m:oMathPara(?:\\s[^>]*)?/>");
/** Math-namespace OMML (§22.1). */
private static final String MATH_NS =
"http://schemas.openxmlformats.org/officeDocument/2006/math";
/** {@code m:oMath} ... {@code </m:oMath>} — встроенная формула. */
private static final Pattern MATH_INLINE = Pattern.compile(
"<m:oMath(?:\\s[^>]*)?>.*?</m:oMath>", Pattern.DOTALL);
/** Объявление {@code xmlns:prefix="uri"} (значение без кавычек). */
private static final Pattern XMLNS = Pattern.compile(
"xmlns:([A-Za-z_][\\w.-]*)=\"([^\"]*)\"");
/** Самозакрывающийся {@code <m:oMath/>}. */
private static final Pattern MATH_INLINE_SELF = Pattern.compile(
"<m:oMath(?:\\s[^>]*)?/>");
/** Начало блока формулы; префикс обязателен (без него {@code :oMath} нет). */
private static final Pattern MATH_BLOCK = Pattern.compile(
"<([A-Za-z_][\\w.-]*):oMath(Para)?(?=[\\s/>])");
/** Текстовый узел OMML; содержимое — уже экранированный XML-текст. */
/** Элементный тег с префиксом {@code <p:name>} / {@code </p:name>}. */
private static final Pattern PREFIXED_TAG = Pattern.compile(
"</?([A-Za-z_][\\w.-]*):([A-Za-z_][\\w.-]*)");
/** Текстовый узел {@code <p:t>}; содержимое — уже экранированный XML. */
private static final Pattern MATH_TEXT = Pattern.compile(
"<m:t(?:\\s[^>]*)?>(.*?)</m:t>", Pattern.DOTALL);
"<([A-Za-z_][\\w.-]*):t(?:\\s[^>]*)?>(.*?)</\\1:t>", Pattern.DOTALL);
private MathFallbackNormalizer() {
}
/**
* Рерайт одной XML-части: формулы → текст, если AWT-шрифтов нет.
* Формул нет / шрифты есть / ничего не изменилось → {@code null}.
* Рерайт одной XML-части: unsupported-формулы → текст. Формул нет /
* все поддерживаются / ничего не изменилось → {@code null}
* (пайплайн отдаёт тот же массив).
*/
static String rewrite(String xml) {
if (!xml.contains("<m:oMath")) {
if (!xml.contains(":oMath")) {
return null;
}
return MathMlSupport.awtFontsAvailable() ? null : flatten(xml);
Map<String, String> rootNs = rootNamespaces(xml);
StringBuilder out = new StringBuilder();
int pos = 0;
boolean changed = false;
Matcher m = MATH_BLOCK.matcher(xml);
int search = 0;
while (m.find(search)) {
String prefix = m.group(1);
boolean para = m.group(2) != null;
int start = m.start();
int tagEnd = tagEnd(xml, start);
if (tagEnd < 0) {
break; // незакрытый тег — дело валидатора, скан останавливаем
}
Map<String, String> ns = mergedNamespaces(rootNs, xml.substring(start, tagEnd));
if (!isMath(ns, prefix)) {
search = tagEnd;
continue; // чужой namespace — не формула
}
int blockEnd;
int before = tagEnd - 2;
while (before > start && Character.isWhitespace(xml.charAt(before))) {
before--;
}
boolean selfClosing = xml.charAt(before) == '/';
if (selfClosing) {
blockEnd = tagEnd;
} else {
String closing = "</" + prefix + ":oMath" + (para ? "Para" : "") + ">";
int close = xml.indexOf(closing, tagEnd);
if (close < 0) {
break; // битый каркас — валидатор его и отвергнет
}
blockEnd = close + closing.length();
}
String block = xml.substring(start, blockEnd);
if (hasUnsupported(ns, block)) {
out.append(xml, pos, start).append(run(text(ns, block)));
pos = blockEnd;
changed = true;
search = blockEnd;
continue;
}
search = tagEnd;
}
if (!changed) {
return null;
}
return out.append(xml, pos, xml.length()).toString();
}
/**
* Замена всех формул на раны с текстом (без проверки доступности шрифтов).
* Формул нет → {@code null}. Package-private — прямой юнит-тест
* детерминирован на любом хосте.
* Объявления {@code xmlns:} фактического корневого элемента: пролог
* ({@code <?xml ...?>}, комментарии, DOCTYPE) пропускается — иначе
* карта осталась бы пустой на реальном XML-файле части, а пустая карта
* консервативно считает каждый префикс math-тегом и срезает боевые
* формулы (внутри {@code m:r}/{@code m:ctrlPr} Word пишет
* {@code w:rPr}/{@code w:rFonts} — имена вне SUPPORTED).
*/
static String flatten(String xml) {
String out = MATH_PARA.matcher(xml).replaceAll(m -> run(text(m.group())));
out = MATH_PARA_SELF.matcher(out).replaceAll("");
out = MATH_INLINE.matcher(out).replaceAll(m -> run(text(m.group())));
out = MATH_INLINE_SELF.matcher(out).replaceAll("");
return out.equals(xml) ? null : out;
private static Map<String, String> rootNamespaces(String xml) {
Map<String, String> map = new HashMap<>();
int pos = 0;
while (pos < xml.length()) {
int open = xml.indexOf('<', pos);
if (open < 0) {
return map;
}
if (xml.startsWith("<?", open)) {
int end = xml.indexOf("?>", open);
pos = end < 0 ? xml.length() : end + 2;
continue;
}
if (xml.startsWith("<!--", open)) {
int end = xml.indexOf("-->", open);
pos = end < 0 ? xml.length() : end + 3;
continue;
}
if (xml.startsWith("<!", open)) {
int end = xml.indexOf('>', open);
pos = end < 0 ? xml.length() : end + 1;
continue;
}
int end = tagEnd(xml, open);
if (end < 0) {
return map;
}
Matcher m = XMLNS.matcher(xml.substring(open, end));
while (m.find()) {
map.put(m.group(1), m.group(2));
}
return map;
}
return map;
}
/** Текст формулы: конкатенация содержимого всех {@code m:t} (как docx4j mathText). */
private static String text(String block) {
Matcher m = MATH_TEXT.matcher(block);
StringBuilder sb = new StringBuilder();
/** Корневые объявления + переопределения из заголовка блока. */
private static Map<String, String> mergedNamespaces(Map<String, String> root,
String openTag) {
Matcher m = XMLNS.matcher(openTag);
if (!m.find()) {
return root;
}
Map<String, String> map = new HashMap<>(root);
m.reset();
while (m.find()) {
sb.append(m.group(1));
map.put(m.group(1), m.group(2));
}
return map;
}
/**
* Привязан ли префикс к math-namespace: явная привязка — да; привязка к
* другому URI — нет; префикс не объявлен нигде — да (консервативно, см.
* javadoc класса), если только вообще нет ни одного объявления xmlns
* (тогда это не XML с map префиксов, а мусор — тоже «как math»).
*/
private static boolean isMath(Map<String, String> ns, String prefix) {
String bound = ns.get(prefix);
if (MATH_NS.equals(bound)) {
return true;
}
return bound == null;
}
/** Есть ли в блоке тег math-namespace вне {@link MathModel#SUPPORTED}. */
private static boolean hasUnsupported(Map<String, String> ns, String block) {
List<String> mathPrefixes = new ArrayList<>();
for (Map.Entry<String, String> e : ns.entrySet()) {
if (MATH_NS.equals(e.getValue())) {
mathPrefixes.add(e.getKey());
}
}
Matcher m = PREFIXED_TAG.matcher(block);
while (m.find()) {
String prefix = m.group(1);
String name = m.group(2);
boolean mathTag = mathPrefixes.contains(prefix)
|| (mathPrefixes.isEmpty() && !ns.containsKey(prefix));
if (mathTag && !MathModel.SUPPORTED.contains(name)) {
return true;
}
}
return false;
}
/** Текст формулы: конкатенация {@code m:t} math-префиксов (как mathText). */
private static String text(Map<String, String> ns, String block) {
Set<String> mathPrefixes = new HashSet<>();
for (Map.Entry<String, String> e : ns.entrySet()) {
if (MATH_NS.equals(e.getValue())) {
mathPrefixes.add(e.getKey());
}
}
StringBuilder sb = new StringBuilder();
Matcher m = MATH_TEXT.matcher(block);
while (m.find()) {
String prefix = m.group(1);
if (mathPrefixes.contains(prefix)
|| (mathPrefixes.isEmpty() && !ns.containsKey(prefix))) {
sb.append(m.group(2));
}
}
return sb.toString();
}
/** Конец открывающего тега (индекс после {@code >}), кавычки-осведомлённый. */
private static int tagEnd(String xml, int start) {
char quote = 0;
for (int i = start + 1; i < xml.length(); i++) {
char c = xml.charAt(i);
if (quote != 0) {
if (c == quote) {
quote = 0;
}
} else if (c == '"' || c == '\'') {
quote = c;
} else if (c == TAG_END) {
return i + 1;
}
}
return -1;
}
/** Ран с текстом формулы; пустая формула удаляется. */
private static String run(String text) {
return text.isEmpty() ? ""
@@ -1,48 +0,0 @@
package ru.pjandro.wordpdf.internal;
import java.awt.GraphicsEnvironment;
import java.util.logging.Logger;
/**
* Проба доступности AWT-шрифтового менеджера (fontconfig) в текущем JVM.
*
* <p>JEuclid (jeuclid-fop), которым docx4j рисует OMML (§22.1), при первой
* отрисовке формулы вызывает {@code GraphicsEnvironment.getAvailableFontFamilyNames()}.
* На Linux без libfontconfig/конфигурации шрифтов это падает
* {@code InternalError → RuntimeException: Fontconfig head is null}
* (репро: arm64 без /etc/fonts). Проба выполняется лениво и один раз:
* результат определяет, оставлять ли MathML (вектор) или деградировать
* формулу в текст в {@link MathFallbackNormalizer}.
*
* <p>Проба намеренно ловит {@link Throwable}: отказ приходит как
* {@code java.lang.InternalError}, а не RuntimeException.
*
* <p>Регрессия — WordPdfConverterTest#ommlMath_drawnAsVectors.
*/
final class MathMlSupport {
private static final Logger LOGGER = Logger.getLogger(MathMlSupport.class.getName());
private MathMlSupport() {
}
/** Доступен ли AWT-менеджер шрифтов (fontconfig); проба — один раз на JVM. */
static boolean awtFontsAvailable() {
return Holder.AVAILABLE;
}
private static final class Holder {
private static final boolean AVAILABLE = probe();
}
private static boolean probe() {
try {
GraphicsEnvironment.getLocalGraphicsEnvironment().getAvailableFontFamilyNames();
return true;
} catch (Throwable t) {
LOGGER.info("AWT-менеджер шрифтов недоступен (нет fontconfig): "
+ "OMML-формулы будут отрисованы текстом: " + t);
return false;
}
}
}
@@ -16,7 +16,8 @@ import java.util.zip.ZipOutputStream;
*
* Word рисует после номера лейбла разделитель по {@code w:suff}: tab —
* табуляция до позиционного отступа, space — обычный пробел, nothing — ничего
* (Part 1 §17.3.1.28). docx4j/export-fo разделитель не эмитит вовсе: в FO
* (Part 1 §17.9.28, тип — ST_LevelSuffix §17.18.46). docx4j/export-fo
* разделитель не эмитит вовсе: в FO
* уходит только текст лейбла («1.»), хинт {@code docx4j:label-suffix} —
* заготовка без обработчика (дамп n4.fo аудита раскладки). Для suff=tab это
* отдельный Class C-остаток (нужна per-item ширина), а suff=space чинится
@@ -38,9 +39,6 @@ final class NumberingSuffixNormalizer {
private NumberingSuffixNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = NumberingSuffixNormalizer::normalize;
/**
* Дописывает пробел в lvlText у уровней с suff=space.
*
@@ -42,7 +42,8 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
* по ECMA-376 §15.2.10 у каждого внедрённого объекта обязан быть «associated
* image, which appears in the document as a placeholder» — именно его показывает
* Word вместо объекта, — поэтому {@code w:object} заменяется его статичным
* представлением (картинкой-плейсхолдером, §17.3.3.3); без плейсхолдера блок
* представлением (картинкой-плейсхолдером, §17.3.3.19; картинка — §17.3.3.9);
* без плейсхолдера блок
* удаляется. OLE-бинарники при этом никогда не читаются — байты только
* удаляются, так что содержимое объекта (вплоть до враждебного архива) на
* вывод не влияет.</p>
@@ -392,7 +393,7 @@ public final class OleObjectNormalizer {
/**
* Заменяет в word/*.xml каждый w:object его статичным представлением
* (плейсхолдером, ECMA-376 §15.2.10/§17.3.3.3): блок с `w:control`
* (плейсхолдером, ECMA-376 §15.2.10/§17.3.3.19): блок с `w:control`
* (ActiveX) удаляется целиком — property bag всё равно остаётся сиротой;
* блок с `w:drawing` (ветка mc:Choice) заменяется этим drawing дословно;
* блок с `v:imagedata r:id` заменяется inline-DrawingML на ту же
@@ -10,8 +10,9 @@ import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream;
/**
* Разбор руби-разметки ({@code w:rubyBase}/{@code w:rt}/{@code w:rubyPr},
* Part 1 §17.3.3.19/.20/.21) в байтах до загрузки docx4j.
* Разбор руби-разметки ({@code w:ruby}/{@code w:rubyBase}/{@code w:rt}/
* {@code w:rubyPr}/{@code w:rubyAlign}, Part 1 §17.3.3.25/.27/.24/.28/.26)
* в байтах до загрузки docx4j.
*
* <p>Джинябиндованные схемы docx4j 17.3.2 {@code w:rubyBase}/{@code w:rt}
* в {@code w:r} <b>не содержат</b> (unmarshaller сообщает «unexpected
@@ -20,11 +21,13 @@ import java.util.zip.ZipOutputStream;
* (в отличие от {@code w:moveFrom}/{@code w:moveTo}/{@code w:bdo}/{@code w:dir},
* которые схема знает). Единственный слой починки — байтовый нормализатор.
*
* <p>Деградация принята: база ({@code w:rubyBase}/{@code w:rubyBaseText})
* разворачивается в обычные раны ранa — текст печатается; надстрочница
* ({@code w:rt}) и форматирование руби ({@code w:rubyPr}, {@code w:rubyAlign})
* удаляются вместе с содержимым — ruby-разметки в XSL-FO у FOP нет, а потеря
* текста хуже потери аннотации.
* <p>Деградация принята: база ({@code w:rubyBase}) разворачивается в обычные
* раны ранa — текст печатается; надстрочница ({@code w:rt}) и форматирование
* руби ({@code w:rubyPr}, {@code w:rubyAlign}) удаляются вместе с содержимым
* — ruby-разметки в XSL-FO у FOP нет, а потеря текста хуже потери аннотации.
* Снимается и обёртка {@code w:ruby}: схемно-валидная разметка (транзишнл
* CT_R: {@code w:r} → {@code w:ruby} → rubyPr/rt/rubyBase, wml.xsd) иначе
* достаёт catch-all-шаблону XSLT и база теряется молча.
*
* <p>В конвейере подключается десятым рерайтом в {@link DocxRewritePipeline}
* (после Hidden; порядок 1–8 не перенумеровать); в
@@ -46,18 +49,21 @@ final class RubyNormalizer {
private static final Pattern RUBY_PR_BLOCK =
Pattern.compile("<w:rubyPr(?:\\s[^>]*)?(?:/>|>.*?</w:rubyPr>)", Pattern.DOTALL);
/** Одиночный {@code w:rubyPr}. */
/** Одиночный {@code w:rubyAlign}. */
private static final Pattern RUBY_ALIGN =
Pattern.compile("<w:rubyAlign(?:\\s[^>]*)?(?:/>|>\\s*</w:rubyAlign>)", Pattern.DOTALL);
private static final Pattern RUBY_BASE_OPEN =
Pattern.compile("<w:rubyBase(?:\\s[^>]*)?>");
private static final Pattern RUBY_BASE_TEXT_OPEN =
Pattern.compile("<w:rubyBaseText(?:\\s[^>]*)?>");
/** Обёртка {@code w:ruby} (снимается: ран разворачивается в обычные раны). */
private static final Pattern RUBY_OPEN =
Pattern.compile("<w:ruby(?:\\s[^>]*)?>");
private static final String RUBY_CLOSE = "</w:ruby>";
/**
* Рерайт одной XML-строки: разворачивает {@code w:rubyBase}/
* {@code w:rubyBaseText}, вырезает {@code w:rt}/{@code w:rubyPr}/
* Рерайт одной XML-строки: разворачивает {@code w:rubyBase}, снимает
* обёртку {@code w:ruby}, вырезает {@code w:rt}/{@code w:rubyPr}/
* {@code w:rubyAlign}. Руби-токенов нет / ничего не поменялось → {@code null}.
*/
static String rewrite(String xml) {
@@ -67,10 +73,10 @@ final class RubyNormalizer {
String out = RT_BLOCK.matcher(xml).replaceAll("");
out = RUBY_PR_BLOCK.matcher(out).replaceAll("");
out = RUBY_ALIGN.matcher(out).replaceAll("");
out = RUBY_BASE_TEXT_OPEN.matcher(out).replaceAll("");
out = out.replace("</w:rubyBaseText>", "");
out = RUBY_BASE_OPEN.matcher(out).replaceAll("");
out = out.replace("</w:rubyBase>", "");
out = RUBY_OPEN.matcher(out).replaceAll("");
out = out.replace(RUBY_CLOSE, "");
return out.equals(xml) ? null : out;
}
@@ -26,14 +26,17 @@ import java.util.zip.ZipOutputStream;
* {@code w14:fillToRect w14:t="130%"} — JAXB падает на
* {@code NumberFormatException: Not a number: 130%};</li>
* <li>текстовые проценты в {@code wp14:pctWidth}/{@code wp14:pctHeight};</li>
* <li>границы и отступы в элементах {@code w:start}/{@code w:end}
* (в transitional они называются {@code w:left}/{@code w:right}) —
* JAXB сообщает «unexpected element» и границы теряются;</li>
* <li>границы и отступы в элементах {@code w:start}/{@code w:end} — в
* strict-схеме это единственные имена, transitional-схема допускает
* обе пары детей (wml.xsd CT_TcMar/CT_TblCellMar), но strict-часть их
* не пишет — JAXB transitional-модели сообщает «unexpected element»
* и границы теряются;</li>
* <li>атрибуты {@code w:start}/{@code w:end} у {@code w:ind} и значения
* {@code start}/{@code end} у {@code w:jc}/{@code w:tab} — в strict-модели
* это единственные имена, а transitional-модель docx4j их не принимает
* (значения {@code w:tab} — и подавно: enum {@code STTabJc} в docx4j
* 17.3.2 содержит только left/right).</li>
* 17.3.2 содержит только left/center/right; в спековом ST_TabJc
* §17.18.84 start/end есть, но JAXB-enum их не принимает).</li>
* </ul>
*
* <p>Полный strict→transitional рерайт не делается: mc-preprocessor уже
@@ -72,7 +75,9 @@ import java.util.zip.ZipOutputStream;
* RTL; ST_Jc §17.18.44); RTL вне контура конвейера (FOP без complex-script,
* direction docx4j не выставляет — start и так рендерился как left).</li>
* <li>значения {@code start}/{@code end} у {@code w:tab} правятся всегда
* (enum без start/end).</li>
* (enum {@code STTabJc} docx4j — left/center/right, без start/end;
* спека ST_TabJc §17.18.84 их содержит, но JAXB-биндинг их не
* принимает).</li>
* </ul>
*
* Регрессия — WordPdfConverterTest#strictOoxml_convertsNotRejected.
@@ -121,9 +126,6 @@ final class StrictOoxmlNormalizer {
private StrictOoxmlNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = StrictOoxmlNormalizer::normalize;
/**
* Приводит strict-OOXML в XML-частях docx (word/*.xml) к виду, который
* разбирает JAXB-модель transitional (детали — в javadoc класса).
@@ -219,13 +221,14 @@ final class StrictOoxmlNormalizer {
/**
* Атрибуты {@code w:start→w:left}/{@code w:end→w:right} только внутри
* открывающего тега {@code w:ind} (MS-OI29500 §2.1.174a: start/end как
* псевдонимы left/right в strict — единственный носитель w:ind) и только
* открывающего тега {@code w:ind} (MS-OI29500 §2.1.44 (ind) плюс
* strict wml.xsd: {@code CT_Ind} знает только start/end — единственный
* носитель w:ind в strict) и только
* при отсутствии в нём {@code w:left}/{@code w:right}: CT_Ind
* (transitional) допускает обе пары, дубль атрибута — не well-formed
* XML; литеральный текст {@code w:val}-вида в {@code w:t} не
* затрагивается. У {@code w:pgNumType} атрибут {@code w:start} — старт
* нумерации страниц, легален в transitional (Part 1 §17.13.7), — не
* нумерации страниц, легален в transitional (Part 1 §17.6.12), — не
* трогается (регрессия — pgNumTypeStartAttrUntouched).
*/
private static String renameStartEndAttrs(String xml) {
@@ -51,8 +51,9 @@ final class SymbolFontNormalizer {
* Имя шрифта (lowercase) -> таблица из 256 слотов по 4 hex-цифры:
* младший байт кода из PUA -> Unicode-код цели (0 — соответствия нет).
* Источник — SymbolMapper из docx4j 17.x; сгенерировано, см. javadoc
* класса. Коды вне U+F000–U+F0FF (обычная ASCII-часть символьного
* шрифта) не переписываются.
* класса. Прямые коды {@code w:sym} (≤0xFF, вне PUA) маппятся по той же
* таблице как индекс символной cmap (§17.3.3.30); слот без маппинга, код
* &gt;0xFF вне PUA или отсутствие font-map — элемент сохраняется как есть.
*/
private static final Map<String, String> SYMBOL_MAPS = buildMaps();
@@ -70,9 +71,6 @@ final class SymbolFontNormalizer {
private SymbolFontNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = SymbolFontNormalizer::normalize;
/**
* Заменяет символьные шрифты в XML-частях docx (word/*.xml).
*
@@ -311,14 +309,20 @@ final class SymbolFontNormalizer {
char mapped = 0;
if (charHex != null && fontMap != null) {
char code = (char) Integer.parseInt(charHex, 16);
if (code >= 0xF000 && code <= 0xF0FF) {
mapped = mapped(fontMap, code & 0xFF);
}
// PUA-форма (U+F0xx) и прямая (код ≤0xFF — индекс в символной
// cmap, §17.3.3.30) маппятся по одной таблице
int slot = (code >= 0xF000 && code <= 0xF0FF) ? code & 0xFF
: (code <= 0xFF ? code : -1);
mapped = slot >= 0 ? mapped(fontMap, slot) : 0;
}
if (mapped != 0) {
sb.append(openTag).append(fallbackRPr)
.append("<w:t xml:space=\"preserve\">").append(mapped)
.append("</w:t></w:r>");
} else if (charHex != null) {
// неразрешимый, но схемно-валидный w:sym (§17.3.3.30) —
// сохраняем verbatim: удалять валидный контент нельзя
sb.append(openTag).append(rPr).append(m.group()).append("</w:r>");
}
pos = m.end();
}
@@ -14,7 +14,9 @@ import java.util.zip.ZipOutputStream;
* Свёртка {@code w:tblPr/w:jc} (center/right) с ненулевым {@code w:tblInd} в
* абсолютный {@code w:tblInd} — до загрузки docx4j.
*
* Word (Part 1 §17.4.50 в чтении MS-OI29500 §2.1.155): при {@code w:jc}≠left
* Word (MS-OI29500 §2.1.155; Part 1 §17.4.28 {@code w:jc} + §17.4.50
* {@code w:tblInd} описывают без аддитивной семантики — «сдвиг от поля после
* центрирования/прижимания» есть измеренное поведение Word): при {@code w:jc}≠left
* таблица центрируется/прижимается, а {@code w:tblInd} добавляется сдвигом от
* поля. docx4j же при {@code w:jc}≠left {@code w:tblInd} игнорирует буквально
* (аудит раскладки ECMA-376, матрица B3) — таблица рендерилась без учёта
@@ -31,12 +33,17 @@ import java.util.zip.ZipOutputStream;
* <p>Пропускается (не ломая существующее поведение): документы без
* единственного body-level {@code w:sectPr} (несколько секций — полоса
* неоднозначна), {@code w:tblW type="pct"} и таблицы с gridCol без целого
* {@code w:w} (фактическая ширина неизвестна), {@code w:tblInd} не-dxa и
* {@code w:w} (фактическая ширина неизвестна), {@code w:tblInd} с явным
* {@code w:type}≠dxa (опущенный type — dxa, §17.4.87) и
* {@code w:tblPr} с {@code w:tblCellSpacing} без {@code w:tblInd} (вставить
* тег в корректную позицию CT_TblPrBase некуда). Дефолты при отсутствии
* pgSz/pgMar — 11906 и 1440/1440: измеренное поведение docx4j при отсутствующем
* {@code w:pgMar} (левый край текста = 72pt = 1440 twips), а не ECMA-дефолт
* 1800 — нормализатор обязан считать ту же полосу, что рендерит стек.
* pgSz/pgMar — 11906 и 1440/1440: ECMA дефолтов {@code w:pgSz}/{@code w:pgMar}
* не фиксирует (§17.6.13/§17.6.11), а 11906/1440 — измеренное поведение
* docx4j при отсутствующем {@code w:pgMar} (левый край текста = 72pt =
* 1440 twips) — нормализатор обязан считать ту же полосу, что рендерит стек.
* Band берётся из сырого {@code word/document.xml}: геометрия инвариантна
* к рерайтам (Strict-схема у {@code CT_PageMar} не имеет start/end, rule 1
* {@code w:pgSz}/{@code w:pgMar} не трогает).
*
* <p>{@link #normalize} трогает только {@code word/document.xml} (признак —
* {@code <w:body}); нечего менять → тот же массив. {@link #rewritePart} —
@@ -57,13 +64,14 @@ final class TableIndentNormalizer {
private static final String DOCUMENT_ENTRY = "word/document.xml";
private static final Pattern PG_SZ_W = Pattern.compile("<w:pgSz\\b[^>]*w:w=\"(\\d+)\"");
// strict-OOXML пишет поля как w:start/w:end; band считается из СЫРОГО
// document.xml (до rule 1, которая их переименует) — чередование
// обязательно, иначе полоса строгого документа молча возьмётся из дефолтов
// полоса считается из СЫРОГО document.xml; чередование left|start не
// нужен: CT_PageMar не имеет start/end ни в strict-, ни в transitional-
// схеме (wml.xsd), StrictOoxmlNormalizer w:pgSz/w:pgMar не трогает —
// геометрия инвариантна к рерайтам
private static final Pattern PG_MAR_LEFT =
Pattern.compile("<w:pgMar\\b[^>]*w:(?:left|start)=\"(\\d+)\"");
Pattern.compile("<w:pgMar\\b[^>]*w:left=\"(\\d+)\"");
private static final Pattern PG_MAR_RIGHT =
Pattern.compile("<w:pgMar\\b[^>]*w:(?:right|end)=\"(\\d+)\"");
Pattern.compile("<w:pgMar\\b[^>]*w:right=\"(\\d+)\"");
private static final Pattern JC =
Pattern.compile("<w:jc\\b[^>]*w:val=\"(center|right)\"[^>]*/>");
private static final Pattern TBL_IND = Pattern.compile("<w:tblInd\\b[^>]*/>");
@@ -74,9 +82,6 @@ final class TableIndentNormalizer {
private TableIndentNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = TableIndentNormalizer::normalize;
/**
* Переписывает jc+tblInd в абсолютный tblInd в {@code word/document.xml}.
*
@@ -186,10 +191,18 @@ final class TableIndentNormalizer {
if (hasInd) {
String indTag = ind.group();
Matcher indW = TBL_IND_W.matcher(indTag);
if (!indW.find() || !indTag.contains("w:type=\"dxa\"")) {
continue; // не-dxa — величина сдвига неизвестна
// CT_TblWidth (§17.4.87): опущенный w:type = dxa;
// явный не-dxa (pct и т.п.) — величина сдвига неизвестна
boolean nonDxa = indTag.contains("w:type=") && !indTag.contains("w:type=\"dxa\"");
if (!indW.find() || nonDxa) {
continue;
}
x = Integer.parseInt(indW.group(1));
} else if (pr.contains("<w:tblInd")) {
// парный (не самозакрывающийся) w:tblInd — паттерн видит
// только самозакрытый; вставка нового тега оставила бы старый
// → дубль элемента (maxOccurs=1 у CT_TblPrBase), консервативно
continue;
} else if (pr.contains("<w:tblCellSpacing")) {
// tblInd по CT_TblPrBase идёт ПОСЛЕ tblCellSpacing — вставить
// тег в корректную позицию некуда, консервативно пропускаем
@@ -11,7 +11,7 @@ import java.util.List;
/**
* Объёмные декартовы графики: c:bar3DChart, c:line3DChart, c:area3DChart
* (ECMA-376 §21.2.2.19/.101/.122). Камера — та же, что у поверхности
* (ECMA-376 §21.2.2.15/.96/.4). Камера — та же, что у поверхности
* ({@link Surface3dPainter#project}): u — категория (ширина), v — ряд
* (глубина), w — значение (высота); вписка равномерным масштабом в поля
* {@link Surface3dPainter#GUTTER_LEFT} и т.д.
@@ -21,8 +21,8 @@ import java.util.List;
* §2.1.1474(a)); торец затемняется (псевдо-свет, калибровка — Cartesian3dPainterTest).
* line3D: полилиния ряда на своей глубине, лента-толщина не имитируется;
* area3D: стена ряда от пола до значений, полупрозрачная, как AREA.
* c:shape (§21.2.2.177, ST_Shape §21.2.3.44): box/cone/coneToMax/cylinder/pyramid/
* pyramidToMax; c:shape ряда переопределяет форму диаграммы (MS-OI29500 §2.1.1545(a/b)),
* c:shape (§21.2.2.177, ST_Shape §21.2.3.42): box/cone/coneToMax/cylinder/pyramid/
* pyramidToMax; c:shape ряда переопределяет форму диаграммы (MS-OI29500 §2.1.1546(a/b)),
* ToMax-формы сужаются к верху пропорционально val/max (семантика Excel — ECMA геометрию
* не нормирует); неизвестное значение — box. c:barDir="bar" — горизонтальная ориентация
* боксов (Word UI не сочетает barDir=bar с формами).
@@ -343,7 +343,7 @@ final class Cartesian3dPainter {
}
}
/** Грани колонки в модельных координатах (§21.2.3.44 ST_Shape); все вершины
/** Грани колонки в модельных координатах (§21.2.3.42 ST_Shape); все вершины
* проецируются в nodes — по ним происходит вписка. Неизвестная форма — box. */
private static List<Face> buildFaces(Color color, String shape, double t,
double u0, double u1, double v0, double v1,
@@ -600,7 +600,7 @@ final class Cartesian3dPainter {
}
/** Подписи: значения — вдоль переднего левого ребра, категории — нижнего,
* ряды — правого; c:delete (§21.2.2.38) убирает подписи оси.
* ряды — правого; c:delete (§21.2.2.40) убирает подписи оси.
* Регрессия — Cartesian3dPainterTest#bar3d_seriesAxisLabelsDrawn. */
private static void drawLabels(Graphics2D g, ChartSpec spec, List<Double> tickValues,
List<Surface3dPainter.Node> valueAnchors, int nCat,
@@ -30,10 +30,10 @@ import java.nio.ByteBuffer;
*
* Медиа документов (фото/скрины) — не наши части, но и для них штатный путь
* дорог: {@code PictureCompression.compress} декодирует полный растр (ImageIO)
* ДО любых решений, а для не-JPEG без кропа с ppi <= threshold (и без размера
* ДО любых решений, а для не-JPEG без кропа с ppi {@code <=} threshold (и без размера
* в макете) результат всегда null — декод впустую. Здесь такое решение
* принимается по 26 байтам заголовка (PNG/GIF/BMP), растр не декодируется
* вовсе. JPEG сознательно не ускоряем: Word при ppi <= threshold перекодирует
* вовсе. JPEG сознательно не ускоряем: Word при ppi {@code <=} threshold перекодирует
* его «для размера», вывод должен остаться побайтно прежним.
*
* Регрессии — WordPdfConverterTest#chartMedia_notDownsampled,
@@ -52,7 +52,7 @@ final class ChartRenderer {
/** Порог «значение целое» при форматировании подписей. */
private static final double INTEGER_EPSILON = 1e-9;
/** Позиции легенды (ECMA-376 §21.2.2.144 ST_LegendPos): снизу/сверху. */
/** Позиции легенды (ECMA-376 §21.2.2.95 legendPos, ST_LegendPos §21.2.3.24): снизу/сверху. */
private static final String LEGEND_BOTTOM = "b";
private static final String LEGEND_TOP = "t";
@@ -117,7 +117,7 @@ final class ChartSpec {
final List<Double> xValues = new ArrayList<>();
/** bubble: размеры пузырей (c:bubbleSize). */
final List<Double> bubbleSizes = new ArrayList<>();
/** c:shape ряда bar3D (MS-OI29500 §2.1.1545(b)); null = дефолт диаграммы ({@link #shape3d}). */
/** c:shape ряда bar3D (MS-OI29500 §2.1.1546(b)); null = дефолт диаграммы ({@link #shape3d}). */
String shape3d;
/** Способ отрисовки ряда в combo-диаграмме (несколько групп в одном c:plotArea,
* ECMA-376 §21.2.2.145): BAR/BAR_HORIZONTAL/LINE/AREA по группе-источнику.
@@ -29,12 +29,13 @@ import java.util.Map;
* Палитра цветов DrawingML: цвета схемы из word/theme/theme1.xml плюс
* разбор {@code a:color} (srgbClr / scrgbClr / hslClr / sysClr /
* schemeClr / prstClr) с полным набором трансформаций EG_ColorTransform
* (§20.1.2.3.2-28: lum/sat/hue Mod/Off и абсолютные, tint/shade,
* (§20.1.2.3.2-34: lum/sat/hue Mod/Off и абсолютные, tint §20.1.2.3.34 /
* shade §20.1.2.3.31,
* alpha/alphaMod/alphaOff, red/green/blue + Mod/Off, comp, inv, gray,
* gamma/invGamma).
*
* tint/shade — модуляция светлоты в HSL (L' = L·p + (1−p) / L·p,
* MS-OI29500 §17.3.2.6(a) — поведение Word); ECMA-примеры именно для
* MS-OI29500 §2.1.72 — поведение Word); ECMA-примеры именно для
* tint/shade (00BC00) противоречат его же примерам семейства lum/sat —
* расхождение на стороне спецификации.
*
@@ -432,7 +433,7 @@ final class DrawMlColor {
rgb = toRgb(hsl);
}
// §20.1.2.3.31/.34: Office-семантика — модуляция
// светлоты в HSL (MS-OI29500 §17.3.2.6(a)), не
// светлоты в HSL (MS-OI29500 §2.1.72), не
// гамма-микс; ECMA-примеры tint/shade противоречат
// собственному семейству lum/sat (§20.1.2.3.19-28).
case "tint" -> {
@@ -7,7 +7,7 @@ import org.docx4j.dml.CTTextParagraph;
import org.docx4j.dml.CTTextParagraphProperties;
import org.docx4j.dml.CTTextSpacing;
import org.docx4j.dml.TextFont;
import ru.pjandro.wordpdf.fonts.BundledFontMapper;
import ru.pjandro.wordpdf.fonts.BundledFontAliases;
import ru.pjandro.wordpdf.fonts.BundledFonts;
import ru.pjandro.wordpdf.fonts.GlyphFont;
@@ -23,7 +23,7 @@ import java.util.List;
* (a:defRPr / a:rPr: sz, b, i, solidFill, latin) и разбивка на строки.
*
* Шрифты берутся из того же бандла, что и у текста PDF
* ({@link BundledFontMapper#bundledFamily}), поэтому подпись диаграммы
* ({@link BundledFontAliases#bundledFamily}), поэтому подпись диаграммы
* рисуется тем же Carlito/Tinos, что и абзацы документа.
*/
final class DrawMlText {
@@ -43,7 +43,7 @@ final class DrawMlText {
/**
* Один абзац: текст + начертание + выравнивание + межстрочный интервал
* из {@code a:lnSpc} (ECMA-376 §21.1.2.4): {@code spacingPct} — доля
* из {@code a:lnSpc} (ECMA-376 §21.1.2.2.5): {@code spacingPct} — доля
* одинарного (a:spcPct/100000), {@code spacingPts} — фиксированная
* высота строки в pt (a:spcPts/100); оба null — одинарный.
*/
@@ -84,7 +84,7 @@ final class DrawMlText {
String fallbackFam, double fallbackSize, Color fallbackColor) {
Style base = new Style(fallbackSize, false, false, fallbackColor,
fallbackFam == null ? BundledFonts.FALLBACK_FAMILY
: BundledFontMapper.bundledFamily(fallbackFam));
: BundledFontAliases.bundledFamily(fallbackFam));
if (txPr == null || txPr.getP().isEmpty()) {
return base;
}
@@ -170,7 +170,7 @@ final class DrawMlText {
case "+mj-lt", "+mj-ea", "+mj-cs" -> colors.majorFontName();
default -> typeface;
};
return BundledFontMapper.bundledFamily(name != null ? name : fallbackFam);
return BundledFontAliases.bundledFamily(name != null ? name : fallbackFam);
}
/**
@@ -255,7 +255,7 @@ final class DrawMlText {
/**
* Высота строки абзаца: a:lnSpc/a:spcPts — фиксированная в pt,
* a:spcPct — доля одинарного (ascent+descent+leading), ничего —
* одинарный (ECMA-376 §21.1.2.4 CT_TextLineSpacing).
* одинарный (ECMA-376 §21.1.2.2.5 CT_TextLineSpacing).
*/
private static double lineFor(Paragraph p, double single) {
if (p.spacingPts() != null) {
@@ -22,6 +22,8 @@ import org.docx4j.dml.diagram2008.CTDrawing;
import org.docx4j.dml.picture.Pic;
import org.docx4j.dml.wordprocessingDrawing.Anchor;
import org.docx4j.dml.wordprocessingDrawing.Inline;
import org.docx4j.math.CTOMath;
import org.docx4j.math.CTOMathPara;
import org.docx4j.openpackaging.contenttype.ContentTypes;
import org.docx4j.openpackaging.exceptions.Docx4JException;
import org.docx4j.openpackaging.exceptions.InvalidFormatException;
@@ -32,7 +34,15 @@ import org.docx4j.openpackaging.parts.PartName;
import org.docx4j.openpackaging.parts.ThemePart;
import org.docx4j.openpackaging.parts.WordprocessingML.BinaryPartAbstractImage;
import org.docx4j.openpackaging.parts.relationships.RelationshipsPart;
import org.docx4j.wml.CTSignedHpsMeasure;
import org.docx4j.wml.Drawing;
import org.docx4j.wml.Jc;
import org.docx4j.wml.JcEnumeration;
import org.docx4j.wml.P;
import org.docx4j.wml.PPr;
import org.docx4j.wml.R;
import org.docx4j.wml.RPr;
import org.docx4j.wml.Text;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import ru.pjandro.wordpdf.ChartsFoundException;
@@ -41,10 +51,13 @@ import ru.pjandro.wordpdf.ConversionException;
import ru.pjandro.wordpdf.SmartArtFoundException;
import javax.imageio.ImageIO;
import javax.xml.namespace.QName;
import java.awt.image.BufferedImage;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.lang.reflect.Method;
import java.math.BigInteger;
import java.util.ArrayList;
import java.util.Collections;
import java.util.HashSet;
@@ -62,6 +75,17 @@ import java.util.Set;
* пакета и до создания FOSettings, иначе FOP увидит исходные chart/diagram
* и молча их выбросит (notImplemented в шаблоне).
*
* <p>Третий объект — формулы OMML (§22.1): {@code m:oMathPara}/{@code m:oMath}
* доходят сюда нетронутыми (docx2fo.xslt кладёт их в
* {@code fo:instream-foreign-object} с MathML, который FOP+jeuclid на
* без-fontconfig хостах роняет конвертацию, а на остальных рисует чужими
* системными шрифтами). Каждая формула рендерится своим растером
* ({@link MathModel} → {@link MathRenderer}) и заменяется inline-картинкой
* на месте; unsupported/битая формула деградирует раном с текстом
* {@code m:t}. Байтовый скан {@code MathFallbackNormalizer} (правило 6)
* срезает unsupported-конструкции до загрузки docx4j — этот путь остаётся
* безопасной сетью.
*
* Error-флаги {@link ConvertOptions}: при выключенном render-флаге и
* включённом error-флаге находка объекта — {@link ChartsFoundException} или
* {@link SmartArtFoundException}
@@ -81,6 +105,15 @@ public final class DrawingPreRenderer {
"http://schemas.openxmlformats.org/drawingml/2006/picture";
private static final String DIAGRAM_DRAWING_REL =
"http://schemas.microsoft.com/office/2007/relationships/diagramDrawing";
/** {@code m:} — namespace OMML (§22.1); {@code w:} — wordprocessingML. */
private static final String MATH_URI =
"http://schemas.openxmlformats.org/officeDocument/2006/math";
/** Local name элемента {@code m:oMath} (диспетч JAXBElement по имени тега). */
private static final String LOCAL_OMATH = "oMath";
/** Local name элемента {@code m:oMathPara} (формула отдельным абзацем). */
private static final String LOCAL_OMATH_PARA = "oMathPara";
private static final String WML_URI =
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
/**
* Верхняя граница {@code wp:extent} в EMU: максимальная страница Word —
@@ -147,7 +180,8 @@ public final class DrawingPreRenderer {
if (content.isEmpty()) {
continue;
}
walk(p, content, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options, visitedContents);
walk(p, content, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options,
visitedContents, null);
}
}
@@ -175,26 +209,59 @@ public final class DrawingPreRenderer {
private static void walk(Part part, List<?> content, WordprocessingMLPackage pkg,
DrawMlColor colors, int[] idSeq, long[] pngTotal,
long maxPngBytesTotal, ConvertOptions options,
Set<List<?>> visitedContents) {
Set<List<?>> visitedContents, P ownerPara) {
// Посещённые списки — по идентичности (IdentityHashMap): рефлексивный
// getContent (ребёнок возвращает список родителя) не зацикливает обход.
// Сравнение списков через ==/!= запрещено PMD CompareObjectsWithEquals.
if (!visitedContents.add(content)) {
return;
}
for (Object o : content) {
for (int i = 0; i < content.size(); i++) {
Object o = content.get(i);
Object v = o instanceof JAXBElement ? ((JAXBElement<?>) o).getValue() : o;
if (v instanceof Drawing drawing) {
replaceDrawing(part, drawing, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options);
replaceDrawing(part, drawing, pkg, colors, idSeq, pngTotal,
maxPngBytesTotal, options);
continue;
}
if (o instanceof JAXBElement<?> el && el.getName() != null
&& MATH_URI.equals(el.getName().getNamespaceURI())) {
String local = el.getName().getLocalPart();
if (LOCAL_OMATH.equals(local) && v instanceof CTOMath math) {
i = splice(content, i, mathReplacements(math, false, part, pkg,
idSeq, pngTotal, maxPngBytesTotal));
continue;
}
if (LOCAL_OMATH_PARA.equals(local) && v instanceof CTOMathPara para) {
i = splice(content, i, mathParaReplacements(para, ownerPara, part,
pkg, idSeq, pngTotal, maxPngBytesTotal));
continue;
}
}
P para = v instanceof P p ? p : ownerPara;
List<?> nested = invokeList(v, "getContent");
if (!nested.isEmpty()) {
walk(part, nested, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options, visitedContents);
walk(part, nested, pkg, colors, idSeq, pngTotal, maxPngBytesTotal,
options, visitedContents, para);
}
}
}
/**
* In-place замена элемента {@code index} живого списка дерева на {@code reps}
* (формула → картинка/текст). Живые списки docx4j — изменяемые
* {@code ArrayList}; немодифицируемый список (нетипичный биндинг) —
* {@link UnsupportedOperationException}, который вызывающий не ловит:
* это ошибка программы, а не враждебный вход (валидатор пропускает только
* OOXML-валидные пакеты). Raw-сигнатура — единственный способ mutate
* {@code List<?>} без {@code @SuppressWarnings}.
*/
private static int splice(List content, int index, List reps) {
content.remove(index);
content.addAll(index, reps);
return index + reps.size() - 1;
}
private static List<?> invokeList(Object target, String getter) {
try {
Method m = target.getClass().getMethod(getter);
@@ -269,6 +336,165 @@ public final class DrawingPreRenderer {
}
}
/**
* Одна {@code m:oMath} → замены на позиции формулы: inline
* {@code w:drawing} с pic:pic (успех) или ран с конкатенацией
* {@code m:t} (деградация: unsupported-конструкция — безопасная сеть
* после байтового скана MathFallbackNormalizer, пустая/битая формула,
* переполнение бюджета PNG). OOM — {@link ConversionException}, не
* деградация (тот же контракт, что у графиков).
*/
private static List<Object> mathReplacements(CTOMath math, boolean display,
Part part, WordprocessingMLPackage pkg,
int[] idSeq, long[] pngTotal,
long maxPngBytesTotal) {
try {
MathRenderer.MathImage mi = MathRenderer.render(MathModel.build(math, display));
if (mi.image() == null) {
return textRuns(MathModel.mathText(math));
}
byte[] png;
try {
ByteArrayOutputStream bos = new ByteArrayOutputStream();
ImageIO.write(mi.image(), "png", bos);
png = bos.toByteArray();
} finally {
mi.image().flush();
}
if (png.length == 0) {
LOG.warn("PNG формулы пуст — формула деградирована в текст");
return textRuns(MathModel.mathText(math));
}
if (pngTotal[0] + png.length > maxPngBytesTotal) {
LOG.warn("суммарный размер PNG превысил {} байт — формула деградирована в текст",
maxPngBytesTotal);
return textRuns(MathModel.mathText(math));
}
pngTotal[0] += png.length;
String relId = addChartMedia(pkg, part, png);
long cx = Math.round(mi.widthPt() * 12700.0);
long cy = Math.round(mi.heightPt() * 12700.0);
Drawing pic = mathPicture(idSeq, relId, cx, cy);
if (display) {
return List.of(pic);
}
// FOP ставит инлайн-картинку НИЖНИМ краем на базовую линию
// строки, поэтому формула «всплывала» на descent+PAD над
// текстом. Word роняет базовую линию формулы на базовую
// линию строки — компенсируем смещением ранa вниз:
// w:rPr/w:position (полупункты, отрицательное опускает,
// §17.3.2.24) через AUDIT-FIX baseline-shift вендорного
// XSLT. belowBaselinePt > PAD всегда (канва ≥ габариту +
// 2·PAD), нулевого смещения не бывает. Регрессия —
// WordPdfConverterTest#ommlMathInline_sitsOnTextBaseline.
R run = new R();
RPr rpr = new RPr();
CTSignedHpsMeasure pos = new CTSignedHpsMeasure();
pos.setVal(BigInteger.valueOf(-Math.round(2 * mi.belowBaselinePt())));
rpr.setPosition(pos);
run.setRPr(rpr);
run.getContent().add(pic);
return List.of(run);
} catch (MathUnsupportedException e) {
LOG.info("формула не поддерживается рендером — деградация в текст: {}",
e.getMessage());
return textRuns(MathModel.mathText(math));
} catch (OutOfMemoryError e) {
LOG.error("память исчерпана при рендере формулы", e);
throw new ConversionException("Память исчерпана при рендере формулы", e);
} catch (Docx4JException | IOException | RuntimeException e) {
LOG.warn("рендер формулы упал: {}", e.toString());
return textRuns(MathModel.mathText(math));
}
}
/**
* Блок {@code m:oMathPara} (§22.1.3.13): все формулы блока — display.
* Word кладёт {@code oMathPara} либо в блок-контейнер (§22.1.3 —
* наблюдаемая раскладка Word-файлов), либо в {@code w:p}; в первом
* случае формулы заворачиваются в новый центрированный {@code w:p},
* во втором — вставляются на место блока, а содержащему абзацу
* выставляется {@code jc=center} (семантика центрированной
* формулы-абзаца; prose в том же абзаце — враждебный вход, центрируется
* тоже — зарегистрированная деградация).
*/
private static List<Object> mathParaReplacements(CTOMathPara para, P ownerPara,
Part part, WordprocessingMLPackage pkg,
int[] idSeq, long[] pngTotal,
long maxPngBytesTotal) {
List<Object> inner = new ArrayList<>();
for (CTOMath m : para.getOMath()) {
inner.addAll(mathReplacements(m, true, part, pkg, idSeq, pngTotal,
maxPngBytesTotal));
}
if (ownerPara != null) {
centerParagraph(ownerPara);
return inner;
}
if (inner.isEmpty()) {
return List.of();
}
P p = new P();
PPr ppr = new PPr();
Jc jc = new Jc();
jc.setVal(JcEnumeration.CENTER);
ppr.setJc(jc);
p.setPPr(ppr);
p.getContent().addAll(inner);
return List.of(p);
}
/** {@code jc=center} на абзаце (создаёт {@code w:pPr}, если нет). */
private static void centerParagraph(P para) {
PPr ppr = para.getPPr();
if (ppr == null) {
ppr = new PPr();
para.setPPr(ppr);
}
Jc jc = new Jc();
jc.setVal(JcEnumeration.CENTER);
ppr.setJc(jc);
}
/** Inline {@code w:drawing} с pic:Pic заданного размера (EMU). */
private static Drawing mathPicture(int[] idSeq, String relId, long cx, long cy) {
Drawing drawing = new Drawing();
Inline inline = new Inline();
inline.setDistT(0L);
inline.setDistB(0L);
inline.setDistL(0L);
inline.setDistR(0L);
CTPositiveSize2D extent = new CTPositiveSize2D();
extent.setCx(cx);
extent.setCy(cy);
inline.setExtent(extent);
CTNonVisualDrawingProps docPr = new CTNonVisualDrawingProps();
docPr.setId(idSeq[0]++);
docPr.setName("Формула " + docPr.getId());
inline.setDocPr(docPr);
Graphic graphic = new Graphic();
GraphicData gd = new GraphicData();
gd.setUri(PICTURE_URI);
gd.getAny().add(buildPic(idSeq, relId, cx, cy, "Формула"));
graphic.setGraphicData(gd);
inline.setGraphic(graphic);
drawing.getAnchorOrInline().add(inline);
return drawing;
}
/** Ран с текстом (деградация формулы); пустой текст — пустой список. */
private static List<Object> textRuns(String text) {
if (text.isEmpty()) {
return List.of();
}
R run = new R();
Text t = new Text();
t.setValue(text);
t.setSpace("preserve");
run.getContent().add(new JAXBElement<>(new QName(WML_URI, "t"), Text.class, t));
return List.of(run);
}
private static BufferedImage renderChart(Part part, CTRelId ref,
DrawMlColor colors, long cx, long cy) {
Part target = resolve(part, ref.getId());
@@ -384,11 +610,25 @@ public final class DrawingPreRenderer {
return;
}
Pic pic = buildPic(idSeq, relId, cx, cy, "Диаграмма");
gd.setUri(PICTURE_URI);
gd.getAny().clear();
gd.getAny().add(pic);
}
/**
* {@code pic:pic} на готовый media-r:id: id/имя из счётчика {@code idSeq}
* (общего для картинок диаграмм и формул), геометрия — входной extent
* (EMU), превью не нужно.
*/
private static Pic buildPic(int[] idSeq, String relId, long cx, long cy,
String namePrefix) {
Pic pic = new Pic();
org.docx4j.dml.picture.CTPictureNonVisual nv = new org.docx4j.dml.picture.CTPictureNonVisual();
CTNonVisualDrawingProps props = new CTNonVisualDrawingProps();
props.setId(idSeq[0]++);
props.setName("Диаграмма " + props.getId());
props.setName(namePrefix + " " + props.getId());
nv.setCNvPr(props);
nv.setCNvPicPr(new CTNonVisualPictureProperties());
pic.setNvPicPr(nv);
@@ -418,10 +658,7 @@ public final class DrawingPreRenderer {
geom.setAvLst(new CTGeomGuideList());
spPr.setPrstGeom(geom);
pic.setSpPr(spPr);
gd.setUri(PICTURE_URI);
gd.getAny().clear();
gd.getAny().add(pic);
return pic;
}
/**
File diff suppressed because it is too large Load Diff
@@ -0,0 +1,75 @@
package ru.pjandro.wordpdf.internal.chart;
import java.awt.Color;
import java.awt.Graphics2D;
import java.awt.RenderingHints;
import java.awt.image.BufferedImage;
/**
* Растеризация разобранной формулы: дерево {@link MathModel.Box} → PNG
* в координатах pt×dpi/72 (тот же растер-контракт, что у график:
* {@link ChartRenderer#DPI}, понижение dpi по {@link ChartRenderer#fitDpi}
* при превышении площади). Фон прозрачный (ARGB), сглаживание включено —
* глифы рисуются контурами fontbox, шрифтов хоста не касается.
*
* <p>Пустая формула (нулевые метрики) → {@link MathImage} с нулевыми
* размерами и {@code image == null}: вызывающий заменяет её текстом
* {@code m:t} либо убирает вовсе. {@code OutOfMemoryError} при раздутии
* битмапа НЕ перехватывается — это {@code ConversionException} (500) выше
* по стеку, не деградация (контракт chart-модели).
*/
final class MathRenderer {
/** Минимальный размер растра формулы, pt (тонкий индекс не «схлопнется»). */
static final double MIN_WIDTH_PT = 4.0;
/** Минимальная высота растра формулы, pt. */
static final double MIN_HEIGHT_PT = 12.0;
/** Отступ вокруг габарита формулы, pt (обрезка сглаженных краёв). */
static final double PAD_PT = 1.0;
private MathRenderer() {
}
/**
* Растр формулы: PNG-носитель, габарит в pt (для extcx/extcy) и
* {@code belowBaselinePt} — расстояние от базовой линии формулы до
* нижнего края растра (высота минус верхний отступ и ascent; при
* клампе к MIN_HEIGHT — с запасом снизу).
*/
record MathImage(BufferedImage image, double widthPt, double heightPt,
double belowBaselinePt) {
}
/** Растр бокса; пустой бокс → {@code image == null}, размеры 0. */
static MathImage render(MathModel.Box root) {
if (root.isEmpty()) {
return new MathImage(null, 0, 0, 0);
}
double widthPt = Math.max(MIN_WIDTH_PT, root.width + 2 * PAD_PT);
double heightPt = Math.max(MIN_HEIGHT_PT, root.ascent + root.descent + 2 * PAD_PT);
double dpi = ChartRenderer.fitDpi(widthPt, heightPt);
int w = Math.max(1, (int) Math.round(widthPt * dpi / 72.0));
int h = Math.max(1, (int) Math.round(heightPt * dpi / 72.0));
BufferedImage img = new BufferedImage(w, h, BufferedImage.TYPE_INT_ARGB);
Graphics2D g = img.createGraphics();
try {
g.setRenderingHint(RenderingHints.KEY_ANTIALIASING,
RenderingHints.VALUE_ANTIALIAS_ON);
g.setRenderingHint(RenderingHints.KEY_TEXT_ANTIALIASING,
RenderingHints.VALUE_TEXT_ANTIALIAS_ON);
g.setRenderingHint(RenderingHints.KEY_STROKE_CONTROL,
RenderingHints.VALUE_STROKE_PURE);
g.setColor(new Color(0, 0, 0, 0));
double k = dpi / 72.0;
g.scale(k, k);
double x = (widthPt - root.width) / 2.0;
double baseline = PAD_PT + root.ascent;
root.paint(g, x, baseline);
} finally {
g.dispose();
}
return new MathImage(img, widthPt, heightPt, heightPt - PAD_PT - root.ascent);
}
}
@@ -0,0 +1,20 @@
package ru.pjandro.wordpdf.internal.chart;
/**
* Конструкция OMML, которую формульный рендер не раскладывает: math-элемент
* вне {@link MathModel#SUPPORTED}, math-узел не JAXBElement или структурная
* поломка (например, {@code w:br} внутри math-рана).
*
* <p>Сигнал деградации, не отказа: {@code DrawingPreRenderer} заменяет
* формулу её текстом {@code m:t} вместо растра (контент не теряется).
* Бросается на разборе ({@link MathModel#build}), тем же критерием
* срезается раньше — на байтовом уровне в {@code MathFallbackNormalizer}.
*/
final class MathUnsupportedException extends RuntimeException {
private static final long serialVersionUID = 1L;
MathUnsupportedException(String what) {
super(what);
}
}
@@ -11,11 +11,11 @@ import java.util.List;
import java.util.Set;
/**
* Комбинированная диаграмма (c:ofPieChart, ECMA-376 §21.2.2.108): главный
* Комбинированная диаграмма (c:ofPieChart, ECMA-376 §21.2.2.126): главный
* пирог из первичных точек + вторичная круговая (c:ofPieType="pie") либо
* вертикальный стек ("bar") из вторичных. Разбиение по c:splitType
* (auto|cust|percent|pos|val, §21.2.2.155; семантика splitPos —
* MS-OI29500 §2.1.1554a/b): auto/pos — последние ceil(n/3) (или splitPos)
* (auto|cust|percent|pos|val, §21.2.2.196; семантика splitPos —
* MS-OI29500 §2.1.1553): auto/pos — последние ceil(n/3) (или splitPos)
* точек, val/percent — точки ниже splitPos, cust — c:secondPiePt.
* Вторичных точек нет → обычная круговая через {@link PiePainter}.
* «Other»-сектор (MS-OI29500 §2.1.1507(a)) замыкает главный пирог и обращён к
@@ -37,7 +37,7 @@ final class OfPiePainter {
* калибровка — OfPiePainterTest). */
private static final double GAP_FIT = 0.25;
/** c:ofPieType="bar" — вторичная часть столбчатая (§21.2.2.134). */
/** c:ofPieType="bar" — вторичная часть столбчатая (§21.2.2.127). */
private static final String SECONDARY_BAR = "bar";
private OfPiePainter() {
@@ -9,9 +9,9 @@ import java.util.ArrayList;
import java.util.List;
/**
* Лепестковая диаграмма (c:radarChart, ECMA-376 §21.2.2.143): категории —
* Лепестковая диаграмма (c:radarChart, ECMA-376 §21.2.2.153): категории —
* спицы от 12 часов по часовой, значения — радиус по оси значений.
* c:radarStyle (§21.2.2.119): standard — контур, marker — контур + маркеры,
* c:radarStyle (§21.2.2.154): standard — контур, marker — контур + маркеры,
* filled — полупрозрачная заливка без контура (вид как у AREA).
* Сетка — концентрические многоугольники по делениям оси значений (паутина
* прямыми звеньями, как в Word) и спицы.
@@ -15,9 +15,9 @@ import java.util.List;
* ChartSpecTest#scatterFirstValAxisIsX).
*
* scatter: маркеры по c:marker ряда, линия по c:scatterStyle (line/smooth —
* ECMA-376 §21.2.2.136, сглаживание — кривая Жозефа де Кастельно не
* ECMA-376 §21.2.2.162, сглаживание — кривая Жозефа де Кастельно не
* имитируется, ломаная с JOIN_ROUND). bubble: круги без обводки, радиус
* sqrt(|size|/maxSize) при c:sizeRepresents="area" (§21.2.2.128) и линейно
* sqrt(|size|/maxSize) при c:sizeRepresents="area" (§21.2.2.193) и линейно
* при "w", масштаб c:bubbleScale. Ограничения: c:bubble3D рисуется плоско.
*
* Регрессия — ScatterPainterTest, фикстура samples/chart-types.docx
@@ -278,8 +278,9 @@ final class SmartArtRenderer {
if (paragraphs.isEmpty()) {
return;
}
// autofit по ECMA-376 §21.1.2.1.2/.3: noAutofit, spAutoFit (§21.1.2.1.4 —
// под размер текста ресайзится фигура, сам текст не масштабируется)
// autofit по ECMA-376 §21.1.2.1.2 noAutofit / §21.1.2.1.3 normAutofit /
// §21.1.2.1.4 spAutoFit (под размер текста ресайзится фигура,
// сам текст не масштабируется)
// или отсутствие autofit-элемента (отсутствие имплицирует noAutofit) —
// текст рисуется заявленным кеглем. normAutofit — применяем запечённые
// Word-ом fontScale/lnSpcReduction из XML; если fontScale не запечён
@@ -9,7 +9,7 @@ import java.util.ArrayList;
import java.util.List;
/**
* Биржевая диаграмма (c:stockChart, ECMA-376 §21.2.2.153): ряды — линии
* Биржевая диаграмма (c:stockChart, ECMA-376 §21.2.2.198): ряды — линии
* (CT_LineSer, обычно open/high/low/close), плюс факультативные
* c:hiLowLines (вертикаль min..max по всем рядам категории),
* c:upDownBars (столбик между первым и последним рядом: вверх — зелёный,
@@ -464,7 +464,7 @@ final class Surface3dPainter {
project(0.5, v, floorW, rotX, rotY, depthScale, persp), fit);
}
// сетка значений: левая стенка (от переднего левого ребра в глубину)
// и дальней стенка — обе рисует Word; c:delete (§21.2.2.38) убирает ось
// и дальней стенка — обе рисует Word; c:delete (§21.2.2.40) убирает ось
// целиком — сетка удалённой оси не рисуется.
if (valAxis.gridlines && !valAxis.deleted) {
for (double v = lo; v <= hi + unit / 2; v += unit) {
@@ -33,9 +33,6 @@ final class CfbReader {
private static final long FREESECT = 0xFFFFFFFFL;
private static final long MAX_SECT = 0xFFFFFFFAL;
/** Разумный потолок mini-sector shift: 2^16 = 64 KiB (MS-CFB §2.2). */
private static final int MAX_MINI_SECTOR_SHIFT = 16;
/** Типы записей directory (MS-CFB §2.6, Object Type). */
private static final int TYPE_STREAM = 0x02;
private static final int TYPE_ROOT = 0x05;
@@ -44,6 +41,7 @@ final class CfbReader {
private static final int ENTRY_SIZE = 128;
/** Смещения полей заголовка (MS-CFB §2.2: сигнатура 8 + CLSID 16). */
private static final int OFF_BYTE_ORDER = 0x1C;
private static final int OFF_SECTOR_SHIFT = 0x1E;
private static final int OFF_MINI_SECTOR_SHIFT = 0x20;
private static final int OFF_FIRST_DIR = 0x30;
@@ -63,6 +61,16 @@ final class CfbReader {
/** Минимальный заголовок — 512 байт (сектор v3). */
private static final int HEADER_SIZE = 512;
/** ByteOrder MUST быть little-endian ([MS-CFB] §2.2). */
private static final int BYTE_ORDER_LITTLE = 0xFFFE;
/** SectorShift: 9 (v3, 512 Б) или 12 (v4, 4096 Б) ([MS-CFB] §2.2). */
private static final int SECTOR_SHIFT_V3 = 9;
private static final int SECTOR_SHIFT_V4 = 12;
/** MiniSectorShift MUST быть 6 (64 Б) ([MS-CFB] §2.2). */
private static final int MINI_SECTOR_SHIFT_MUST = 6;
/** Mini Stream Cutoff MUST быть 0x1000 ([MS-CFB] §2.2). */
private static final int MINI_STREAM_CUTOFF_MUST = 0x1000;
private CfbReader() {
}
@@ -77,18 +85,26 @@ final class CfbReader {
if (cfb == null || cfb.length < HEADER_SIZE || !startsWithSignature(cfb)) {
throw new ConversionException("Содержимое не похоже на .doc Word 97–2003");
}
// MUST-поля заголовка ([MS-CFB] §2.2): не-равенство — чужой/битый
// формат, разбор дал бы мусор вместо отказа
if (u16(cfb, OFF_BYTE_ORDER) != BYTE_ORDER_LITTLE) {
throw new ConversionException("Неизвестный Byte Order контейнера .doc");
}
int sectorShift = u16(cfb, OFF_SECTOR_SHIFT);
int miniSectorShift = u16(cfb, OFF_MINI_SECTOR_SHIFT);
if (sectorShift != 9 && sectorShift != 12) {
if (sectorShift != SECTOR_SHIFT_V3 && sectorShift != SECTOR_SHIFT_V4) {
throw new ConversionException("Неподдерживаемый размер сектора CFB: 2^" + sectorShift);
}
if (miniSectorShift > MAX_MINI_SECTOR_SHIFT) {
if (miniSectorShift != MINI_SECTOR_SHIFT_MUST) { // §2.2: «MUST be set to 0x0006»
throw new ConversionException("Неподдерживаемый размер mini-сектора CFB: 2^" + miniSectorShift);
}
int sectorSize = 1 << sectorShift;
int miniSectorSize = 1 << miniSectorShift;
long firstDir = u32(cfb, OFF_FIRST_DIR);
long cutoff = u32(cfb, OFF_CUTOFF);
if (cutoff != MINI_STREAM_CUTOFF_MUST) { // §2.2: «MUST be set to 0x00001000»
throw new ConversionException("Неподдерживаемый Mini Stream Cutoff контейнера .doc");
}
long firstMiniFat = u32(cfb, OFF_FIRST_MINI_FAT);
long firstDifat = u32(cfb, OFF_FIRST_DIFAT);
long difatCount = u32(cfb, OFF_DIFAT_COUNT);
@@ -144,22 +160,27 @@ final class CfbReader {
}
}
// второй проход: содержимое потоков
// второй проход: содержимое потоков.
// Суммарный бюджет аллокаций big-потоков: FAT легально шарит сектора
// между записями, поэтому пер-запись «size <= cfb.length» не
// ограничивает итог — N записей с size ≈ cfb.length аллоцировали бы
// N×файл (OOM с одного враждебного контейнера). В легитимном
// контейнере big-потоки не перекрываются: rootSize + Σ big ≤ файл +
// служебные сектора (FAT/dir/докругление) ≈ 1.1×файла; 1.5× — запас.
// Mini-потоки (size < cutoff) в бюджет НЕ идут: их данные физически
// лежат внутри rootSize ([MS-CFB] §2.1/§2.4 — «The space for these
// objects comes from a special stream that is called the mini
// stream»), учёт их размеров второй раз удваивал бы rootSize и
// ложно отвергал контейнер из одних мелких потоков.
Map<String, byte[]> result = new HashMap<>();
// Суммарный бюджет аллокаций: FAT легально шарит сектора между
// записями, поэтому пер-запись «size <= cfb.length» не ограничивает
// итог — N записей с size ≈ cfb.length аллоцировали бы N×файл
// (OOM с одного враждебного контейнера). В легитимном контейнере
// потоки не перекрываются: rootSize + Σ sizes ≤ файл + служебные
// сектора (FAT/dir/докругление mini) ≈ 1.1×файла; 1.5× — запас.
long allocated = rootSize;
for (Entry e : entries) {
if (allocated + e.size() > 3L * cfb.length / 2) {
throw new ConversionException("Суммарный размер потоков .doc больше лимита контейнера");
}
allocated += e.size();
byte[] data;
if (e.size() >= cutoff) {
if (allocated + e.size() > 3L * cfb.length / 2) {
throw new ConversionException("Суммарный размер потоков .doc больше лимита контейнера");
}
allocated += e.size();
data = readChain(cfb, fat, e.start(), e.size(), sectorSize, sectorTotal,
"цепочка потока «" + e.name() + "»");
} else {
@@ -242,7 +263,15 @@ final class CfbReader {
return fat;
}
/** Цепочка секторов по FAT; цикл/выход за FAT → {@link ConversionException}. */
/**
* Цепочка секторов по FAT; цикл/выход за FAT → {@link ConversionException}.
* Капа min(fat.length, sectorTotal): sectorOffset=(sector+1)·sectorSize
* обязан остаться положительным int — сектор «за файлом» дал бы оффлоу
* и обход проверок base+n&gt;cfb.length; капка fat.length — ещё и на
* индексацию fat[] при FAT, покрывающем меньше файла (битый DIFAT).
* Регрессия — CfbReaderTest#streamChainBeyondFile_rejected,
* #rootChainBeyondFile_rejected.
*/
private static int[] chain(int[] fat, long start, int sectorTotal, String what) {
List<Integer> sectors = new ArrayList<>();
long sect = start;
@@ -251,7 +280,7 @@ final class CfbReader {
if (sectors.size() > limit) {
throw new ConversionException("Циклическая " + what + " в .doc");
}
if (sect >= fat.length) {
if (sect >= limit - 1) {
throw new ConversionException("Сектор за концом FAT в .doc: " + what);
}
sectors.add((int) sect);
@@ -324,11 +353,15 @@ final class CfbReader {
}
private static int sectorOffset(int sector, int sectorSize) {
return (sector + 1) * sectorSize;
long off = (long) (sector + 1) * sectorSize;
if (off > Integer.MAX_VALUE) {
throw new ConversionException("Сектор за концом файла в .doc");
}
return (int) off;
}
private static void requireInFile(int offset, int len, int fileLen, String what) {
if (offset < HEADER_SIZE || offset + len > fileLen) {
if (offset < HEADER_SIZE || (long) offset + len > fileLen) {
throw new ConversionException("Ссылка за конец файла в .doc: " + what);
}
}
@@ -58,13 +58,19 @@ final class ChpxIndex {
if (bx != 0) {
int chpxOff = (int) pageOff + bx * 2;
int cb = wordDocument[chpxOff] & 0xFF;
if (cb == 0 || chpxOff + 1 + cb > pageOff + FKP_PAGE_SIZE) {
continue;
// cb=0 (§2.9.32 Chpx — пустой grpx; ср. rgb[i]=0 в
// §2.9.33 «there is no Chpx associated»): диапазон без
// прямых свойств, но валидный — заносим с пустым grpprl
if (cb > 0) {
if (chpxOff + 1 + cb > pageOff + FKP_PAGE_SIZE) {
continue; // grpprl не влезает в страницу — пропуск
}
grpprl = new byte[cb];
System.arraycopy(wordDocument, chpxOff + 1, grpprl, 0, cb);
}
grpprl = new byte[cb];
System.arraycopy(wordDocument, chpxOff + 1, grpprl, 0, cb);
}
// bOffset=0 (§2.4.2 «no properties») — диапазон без свойств, НО
// bOffset=0 (§2.9.33 «there is no Chpx associated») — диапазон
// без свойств, НО
// граница rgfc[j+1] значима: без записи в ranges rangeEnd для
// дефолтного рана вернул бы конец абзаца, и ран, следующий за
// plain-участком (жирное слово в простом тексте — норма Word),
@@ -42,7 +42,8 @@ final class DocFile {
throw new ConversionException("В .doc нет потока "
+ (fib.use1Table() ? "1Table" : "0Table"));
}
pieces = PieceTable.read(table, fib.fcClx(), fib.lcbClx(), wordDocument);
pieces = PieceTable.read(table, fib.fcClx(), fib.lcbClx(), wordDocument,
fib.cbMac() & 0xFFFF_FFFFL);
}
static DocFile open(byte[] docBytes) {
@@ -78,7 +79,8 @@ final class DocFile {
+ papx.countPageBreakBefore());
}
/** Число символов 0x0C (разрыв страницы/колонки/секции, §2.2) в основном тексте. */
/** Число символов 0x0C (разрыв страницы/секции, §2.8.26) в основном тексте;
* разрыв колонки — 0x0E (§2.6.3), страниц не добавляет. */
int countPageBreaks() {
int count = 0;
for (int cp = 0; cp < fib.ccpText(); cp++) {
@@ -5,6 +5,7 @@ import ru.pjandro.wordpdf.WordPdfValidator;
import java.nio.charset.StandardCharsets;
import java.util.ArrayDeque;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.Deque;
import java.util.HashMap;
import java.util.Iterator;
@@ -12,6 +13,7 @@ import java.util.List;
import java.util.Locale;
import java.util.Map;
import java.util.Set;
import java.util.logging.Logger;
import java.util.regex.Pattern;
/**
@@ -24,9 +26,9 @@ import java.util.regex.Pattern;
* {@link PieceTable} (§2.4.1), прямые
* свойства — {@link ChpxIndex}/{@link PapxIndex} (§2.4.6.1/.2), стили —
* {@link Styles} (STSH, цепочка по istd, §2.4.6.5), списки — {@link Lists}
* (PlfLst/PlfLfo → numbering.xml + w:numPr, §2.4.6.5 «Determining List
* (PlfLst/PlfLfo → numbering.xml + w:numPr, §2.4.6.3 «Determining List
* Formatting»), сетка таблиц — {@link Tables} (TAP, §2.6.3), полоса набора —
* {@link Sections} (§2.8.26), колонтитуки — {@link Headers} (§2.4.1,
* {@link Sections} (§2.8.26), колонтитуки — {@link Headers} (§2.3.3,
* нечётные полосы каждой секции → свой {@code w:sectPr} с
* {@code headerReference}/{@code footerReference} в pPr абзаца с
* межсекционным разрывом + body-level sectPr последней секции),
@@ -43,7 +45,7 @@ import java.util.regex.Pattern;
* объектов (0x08 — inline-приближение, PlcfSpa не переносится),
* текстовыделитель (sprmCHighlight → w:highlight), затенения рана/абзаца
* (sprmCShd/sprmCShd80 → rPr, sprmPShd/sprmPShd80 → pPr — w:shd), прямые
* символьные стили (sprmCIstd + stk=3 в STSH → цепочка chpx в rPr), поля
* символьные стили (sprmCIstd + stk=2 в STSH → цепочка chpx в rPr), поля
* ячеек (sprmTCellPadding/sprmTCellPaddingDefault → w:tcMar; по умолчанию
* конвейер даёт дефолт Word 108/0), титульная страница секции
* (sprmSFTitlePage → w:titlePg + first-колонтитуки Plcfhdd). Не переносятся:
@@ -52,24 +54,26 @@ import java.util.regex.Pattern;
* (sprmPBrc* 0xC64E–0xC652 — конвейер не читает w:pBdr) и ячейки
* (sprmTSetBrc — не читает w:tcBorders), высота строк (sprmTDyaRowHeight —
* не читает w:trHeight),
* «шапка-repeat»/cantSplit/widowControl, типы подчёркивания и цвет линии
* (sprmCKul/sprmCCvUl — всегда single), эффетки шрифта, отступы Dxc
* цвет линии подчёркивания
* (sprmCCvUl — w:u без w:color), эффетки шрифта, отступы Dxc
* (hundredths of a character — пайплайн не читает w:*Chars);
* сноски/комментарии
* (0x02/0x05) и инструкции полей (0x13–0x14) выбрасываются,
* результат поля (0x14–0x15) остаётся; поле {@code HYPERLINK} в основном
* тексте переносится как {@code w:hyperlink} с внешней rels-связью на URL из
* инструкции ([MS-DOC] §2.4.4; деградации в плоский текст: якорный
* инструкции ([MS-DOC] §2.9.115 HFD; деградации в плоский текст: якорный
* переключатель {@code \l}, URL без схемы RFC 3986, ссылки в колонтитуках);
* прочие управляющие символы не эмитятся.</p>
*
* <p>Контракт ошибок: любой некорректный вход (не CFB, не Word, шифрование,
* Word 6/95, обрезка, цикл в цепочках, страницы сверх лимита) —
* {@link ConversionException}.</p>
* {@link ru.pjandro.wordpdf.ConversionException}.</p>
*/
public final class DocToDocx {
/** Символы .doc (§2.2/§2.4). */
private static final Logger LOG = Logger.getLogger(DocToDocx.class.getName());
/** Символы .doc (§2.8.26/§2.4). */
private static final char CELL_MARK = 0x07;
private static final char EMBEDDED_OBJECT = 0x01;
private static final char ANNOTATION_REF = 0x05;
@@ -84,7 +88,7 @@ public final class DocToDocx {
private static final char FIELD_SEPARATOR = 0x14;
private static final char FIELD_END = 0x15;
/** Ниже — управляющие символы без текстового смысла (§2.2) → граница рана. */
/** Ниже — управляющие символы без текстового смысла (§2.8.26) → граница рана. */
private static final char CONTROL_LIMIT = 0x20;
private static final char NON_BREAKING_HYPHEN = 0x1E;
private static final char SOFT_HYPHEN = 0x1F;
@@ -118,7 +122,8 @@ public final class DocToDocx {
* @param docBytes контейнер Word 97–2003
* @param maxMb лимит размера входа (МБ) — из него порог пиксельной
* площади растра ({@code WordPdfValidator.maxImagePixels})
* @throws ConversionException на некорректном/зашифрованном/чужом входе
* @throws ru.pjandro.wordpdf.ConversionException
* на некорректном/зашифрованном/чужом входе
*/
public static byte[] convert(byte[] docBytes, long maxMb) {
long maxPixels = WordPdfValidator.maxImagePixels(maxMb);
@@ -159,7 +164,7 @@ public final class DocToDocx {
String[] firstFtrRel = new String[secs.size()];
// Odd header/footer каждой секции → type="default" (FOP не различает
// чётные/нечётные); guard-абзац истории отбрасывается. История
// cpStart == cpEnd не определена (§2.4.4) — ни части, ни ссылки:
// cpStart == cpEnd не определена (§2.3.3) — ни части, ни ссылки:
// docx4j наследует полосы предыдущей секции. Guard-only история —
// часть с единственным <w:p/> (явно пустой колонтитул, обрывающий
// наследование; пустой w:hdr невалиден — ≥1 блочный элемент).
@@ -222,7 +227,8 @@ public final class DocToDocx {
* Нижняя оценка числа страниц бинарного .doc (кэш PageCount + явные
* разрывы) — для {@code WordPdfValidator.checkPageCountDoc}.
*
* @throws ConversionException на некорректном/зашифрованном/чужом входе
* @throws ru.pjandro.wordpdf.ConversionException
* на некорректном/зашифрованном/чужом входе
*/
public static int countPages(byte[] docBytes) {
return DocFile.open(docBytes).countPages();
@@ -231,7 +237,7 @@ public final class DocToDocx {
/** Текст CP 0..ccpText → XML-тело {@code <w:body>}. */
static final class DocxBody {
/** Длина операнда LSPD: dyaLine (i16) + fMultLinespace (i16), §2.9.181. */
/** Длина операнда LSPD: dyaLine (i16) + fMultLinespace (i16), §2.9.146. */
private static final int LSPD_OPERAND_LEN = 4;
/** fMultLinespace=1: dyaLine — множитель интервала в 240-х долях. */
private static final int FMULT_MULTIPLIER = 1;
@@ -324,7 +330,7 @@ public final class DocToDocx {
* {@code w:sectPr} в pPr абзаца с разрывом 0x0C + body-level sectPr
* последней секции. {@code w:type} секции описывает разрыв ПЕРЕД ней
* (ECMA-376 §17.6.22), поэтому берётся из sprmSBkc ПРЕДЫДУЩЕЙ секции
* ([MS-DOC] §2.6.3 SBkcOperand — «break that terminates the section»).
* ([MS-DOC] sprmSBkc §2.6.4, SBkcOperand §2.9.235 — «break that terminates the section»).
*/
String build(List<Sections.Section> secs, String[] hdrRel, String[] ftrRel,
String[] firstHdrRel, String[] firstFtrRel) {
@@ -336,14 +342,14 @@ public final class DocToDocx {
&& pieces.charAt(endCp) == PAGE_OR_SECTION_BREAK) {
sectByEndCp.put(endCp, sectPrXml(secs.get(i), hdrRel[i], ftrRel[i],
firstHdrRel[i], firstFtrRel[i],
i > 0 && secs.get(i - 1).continuous()));
i > 0 ? secs.get(i - 1) : null));
}
}
Sections.Section last = secs.get(n - 1);
return buildRange(0, ccpText, false, sectByEndCp)
+ sectPrXml(last, hdrRel[n - 1], ftrRel[n - 1],
firstHdrRel[n - 1], firstFtrRel[n - 1],
n > 1 && secs.get(n - 2).continuous());
n > 1 ? secs.get(n - 2) : null);
}
/**
@@ -386,7 +392,25 @@ public final class DocToDocx {
int cp = from;
while (cp < to) {
int paraStart = cp;
long paraFc = pieces.fcOf(paraStart);
// PAPX-ключ — FC ПОСЛЕДНЕГО символа абзаца (маркера): bucket
// PlcBtePapx и rgfc PapxFkp определяются последним символом
// (§2.8.6, §2.4.6.1 «Determining Paragraph Boundaries» →
// Direct Paragraph Formatting шаг 1); граница bucket'а внутри
// абзаца иначе обрезает диапазон выше первого FC и теряются
// grpprl + istd (регрессия —
// DocToDocxFormattingTest#papxBucketBoundary_insideParagraph_propsKept)
int markCp = paraStart;
while (markCp < to) {
char chMark = pieces.charAt(markCp);
// 0x0C, завершающий секцию, и есть -маркер абзаца
// (тот же предикат, что обрывает абзац в цикле ниже)
if (chMark == PARA_MARK || chMark == CELL_MARK
|| sectByEndCp.containsKey(markCp)) {
break;
}
markCp++;
}
long paraFc = pieces.fcOf(markCp < to ? markCp : Math.max(paraStart, markCp - 1));
// grpprl абзаца может быть вынесен Word в PrcData (Data-поток)
// через sprmPHugePapx/sprmPTableProps — разворачиваем до
// потребления: InTable/TTP/TAP видят автомат и paraProps (§2.9.210)
@@ -528,7 +552,7 @@ public final class DocToDocx {
}
}
/** Открытие w:tbl: tblPr (tblW → jc → tblInd → tblBorders) + tblGrid (§17.4.49). */
/** Открытие w:tbl: tblPr (tblW → jc → tblInd → tblBorders) + tblGrid (§17.4.48). */
private static String openTable(Tables.Grid g) {
StringBuilder xml = new StringBuilder("<w:tbl><w:tblPr>");
int total = 0;
@@ -554,7 +578,7 @@ public final class DocToDocx {
* w:tr: ширина/объединение ячейки — из собственной сетки строки
* (§2.9.321: у TTP-абзаца свой sprmTDefTable; объединённая ячейка —
* центр, покрывающий несколько колонок tblGrid → w:gridSpan +
* суммарный w:tcW, ECMA-376 §17.4.65, порядок детей CT_TcPrBase:
* суммарный w:tcW, ECMA-376 §17.4.17, порядок детей CT_TcPrBase:
* tcW → gridSpan). Строка без согласованной сетки (центров не на 1
* больше числа ячеек) или с невыровненными с tblGrid границами —
* прежнее поведение: ячейка i получает tcW i-й колонки, лишние —
@@ -565,7 +589,7 @@ public final class DocToDocx {
int[] table = grid.centers();
int[] row = rowGrid == null ? null : rowGrid.centers();
// собственная сетка строки согласована с автоматом, только если
// центров ровно на 1 больше ячеек (§2.4.4: число ячеек = число определений)
// центров ровно на 1 больше ячеек (§2.4.3: число ячеек = число определений)
boolean perRow = row != null && row.length == cells.size() + 1;
int i = 0;
for (List<Para> cell : cells) {
@@ -583,7 +607,7 @@ public final class DocToDocx {
tcPr.append("<w:tcW w:w=\"").append(grid.colWidths()[i])
.append("\" w:type=\"dxa\"/>");
}
// sprmTCellPadding/…Default (CT_TcPr, §17.4.72: tcMar до vAlign)
// sprmTCellPadding/…Default (CT_TcPr, §17.4.69: tcMar до vAlign)
String tcMar = tcMarXml(rowGrid, i);
if (tcMar != null) {
tcPr.append(tcMar);
@@ -598,7 +622,7 @@ public final class DocToDocx {
xml.append("<w:tcPr>").append(tcPr).append("</w:tcPr>");
}
if (cell.isEmpty()) {
xml.append("<w:p/>"); // ≥1 абзац в ячейке обязательно (§17.4.42)
xml.append("<w:p/>"); // ≥1 абзац в ячейке обязательно (§17.4.65)
} else {
for (Para p : cell) {
xml.append(paraXml(p));
@@ -625,7 +649,7 @@ public final class DocToDocx {
* пересечение диапазона [itcFirst, itcLim) с индексом ячейки, позже
* заданный операнд перекрывает сторону ранее заданного (порядок
* скана TAP = last-wins). Стороны только явные, порядок детей
* CT_TcMar (§17.4.66): top → left → bottom → right. Нет явных
* CT_TcMar (§17.4.68): top → left → bottom → right. Нет явных
* полей — null (конвейер даёт дефолт 108/0 — он же дефолт Word).
*/
private static String tcMarXml(Tables.Grid rowGrid, int i) {
@@ -680,7 +704,7 @@ public final class DocToDocx {
boolean[] in = {false};
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
if (sprm == Grpprl.SPRM_P_F_IN_TABLE) {
in[0] = Grpprl.toggleOn(buf, off);
in[0] = Grpprl.toggle(false, buf[off]);
}
});
return in[0];
@@ -803,7 +827,7 @@ public final class DocToDocx {
break;
case EMBEDDED_OBJECT:
case DRAWN_OBJECT:
// Якорь плавающей картинки 0x08 (§2.9.267) несёт тот же
// Якорь плавающей картинки 0x08 (PlcfSpa §2.8.27) несёт тот же
// sprmCPicLocation, что 0x01 → inline-приближение
// (позиционирование/обтекание PlcfSpa не переносится)
flushText(text, content);
@@ -847,7 +871,8 @@ public final class DocToDocx {
/**
* Закрыть накопленный {@code <w:r>}: fldSimple обязан лежать вне рана;
* непринятая правка (sprmCFRMark*) оборачивает ран в {@code w:del}/
* {@code w:ins} (атрибуты w:id/w:author/w:date опциональны — не эмитятся).
* {@code w:ins}. Атрибуты w:id и w:author обязательны (CT_Markup/
* CT_TrackChange, wml.xsd — оба use="required", w:date опционален).
*/
private void closeRun(StringBuilder runs, String rPr, StringBuilder content,
StringBuilder text) {
@@ -859,9 +884,16 @@ public final class DocToDocx {
}
}
/** Счётчик w:id правок (CT_TrackChange.@w:id). */
private int markupSeq;
/** Открывающая обёртка правки текущего рана; обычный ран — пустая строка. */
private String markupOpen() {
return runMarkup == MARKUP_DEL ? "<w:del>" : runMarkup == MARKUP_INS ? "<w:ins>" : "";
if (runMarkup == MARKUP_NONE) {
return "";
}
String tag = runMarkup == MARKUP_DEL ? "w:del" : "w:ins";
return "<" + tag + " w:id=\"" + (++markupSeq) + "\" w:author=\"\">";
}
/** Закрывающая обёртка правки; см. {@link #markupOpen()}. */
@@ -878,6 +910,12 @@ public final class DocToDocx {
* простираться дальше картинки.
*/
private void emitPicture(StringBuilder runs, String rPr, int cp) {
if (fieldsAsSimple) {
// колонтитулы: rels per-story (word/_rels/headerN.xml.rels) мост
// не пишет → r:embed висел бы над несуществующей связью
LOG.warning("Картинка в колонтитуле пропущена (нет per-story rels)");
return;
}
long picLoc = picLocationFor(chpx.grpprlFor(pieces.fcOf(cp)));
if (picLoc < 0) {
return;
@@ -938,7 +976,7 @@ public final class DocToDocx {
}
/**
* URL из инструкции поля HYPERLINK ([MS-DOC] §2.4.4: токен, затем
* URL из инструкции поля HYPERLINK ([MS-DOC] §2.9.115 HFD: токен, затем
* {@code "url"} или url без кавычек, затем switch'и). Схема обязательна
* (RFC 3986 §3.1) — {@code readme.txt}/{@code #bookmark} ссылкой не
* считаются. Якорный переключатель {@code \l} — {@code null}: закладки
@@ -1057,7 +1095,7 @@ public final class DocToDocx {
boolean[] ttp = {false};
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
if (sprm == Grpprl.SPRM_P_F_TTP) {
ttp[0] = Grpprl.toggleOn(buf, off);
ttp[0] = Grpprl.toggle(false, buf[off]);
}
});
return ttp[0];
@@ -1068,14 +1106,20 @@ public final class DocToDocx {
RunProps p = new RunProps();
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
switch (sprm) {
case Grpprl.SPRM_C_F_BOLD -> p.bold = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_F_ITALIC -> p.italic = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_F_STRIKE -> p.strike = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_KUL -> p.underline = Grpprl.operandInt(buf, off, len) != 0;
// ToggleOperand (§2.9.327): current = накопленное значение
// (цепочка стиля сканируется раньше прямого grpprl)
case Grpprl.SPRM_C_F_BOLD -> p.bold = Grpprl.toggle(p.bold, buf[off]);
case Grpprl.SPRM_C_F_ITALIC -> p.italic = Grpprl.toggle(p.italic, buf[off]);
case Grpprl.SPRM_C_F_STRIKE -> p.strike = Grpprl.toggle(p.strike, buf[off]);
case Grpprl.SPRM_C_KUL ->
p.underline = Grpprl.underlineVal(Grpprl.operandInt(buf, off, len));
case Grpprl.SPRM_C_HPS -> p.sz = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_HPS_BI -> p.szCs = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_RG_FTC0 -> p.ftc0 = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_RG_FTC1 -> p.ftc1 = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_RG_FTC0 -> p.ftc0 = signedXas(buf, off, len);
case Grpprl.SPRM_C_RG_FTC1 -> p.ftc1 = signedXas(buf, off, len);
case Grpprl.SPRM_C_RG_FTC2 -> p.ftc2 = signedXas(buf, off, len);
case Grpprl.SPRM_C_FTC_BI -> p.ftcBi = signedXas(buf, off, len);
case Grpprl.SPRM_C_ISS -> p.iss = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_CV -> p.color = colorOf(buf, off, len);
case Grpprl.SPRM_C_HIGHLIGHT -> p.highlight =
highlightName(Grpprl.operandInt(buf, off, len));
@@ -1083,11 +1127,12 @@ public final class DocToDocx {
case Grpprl.SPRM_C_SHD80 -> p.shd =
shdAttrs80(Grpprl.operandInt(buf, off, len));
case Grpprl.SPRM_C_HPS_POS -> p.pos = signedXas(buf, off, len);
case Grpprl.SPRM_C_F_VANISH -> p.hidden = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_F_CAPS -> p.caps = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_F_SMALL_CAPS -> p.smallCaps = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_RMARK_DEL -> p.del = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_RMARK_INS -> p.ins = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_F_VANISH -> p.hidden = Grpprl.toggle(p.hidden, buf[off]);
case Grpprl.SPRM_C_F_CAPS -> p.caps = Grpprl.toggle(p.caps, buf[off]);
case Grpprl.SPRM_C_F_SMALL_CAPS ->
p.smallCaps = Grpprl.toggle(p.smallCaps, buf[off]);
case Grpprl.SPRM_C_RMARK_DEL -> p.del = Grpprl.toggle(p.del, buf[off]);
case Grpprl.SPRM_C_RMARK_INS -> p.ins = Grpprl.toggle(p.ins, buf[off]);
default -> { }
}
});
@@ -1096,17 +1141,26 @@ public final class DocToDocx {
/**
* rPr по CT_RPr-порядку (§17.3.2.28): rFonts, b, i, strike, color,
* position, sz, szCs, highlight, u, shd.
* position, sz, szCs, highlight, u, shd, vertAlign.
*/
private String runXml(RunProps p) {
StringBuilder xml = new StringBuilder();
// Слоты шрифта (ms-doc-full.md §2.6.1): ftc0→ascii, ftc1→eastAsia,
// ftc2→hAnsi (перекрывает ascii-значение ftc0), ftcBi→cs
String ascii = p.ftc0 >= 0 ? fonts.font(p.ftc0) : null;
String cs = p.ftc1 >= 0 ? fonts.font(p.ftc1) : null;
if (ascii != null || cs != null) {
String hAnsi = p.ftc2 >= 0 ? fonts.font(p.ftc2) : ascii;
String eastAsia = p.ftc1 >= 0 ? fonts.font(p.ftc1) : null;
String cs = p.ftcBi >= 0 ? fonts.font(p.ftcBi) : null;
if (ascii != null || hAnsi != null || eastAsia != null || cs != null) {
xml.append("<w:rFonts");
if (ascii != null) {
xml.append(" w:ascii=\"").append(escapeAttr(ascii))
.append("\" w:hAnsi=\"").append(escapeAttr(ascii)).append('"');
xml.append(" w:ascii=\"").append(escapeAttr(ascii)).append('"');
}
if (hAnsi != null) {
xml.append(" w:hAnsi=\"").append(escapeAttr(hAnsi)).append('"');
}
if (eastAsia != null) {
xml.append(" w:eastAsia=\"").append(escapeAttr(eastAsia)).append('"');
}
if (cs != null) {
xml.append(" w:cs=\"").append(escapeAttr(cs)).append('"');
@@ -1139,12 +1193,17 @@ public final class DocToDocx {
if (p.highlight != null) {
xml.append("<w:highlight w:val=\"").append(p.highlight).append("\"/>");
}
if (p.underline) {
xml.append("<w:u w:val=\"single\"/>");
if (p.underline != null) {
xml.append("<w:u w:val=\"").append(p.underline).append("\"/>");
}
if (p.shd != null) {
xml.append("<w:shd ").append(p.shd).append("/>");
}
if (p.iss == RunProps.ISS_SUPERSCRIPT) {
xml.append("<w:vertAlign w:val=\"superscript\"/>");
} else if (p.iss == RunProps.ISS_SUBSCRIPT) {
xml.append("<w:vertAlign w:val=\"subscript\"/>");
}
return xml.length() == 0 ? "" : "<w:rPr>" + xml + "</w:rPr>";
}
@@ -1186,17 +1245,17 @@ public final class DocToDocx {
jc80[0] = false;
}
case Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE -> pageBreak[0] =
Grpprl.toggleOn(buf, off);
Grpprl.toggle(false, buf[off]);
case Grpprl.SPRM_P_F_KEEP_FOLLOW -> keepNext[0] =
Grpprl.toggleOn(buf, off);
Grpprl.toggle(false, buf[off]);
case Grpprl.SPRM_P_F_KEEP -> keepLines[0] =
Grpprl.toggleOn(buf, off);
Grpprl.toggle(false, buf[off]);
case Grpprl.SPRM_P_DYA_BEFORE -> before[0] =
Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_P_DYA_AFTER -> after[0] = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_P_DYA_LINE -> {
if (len >= LSPD_OPERAND_LEN) {
// LSPD (§2.9.181): dyaLine (i16) + fMultLinespace (i16)
// LSPD (§2.9.146): dyaLine (i16) + fMultLinespace (i16)
dyaLine[0] = signedXas(buf, off, 2);
fMult[0] = Grpprl.operandInt(buf, off + 2, 2);
}
@@ -1241,11 +1300,11 @@ public final class DocToDocx {
spacing.append(" w:after=\"").append(after[0]).append('"');
}
if (dyaLine[0] != Integer.MIN_VALUE && dyaLine[0] != 0) {
// LSPD → w:spacing (§2.9.181): fMult=1 — множитель в 240-х
// LSPD → w:spacing (§2.9.146): fMult=1 — множитель в 240-х
// (lineRule="auto"); fMult=0, dyaLine>0 — «не меньше» (atLeast,
// max(dyaLine, одиночный интервал)); dyaLine<0 — точная высота
// (exact, |dyaLine|). См. grfhicPapx.fSuppressTopSpacingMac5 /
// fExactOnTop ([MS-DOC] §2.4.6, отсылки к lineRule).
// fExactOnTop — бит A Copts80 ([MS-DOC] §2.7.12, отсылки к lineRule).
if (fMult[0] == FMULT_MULTIPLIER) {
spacing.append(" w:line=\"").append(dyaLine[0])
.append("\" w:lineRule=\"auto\"");
@@ -1395,7 +1454,7 @@ public final class DocToDocx {
}
}
/** w:tabs: TBD.jc → ST_TabVal (§17.18.78), TBD.tlc → ST_Leader (§17.18.57). */
/** w:tabs: TBD.jc → ST_TabJc (§17.18.84), TBD.tlc → ST_TabTlc (§17.18.85). */
private static String tabsXml(List<int[]> tabs) {
StringBuilder inner = new StringBuilder();
for (int[] t : tabs) {
@@ -1458,7 +1517,7 @@ public final class DocToDocx {
}
/**
* Ico (§2.9.171) → член ST_HighlightColor (§17.18.42) — соответствие
* Ico (§2.9.119) → член ST_HighlightColor (§17.18.40) — соответствие
* 1:1 по RGB палитры (teal 00FFFF = cyan, dark teal 008080 = darkCyan,
* gray50 = darkGray, gray25 = lightGray). 0/auto/вне 1..16 → null
* (не эмитится).
@@ -1486,8 +1545,8 @@ public final class DocToDocx {
}
/**
* SHDOperand (§2.9.177): cb(1)=10 + Shd(10: cvFore/cvBack COLORREF +
* ipat u16, §2.9.178) → атрибуты w:shd; cb≠10/обрезок → null.
* SHDOperand (§2.9.249): cb(1)=10 + Shd(10: cvFore/cvBack COLORREF +
* ipat u16, §2.9.121) → атрибуты w:shd; cb≠10/обрезок → null.
*/
private static String shdAttrs10(byte[] buf, int off, int len) {
if (len < 11 || (buf[off] & 0xFF) != 10) {
@@ -1498,7 +1557,7 @@ public final class DocToDocx {
}
/**
* Shd80 (§2.9.176, u16: icoFore(5) icoBack(5) ipat(6)) → атрибуты
* Shd80 (§2.9.248, u16: icoFore(5) icoBack(5) ipat(6)) → атрибуты
* w:shd; Shd80Nil (0x1F/0x1F/0x3F) даёт null (цвета вне палитры).
*/
private static String shdAttrs80(int v) {
@@ -1512,7 +1571,7 @@ public final class DocToDocx {
* w:fill (зонд 2026-11: w:val="solid" w:color=RRGGBB w:fill="auto"
* не рисует ничего); паттерны Ipat≥2 в FOP неразличимы — деградация
* в фон cvBack (MS-DOC Ipat: вне ST_Shd паттерны «lost if converted
* to ECMA-376»). ShdAuto/ShdNil (оба цвета auto, §2.9.178) и
* to ECMA-376»). ShdAuto/ShdNil (оба цвета auto, §2.9.249) и
* нечем-красить (fill auto) → null.
*/
private static String shdAttrs(int ipat, String fore, String back) {
@@ -1525,43 +1584,51 @@ public final class DocToDocx {
}
/**
* Grpprl рана с учётом sprmCIstd (§2.6.1): цепочка chpx символьного
* стиля (stk=3) вставляется между цепочкой стиля абзаца и прямыми
* CHPX — §2.4.6.5: символьные свойства сначала возвращаются к
* результату стиля абзаца, затем символьный стиль, затем прямые.
* Без sprmCIstd — прежняя конкатенация.
* Grpprl рана с учётом sprmCIstd (§2.6.1): символьные свойства
* возвращаются к результату стиля абзаца (прямые до sprmCIstd
* сбрасываются, кроме preserv-list {@link Grpprl#CI_STD_PRESERVE}),
* затем цепочка chpx символьного стиля (stk=2), затем Prl после
* sprmCIstd. sprmCIstd нет или istd вне STSH (Prl невалиден —
* спекулятивный сброс не делается) — прежняя конкатенация.
*/
private byte[] chpxWithCharStyle(byte[] grpprl, byte[] styleChpx) {
int[] istd = {-1};
int[] ciStdStart = {-1};
int[] ciStdEnd = {-1};
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
if (sprm == Grpprl.SPRM_C_ISTD) {
if (sprm == Grpprl.SPRM_C_ISTD && ciStdStart[0] < 0) {
ciStdStart[0] = off - 2;
ciStdEnd[0] = off + len;
int v = Grpprl.operandInt(buf, off, len);
istd[0] = v < styles.count() ? v : -1;
}
});
byte[] chStyle = istd[0] >= 0 ? styles.charChain(istd[0]) : new byte[0];
if (chStyle.length == 0) {
if (istd[0] < 0) {
return styleChpx.length == 0 ? grpprl : concat(styleChpx, grpprl);
}
return concat(concat(styleChpx, chStyle), grpprl);
byte[] chStyle = styles.charChain(istd[0]);
byte[] before = Grpprl.filterOnly(grpprl, ciStdStart[0],
Grpprl.CI_STD_PRESERVE);
byte[] after = Arrays.copyOfRange(grpprl, ciStdEnd[0], grpprl.length);
return concat(concat(concat(styleChpx, chStyle), before), after);
}
/**
* w:sectPr секции: ссылки на части колонтитуков (null — элемент не
* пишется, docx4j наследует полосы предыдущей секции), затем w:type,
* затем pgSz/pgMar её геометрии. Порядок детей — CT_SectPr:
* EG_HdrFtrReferences → type → pgSz → pgMar (ECMA-376 §17.2.3).
* EG_HdrFtrReferences → type → pgSz → pgMar (ECMA-376 §17.6.18).
*
* @param typeContinuous разрыв ПЕРЕД секцией не начинает новую
* страницу (§17.6.22 — w:type описывает
* предыдущий разрыв; источник — sprmSBkc
* предыдущей секции, [MS-DOC] §2.6.3)
* @param prev разрыв ПЕРЕД секцией (null — первая секция): его
* SBkcOperand даёт {@code w:type} (§17.6.22 — w:type
* описывает предыдущий разрыв; источник — sprmSBkc
* предыдущей секции, [MS-DOC] §2.6.4)
*/
private static String sectPrXml(Sections.Section s, String headerRelId,
String footerRelId, String firstHeaderRelId, String firstFooterRelId,
boolean typeContinuous) {
Sections.Section prev) {
StringBuilder xml = new StringBuilder("<w:sectPr>");
// EG_HdrFtrReferences — до содержимого секции (CT_SectPr, ECMA-376 §17.2.3)
// EG_HdrFtrReferences — до содержимого секции (CT_SectPr, ECMA-376 §17.6.18)
if (headerRelId != null) {
xml.append("<w:headerReference w:type=\"default\" r:id=\"")
.append(headerRelId).append("\"/>");
@@ -1578,8 +1645,9 @@ public final class DocToDocx {
xml.append("<w:footerReference w:type=\"first\" r:id=\"")
.append(firstFooterRelId).append("\"/>");
}
if (typeContinuous) {
xml.append("<w:type w:val=\"continuous\"/>");
String typeVal = prev == null ? null : prev.wTypeName();
if (typeVal != null) {
xml.append("<w:type w:val=\"").append(typeVal).append("\"/>");
}
// sprmSBOrientation: Word пишет dxa уже перевёрнутыми; max/min —
// защита от генераторов, оставивших портретные размеры при landscape
@@ -1600,10 +1668,10 @@ public final class DocToDocx {
.append("\" w:left=\"").append(s.marginLeft())
.append("\" w:header=\"").append(s.header())
.append("\" w:footer=\"").append(s.footer())
.append("\" w:gutter=\"0\"/>");
.append("\" w:gutter=\"").append(s.gutter()).append("\"/>");
appendPgNumType(xml, s);
appendCols(xml, s);
// w:titlePg — после w:cols (CT_SectPrBase, §17.2.3): первая страница
// w:titlePg — после w:cols (CT_SectPrBase, §17.6.18): первая страница
// секции использует first-части (ссылки w:type="first" выше)
if (s.titlePage()) {
xml.append("<w:titlePg/>");
@@ -1617,7 +1685,7 @@ public final class DocToDocx {
* w:start — при сбросе нумерации, w:fmt — из подмножества
* ST_NumberFormat, допустимого для номеров страниц (decimal —
* формат по умолчанию, не эмитится; bullet/none/экзотика — вне
* смысла w:fmt). Порядок CT_SectPr §17.2.3: после pgMar.
* смысла w:fmt). Порядок CT_SectPr §17.6.18: после pgMar.
*/
private static void appendPgNumType(StringBuilder xml, Sections.Section s) {
int start = s.pgNumStart();
@@ -1712,11 +1780,19 @@ public final class DocToDocx {
private boolean bold;
private boolean italic;
private boolean strike;
private boolean underline;
/** sprmCKul → ST_Underline-имя; null — без подчёркивания. */
private String underline;
private int sz;
private int szCs;
private int ftc0 = -1;
private int ftc1 = -1;
private int ftc2 = -1;
private int ftcBi = -1;
/** sprmCIss: 0 нормальный, 1 надстрочный, 2 подстрочный. */
private int iss;
/** Значения sprmCIss ([MS-DOC] §2.6.1): надстрочный/подстрочный. */
private static final int ISS_SUPERSCRIPT = 1;
private static final int ISS_SUBSCRIPT = 2;
private String color;
/** sprmCHpsPos: вертикальный сдвиг в hps со знаком ( надострочный, <0 подстрочный). */
private int pos;
@@ -1728,7 +1804,7 @@ public final class DocToDocx {
/** sprmCFRMarkDel/sprmCFRMarkIns: непринятая правка → w:del/w:ins. */
private boolean del;
private boolean ins;
/** sprmCHighlight: член ST_HighlightColor (§17.18.42); null — нет. */
/** sprmCHighlight: член ST_HighlightColor (§17.18.40); null — нет. */
private String highlight;
/** sprmCShd/sprmCShd80: готовые атрибуты w:shd; null — нет затенения. */
private String shd;
@@ -8,7 +8,9 @@ import ru.pjandro.wordpdf.ConversionException;
* <p>По [MS-DOC] §2.5: Fib = FibBase (32) + csw + FibRgW97 + cslw + FibRgLw97
* + cbRgFcLcb + FibRgFcLcbBlob (§2.5.1). Читаются только нужные поля;
* порядок и смещения — §2.5.15 «How to read the FIB», побайтовые примеры —
* §3 (Figure 22/30). Число 136 пар в blob (Word 2003+) не мешает: нужные
* §3 (Figure 22/30). cbRgFcLcb — один из по таблице nFib (§2.5.1):
* 0x00C1→0x005D (88 пар, Word 97), 0x0101→0x0088 (136, Word 2002),
* 0x010C→0x00A4 (164, Word 2003) — сверяется при чтении; нужные
* пары стоят на фиксированных индексах.</p>
*/
final class FibHeader {
@@ -29,10 +31,12 @@ final class FibHeader {
/** Значение бита флага «включён» (§2.5.2, grpprl FIB). */
private static final int BIT_ON = 1;
/** Минимум FibRgW97 (4 коротких значения, §2.5.4). */
private static final int MIN_CSLW = 4;
/** MUST-значения счётчиков (§2.5.1 Fib, Word 97+): csw=14 коротких, cslw=22 длинных. */
private static final int C_SW = 0x000E;
private static final int C_SLW = 0x0016;
/** Смещения после FibBase (§2.5.1). */
private static final int OFF_CSW = 32;
private static final int OFF_CSLW = 62;
private static final int OFF_FIB_RG_LW = 64;
private static final int OFF_CB_MAC = OFF_FIB_RG_LW;
@@ -91,8 +95,13 @@ final class FibHeader {
throw new ConversionException("Документ зашифрован (пароль на открытие) — конвертация невозможна");
}
use1Table = ((flags >> BIT_F_WHICH_TBL_STM) & BIT_ON) == BIT_ON;
// §2.5.1 Fib: csw «MUST be 0x000E», cslw «MUST be 0x0016» —
// фиксированный layout FibRgW97/FibRgLw97, любое другое
// значение = чужая версия FIB, чтение по константным смещениям дало
// бы мусор
int csw = (int) CfbReader.u32(wd, OFF_CSW) & 0xFFFF;
int cslw = (int) CfbReader.u32(wd, OFF_CSLW) & 0xFFFF;
if (cslw < MIN_CSLW) {
if (csw != C_SW || cslw != C_SLW) {
throw new ConversionException("Обрезанный FIB в .doc");
}
cbMac = (int) CfbReader.u32(wd, OFF_CB_MAC);
@@ -102,35 +111,35 @@ final class FibHeader {
if (ccpText < 0) {
throw new ConversionException("Отрицательная длина текста в .doc");
}
int cbRgFcLcb = (int) CfbReader.u32(wd, OFF_CB_RG_FC_LCB) & 0xFFFF;
int cbRgFcLcb = CfbReader.u16(wd, OFF_CB_RG_FC_LCB);
if (cbRgFcLcb <= PAIR_CLX) {
throw new ConversionException("Устаревшая структура FIB в .doc");
}
long[] stshf = pair(wd, PAIR_STSHF);
long[] stshf = pair(wd, PAIR_STSHF, cbRgFcLcb);
fcStshf = stshf[0];
lcbStshf = stshf[1];
long[] sed = pair(wd, PAIR_PLCF_SED);
long[] sed = pair(wd, PAIR_PLCF_SED, cbRgFcLcb);
fcPlcfSed = sed[0];
lcbPlcfSed = sed[1];
long[] hdd = pair(wd, PAIR_PLCF_HDD);
long[] hdd = pair(wd, PAIR_PLCF_HDD, cbRgFcLcb);
fcPlcfHdd = hdd[0];
lcbPlcfHdd = hdd[1];
long[] chpx = pair(wd, PAIR_PLCF_BTE_CHPX);
long[] chpx = pair(wd, PAIR_PLCF_BTE_CHPX, cbRgFcLcb);
fcPlcfBteChpx = chpx[0];
lcbPlcfBteChpx = chpx[1];
long[] papx = pair(wd, PAIR_PLCF_BTE_PAPX);
long[] papx = pair(wd, PAIR_PLCF_BTE_PAPX, cbRgFcLcb);
fcPlcfBtePapx = papx[0];
lcbPlcfBtePapx = papx[1];
long[] ffn = pair(wd, PAIR_STTBF_FFN);
long[] ffn = pair(wd, PAIR_STTBF_FFN, cbRgFcLcb);
fcSttbfFfn = ffn[0];
lcbSttbfFfn = ffn[1];
long[] clx = pair(wd, PAIR_CLX);
long[] clx = pair(wd, PAIR_CLX, cbRgFcLcb);
fcClx = clx[0];
lcbClx = clx[1];
long[] lst = pair(wd, PAIR_PLF_LST);
long[] lst = pair(wd, PAIR_PLF_LST, cbRgFcLcb);
fcPlfLst = lst[0];
lcbPlfLst = lst[1];
long[] lfo = pair(wd, PAIR_PLF_LFO);
long[] lfo = pair(wd, PAIR_PLF_LFO, cbRgFcLcb);
fcPlfLfo = lfo[0];
lcbPlfLfo = lfo[1];
}
@@ -143,7 +152,16 @@ final class FibHeader {
return new FibHeader(wordDocument);
}
private static long[] pair(byte[] wd, int index) {
/**
* Пара (fc,lcb) с индексом {@code index} в FibRgFcLcbBlob. Индекс за
* объявленным числом пар (§2.5.1: cbRgFcLcb «MUST be one of» —
* 0x005D при nFib=0x00C1 … 0x00B7 при 0x0112; старые FIB короче) — поле
* отсутствует: fc=0/lcb=0, потребитель трактует как «нет структуры».
*/
private static long[] pair(byte[] wd, int index, int pairCount) {
if (index >= pairCount) {
return new long[] {0, 0};
}
int off = OFF_BLOB + index * 8;
if (off + 8 > wd.length) {
throw new ConversionException("Обрезанный FIB в .doc");
@@ -1,5 +1,8 @@
package ru.pjandro.wordpdf.internal.doc;
import java.io.ByteArrayOutputStream;
import java.util.Set;
/**
* Разбор Grpprl — массива Prl (sprm + операнд), [MS-DOC] §2.6.
*
@@ -9,8 +12,8 @@ package ru.pjandro.wordpdf.internal.doc;
* 3 = 4, 4 = 2, 5 = 2, 6 = переменный (первый байт — длина остального),
* 7 = 3. Неизвестный sprm пропускается по spra (ms-doc.md:1809).</p>
*
* <p>Значения sprm — таблицы §2.6.1/2.6.2/2.6.3 dated-.docx [MS-DOC] 12.5
* (в md репозитория потеряны как [TABLE]); кросс-чек с примерами §3:
* <p>Значения sprm — таблицы §2.6.1/§2.6.2/§2.6.3/§2.6.4 полного [MS-DOC]
* (ms-doc-full.md); кросс-чек с примерами §3:
* sprmPJc = 0x2461, sprmSDxaLeft = 0xB021, sprmCKul ispmd 0x3E fSpec 1.</p>
*/
final class Grpprl {
@@ -29,7 +32,7 @@ final class Grpprl {
* sprmCPicLocation (§2.6.1, 4 байта): offset в Data-потоке —
* PICFAndOfficeArtData (картинка) или NilPICFAndBinData (OLE-бинарник,
* {@code picf.cbHeader≠0x44} → {@link OfficeArt#read} вернёт null).
* sprmCFSpec=0x0875/sprmCFData=0x0806/sprmCFOle2=0x084B не читаем:
* sprmCFSpec=0x0855/sprmCFData=0x0806/sprmCFOle2=0x080A не читаем:
* фикстуры пишут их непоследовательно (ole-embedded — без CFSpec),
* а различает картинку/бинарник сам cbHeader.
*/
@@ -53,26 +56,39 @@ final class Grpprl {
/** sprmCHpsPos (§2.6.1, 2 байта со знаком): вертикальный сдвиг в hps. */
static final int SPRM_C_HPS_POS = 0x4845;
/**
* sprmCHighlight (§2.6.1, 1 байт Ico): текстовыделитель. Ico (§2.9.171)
* sprmCHighlight (§2.6.1, 1 байт Ico): текстовыделитель. Ico (§2.9.119)
* → w:highlight в порядке CT_RPr — конвейер рисует фон рана (пинь
* WordPdfConverterTest#highlightAndShading_backgroundDrawn).
*/
static final int SPRM_C_HIGHLIGHT = 0x2A0C;
/**
* sprmCShd/sprmCShd80 (§2.6.1): затенение рана → w:shd в rPr.
* SHDOperand (§2.9.177) = cb(1)=10 + Shd(10): cvFore/cvBack COLORREF
* + ipat (§2.9.178); Shd80 (§2.9.176) — 2 байта: icoFore(5) icoBack(5)
* SHDOperand (§2.9.249) = cb(1)=10 + Shd(10): cvFore/cvBack COLORREF
* + ipat (§2.9.121); Shd80 (§2.9.248) — 2 байта: icoFore(5) icoBack(5)
* ipat(6).
*/
static final int SPRM_C_SHD = 0xCA71;
static final int SPRM_C_SHD80 = 0x4866;
/**
* sprmCIstd (§2.6.1, u16): istd прямого символьного стиля (stk=3 в STSH).
* sprmCIstd (§2.6.1, u16): istd прямого символьного стиля (stk=2 в STSH).
* По §2.4.6.5 символьные свойства возвращаются к результату стиля абзаца,
* затем накладывается цепочка chpx символьного стиля, затем прямые CHPX —
* порядок конкатенации в {@code DocxBody.chpxWithCharStyle}.
*/
static final int SPRM_C_ISTD = 0x4A30;
/**
* sprmCRgFtc2 (§2.6.1, 2 байта со знаком): индекс SttbfFfn для текста вне
* U+0020–U+007F, когда ftc1/ftcBi не применимы → {@code w:hAnsi}
* (перекрывает ftc0-значение).
*/
static final int SPRM_C_RG_FTC2 = 0x4A51;
/** sprmCFtcBi (§2.6.1, 2 байта со знаком): RTL/complex-шрифт → {@code w:cs}. */
static final int SPRM_C_FTC_BI = 0x4A5E;
/**
* sprmCIss (§2.6.1, 1 байт): 0x01 надстрочный, 0x02 подстрочный →
* {@code w:vertAlign} (0x00 нормальный — элемент не эмитится).
*/
static final int SPRM_C_ISS = 0x2A48;
// Paragraph Properties (§2.6.2, sgc 1)
static final int SPRM_P_ISTD = 0x4600;
@@ -179,7 +195,7 @@ final class Grpprl {
static final int SPRM_T_VERT_ALIGN = 0xD62C;
/**
* sprmTCellPadding/sprmTCellPaddingDefault (§2.6.3): поля ячеек —
* CSSAOperand (§2.9.209): cb(1)=6 + CSSA (§2.9.96): itc(2, ItcFirstLim)
* CSSAOperand (§2.9.46): cb(1)=6 + CSSA (§2.9.45): itc(2, ItcFirstLim)
* + grfbrc(1: маска сторон top|left|bottom|right = 1|2|4|8) + ftsWidth(1)
* + wWidth(2). Поля переносятся только при ftsWidth=ftsDxa(0x03);
* ftsNil(0) — сторона не задана. Default-вариант действует на весь ряд
@@ -191,7 +207,7 @@ final class Grpprl {
static final int SPRM_T_CELL_PADDING_DEFAULT = 0xD634;
/**
* sprmTInsert (§2.6.3): вставка определений ячеек ряда — пропускается
* правилом spra=3 (4 байта: itcFirst(1)+ctc(1)+dxaCol(2 XAS), §2.9.322;
* правилом spra=3 (4 байта: itcFirst(1)+ctc(1)+dxaCol(2 XAS), §2.9.324;
* ECMA-376 Part 4 описывал прежнюю форму rgttte ctc×6 байт, но [MS-DOC]
* и реальные файлы Word сходятся на 4 байтах: в TAP образцов
* ru-table-image.doc/ru-en-mixed.doc following-sprm выравниваются ровно
@@ -222,11 +238,15 @@ final class Grpprl {
static final int SPRM_S_C_COLUMNS = 0x500B;
/** sprmSPgnStart97 (§2.6.4, 2 байта): стартовый номер страниц (Word 97+). */
static final int SPRM_S_PGN_START97 = 0x501C;
/** sprmSPgnStart (§2.6.4, 4 байта, u32): стартовый номер (32-бит вариант). */
static final int SPRM_S_PGN_START = 0x7044;
/** sprmSDzaGutter (§2.6.4, XAS_nonNeg 2 байта): поле переплёта → w:gutter. */
static final int SPRM_S_DZA_GUTTER = 0xB025;
/** sprmSDxaColumns (§2.6.4, XAS_nonNeg): зазор между колонками при evenly-spaced. */
static final int SPRM_S_DXA_COLUMNS = 0x900C;
/**
* sprmSDxaColWidth/sprmSDxaColSpacing (§2.6.4, SDxaColWidthOperand /
* SDxaColSpacingOperand §2.9.241/.242: iCol(1)+dxaCol(2)) — ширина
* sprmSDxaColWidth/sprmSDxaColSpacing (§2.6.4, SDxaColWidthOperand
* §2.9.242 / SDxaColSpacingOperand §2.9.241: iCol(1)+dxaCol(2)) — ширина
* колонки iCol / зазор ПОСЛЕ колонки iCol при неравных колонках.
*/
static final int SPRM_S_DXA_COL_WIDTH = 0xF203;
@@ -262,19 +282,20 @@ final class Grpprl {
/** Кормить каждым Prl скана PAPX; не-отступные sprm игнорируются. */
void prl(int sprm, byte[] buf, int off, int len) {
// XAS — 16-битное СО ЗНАКОМ значение (§2.9.349), не unsigned
switch (sprm) {
case SPRM_P_DXA_LEFT -> {
modern = true;
left = operandInt(buf, off, len);
left = signedXas(buf, off, len);
}
case SPRM_P_NEST -> {
modern = true;
nest = operandInt(buf, off, len);
nest = signedXas(buf, off, len);
}
case SPRM_P_DXA_LEFT80 -> left80 = operandInt(buf, off, len);
case SPRM_P_NEST80 -> nest80 = operandInt(buf, off, len);
case SPRM_P_DXA_LEFT80 -> left80 = signedXas(buf, off, len);
case SPRM_P_NEST80 -> nest80 = signedXas(buf, off, len);
case SPRM_P_DXA_RIGHT, SPRM_P_DXA_RIGHT80 ->
right = operandInt(buf, off, len);
right = signedXas(buf, off, len);
case SPRM_P_DXA_LEFT1, SPRM_P_DXA_LEFT180 ->
left1 = signedXas(buf, off, len);
default -> { }
@@ -340,6 +361,36 @@ final class Grpprl {
}
}
/**
* Preserv-list sprmCIstd (§2.6.1): значения этих свойств предшествуют
* применению символьного стиля при сбросе прямого форматирования к
* результату стиля абзаца. Значения — таблица §2.6.1: CFRMarkDel
* 0x0800, CFRMarkIns 0x0801, CFFldVanish 0x0802, CFData 0x0806,
* CFOle2 0x080A, CFWebHidden 0x0811, CFSpec 0x0855, CFObj 0x0856,
* CFBiDi 0x085A, CFComplexScripts 0x0882, CIdctHint 0x286F,
* CHighlight 0x2A0C, CWall 0x2A83, CIdslRMark 0x4807, CPicLocation
* 0x6A03, CSymbol 0x6A09, CPropRMark 0xCA89.
*/
static final Set<Integer> CI_STD_PRESERVE = Set.of(
0x0800, 0x0801, 0x0802, 0x0806, 0x080A, 0x0811, 0x0855, 0x0856,
0x085A, 0x0882, 0x286F, 0x2A0C, 0x2A83, 0x4807, 0x6A03, 0x6A09,
0xCA89);
/**
* Байты Prl-ей, целиком лежащих в {@code [0, endExclusive)} и имеющих
* sprm из {@code keep} (§2.6.1 — выборка preserve-list до sprmCIstd);
* битый хвост обрывается как в {@link #scan}.
*/
static byte[] filterOnly(byte[] grpprl, int endExclusive, Set<Integer> keep) {
ByteArrayOutputStream out = new ByteArrayOutputStream();
scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
if (keep.contains(sprm) && off + len <= endExclusive) {
out.write(buf, off - 2, len + 2);
}
});
return out.toByteArray();
}
/** Длина операнда по spra; -1 — переменный формат битый. */
private static int operandSize(int sprm, byte[] buf, int p, int end) {
int spra = sprm >> 13;
@@ -352,6 +403,8 @@ final class Grpprl {
case 5:
return 2;
case 3:
// §2.8.4: «A value of 0x3 specifies that operand is four
// bytes long» (ms-doc.md:14495) — не путать с S16=2
return 4;
case 7:
return 3;
@@ -404,8 +457,47 @@ final class Grpprl {
return v;
}
/** Toggle-операнд: бит 0 = on; чётное («переключить от предыдущего») = off. */
static boolean toggleOn(byte[] buf, int off) {
return (buf[off] & 1) == 1;
/**
* ToggleOperand (§2.9.327): 0x00 — off, 0x01 — on, 0x80 — значение
* свойства текущего стиля (текущее накопленное {@code current}), 0x81 —
* инверсия стилевого; иное (вне перечисления) — консервативно current.
*/
static boolean toggle(boolean current, byte operand) {
int v = operand & 0xFF;
return switch (v) {
case 0x00 -> false;
case 0x01 -> true;
case 0x80 -> current;
case 0x81 -> !current;
default -> current;
};
}
/**
* Kul (§2.9.127) → ST_Underline (wml.xsd): 0 — без подчёркивания
* ({@code null}), нераспознанный ≠0 — single.
*/
static String underlineVal(int kul) {
return switch (kul) {
case 0x00 -> null;
case 0x01 -> "single";
case 0x02 -> "words";
case 0x03 -> "double";
case 0x04 -> "dotted";
case 0x06 -> "thick";
case 0x07 -> "dash";
case 0x09 -> "dotDash";
case 0x0A -> "dotDotDash";
case 0x0B -> "wave";
case 0x14 -> "dottedHeavy";
case 0x17 -> "dashedHeavy";
case 0x19 -> "dashDotHeavy";
case 0x1A -> "dashDotDotHeavy";
case 0x1B -> "wavyHeavy";
case 0x27 -> "dashLong";
case 0x2B -> "wavyDouble";
case 0x37 -> "dashLongHeavy";
default -> "single";
};
}
}
@@ -4,11 +4,11 @@ import ru.pjandro.wordpdf.ConversionException;
/**
* Header Document (.doc): истории колонтитуков по {@code Plcfhdd}
* ([MS-DOC] §2.8.22 — PLC из одних CP; §2.4.4 — порядок историй).
* ([MS-DOC] §2.8.22 — PLC из одних CP; §2.3.3 — порядок историй).
*
* <p>Массив aCP размечает подряд идущие CP-диапазоны: первые шесть — пустые
* абзацы-разделители, далее на каждую секцию шесть историй
* [even header, odd header, even footer, odd footer, first-page header,
* <p>Массив aCP размечает подряд идущие CP-диапазоны: первые шесть —
* footnote/endnote separator-истории (§2.4.4), далее на каждую секцию шесть
* историй [even header, odd header, even footer, odd footer, first-page header,
* first-page footer]; последний aCP (§2.8.22 «the last CP is ignored») в
* расчёт не входит. Каждая история заканчивается guard-абзацем (), который
* в вывод не попадает.</p>
@@ -19,7 +19,7 @@ import ru.pjandro.wordpdf.ConversionException;
* {@code sprmSFTitlePage} (w:titlePg, конвейер различает first/default —
* пинь {@code titlePg_firstPageHeader}). История с {@code cpStart == cpEnd}
* не определена — часть и ссылка не эмитятся, docx4j наследует полосы
* предыдущей секции (§2.4.4 «Same as Previous»).</p>
* предыдущей секции (§2.3.3 «Same as Previous»).</p>
*/
final class Headers {
@@ -27,7 +27,7 @@ final class Headers {
record Story(int cpStart, int cpEnd) {
/**
* История НЕ определена (§2.4.4: «Stories are considered empty if
* История НЕ определена (§2.3.3: «Stories are considered empty if
* they have no contents and no guard paragraph mark … the beginning
* CP being the same as the next CP») — Word показывает полосы
* предыдущей секции (Same as Previous). Пустая часть с guard- при
@@ -49,14 +49,14 @@ final class Headers {
}
}
/** Пустых абзацев-разделителей перед историями первой секции (§2.4.4). */
/** Footnote/endnote separator-историй перед историями первой секции (§2.4.4). */
private static final int SEPARATOR_STORIES = 6;
/** Историй на секцию (§2.4.4). */
/** Историй на секцию (§2.3.3). */
private static final int STORIES_PER_SECTION = 6;
/** Индексы внутри группы секции: 0 even hdr, 1 odd hdr, 2 even ftr, 3 odd ftr… */
private static final int ODD_HEADER = 1;
private static final int ODD_FOOTER = 3;
/** Первая страница (истории 4/5, применяются при sprmSFTitlePage, §2.4.4). */
/** Первая страница (истории 4/5, применяются при sprmSFTitlePage, §2.3.3). */
private static final int FIRST_HEADER = 4;
private static final int FIRST_FOOTER = 5;
@@ -89,22 +89,22 @@ final class Headers {
return new Headers(table, fcPlcfHdd, lcbPlcfHdd, baseCp);
}
/** Заголовок нечётных полос набора секции {@code section} (§2.4.4). */
/** Заголовок нечётных полос набора секции {@code section} (§2.3.3). */
Story oddHeader(int section) {
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + ODD_HEADER);
}
/** Колонтитул нечётных полос набора секции {@code section} (§2.4.4). */
/** Колонтитул нечётных полос набора секции {@code section} (§2.3.3). */
Story oddFooter(int section) {
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + ODD_FOOTER);
}
/** Заголовок первой страницы секции {@code section} (titlePg, §2.4.4). */
/** Заголовок первой страницы секции {@code section} (titlePg, §2.3.3). */
Story firstHeader(int section) {
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + FIRST_HEADER);
}
/** Колонтитул первой страницы секции {@code section} (titlePg, §2.4.4). */
/** Колонтитул первой страницы секции {@code section} (titlePg, §2.3.3). */
Story firstFooter(int section) {
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + FIRST_FOOTER);
}
@@ -158,8 +158,13 @@ final class Lists {
/** abstractNumId (1-базированный индекс LSTF) для LFO; −1 — нет валидного. */
private int abstractIdOf(int lfoIndex) {
// lfos[·] всегда непустой: readPlfLfo присваивает out[i] до обхода LFOData
Integer lstfIndex = lstfByLsid.get(lfos[lfoIndex].lsid());
// обрыв LFOData оставляет lfos[i+1..] null (readPlfLfo выходит по
// границе потока) — null LFO = «номера нет», без NPE
Lfo lfo = lfos[lfoIndex];
if (lfo == null) {
return -1;
}
Integer lstfIndex = lstfByLsid.get(lfo.lsid());
if (lstfIndex == null || !isValid(lstfs[lstfIndex])) {
return -1;
}
@@ -194,7 +199,9 @@ final class Lists {
boolean simple = (table[rec + 26] & 1) != 0;
Level[] levels = new Level[simple ? 1 : LEVEL_COUNT];
for (int j = 0; j < levels.length; j++) {
Level lv = readLevel(table, cursor);
// массив LVL приложен ЗА lcbPlfLst (§2.5.6) — граница одна
// длина потока, lcb здесь не ограничитель
Level lv = readLevel(table, cursor, table.length);
if (lv == null) {
// обрыв: этот LSTF — с разобранными уровнями, остальные — без
out[i] = new Lstf(lsid, levels);
@@ -208,9 +215,9 @@ final class Lists {
return out;
}
/** LVL по {@code at}; null — поля за пределами потока. */
private static Level readLevel(byte[] table, int at) {
if (at < 0 || at + LVLF_SIZE > table.length) {
/** LVL по {@code at}; null — поля за пределами {@code limit}. */
private static Level readLevel(byte[] table, int at, int limit) {
if (at < 0 || at + LVLF_SIZE > limit) {
return null;
}
int startAt = (int) CfbReader.u32(table, at);
@@ -220,19 +227,19 @@ final class Lists {
int cbChpx = table[at + 24] & 0xFF;
int cbPapx = table[at + 25] & 0xFF;
int p = at + LVLF_SIZE;
if (p + cbPapx + cbChpx > table.length) {
if (p + cbPapx + cbChpx > limit) {
return null;
}
byte[] papx = slice(table, p, cbPapx);
p += cbPapx;
byte[] chpx = slice(table, p, cbChpx);
p += cbChpx;
if (p + 2 > table.length) {
if (p + 2 > limit) {
return null;
}
int cch = CfbReader.u16(table, p);
p += 2;
if (cch > MAX_XST_CHARS || p + 2 * cch > table.length) {
if (cch > MAX_XST_CHARS || p + 2 * cch > limit) {
return null;
}
String xst = new String(table, p, 2 * cch, StandardCharsets.UTF_16LE);
@@ -259,6 +266,10 @@ final class Lists {
int fit = (int) ((end - fc - 4) / LFO_SIZE);
mac = Math.min(Math.min(mac, fit), MAX_ENTRIES);
Lfo[] out = new Lfo[mac];
// LFOData лежит ВНУТРИ lcbPlfLfo (§2.5.6/§2.9.132) — обход ограничен
// end, а не длиной потока: короткий lcb не должен уводить парсер в
// чужие записи табличного потока
int limit = (int) end;
int cursor = (int) (fc + 4) + mac * LFO_SIZE;
for (int i = 0; i < mac; i++) {
int rec = (int) fc + 4 + i * LFO_SIZE;
@@ -266,12 +277,12 @@ final class Lists {
int clfolvl = table[rec + 12] & 0xFF;
LfoLvl[] overrides = new LfoLvl[clfolvl];
out[i] = new Lfo(lsid, overrides);
if (cursor + 4 > table.length) {
if (cursor + 4 > limit) {
return out; // обрыв LFOData — остаток без переопределений
}
cursor += 4; // cp — не переносится (осознанный остаток)
for (int j = 0; j < clfolvl; j++) {
if (cursor + 8 > table.length) {
if (cursor + 8 > limit) {
return out;
}
int startAt = (int) CfbReader.u32(table, cursor);
@@ -282,7 +293,7 @@ final class Lists {
boolean fFormatting = (bits >>> 5 & 1) != 0;
Level formatting = null;
if (fFormatting) {
formatting = readLevel(table, cursor);
formatting = readLevel(table, cursor, limit);
if (formatting == null) {
return out;
}
@@ -398,7 +409,7 @@ final class Lists {
Grpprl.scan(chpx, 0, chpx.length, (sprm, buf, off, len) -> {
switch (sprm) {
case Grpprl.SPRM_C_RG_FTC0 -> ftc0[0] = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_F_BOLD -> bold[0] = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_F_BOLD -> bold[0] = Grpprl.toggle(bold[0], buf[off]);
case Grpprl.SPRM_C_HPS -> hps[0] = Grpprl.operandInt(buf, off, len);
default -> { }
}
@@ -4,8 +4,9 @@ package ru.pjandro.wordpdf.internal.doc;
* Извлечение растровой картинки из {@code PICFAndOfficeArtData}
* ([MS-DOC] §2.9.192, операнд {@code sprmCPicLocation} = offset в Data-потоке)
* по [MS-ODRAW]: PICF (68 байт, §2.9.190) → OfficeArt-записи → BLIP
* (§2.2.23–.31: recType 0xF01A EMF / 0xF01B WMF / 0xF01C PICT / 0xF01D JPEG /
* 0xF01E PNG / 0xF01F DIB; нечётный recInstance — второй UID, §2.2.24).
* (§2.2.23–.30: recType 0xF01A EMF / 0xF01B WMF / 0xF01C PICT / 0xF01D JPEG /
* 0xF01E PNG / 0xF01F DIB / 0xF029 TIFF; recInstance с вторым UID —
* §2.2.24–.30).
*
* <p>Word кладёт BLIP в разные места (BStoreContainer 0xF004,
* BStoreContainerDelay 0xF007, инлайн-контейнер), а POI-продукция пишет
@@ -17,8 +18,9 @@ package ru.pjandro.wordpdf.internal.doc;
* потоку их плодит, скан по картинному диапазону нет.</p>
*
* <p>EMF/WMF/PICT в PDF не рендерятся (Java2D-движка для метафайлов в ядре
* нет) — {@code null} (объект исчезает, как удалённый {@code w:object}).
* DIB перекодируется в PNG через ImageIO.</p>
* нет) — {@code null} с JUL-warning (объект исчезает, как удалённый
* {@code w:object}; потеря контента должна быть видна в логе).
* DIB перекодируется в PNG через ImageIO, TIFF проходит как есть.</p>
*/
final class OfficeArt {
@@ -39,20 +41,29 @@ final class OfficeArt {
/** Границы отображаемого размера, twips (§2.9.193: 15…31680). */
private static final int DXA_MIN = 15;
private static final int DXA_MAX = 31_680;
/** twips → EMU (ECMA-376 §20.1.8: 1 twip = 635 EMU). */
/** twips → EMU (ST_TwipsMeasure §22.9.2.14: 1 twip = 635 EMU). */
private static final int EMU_PER_TWIP = 635;
private static final int BLIP_EMF = 0xF01A;
private static final int BLIP_WMF = 0xF01B;
private static final int BLIP_PICT = 0xF01C;
private static final int BLIP_JPEG = 0xF01D;
private static final int BLIP_JPEG_ALT = 0xF02A; // [MS-ODRAW] A.1: = 0xF01D
private static final int BLIP_JPEG_ALT = 0xF02A; // [MS-ODRAW] Appendix A, примечание <5> к §2.2.23
private static final int BLIP_PNG = 0xF01E;
private static final int BLIP_DIB = 0xF01F;
private static final int BLIP_TIFF = 0xF029; // §2.2.30
/** recInstance с двумя UID ([MS-ODRAW] §2.2.24–.31). */
/** Пропуск метафайлов логируется (JUL — конвенция {@code internal/}). */
private static final java.util.logging.Logger LOG =
java.util.logging.Logger.getLogger(OfficeArt.class.getName());
/**
* recInstance с двумя UID ([MS-ODRAW] §2.2.24–.30): EMF 0x3D5, WMF 0x217,
* PICT 0x543, JPEG CMYK 0x6E3, JPEG RGB 0x46B, PNG 0x6E1, DIB 0x7A9,
* TIFF 0x6E5.
*/
private static final java.util.Set<Integer> TWO_UIDS =
java.util.Set.of(0x217, 0x3D5, 0x543, 0x6E1, 0x6E3, 0x6E5, 0x7A9);
java.util.Set.of(0x217, 0x3D5, 0x46B, 0x543, 0x6E1, 0x6E3, 0x6E5, 0x7A9);
private OfficeArt() {
}
@@ -97,9 +108,8 @@ final class OfficeArt {
if (cb < 17 || p + 8 + cb > end) {
return null;
}
// Второй UID — только перечисленные recInstance (§2.2.24–.31:
// EMF 0x3D5, WMF 0x217, PICT 0x543, JPEG 0x6E3, PNG 0x6E1,
// DIB 0x7A9, EMF+ 0x6E5; JPEG 0x46B — нечётный, но ОДИН UID).
// Второй UID — только перечисленные recInstance (§2.2.24–.30,
// таблица выше: 0x46B = JPEG RGB с ДВУМЯ UID, 0x6E5 = TIFF).
// Word/POI кладут значение в raw verInstance (0x06E1), спека —
// в 12-битное поле (0x6E10): проверяем обе формы.
int uidSize = (TWO_UIDS.contains(verInstance >>> 4) || TWO_UIDS.contains(verInstance))
@@ -119,12 +129,26 @@ final class OfficeArt {
? new Picture("jpg", "image/jpeg", slice(data, dataOff, dataLen),
emu(sizeX), emu(sizeY))
: null;
case BLIP_TIFF -> isTiff(data, dataOff, dataLen)
? new Picture("tif", "image/tiff", slice(data, dataOff, dataLen),
emu(sizeX), emu(sizeY))
: null;
case BLIP_DIB -> dibToPng(data, dataOff, dataLen, sizeX, sizeY, maxPixels);
case BLIP_EMF, BLIP_WMF, BLIP_PICT -> null; // метафайлы не рендерим
case BLIP_EMF, BLIP_WMF, BLIP_PICT -> {
// метафайлы не рендерим — пропуск с warn (деградация видна в логе)
LOG.warning("Метафайл в .doc пропущен (EMF/WMF/PICT в PDF не рендерятся)");
yield null;
}
default -> null;
};
}
/** TIFF-сигнатура II*\\0 или MM\\0* ([TIFF] §2, little/big endian). */
private static boolean isTiff(byte[] data, int off, int len) {
return startsWith(data, off, len, new byte[] {'I', 'I', '*', 0})
|| startsWith(data, off, len, new byte[] {'M', 'M', 0, '*'});
}
/** PICMID отсутствует/битый — размер из PNG IHDR @96 dpi (1 px = 15 twips). */
private static int pngDxa(byte[] data, int pngOff, boolean width) {
if (pngOff + 24 > data.length) {
@@ -171,8 +195,9 @@ final class OfficeArt {
// бросает OutOfMemoryError (Error, не ловится catch ниже). Отказ по
// площади — та же семантика «битый → объект пропущен»; порог
// приходит параметром (WordPdfValidator.maxImagePixels).
long area = (long) Math.abs((int) CfbReader.u32(data, off + 4))
* Math.abs((int) CfbReader.u32(data, off + 8));
// abs в long: Math.abs(Integer.MIN_VALUE) отрицателен и обходил бы guard
long area = Math.abs((long) (int) CfbReader.u32(data, off + 4))
* Math.abs((long) (int) CfbReader.u32(data, off + 8));
if (area > maxPixels) {
return null;
}
@@ -190,7 +215,14 @@ final class OfficeArt {
}
}
/** DIB → BMP: BITMAPFILEHEADER(14) + как есть (§2.2.29 — DIB без хедера). */
/**
* DIB → BMP: BITMAPFILEHEADER(14) + как есть (§2.2.29 — DIB без хедера).
* dataOff: BITMAPINFOHEADER + палитра (biClrUsed, offset 32: 0 — полное
* 2^bits, иначе объявленное число записей, [MS-WMF] §2.2.2.8) + для
* BI_BITFIELDS (biCompression=3, 16/32 bpp) ещё 12 байт масок после
* хедера ([MS-WMF] §2.2.1.6.3). CoreHeader (12 байт) не поддерживаем —
* ImageIO отвергнет, деградация в null.
*/
private static byte[] wrapAsBmp(byte[] data, int off, int len) {
byte[] bmp = new byte[14 + len];
bmp[0] = 'B';
@@ -202,8 +234,18 @@ final class OfficeArt {
bmp[5] = (byte) (fileSize >>> 24);
int bits = (int) (CfbReader.u32(data, off + 14) & 0xFFFF);
int headerSize = (int) CfbReader.u32(data, off);
int dataOff = 14 + headerSize
+ (bits == 1 || bits == 4 || bits == 8 ? (1 << bits) * 4 : 0);
int palette = 0;
int bitfields = 0;
if (headerSize >= BITMAPINFOHEADER_SIZE) {
if (bits == 1 || bits == 4 || bits == 8) {
int clrUsed = (int) CfbReader.u32(data, off + 32);
palette = 4 * (clrUsed > 0 && clrUsed < (1 << bits) ? clrUsed : 1 << bits);
}
if ((int) CfbReader.u32(data, off + 16) == 3 && (bits == 16 || bits == 32)) {
bitfields = 12;
}
}
int dataOff = 14 + headerSize + palette + bitfields;
bmp[10] = (byte) dataOff;
bmp[11] = (byte) (dataOff >>> 8);
System.arraycopy(data, off, bmp, 14, len);
@@ -11,8 +11,9 @@ import java.util.List;
* <p>Алгоритм [MS-DOC] §2.4.6.1 (Direct Paragraph Formatting): PlcfBtePapx —
* PLC (aFc n+1, PnFkpPapx n по 4 байта: pn 22 бита); PapxFkp-страница по
* {@code pn*512} в WordDocument-потоке: rgfc (cpara+1 × 4), rgbx (cpara ×
* BxPap — по 13 байт: bOffset 1 + reserved 12, §2.9.16; PapxInFkp по
* {@code bOffset*2}), cpara — последний байт. BxPap.bOffset=0 → абзац по
* BxPap — по 13 байт: bOffset 1 + reserved 12, §2.9.23; PapxInFkp по
* {@code bOffset*2}), cpara — последний байт (§2.9.174: cpara ≥ 0x01 и ≤ 0x1D,
* больше — PapxFkp не влезает в 512). BxPap.bOffset=0 → абзац по
* умолчанию (ms-doc.md:5635). PapxInFkp (§2.9.175):
* cb (1 байт); при cb≠0 GrpPrlAndIstd занимает 2×cb−1 байт, при cb=0 —
* следующий байт cb' и 2×cb' байт; GrpPrlAndIstd = istd(2) + grpprl.
@@ -45,9 +46,14 @@ final class PapxIndex {
throw new ConversionException("PapxFkp вне WordDocument-потока в .doc");
}
int cpara = wordDocument[(int) (pageOff + FKP_PAGE_SIZE - 1)] & 0xFF;
if (cpara < 1 || cpara > 0x60) {
// §2.9.174: cpara MUST NOT exceed 0x1D (иначе rgfc+rgbx расширяют
// PapxFkp за 512 байт)
if (cpara < 1 || cpara > 0x1D) {
throw new ConversionException("Битый cpara в PapxFkp .doc");
}
if (4 * (cpara + 1) + 13 * cpara > FKP_PAGE_SIZE) {
throw new ConversionException("Битый PapxFkp .doc");
}
for (int j = 0; j < cpara; j++) {
long rgfcStart = CfbReader.u32(wordDocument, (int) pageOff + j * 4);
long rgfcEnd = CfbReader.u32(wordDocument, (int) pageOff + (j + 1) * 4);
@@ -105,7 +111,8 @@ final class PapxIndex {
int[] count = {0};
for (Range r : ranges) {
Grpprl.scan(r.grpprl(), 0, r.grpprl().length, (sprm, buf, off, len) -> {
if (sprm == Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE && Grpprl.toggleOn(buf, off)) {
if (sprm == Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE
&& Grpprl.toggle(false, buf[off])) {
count[0]++;
}
});
@@ -25,7 +25,7 @@ final class PieceTable {
private static final long F_COMPRESSED = 0x4000_0000L;
private static final long FC_MASK = 0x3FFF_FFFFL;
/** Байты 0x80–0x9F сжатого текста → Unicode (§2.4.1, таблица Pcd.fc). */
/** Байты 0x82–0x9F сжатого текста → Unicode (FcCompressed §2.9.73). */
private static final char[] COMPRESSED_MAP = new char[32];
static {
@@ -46,8 +46,10 @@ final class PieceTable {
private final int[] aCp;
private final long[] fc;
private final boolean[] compressed;
/** Читаемый размер куска в байтах после клампа по cbMac (§2.5.4). */
private final long[] readable;
private PieceTable(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument) {
private PieceTable(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument, long cbMac) {
this.wordDocument = wordDocument;
if (lcbClx <= 0) {
throw new ConversionException("В .doc нет piece table");
@@ -95,8 +97,13 @@ final class PieceTable {
compressed = new boolean[n];
for (int i = 0; i <= n; i++) {
aCp[i] = (int) CfbReader.u32(tableStream, plcStart + i * 4);
if (i > 0 && aCp[i] < aCp[i - 1]) {
throw new ConversionException("Невозрастающие aCP в PlcPcd .doc");
// §2.8.35 PlcPcd: «All CPs MUST be greater than or equal to
// zero», «aCP MUST be sorted in ascending order and MUST NOT
// contain duplicate CPs» — дубль/отрицательный CP = битый кусок;
// отрицательный aCP[0] сдвигал бы delta и читал бы до начала
// WordDocument-потока
if (aCp[0] < 0 || (i > 0 && aCp[i] <= aCp[i - 1])) {
throw new ConversionException("Битые aCP в PlcPcd .doc");
}
}
int pcdBase = plcStart + (n + 1) * 4;
@@ -105,17 +112,25 @@ final class PieceTable {
fc[i] = fcw & FC_MASK;
compressed[i] = (fcw & F_COMPRESSED) != 0;
}
// cbMac (§2.5.4): «All bytes in the WordDocument stream at offset
// cbMac and greater MUST be ignored» — читаемый span куска клампится
// к min(cbMac, длина потока); кусок целиком за cbMac даёт readable=0
// (charAt вернёт 0, fcOf не меняется — свойства там всё равно нет).
long textLimit = Math.min(Math.max(cbMac, 0), wordDocument.length);
readable = new long[n];
for (int i = 0; i < n; i++) {
long start = compressed[i] ? fc[i] / 2 : fc[i];
long span = (long) (aCp[i + 1] - aCp[i]) * (compressed[i] ? 1 : 2);
if (start + span > wordDocument.length) {
throw new ConversionException("Кусок piece table .doc выходит за WordDocument");
}
readable[i] = start >= textLimit ? 0 : Math.min(span, textLimit - start);
}
}
static PieceTable read(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument) {
return new PieceTable(tableStream, fcClx, lcbClx, wordDocument);
static PieceTable read(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument,
long cbMac) {
return new PieceTable(tableStream, fcClx, lcbClx, wordDocument, cbMac);
}
/** Символ по CP (§2.4.1); {@code cp} вне [0, ccpText) не запрашивается. */
@@ -123,6 +138,9 @@ final class PieceTable {
int i = pieceOf(cp);
int delta = cp - aCp[i];
if (compressed[i]) {
if (delta >= readable[i]) {
return 0; // за cbMac (§2.5.4) — байты игнорируются
}
int b = wordDocument[(int) (fc[i] / 2) + delta] & 0xFF;
if (b >= 0x80 && b < 0xA0) {
char mapped = COMPRESSED_MAP[b - 0x80];
@@ -130,6 +148,9 @@ final class PieceTable {
}
return (char) b;
}
if (2L * (delta + 1) > readable[i]) {
return 0;
}
int off = (int) fc[i] + 2 * delta;
return (char) ((wordDocument[off] & 0xFF) | ((wordDocument[off + 1] & 0xFF) << 8));
}
@@ -13,27 +13,26 @@ import java.io.ByteArrayOutputStream;
* при istd=0), а сами свойства — с {@code sprmPFInTable}/{@code sprmPFTtp}/
* {@code sprmTDefTable}/бордюрами — лежат в PrcData в Data-потоке. Внутри
* PrcData цепочка продолжается через {@code sprmPTableProps (0x646B)}.
* Оба указателя разворачиваются <b>на позиции указателя без обрыва</b>
* текущего массива; цепочка обязана завершиться PrcData без обоих
* спец-спрмов (§2.6.2).</p>
*
* <p>Отступление от spec: §2.6.2 велит массив, содержащий PTableProps,
* «не читать дальше» — Word так и делает, потому что потребляет из PrcData
* полный TAP (включая {@code sprmTInsert}), а хвост массива — легаси-зеркало
* для Word 97/2000 (Appendix A &lt;9&gt;). Конвертер {@code sprmTInsert}
* не читает и живёт на этом зеркале: в {@code samples/ru-table-image.doc}
* единственный {@code sprmTDefTable} (сетка) стоит именно ПОСЛЕ
* {@code sprmPTableProps} в PAPX-массиве, а в PrcData его нет вовсе.
* Поэтому свойства объединяются (union), а не замещаются: без цепочки
* теряются её sprm'ы, без зеркал — сетка.</p>
* {@code sprmPHugePapx} не первым в массиве игнорируется (§2.6.2); после
* разворачивания PrcData по любому указателю дальнейшие Prl содержащего
* массива <b>не обрабатываются</b> (§2.6.2: «MUST NOT process any more
* Prl elements in the array» — одинаково для HugePapx и PTableProps);
* цепочка обязана завершиться PrcData без обоих спец-спрмов (§2.6.2).
* Хвост исходного массива за указателем — легаси-зеркало для Word
* 97/2000, не читающих sprmPTableProps (Appendix A &lt;9&gt;); по общему
* правилу оно не потребляется, кроме единственного исключения
* {@code sprmTDefTable}: конвертер строит сетку ячеек именно из
* TDefTable (§2.4.3: «SHOULD use sprmTDefTable to define table cells for
* applications that do not process sprmPTableProps»), а из PrcData
* {@code sprmTInsert} не читает — без зеркала {@code
* samples/ru-table-image.doc} терял бы таблицу целиком (Регрессия —
* DocToDocxTest#tableFixture_becomesTblWithImage).</p>
*
* <p>Снисходительность — по образцу {@link Styles}/{@link Lists}: любой
* брак (ptr за Data, битый cbGrpprl, цикл A→B→A) останавливает цепочку,
* накопленное возвращается — без {@code ConversionException}. Спец-спрмы
* из результата всегда вырезаются (потребители {@code Grpprl.scan} их всё
* равно не понимают); прочие Prl исходного массива сохраняются в исходном
* порядке (при многосprl-массиве с HugePapx — сверхспецификацией: валидный
* Word пишет HugePapx единственным Prl).</p>
* равно не понимают); не-первый HugePapx — игнор по §2.6.2.</p>
*/
final class PrcData {
@@ -99,18 +98,39 @@ final class PrcData {
/**
* Копирует Prl массива {@code buf[off..off+len)} в {@code out}:
* обычные — дословно (sprm + операнд), оба указательных — разворачивают
* целевой PrcData на позиции указателя, разбор массива продолжается
* (union зеркала и цепочки — см. javadoc класса).
* обычные — дословно (sprm + операнд). По §2.6.2 после разворачивания
* PrcData по указателю дальнейшие Prl <b>этого</b> массива
* не обрабатываются («MUST NOT process any more Prl elements in the
* array», sprmPHugePapx и sprmPTableProps), поэтому развёрнутое
* содержимое — последнее, что попало в выход из этого массива.
* {@code sprmPHugePapx} не первым в массиве — игнорируется целиком
* (§2.6.2: «if … not the first element … MUST be ignored»), массив
* читается дальше; {@code sprmPTableProps} правила первой позиции не
* имеет. Единственное исключение из стопа — {@code sprmTDefTable}
* (легаси-зеркало сетки, Appendix A &lt;9&gt;, см. javadoc класса):
* он переносится и после указателя.
*/
private static void copyPrls(byte[] buf, int off, int len, byte[] data,
ByteArrayOutputStream out, int[] hops) {
int[] index = new int[1];
boolean[] stop = new boolean[1];
Grpprl.scan(buf, off, len, (sprm, b, operandOff, operandLen) -> {
if (sprm == Grpprl.SPRM_P_HUGE_PAPX || sprm == Grpprl.SPRM_P_TABLE_PROPS) {
follow(Grpprl.operandInt(b, operandOff, operandLen), data, out, hops);
return;
if (stop[0] && sprm != Grpprl.SPRM_T_DEF_TABLE) {
return; // хвост после указателя — вне области обработки
}
out.write(b, operandOff - 2, operandLen + 2);
if (sprm == Grpprl.SPRM_P_HUGE_PAPX) {
if (index[0] == 0) {
follow(Grpprl.operandInt(b, operandOff, operandLen),
data, out, hops);
stop[0] = true;
}
} else if (sprm == Grpprl.SPRM_P_TABLE_PROPS) {
follow(Grpprl.operandInt(b, operandOff, operandLen), data, out, hops);
stop[0] = true;
} else {
out.write(b, operandOff - 2, operandLen + 2);
}
index[0]++;
});
}
@@ -20,10 +20,10 @@ import ru.pjandro.wordpdf.ConversionException;
* покрывает весь текстовый поток), поэтому конец последней секции
* клампится к ccpText. Свойств в Sepx нет (или Sepx битый) — дефолты
* Word 97: Letter 12240×15840, поля 1440, колонтитуки
* 720 (значения §2.6.3 «By default» для sprmSXaPage/sprmSYaPage).</p>
* 720 (значения §2.6.4 «By default» для sprmSXaPage/sprmSYaPage).</p>
*
* <p>{@link Section#continuous()} — sprmSBkc секции со значением
* bkcContinuous/bkcNewColumn (§2.6.3, SBkcOperand: «the type of the section
* bkcContinuous/bkcNewColumn (§2.6.4, SBkcOperand §2.9.235: «the type of the section
* break that terminates the section»), т.е. разрыв, ЗАКАНЧИВАЮЩИЙ эту
* секцию. В OOXML {@code w:type} описывает разрыв ПЕРЕД секцией (§17.6.22),
* поэтому {@code w:type} секции i берётся из {@code continuous()} секции
@@ -40,16 +40,34 @@ final class Sections {
* финальный символ — 0x0C, §2.8.26) + геометрия из её Sepx + признак
* «разрыв, заканчивающий секцию, не начинает новую страницу» +
* ориентация (sprmSBOrientation), нумерация страниц (sprmSFPgnRestart/
* sprmSPgnStart97/sprmSNfcPgn — pgNumStart=0 «не задан», nfcPgn — MSONFC),
* колонки (sprmSCcolumns/…; colWidths/colSpacings заполнены только при
* evenlySpaced=false, индекс — номер колонки) и титульная страница
* (sprmSFTitlePage → w:titlePg, §2.6.4).
* sprmSPgnStart97/sprmSPgnStart/sprmSNfcPgn — pgNumStart=0 «не задан»,
* nfcPgn — MSONFC),
* (sprmSCcolumns/…; colWidths/colSpacings заполнены только при
* evenlySpaced=false, индекс — номер колонки), титульная страница
* (sprmSFTitlePage → w:titlePg, §2.6.4), gutter-поле (sprmSDzaGutter →
* w:gutter) и сырое значение SBkcOperand (§2.9.235 — evenPage/oddPage
* для w:type).
*/
record Section(int cpStart, int cpEnd, int pageWidth, int pageHeight,
int marginLeft, int marginRight, int marginTop, int marginBottom,
int header, int footer, boolean continuous, boolean landscape,
int header, int footer, int gutter, boolean continuous, boolean landscape,
int pgNumStart, int nfcPgn, int columnCount, boolean evenlySpaced,
int dxaColumns, int[] colWidths, int[] colSpacings, boolean titlePage) {
int dxaColumns, int[] colWidths, int[] colSpacings, boolean titlePage,
int bkc) {
/**
* ST_SectType (§17.6.22) для разрыва, ЗАКАНЧИВАЮЩЕГО эту секцию:
* bkcContinuous/bkcNewColumn → continuous, bkcEvenPage/bkcOddPage →
* evenPage/oddPage; bkcNewPage (дефолт) — атрибут не эмитится.
*/
String wTypeName() {
return switch (bkc) {
case 0, 1 -> "continuous";
case 3 -> "evenPage";
case 4 -> "oddPage";
default -> null;
};
}
}
/** Дефолты Word 97 (§2.6.3, twips). */
@@ -77,12 +95,17 @@ final class Sections {
private int marginBottom = DEFAULT_MARGIN;
private int header = DEFAULT_HEADER_FOOTER;
private int footer = DEFAULT_HEADER_FOOTER;
private int gutter;
private boolean continuous;
private boolean landscape;
private boolean titlePage;
private boolean pgnRestart;
private int pgnStart97;
private int pgnStart;
private int nfcPgn;
/** SBkcOperand (§2.9.235): 0 continuous, 1 newColumn, 2 newPage
* (дефолт), 3 evenPage, 4 oddPage. */
private int bkc = 2;
private int columnCount = 1;
private boolean evenlySpaced = true;
private int dxaColumns = -1;
@@ -91,21 +114,26 @@ final class Sections {
private void apply(int sprm, int value) {
if (sprm == Grpprl.SPRM_S_XA_PAGE) {
pageWidth = value;
pageWidth = value; // U16 [144, 31680] (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_YA_PAGE) {
pageHeight = value;
pageHeight = value; // U16 (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DXA_LEFT) {
marginLeft = value;
marginLeft = value; // XAS_nonNeg (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DXA_RIGHT) {
marginRight = value;
marginRight = value; // XAS_nonNeg (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DYA_TOP) {
marginTop = value;
// YAS знаковый (§2.9.355): плюс — минимальное поле, минус —
// фиксированное («MUST be the absolute value») — знак в OOXML
// не выражается, величина берётся по модулю
marginTop = Math.abs((short) value);
} else if (sprm == Grpprl.SPRM_S_DYA_BOTTOM) {
marginBottom = value;
marginBottom = Math.abs((short) value);
} else if (sprm == Grpprl.SPRM_S_DYA_HDR_TOP) {
header = value;
header = value; // YAS_nonNeg (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DYA_HDR_BOTTOM) {
footer = value;
footer = value; // YAS_nonNeg (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DZA_GUTTER) {
gutter = value; // U16 twips (§2.6.4), беззнаковый
} else if (sprm == Grpprl.SPRM_S_B_ORIENTATION) {
// SBOrientationOperand (§2.9.236): 0x01 portrait, 0x02 landscape
landscape = value == 2;
@@ -113,6 +141,8 @@ final class Sections {
pgnRestart = value != 0; // Bool8
} else if (sprm == Grpprl.SPRM_S_PGN_START97) {
pgnStart97 = value;
} else if (sprm == Grpprl.SPRM_S_PGN_START) {
pgnStart = value; // U32 (§2.6.4), pre-97-вариант того же
} else if (sprm == Grpprl.SPRM_S_NFC_PGN) {
nfcPgn = value; // MSONFC ([MS-OSHARED] §2.2.1.3)
} else if (sprm == Grpprl.SPRM_S_F_EVENLY_SPACED) {
@@ -130,7 +160,7 @@ final class Sections {
/** iCol(1) + dxaCol(2) — минимальная длина SDxaColWidth/Spacing-операнда. */
private static final int COL_OPERAND_LEN = 3;
/** SDxaColWidthOperand/SDxaColSpacingOperand: iCol(1)+dxaCol(2), §2.9.241/.242. */
/** SDxaColSpacingOperand/SDxaColWidthOperand: iCol(1)+dxaCol(2), §2.9.241/.242. */
private void applyCol(int sprm, byte[] buf, int off, int len) {
if (len < COL_OPERAND_LEN) {
return;
@@ -191,10 +221,12 @@ final class Sections {
}
int v = Grpprl.operandInt(buf, off, len);
g.apply(sprm, v);
// bkcContinuous=0 / bkcNewColumn=1 (§2.6.3 SBkcOperand):
// разрыв, заканчивающий секцию, не начинает страницу
if (sprm == Grpprl.SPRM_S_BKC && v <= 1) {
g.continuous = true;
// SBkcOperand (§2.9.235): 0 continuous / 1 newColumn —
// разрыв, заканчивающий секцию, не начинает страницу;
// сырое значение нужно и для w:type=evenPage/oddPage
if (sprm == Grpprl.SPRM_S_BKC) {
g.bkc = v;
g.continuous = v <= 1;
}
});
}
@@ -208,11 +240,13 @@ final class Sections {
int cpEnd = i == n - 1 ? Math.min(aCp[i + 1], ccpText) : aCp[i + 1];
list.add(new Section(aCp[i], cpEnd, g.pageWidth, g.pageHeight,
g.marginLeft, g.marginRight, g.marginTop, g.marginBottom,
g.header, g.footer, g.continuous, g.landscape,
g.pgnRestart ? Math.max(1, g.pgnStart97) : 0,
g.header, g.footer, g.gutter, g.continuous, g.landscape,
g.pgnRestart
? Math.max(1, g.pgnStart97 != 0 ? g.pgnStart97 : g.pgnStart)
: 0,
g.nfcPgn, g.columnCount, g.evenlySpaced, g.dxaColumns,
Arrays.copyOf(g.colWidths, g.columnCount),
Arrays.copyOf(g.colSpacings, g.columnCount), g.titlePage));
Arrays.copyOf(g.colSpacings, g.columnCount), g.titlePage, g.bkc));
}
sections = List.copyOf(list);
continuousEnds = cont;
@@ -221,8 +255,8 @@ final class Sections {
private static Section defaultSection(int cpStart, int cpEnd) {
return new Section(cpStart, cpEnd, DEFAULT_PAGE_WIDTH, DEFAULT_PAGE_HEIGHT,
DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN,
DEFAULT_HEADER_FOOTER, DEFAULT_HEADER_FOOTER, false,
false, 0, 0, 1, true, -1, new int[0], new int[0], false);
DEFAULT_HEADER_FOOTER, DEFAULT_HEADER_FOOTER, 0, false,
false, 0, 0, 1, true, -1, new int[0], new int[0], false, 2);
}
static Sections read(byte[] tableStream, long fcSed, long lcbSed, byte[] wordDocument,
@@ -6,15 +6,16 @@ package ru.pjandro.wordpdf.internal.doc;
*
* <p>Разбор: LPStshi (cbStshi(2) + STSHI: cstd(2) + cbSTDBaseInFile(2),
* §2.9.272/.274) → rglpstd со смещения {@code fc + 2 + cbStshi} (LPStd
* хранятся на чётных границах, §2.9.207). Каждая LPStd: cbStd(2) + Std
* хранятся на чётных границах, §2.9.135). Каждая LPStd: cbStd(2) + Std
* (cbStd байт): stdf (cbSTDBaseInFile байт: StdfBase §2.9.260 — в первых
* 4 байтах sti(12)|A–D(4)|stk(4)|istdBase(12), cupx — младший нибл байта 4)
* + xstzName (cch(2)+2·cch+терминатор(2), §2.9.348) + cupx × LPUpx
* + xstzName (cch(2)+2·cch+терминатор(2), §2.9.354) + cupx × LPUpx
* (cbUpx(2) + данные, шаг 2+cbUpx с выравниванием на чёт). Для stk=1
* (абзацный стиль) UPX[0] = UpxPapx (istd(2) + grpprlPapx), UPX[1] =
* UpxChpx (grpprlChpx целиком), §2.9.267/.308/.309; для stk=3 (символьный
* стиль) единственный UPX = UpxChpx целиком (§2.9.267) — читается в
* {@link #charChain} для sprmCIstd.</p>
* UpxChpx (grpprlChpx целиком), §2.9.338/.336; для stk=2 (символьный
* стиль) единственный UPX = UpxChpx целиком (§2.9.263 StkCharGRLPUPX) —
* читается в {@link #charChain} для sprmCIstd; stk=3 (табличный) не
* читается.</p>
*
* <p>Цепочка свойств стиля — base-first: сначала grpprl предка по
* istdBase (0x0FFF — без предка), затем собственный grpprl (шаг 8
@@ -31,11 +32,11 @@ final class Styles {
/** stk абзацного стиля (§2.9.260). */
private static final int STK_PARAGRAPH = 1;
/** stk символьного стиля (§2.9.260): UPX[0] = UpxChpx целиком. */
private static final int STK_CHARACTER = 3;
/** Индекс UpxPapx в Std абзацного стиля (§2.9.308). */
/** stk символьного стиля (§2.9.260, stk=2): UPX[0] = UpxChpx целиком. */
private static final int STK_CHARACTER = 2;
/** Индекс UpxPapx в Std абзацного стиля (§2.9.338). */
private static final int UPX_PAPX = 0;
/** Индекс UpxChpx в Std абзацного стиля (§2.9.309). */
/** Индекс UpxChpx в Std абзацного стиля (§2.9.336). */
private static final int UPX_CHPX = 1;
/** istdBase без предка (§2.9.260). */
private static final int NO_BASE = 0x0FFF;
@@ -107,7 +108,7 @@ final class Styles {
return new Style(NO_BASE, stk, new byte[0], new byte[0]);
}
int cch = CfbReader.u16(table, p);
p += 2 + 2 * cch + 2; // xstzName: cch + строка + chTerm (§2.9.348)
p += 2 + 2 * cch + 2; // xstzName: cch + строка + chTerm (§2.9.354)
byte[] papx = new byte[0];
byte[] chpx = new byte[0];
for (int i = 0; i < cupx && p + 2 <= stdEnd; i++) {
@@ -118,13 +119,13 @@ final class Styles {
}
if (stk == STK_PARAGRAPH) {
if (i == UPX_PAPX && cbUpx >= 2) {
// UpxPapx: istd(2) + grpprlPapx (§2.9.345)
// UpxPapx: istd(2) + grpprlPapx (§2.9.338)
papx = slice(table, p + 2, cbUpx - 2);
} else if (i == UPX_CHPX) {
chpx = slice(table, p, cbUpx); // UpxChpx (§2.9.343)
chpx = slice(table, p, cbUpx); // UpxChpx (§2.9.336)
}
} else if (stk == STK_CHARACTER && i == UPX_PAPX && cbUpx > 0) {
// Символьный стиль: единственный UPX = UpxChpx целиком (§2.9.267)
// Символьный стиль: единственный UPX = UpxChpx целиком (§2.9.263)
chpx = slice(table, p, cbUpx);
}
p += cbUpx;
@@ -163,7 +164,7 @@ final class Styles {
/**
* Цепочка chpx символьного стиля для sprmCIstd (§2.6.1): только стили
* stk=3, иначе пусто (§2.4.6.5 — символьный стиль применяется к рану,
* stk=2, иначе пусто (§2.4.6.5 — символьный стиль применяется к рану,
* стиль другого типа игнорируется снисходительно).
*/
byte[] charChain(int istd) {
@@ -7,17 +7,17 @@ package ru.pjandro.wordpdf.internal.doc;
* SystemIdentifier(4) CLSID(16) NumPropertySets(4) FMTID0(16) Offset0(4);
* PropertySet по Offset0 (§2.20): cbPropertySet(4) NumProperties(4) + массив
* (pid, offset), где offset свойства — <b>относительно начала PropertySet</b>
* (§2.2: «relative to the starting position of the PropertySet»), т.е. читать
* (§2.19 PropertyIdentifierAndOffset: «relative to the starting position of the PropertySet»), т.е. читать
* по {@code Offset0 + offset}; свойство по offset — VT(4) + значение. Ищем PIDSI_PAGECOUNT
* (0x0000000E, VT_I4=3) — аналог {@code <Pages>} из docProps/app.xml у .docx.
* Потока/свойства нет или оно не VT_I4 → 0 (оценка нижняя, как у docx).</p>
*/
final class SummaryInfo {
/** PIDSI_PAGECOUNT (MS-OLEPS §2.4.2). */
/** PIDSI_PAGECOUNT (MS-OLEPS §3.1.15). */
private static final int PID_PAGE_COUNT = 0x0000000E;
/** VT_I4 (MS-OLEPS §2.3.2). */
/** VT_I4 (MS-OLEPS §2.2). */
private static final int VT_I4 = 0x00000003;
/** Смещения заголовка PropertySetStream (§2.21). */
@@ -16,20 +16,20 @@ import java.util.List;
* TableBordersOperand80 (§2.9.303, cb=0x18, 6 × Brc80 по 4 байта:
* dptLineWidth + brcType + ico + флаги). Порядок Brc: top, left, bottom,
* right, horizontalInside, verticalInside → w:top/w:left/w:bottom/w:right/
* w:insideH/w:insideV (CT_TblBorders, ECMA-376 §17.4.40).</p>
* w:insideH/w:insideV (CT_TblBorders, ECMA-376 §17.4.38).</p>
*
* <p>brcType → ST_Border (§17.18.2) по таблице BrcType ([MS-DOC] §2.9.39,
* <p>brcType → ST_Border (§17.18.2) по таблице BrcType ([MS-DOC] §2.9.22,
* колонка Reference); 0x00 — элемент не эмитится, нераспознанный — single.
* w:sz = dptLineWidth (1/8 пункта, ECMA-376 §17.18.15; минимум 2; при
* w:sz = dptLineWidth (1/8 пункта, ECMA-376 §17.18.23; минимум 2; при
* brcType ≥ 0x40 ширина в целых пунктах → ×8). Цвет: Brc.cv fAuto
* (байт 3 = 0xFF) не эмитится, иначе RRGGBB; Brc80.ico — по таблице Ico
* (§2.9.171); 0 = auto, &gt; 0x10 — не эмитится.</p>
* (§2.9.119); 0 = auto, &gt; 0x10 — не эмитится.</p>
*
* <p>Горизонтальное объединение ячеек переносится сеткой <b>самой строки</b>:
* у TTP-абзаца каждой строки свой {@code sprmTDefTable} (§2.9.321), и
* автомат {@code DocxBody} по нему выдаёт {@code w:gridSpan}+{@code w:tcW}
* (сетка первой строки остаётся tblGrid). Явные поля ячеек
* ({@code sprmTCellPadding}/{@code sprmTCellPaddingDefault}, CSSA §2.9.209)
* ({@code sprmTCellPadding}/{@code sprmTCellPaddingDefault}, CSSA §2.9.45)
* переносятся {@code w:tcMar}; при их отсутствии конвейер даёт дефолт
* 108/0 — он же дефолт Word (замер). {@code sprmTDxaGapHalf} не переносится
* как поле: §2.6.3 — «not used to layout cell contents», это поправка
@@ -44,9 +44,9 @@ import java.util.List;
*/
final class Tables {
/** brcType ≥ этого порога: dptLineWidth задан в целых пунктах (§2.9.38). */
/** brcType ≥ этого порога: dptLineWidth задан в целых пунктах (§2.9.22). */
private static final int BRC_TYPE_POINT_UNITS = 0x40;
/** Минимальный w:sz границы; значения Brc80 меньше эквивалентны 2 (§2.9.37). */
/** Минимальный w:sz границы; значения Brc80 меньше эквивалентны 2 (§2.9.17). */
private static final int MIN_BORDER_SZ = 2;
/** Минимум центров в TDefTable: ncols≥1 → centers[ncols+1]≥2 (§2.9.321). */
@@ -58,7 +58,7 @@ final class Tables {
private static final int MAX_CELL_MARGIN = 31680;
/**
* Поля ячеек из одного CSSAOperand (§2.9.209): стороны grfbrc (биты
* Поля ячеек из одного CSSAOperand (§2.9.46): стороны grfbrc (биты
* top|left|bottom|right = 1|2|4|8) с шириной wWidth (dxa, ≥0) для ячеек
* ряда с индексами [itcFirst, itcLim). Default-operand (0xD634) — весь
* ряд (itcLim = {@link Integer#MAX_VALUE}).
@@ -98,7 +98,7 @@ final class Tables {
}
/**
* Ico → RRGGBB ([MS-DOC] §2.9.171). Индекс = ico. 0 — auto (не эмитится).
* Ico → RRGGBB ([MS-DOC] §2.9.119). Индекс = ico. 0 — auto (не эмитится).
* В таблице спецификации строка 0x0D дублирует 0x0C (800080) — очевидная
* опечатка документа: icoRedDark в палитре Word = 800000, взято значение
* Word (иначе 0x0C и 0x0D неразличимы).
@@ -124,7 +124,7 @@ final class Tables {
};
/**
* Ico (§2.9.171) → RRGGBB; 0/auto и вне таблицы (в т.ч. 0x1F = nil у
* Ico (§2.9.119) → RRGGBB; 0/auto и вне таблицы (в т.ч. 0x1F = nil у
* Shd80) — {@code null}. Пользуется {@code DocxBody} для Shd80/
* затенений.
*/
@@ -133,7 +133,7 @@ final class Tables {
}
/**
* Имена ST_Border по brcType (§2.9.39, колонка Reference); 0 — none.
* Имена ST_Border по brcType (§2.9.22, колонка Reference); 0 — none.
* package-private хук для юнита полного покрытия таблицы.
*/
static String borderVal(int brcType) {
@@ -160,7 +160,8 @@ final class Tables {
case 0x17 -> "dashDotStroked";
case 0x18 -> "threeDEmboss";
case 0x19 -> "threeDEngrave";
case 0x1A, 0x1B -> "outset";
case 0x1A -> "outset";
case 0x1B -> "inset";
default -> "single";
};
}
@@ -234,7 +235,7 @@ final class Tables {
}
/**
* CSSAOperand (§2.9.209) полей ячеек: cb(1)=6 + itc(2, ItcFirstLim) +
* CSSAOperand (§2.9.46) полей ячеек: cb(1)=6 + itc(2, ItcFirstLim) +
* grfbrc(1, маска сторон) + ftsWidth(1) + wWidth(2 XAS_nonNeg).
* Переносится только ftsDxa (0x03) — ftsNil/percent/auto сторона не
* задают (§2.6.3: wWidth ≤ 31680); битый операнд/пустая маска — null.
@@ -287,7 +288,12 @@ final class Tables {
String[] names = {"top", "left", "bottom", "right", "insideH", "insideV"};
for (int i = 0; i < 6; i++) {
int b = off + 1 + i * 8;
// Brc (§2.9.36): cv(4: R,G,B,fAuto) + dptLineWidth(1) + brcType(1) + флаги(2)
// Brc (§2.9.16): cv(4: R,G,B,fAuto) + dptLineWidth(1) + brcType(1) + флаги(2);
// BrcMayBeNil (§2.9.20): последние 4 байта 0xFF…FF — NilBrc, границы нет
if ((buf[b + 4] & 0xFF) == 0xFF && (buf[b + 5] & 0xFF) == 0xFF
&& (buf[b + 6] & 0xFF) == 0xFF && (buf[b + 7] & 0xFF) == 0xFF) {
continue;
}
int type = buf[b + 5] & 0xFF;
if (type == 0) {
continue;
@@ -307,6 +313,11 @@ final class Tables {
String[] names = {"top", "left", "bottom", "right", "insideH", "insideV"};
for (int i = 0; i < 6; i++) {
int b = off + 1 + i * 4;
// Brc80MayBeNil (§2.9.18): все 4 байта 0xFF…FF — границы нет
if ((buf[b] & 0xFF) == 0xFF && (buf[b + 1] & 0xFF) == 0xFF
&& (buf[b + 2] & 0xFF) == 0xFF && (buf[b + 3] & 0xFF) == 0xFF) {
continue;
}
int type = buf[b + 1] & 0xFF;
if (type == 0) {
continue;
@@ -322,10 +333,10 @@ final class Tables {
int dptLineWidth, String color) {
int sz = dptLineWidth;
if (type >= BRC_TYPE_POINT_UNITS) {
sz *= 8; // ширина в целых пунктах (§2.9.38, таблица dptLineWidth)
sz *= 8; // ширина в целых пунктах (§2.9.22, таблица dptLineWidth)
}
if (sz < MIN_BORDER_SZ) {
sz = MIN_BORDER_SZ; // Brc80: значения < 2 эквивалентны 2 (§2.9.37)
sz = MIN_BORDER_SZ; // Brc80: значения < 2 эквивалентны 2 (§2.9.17)
}
xml.append("<w:").append(name).append(" w:val=\"").append(borderVal(type))
.append("\" w:sz=\"").append(sz).append('"');
@@ -1161,7 +1161,7 @@
Патч: перемещаемый текст печатается (plain-text passthrough, move-правки не
раскрашиваются: их «принятое» состояние и есть перемещённый текст);
bidi-направление — принятая деградация (complex-script в FOP-форке нет).
Руби (w:rubyBase/w:rt, §17.3.3.19/.20/.21) тут не чинится: схема docx4j
Руби (w:rubyBase/w:rt, §17.3.3.27/.24) тут не чинится: схема docx4j
не биндит эти элементы, unmarshaller выбрасывает их до XSLT — разбор
делает RubyNormalizer (правило 10) в байтах.
Регрессии — WordPdfConverterTest#movedRevision_textPrinted, #bdoDir_textPrinted. -->
@@ -0,0 +1,191 @@
package ru.pjandro.wordpdf;
import org.apache.pdfbox.Loader;
import org.apache.pdfbox.pdmodel.PDDocument;
import org.apache.pdfbox.pdmodel.PDResources;
import org.apache.pdfbox.pdmodel.font.PDFont;
import org.apache.pdfbox.cos.COSName;
import org.junit.jupiter.api.Test;
import java.io.IOException;
import java.io.ByteArrayOutputStream;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.util.HashSet;
import java.util.Set;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;
import static org.junit.jupiter.api.Assertions.assertThrows;
import static org.junit.jupiter.api.Assertions.assertTrue;
/**
* Инвариант «шрифты только бандла» после выноса JEuclid из класса путей:
* MathML-рендер FOP (jeuclid-fop) обращался к AWT-менеджеру шрифтов и
* тащил в вывод системные гарнитуры; формулы теперь рисуются собственным
* растером из jar-шрифтов (fontbox), поэтому JEuclid в classpath и
* протёкших системных имён в PDF быть не должно ни на одном хосте (в т.ч. без
* fontconfig — CI-образ). Регрессия — удаление jeuclid, 2026-11.
*/
class FontsBundledOnlyInvariantTest {
private static final String M_NS =
"http://schemas.openxmlformats.org/officeDocument/2006/math";
private static final String W_NS =
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
/**
* JEuclid обязан отсутствовать в классе путей (exclusion в pom):
* реальные FQCN обоих артефактов форка de.rototor (сверены по jar'ам
* 3.1.14) — вымышленное имя дало бы зелёный тест и без exclusion.
*/
@Test
void jeuclidAbsentFromClasspath() {
assertThrows(ClassNotFoundException.class,
() -> Class.forName("net.sourceforge.jeuclid.MathMLParserSupport"));
assertThrows(ClassNotFoundException.class,
() -> Class.forName("net.sourceforge.jeuclid.fop.JEuclidElementMapping"));
}
/**
* Исходники main не обращаются к AWT-шрифтам: ни {@code java.awt.Font},
* ни {@code GraphicsEnvironment}, ни {@code createFont(} вне комментариев
* и строк. Любое такое обращение инициализирует AWT-менеджер шрифтов
* (fontconfig на хосте) и рвёт инвариант «только бандл» — детект по
* тексту исходников работает и на хосте с шрифтами, и в CI-контейнере
* без fontconfig.
*/
@Test
void sourcesFreeOfAwtFonts() throws IOException {
Path root = Files.isDirectory(Path.of("src/main/java"))
? Path.of("src/main/java")
: Path.of("wordpdf-core/src/main/java");
assertTrue(Files.isDirectory(root), "нет каталога исходников: " + root.toAbsolutePath());
java.util.regex.Pattern createFont =
java.util.regex.Pattern.compile("\\bcreateFont\\s*\\(");
Set<String> hits = new HashSet<>();
try (var walk = Files.walk(root)) {
for (Path p : (Iterable<Path>) walk.filter(f -> f.toString().endsWith(".java"))::iterator) {
String effective = stripCommentsAndStrings(
new String(Files.readAllBytes(p), StandardCharsets.UTF_8));
if (effective.contains("java.awt.Font")
|| effective.contains("java.awt.GraphicsEnvironment")
|| createFont.matcher(effective).find()) {
hits.add(root.relativize(p).toString());
}
}
}
assertTrue(hits.isEmpty(), "AWT-шрифты в исходниках: " + hits);
}
/** Выкидывает комментарии и строковые/символьные литералы — остаётся код. */
private static String stripCommentsAndStrings(String src) {
StringBuilder out = new StringBuilder(src.length());
int i = 0;
int n = src.length();
while (i < n) {
char c = src.charAt(i);
if (c == '/' && i + 1 < n && src.charAt(i + 1) == '/') {
while (i < n && src.charAt(i) != '\n') {
i++;
}
} else if (c == '/' && i + 1 < n && src.charAt(i + 1) == '*') {
i += 2;
while (i + 1 < n && !(src.charAt(i) == '*' && src.charAt(i + 1) == '/')) {
i++;
}
i += 2;
} else if (c == '"' || c == '\'') {
char q = c;
i++;
while (i < n && src.charAt(i) != q) {
i += src.charAt(i) == '\\' ? 2 : 1;
}
i++;
out.append(' ');
} else {
out.append(c);
i++;
}
}
return out.toString();
}
/**
* Формула Word-кегля с {@code w:rFonts w:ascii="Cambria Math"}: растр
* рисуется бандлом, в PDF нет ни «Cambria Math», ни иного имени с
* Math-маркером (AWT-цепочка недоступна на без-fontconfig хостах в
* CI — тест одинаков на любом хосте).
*/
@Test
void mathEmbeddedFonts_bundledOnly() throws IOException {
String body = "<w:p><w:r><w:t>ТЕКСТ</w:t></w:r>"
+ "<m:oMath xmlns:m=\"" + M_NS + "\">"
+ "<m:r><w:rPr><w:rFonts w:ascii=\"Cambria Math\"/></w:rPr>"
+ "<m:t>∑x²</m:t></m:r></m:oMath></w:p>";
byte[] pdf = WordPdfConverter.convert(mathDocx(body), "тест",
new ConvertOptions(false, false, false, 5, 100));
Path out = Files.createTempFile("fonts-invariant-", ".pdf");
try {
Files.write(out, pdf);
Set<String> names = embeddedFontNames(out);
for (String n : names) {
assertTrue(!n.contains("Cambria") && !n.contains("Math"),
"системный math-шрифт встроился в PDF: " + n + " ⊆ " + names);
}
} finally {
Files.deleteIfExists(out);
}
}
/** Минимальный docx с формулой (идеома модуля: ZipOutputStream из литералов). */
private static byte[] mathDocx(String bodyXml) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
putZip(zos, "[Content_Types].xml",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
+ "<Override PartName=\"/word/document.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml\"/>"
+ "</Types>");
putZip(zos, "_rels/.rels",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
+ "<Relationship Id=\"rId1\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/officeDocument\" Target=\"word/document.xml\"/>"
+ "</Relationships>");
putZip(zos, "word/document.xml",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<w:document xmlns:w=\"" + W_NS + "\"><w:body>"
+ bodyXml
+ "<w:sectPr><w:pgSz w:w=\"11906\" w:h=\"16838\"/></w:sectPr>"
+ "</w:body></w:document>");
}
return out.toByteArray();
}
private static void putZip(ZipOutputStream zos, String name, String xml)
throws IOException {
zos.putNextEntry(new ZipEntry(name));
zos.write(xml.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
}
/** Имена встроенных шрифтов PDF (дублируется намеренно: утилит нет). */
private static Set<String> embeddedFontNames(Path pdf) throws IOException {
Set<String> names = new HashSet<>();
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
for (org.apache.pdfbox.pdmodel.PDPage page : doc.getPages()) {
PDResources res = page.getResources();
for (COSName name : res.getFontNames()) {
PDFont font = res.getFont(name);
if (font != null) {
names.add(font.getName());
}
}
}
}
return names;
}
}
@@ -0,0 +1,288 @@
package ru.pjandro.wordpdf;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.FileDescriptor;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.PrintStream;
import java.lang.management.ManagementFactory;
import java.lang.management.MemoryPoolMXBean;
import java.lang.management.MemoryType;
import java.net.URISyntaxException;
import java.net.URL;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.LinkedHashMap;
import java.util.Locale;
import java.util.Map;
import java.util.TreeMap;
import java.util.stream.Stream;
import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream;
/**
* Замер памяти конвейера (НЕ тест: имя не матчается surefire-includes; запускается
* {@code ./mise.sh run mem-bench} — см. {@code membench.sh} и
* {@code docs/MEM_USAGE_UPGRADE.md}).
*
* <p>Для каждой конвертации печатает строку TSV {@code label scenario name iteration
* peakBytes usedAfterBytes}: peakBytes — сумма пиков used всех heap-пулов
* ({@link MemoryPoolMXBean}, пики сбрасываются перед конвертацией), usedAfterBytes —
* used кучи сразу после конвертации без принудительного GC (тренд накопления;
* {@code System.gc()} намеренно не вызывается). Суммарные аллокации и RSS не здесь:
* JFR-{@code jdk.ObjectAllocationSample} пишет скрипт, VmHWM/VmRSS читаются из
* {@code /proc/self/status} в конце сценария.</p>
*
* <p>Артефакт замера «до/после»: сравнение делает человек по выводам прогонов
* с разными {@code MB_LABEL}; порогов внутри харнеса нет.</p>
*/
final class MemoryBench {
/**
* Вывод харнеса в stdout напрямую через {@link FileDescriptor#out}: TSV-строки
* парсит человек/скрипт из stdout; {@code System.out} не используется (PMD
* SystemPrintln для кода репозитория запрещён, а подавления запрещены политикой).
*/
private static final PrintStream OUT = new PrintStream(
new FileOutputStream(FileDescriptor.out), true, StandardCharsets.UTF_8);
/** Лимиты входа завышены: валидатор не должен отсекать big-сценарий. */
private static final ConvertOptions OPTIONS =
new ConvertOptions(false, false, false, 1024L, 1_000_000);
/** Минимально допустимое значение циклов/повторов из аргументов. */
private static final int MIN_POSITIVE = 1;
/** Повторов body в синтетическом big-docx (детерминированный размер входа). */
private static final int BODY_REPEATS = 400;
private MemoryBench() {
}
public static void main(String[] args) throws Exception {
String label = env("MB_LABEL", "run");
int loops = 10;
int bigLoops = 5;
String scenario = "all";
String dir = null;
int i = 0;
while (i < args.length) {
String a = args[i];
if ("--loops".equals(a)) {
loops = parsePositive(args, i);
i += 2;
} else if ("--big-loops".equals(a)) {
bigLoops = parsePositive(args, i);
i += 2;
} else if ("--scenario".equals(a)) {
scenario = args[i + 1];
i += 2;
} else if ("--dir".equals(a)) {
dir = args[i + 1];
i += 2;
} else {
OUT.printf(Locale.ROOT, "# unknown arg: %s%n", a);
System.exit(2);
}
}
OUT.printf(Locale.ROOT, "# java.version %s%n",
System.getProperty("java.version"));
boolean wantSuite = "suite".equals(scenario) || "all".equals(scenario);
boolean wantBig = "big".equals(scenario) || "all".equals(scenario);
if (wantSuite) {
runConversions(label, "suite", fixtures(), loops);
}
if (wantBig) {
byte[] base = readResource("samples/ru-plain.docx");
byte[] big = bigDocx(base);
OUT.printf(Locale.ROOT, "# big size %d%n", big.length);
Map<String, byte[]> docs = new TreeMap<>();
docs.put("big", big);
runConversions(label, "big", docs, bigLoops);
}
if (dir != null) {
runConversions(label, "dir", dirDocs(Paths.get(dir)), loops);
}
}
/** Прогон {@code loops} проходов по всем документам, TSV-строка на конвертацию. */
private static void runConversions(String label, String scenario,
Map<String, byte[]> docs, int loops) {
long checksum = 0;
for (int loop = 0; loop < loops; loop++) {
for (Map.Entry<String, byte[]> doc : docs.entrySet()) {
resetPeaks();
try {
byte[] pdf = WordPdfConverter.convert(doc.getValue(), "membench", OPTIONS);
checksum += pdf.length;
} catch (ConversionException e) {
// отказ конвертации не обрывает замер — строка-комментарий в вывод
OUT.printf(Locale.ROOT, "# error %s %s: %s%n",
scenario, doc.getKey(), e.getMessage());
}
OUT.printf(Locale.ROOT, "%s\t%s\t%s\t%d\t%d\t%d%n",
label, scenario, doc.getKey(), loop, sumPeakBytes(), heapUsedBytes());
}
}
OUT.printf(Locale.ROOT, "# %s checksum-total %d%n", scenario, checksum);
printProcMem();
}
/** Фикстуры из classpath {@code ru/pjandro/wordpdf/samples} (25 файлов), по имени. */
private static TreeMap<String, byte[]> fixtures() throws IOException, URISyntaxException {
URL dir = MemoryBench.class.getClassLoader().getResource("samples");
if (dir == null) {
throw new IllegalStateException("samples/ не найден в classpath");
}
TreeMap<String, byte[]> out = new TreeMap<>();
try (Stream<Path> files = Files.list(Paths.get(dir.toURI()))) {
for (Path p : (Iterable<Path>) files.filter(MemoryBench::isDoc)::iterator) {
out.put(p.getFileName().toString(), Files.readAllBytes(p));
}
}
return out;
}
/** Все {@code *.doc}/{@code *.docx} каталога PATH (реальные документы из develop/). */
private static TreeMap<String, byte[]> dirDocs(Path dir) throws IOException {
TreeMap<String, byte[]> out = new TreeMap<>();
if (!Files.isDirectory(dir)) {
OUT.printf(Locale.ROOT, "# dir %s отсутствует — пропущен%n", dir);
return out;
}
try (Stream<Path> files = Files.list(dir)) {
for (Path p : (Iterable<Path>) files.filter(MemoryBench::isDoc)::iterator) {
out.put(p.getFileName().toString(), Files.readAllBytes(p));
}
}
return out;
}
private static boolean isDoc(Path p) {
String n = p.getFileName().toString().toLowerCase(Locale.ROOT);
return n.endsWith(".doc") || n.endsWith(".docx");
}
/**
* Синтетический большой docx: body фикстуры ru-plain.docx (между {@code <w:body>}
* и финальным {@code <w:sectPr>}) повторён {@link #BODY_REPEATS} раз, zip пересобран
* DEFLATED в том же порядке записей. Детерминированно: тот же вход — тот же размер.
*/
private static byte[] bigDocx(byte[] base) throws IOException {
Map<String, byte[]> entries = unzip(base);
String xml = new String(entries.get("word/document.xml"), StandardCharsets.UTF_8);
int bodyStart = xml.indexOf("<w:body>");
int sectIdx = xml.lastIndexOf("<w:sectPr");
if (sectIdx <= bodyStart) {
// фикстура без секции (ru-plain.docx генератором) — якорь на закрытие body
sectIdx = xml.lastIndexOf("</w:body>");
}
if (bodyStart < 0 || sectIdx <= bodyStart) {
throw new IllegalStateException("в фикстуре не найден <w:body>...<w:sectPr>");
}
String inner = xml.substring(bodyStart + "<w:body>".length(), sectIdx);
String grown = xml.substring(0, bodyStart + "<w:body>".length())
+ inner.repeat(BODY_REPEATS)
+ xml.substring(sectIdx);
entries.put("word/document.xml", grown.getBytes(StandardCharsets.UTF_8));
return rezip(entries);
}
private static Map<String, byte[]> unzip(byte[] zip) throws IOException {
Map<String, byte[]> entries = new LinkedHashMap<>();
try (ZipInputStream zin = new ZipInputStream(new ByteArrayInputStream(zip))) {
ZipEntry e;
while ((e = zin.getNextEntry()) != null) {
ByteArrayOutputStream part = new ByteArrayOutputStream();
zin.transferTo(part);
entries.put(e.getName(), part.toByteArray());
}
}
return entries;
}
private static byte[] rezip(Map<String, byte[]> entries) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
for (Map.Entry<String, byte[]> e : entries.entrySet()) {
zos.putNextEntry(new ZipEntry(e.getKey()));
zos.write(e.getValue());
zos.closeEntry();
}
}
return out.toByteArray();
}
private static byte[] readResource(String name) throws IOException {
try (InputStream in = MemoryBench.class.getClassLoader().getResourceAsStream(name)) {
if (in == null) {
throw new IllegalStateException("ресурс не найден: " + name);
}
return in.readAllBytes();
}
}
private static void resetPeaks() {
for (MemoryPoolMXBean pool : ManagementFactory.getMemoryPoolMXBeans()) {
if (pool.getType() == MemoryType.HEAP) {
try {
pool.resetPeakUsage();
} catch (UnsupportedOperationException e) {
// пул без поддержки пиков (например «Tenured» в некоторых GC) — пропускаем
continue;
}
}
}
}
private static long sumPeakBytes() {
long sum = 0;
for (MemoryPoolMXBean pool : ManagementFactory.getMemoryPoolMXBeans()) {
if (pool.getType() == MemoryType.HEAP) {
try {
sum += pool.getPeakUsage().getUsed();
} catch (UnsupportedOperationException e) {
continue;
}
}
}
return sum;
}
private static long heapUsedBytes() {
return ManagementFactory.getMemoryMXBean().getHeapMemoryUsage().getUsed();
}
/** Память ОС: высокий water mark RSS процесса; на не-Linux — n/a. */
private static void printProcMem() {
try {
for (String line : Files.readAllLines(Paths.get("/proc/self/status"))) {
if (line.startsWith("VmHWM:") || line.startsWith("VmRSS:")) {
OUT.printf(Locale.ROOT, "# %s%n", line.trim());
}
}
} catch (IOException e) {
OUT.printf(Locale.ROOT, "# VmHWM n/a%n");
}
}
private static int parsePositive(String[] args, int i) {
int value = Integer.parseInt(args[i + 1]);
if (value < MIN_POSITIVE) {
OUT.printf(Locale.ROOT, "# %s должен быть >= %d%n", args[i], MIN_POSITIVE);
System.exit(2);
}
return value;
}
private static String env(String name, String def) {
String value = System.getenv(name);
return value == null || value.isEmpty() ? def : value;
}
}
@@ -491,6 +491,62 @@ class WordPdfConverterTest {
"Carlito-BoldItalic не встроен (ран с w:b+w:i должен быть): " + fonts);
}
/**
* Общая FopFactory строится из fopconf первого документа JVM, а docx4j
* декларирует в него только использованные начертания (частично или
* simulate-style) — FopFallbackFonts обязан дополнять семейства реальными
* начертаниями при каждом declare. Регрессия —
* FopFallbackFonts.declareFamily/hasRealFace (macOS-падения
* ruPlain_regularRunsUseRegularFont и strictOoxml_convertsNotRejected
* зависели от порядка документов в JVM). Здесь порядок задаётся явно:
* «ядовитый» doc (один regular-ран Carlito) замороживает фабрику с
* частичной декларацией семейства, четырёхначертательный Calibri-doc
* обязан получить все четыре Carlito-*; финальный doc без rFonts —
* кириллицу вшитым бандл-шрифтом, а не base-14 (симптом «СТРО*ИЙ» на
* macOS). Какое семейство выберет док без rFonts — решает docx4j
* (дефолт Aptos → Carlito), поэтому ассерт — «вшитый, не Helvetica»,
* а не конкретное имя. На Linux ни одна ядовитая комбинация (bold-only
* Calibri, regular-only Carlito, italic-only Calibri) этот тест не
* краснит: docx4j 17.3.2 здесь декларирует в fopconf полное семейство;
* на macOS та же последовательность была красной. Авторитетная
* регрессия полноты — FopFallbackFontsTest#declareWhenDocx4jDeclared*,
* здесь — smoke независимости вывода от порядка документов в JVM.
*/
@Test
void fopFactoryFrozenFromFirstDoc_fontsComplete() throws Exception {
resetSharedFopFactory();
String rPoison = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:i/></w:rPr>";
convertPdf(minimalDocx("<w:p><w:r>" + rPoison
+ "<w:t>ЯДОВИТЫЙКУРСИВ</w:t></w:r></w:p>"), "poison");
String rBold = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:b/></w:rPr>";
String rPlain = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/></w:rPr>";
String rItal = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:i/></w:rPr>";
String rBoldItal =
"<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:b/><w:i/></w:rPr>";
Set<String> fonts = embeddedFontNames(convertPdf(minimalDocx("<w:p>"
+ "<w:r>" + rPlain + "<w:t>ОбычныйКАЛ</w:t></w:r>"
+ "<w:r>" + rBold + "<w:t>ЖирныйКАЛ</w:t></w:r>"
+ "<w:r>" + rItal + "<w:t>КурсивКАЛ</w:t></w:r>"
+ "<w:r>" + rBoldItal + "<w:t>ЖирКурсивКАЛ</w:t></w:r></w:p>"),
"four-faces"));
for (String face : List.of("Carlito-Regular", "Carlito-Bold",
"Carlito-Italic", "Carlito-BoldItalic")) {
assertTrue(fonts.stream().anyMatch(n -> n.endsWith("+" + face)),
face + " не встроен (фабрика заморожена неполным конфигом): " + fonts);
}
Path strict = convertPdf(minimalDocx(
"<w:p><w:r><w:t>СТРОГИЙМАРКЕР таблица</w:t></w:r></w:p>"), "strict-like");
String t = norm(pdfText(strict));
assertTrue(t.contains("СТРОГИЙМАРКЕР таблица"), "артефакты в тексте: " + t);
String cyrFont = fontNameOf(strict, 'Г');
assertFalse(cyrFont.startsWith("Helvetica"),
"кириллица упала на base-14 (неполный конфиг фабрики): " + cyrFont);
assertTrue(embeddedFontNames(strict).contains(cyrFont),
"кириллица нарисована не вшитым шрифтом: " + cyrFont);
}
/**
* Regression: символы U+2000–U+2EFF (em-dash «—») docx4j
* {@code RunFontSelector} мапит на "Segoe UI Symbol", которого нет ни в
@@ -1023,7 +1079,7 @@ class WordPdfConverterTest {
/**
* w:suff="space": Word пишет после номера обычный пробел (Part 1
* §17.3.1.28), docx4j разделитель не эмитит вовсе (дамп n4.fo).
* §17.9.28), docx4j разделитель не эмитит вовсе (дамп n4.fo).
* NumberingSuffixNormalizer дописывает пробел в lvlText; FOP отдаёт
* лейбл отдельными TextPosition («1», «.», « »), поэтому проверка — по
* склеенной последовательности TP (без нормализатора было бы «1.ITEM»:
@@ -1547,7 +1603,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, 14); // ccpText
put32(wd, 80, 0); // ccpFtn
@@ -1601,7 +1658,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, 2); // ccpText
put32(wd, 80, 0); // ccpFtn
@@ -1698,7 +1756,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
@@ -1801,7 +1860,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
@@ -1853,7 +1913,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
@@ -1925,7 +1986,7 @@ class WordPdfConverterTest {
System.arraycopy(grpprl, 0, wd, at + 3, grpprl.length);
}
/** SttbfFfn (§2.9.147): одно семейство на ftc0=0. */
/** SttbfFfn (§2.9.286): одно семейство на ftc0=0. */
private static byte[] sttbfFfn(String family) {
byte[] fam = (family + "\0").getBytes(StandardCharsets.UTF_16LE);
byte[] t = new byte[4 + 1 + 39 + fam.length];
@@ -2109,7 +2170,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
@@ -2179,7 +2241,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, 2); // ccpText
put32(wd, 80, 0); // ccpFtn
@@ -2331,22 +2394,11 @@ class WordPdfConverterTest {
}
}
/** Доступен ли AWT-менеджер шрифтов (fontconfig) — та же проба, что в ядре. */
private static boolean awtFontsAvailable() {
try {
java.awt.GraphicsEnvironment.getLocalGraphicsEnvironment()
.getAvailableFontFamilyNames();
return true;
} catch (Throwable t) {
return false;
}
}
/**
* Скрытый текст не выводится: правило 9 (HiddenTextNormalizer) вырезает
* раны с прямым truthy vanish и с rStyle на vanish-стиль; falsy vanish
* остаётся. Word при печати/PDF-export скрытое не печатает.
* Регрессия — аудит ECMA-376 2026-11 (Part 1 §17.3.2.30).
* Регрессия — аудит ECMA-376 2026-11 (Part 1 §17.3.2.41).
*/
@Test
void hiddenText_notPrinted() throws IOException {
@@ -2367,17 +2419,40 @@ class WordPdfConverterTest {
assertTrue(t.contains("НЕТАЙНОЕ"), t);
}
/**
* Явный {@code w:vanish w:val="false"} перекрывает стилевой vanish
* (§17.7.3, §22.9.2.7): ран с перекрытием печатается, ран без — нет.
*/
@Test
void hiddenText_directVanishFalseOverridesStyle() throws IOException {
String body = "<w:p>"
+ "<w:r><w:rPr><w:rStyle w:val=\"Hidden\"/></w:rPr><w:t>СКРЫТОСТИЛЬМ</w:t></w:r>"
+ "<w:r><w:rPr><w:rStyle w:val=\"Hidden\"/><w:vanish w:val=\"false\"/></w:rPr>"
+ "<w:t>ПЕРЕКРЫТОМ</w:t></w:r></w:p>";
String styles = XML_PROLOG + "<w:styles xmlns:w=\"" + W_NS + "\">"
+ "<w:style w:type=\"character\" w:styleId=\"Hidden\"><w:name w:val=\"Hidden\"/>"
+ "<w:rPr><w:vanish/></w:rPr></w:style></w:styles>";
byte[] doc = docx("xmlns:w=\"" + W_NS + "\"", body, A4_SECT,
rels("<Relationship Id=\"rId2\" Type=\"" + REL_NS + "styles\" Target=\"styles.xml\"/>"),
"<Override PartName=\"/word/styles.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.styles+xml\"/>",
Map.of("word/styles.xml", styles));
String t = norm(pdfText(convertPdf(doc, "тест")));
assertFalse(t.contains("СКРЫТОСТИЛЬМ"), t);
assertTrue(t.contains("ПЕРЕКРЫТОМ"), t);
}
/**
* База руби печатается (правило 10, RubyNormalizer): схема docx4j не
* биндит {@code w:rubyBase}/{@code w:rt} — unmarshaller терял их до
* XSLT. Надстрочница удаляется (принятая деградация, §17.3.3.19/.20 —
* XSLT. Надстрочница удаляется (принятая деградация, §17.3.3.24/.27 —
* ruby-разметки в FOP нет) и пинится негативом.
*/
@Test
void rubyBase_textPrinted() throws IOException {
String body = "<w:p><w:r><w:t>ДО</w:t></w:r>"
+ "<w:r><w:rubyPr/><w:rubyBase><w:r><w:t>РУБИБАЗА</w:t></w:r></w:rubyBase>"
+ "<w:rt><w:r><w:t>РУБИБАШКА</w:t></w:r></w:rt></w:r>"
+ "<w:r><w:ruby><w:rubyPr/>"
+ "<w:rubyBase><w:r><w:t>РУБИБАЗА</w:t></w:r></w:rubyBase>"
+ "<w:rt><w:r><w:t>РУБИБАШКА</w:t></w:r></w:rt></w:ruby></w:r>"
+ "<w:r><w:t>ПОСЛЕ</w:t></w:r></w:p>";
String t = norm(pdfText(convertPdf(minimalDocx(body), "тест")));
assertTrue(t.contains("РУБИБАЗА"), t);
@@ -2386,7 +2461,7 @@ class WordPdfConverterTest {
}
/**
* {@code w:bdo}/{@code w:dir} (§17.3.2.4/.7): текст печатается
* {@code w:bdo}/{@code w:dir} (§17.3.2.3/§17.3.2.8): текст печатается
* (AUDIT-FIX-2 в вендорном XSLT, до патча ловил catch-all);
* bidi-направление — принятая деградация.
*/
@@ -2401,7 +2476,8 @@ class WordPdfConverterTest {
/**
* Текст перемещённых правок ({@code w:moveFrom}/{@code w:moveTo},
* §17.13.5.15/.17) печатается (AUDIT-FIX-2): до патча терялся целиком.
* §17.13.5.21–.22/§17.13.5.25–.26) печатается (AUDIT-FIX-2): до патча
* терялся целиком.
*/
@Test
void movedRevision_textPrinted() throws IOException {
@@ -2606,31 +2682,149 @@ class WordPdfConverterTest {
}
/**
* OMML-формула (§22.1): на хосте с fontconfig рисуется вектором
* (jeuclid-fop) — чернила страницы с дробью a/b заметно плотнее чернил
* того же текста без формулы (замер аудита: +150 px при 150 dpi; текст
* формулы из PDF не извлекается). Без fontconfig (контейнерный рантайм,
* arm64-хост без /etc/fonts) JEuclid недоступен: формула обязана
* деградировать в текст (MathFallbackNormalizer), а не валить конвертацию
* InternalError'ом — чернил становится больше, чем у маркера.
* Формула внутри текстового бокса ({@code w:txbxContent}): обход
* {@code DrawingPreRenderer} в drawing-нагрузку не спускается, формула
* доходит до FO, а там docx4j без JEuclid штатно фолбэкает
* {@code XsltFOFunctions.mathText} — конвертация обязана пройти, текст
* бокса напечатан, падения FOP (нет MathML-рендера) нет. Регрессия —
* удаление jeuclid без sweep'а, 2026-11.
*/
@Test
void ommlMath_drawnAsVectors() throws IOException {
String marker = "<w:p><w:r><w:t>МАТЕМАРКЕР</w:t></w:r></w:p>";
String math = marker + "<w:p><m:oMath"
+ " xmlns:m=\"http://schemas.openxmlformats.org/officeDocument/2006/math\">"
void drawingTextBoxMath_convertsViaDocx4jTextFallback() throws IOException {
String body = "<w:p><w:r><w:drawing><wp:inline distT=\"0\" distB=\"0\" distL=\"0\" distR=\"0\">"
+ "<wp:extent cx=\"1000000\" cy=\"600000\"/><wp:docPr id=\"1\" name=\"b1\"/>"
+ "<a:graphic xmlns:a=\"http://schemas.openxmlformats.org/drawingml/2006/main\">"
+ "<a:graphicData uri=\"http://schemas.openxmlformats.org/drawingml/2006/wordprocessingShape\">"
+ "<wps:wsp xmlns:wps=\"http://schemas.microsoft.com/office/word/2010/wordprocessingShape\">"
+ "<wps:spPr><a:xfrm><a:off x=\"0\" y=\"0\"/>"
+ "<a:ext cx=\"1000000\" cy=\"600000\"/></a:xfrm>"
+ "<a:prstGeom prst=\"rect\"><a:avLst/></a:prstGeom></wps:spPr>"
+ "<wps:txbx><w:txbxContent><w:p><w:r><w:t>БОКС</w:t></w:r>"
+ "<m:oMath xmlns:m=\"http://schemas.openxmlformats.org/officeDocument/2006/math\">"
+ "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:oMath></w:p>";
int plainPx = countPixels(minimalDocx(marker), false);
int mathPx = countPixels(minimalDocx(math), false);
if (awtFontsAvailable()) {
assertTrue(mathPx - plainPx >= 100, "math=" + mathPx + " plain=" + plainPx);
} else {
assertTrue(mathPx > plainPx,
"формула не деградировала в текст: math=" + mathPx + " plain=" + plainPx);
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:oMath></w:p>"
+ "</w:txbxContent></wps:txbx></wps:wsp></a:graphicData></a:graphic></wp:inline>"
+ "</w:drawing></w:r></w:p>";
byte[] doc = docx("xmlns:w=\"" + W_NS + "\""
+ " xmlns:wp=\"http://schemas.openxmlformats.org/drawingml/2006/wordprocessingDrawing\"",
body, A4_SECT, null, null, null);
String t = norm(pdfText(convertPdf(doc, "тест")));
assertTrue(t.contains("БОКС"), t);
assertTrue(t.contains("ab"),
"docx4j-фолбэк обязан напечатать конкатенацию m:t формулы: " + t);
}
/**
* OMML-формула (§22.1) рисуется собственным растером (MathModel →
* MathRenderer в DrawingPreRenderer) и заменяется картинкой: inline
* {@code m:oMath} — на месте в абзаце, блок {@code m:oMathPara} —
* центрированным абзацем. Чернила формул — растровые XObject, символа
* формул в текстовом слое нет; поведение не зависит от fontconfig
* (jeuclid/AWT-шрифты в конвейере не участвуют). Регрессия —
* замена jeuclid-ветки на собственный рендер, 2026-11.
*/
@Test
void ommlMath_drawnAsRaster() throws IOException {
String mathNs = " xmlns:m=\"http://schemas.openxmlformats.org"
+ "/officeDocument/2006/math\"";
String frac = "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f>";
String body = "<w:p><w:r><w:t>МАТЕМАРКЕР</w:t></w:r>"
+ "<m:oMath" + mathNs + ">" + frac + "</m:oMath></w:p>"
+ "<m:oMathPara" + mathNs + "><m:oMath>" + frac
+ "</m:oMath></m:oMathPara>";
Path pdf = convertPdf(minimalDocx(body), "тест");
assertEquals(2, distinctImageCount(pdf),
"обе формулы (inline и display) обязаны стать растрами");
String t = norm(pdfText(pdf));
assertTrue(t.contains("МАТЕМАРКЕР"), t);
assertFalse(t.contains("a b") || t.contains("ab"),
"формула протекла в текстовый слой: " + t);
}
/**
* Inline-формула стоит на базовой линии строки, как в Word: FOP
* роняет нижний край инлайн-картинки на базовую линию, поэтому
* {@code DrawingPreRenderer} опускает ран с картинкой через
* {@code w:rPr/w:position} на её нижний запас (descent+PAD). Замер —
* попиксельно (144 dpi): чернила знаменателя без спуска (цифры)
* обязаны кончаться на строке базовой линии текста (±2 px). Без
* компенсации формула висела на ~3 pt выше базы. Регрессия —
* собственный рендер OMML, 2026-11.
*/
@Test
void ommlMathInline_sitsOnTextBaseline() throws IOException {
String body = "<w:p><w:r><w:t>ZZZ</w:t></w:r>"
+ "<m:oMath xmlns:m=\"http://schemas.openxmlformats.org"
+ "/officeDocument/2006/math\">"
+ "<m:f><m:num><m:r><m:t>7</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>1</m:t></m:r></m:den></m:f></m:oMath>"
+ "<w:r><w:t>YYY</w:t></w:r></w:p>";
Path pdf = convertPdf(minimalDocx(body), "тест");
final double[] baseY = {Double.NaN};
final double[] zEnd = {0};
final double[] yStart = {99999};
PDFTextStripper stripper = new PDFTextStripper() {
@Override
protected void writeString(String s,
List<org.apache.pdfbox.text.TextPosition> positions) {
for (org.apache.pdfbox.text.TextPosition tp : positions) {
if ("Z".equals(tp.getUnicode())) {
baseY[0] = tp.getYDirAdj();
zEnd[0] = Math.max(zEnd[0], tp.getXDirAdj() + tp.getWidth());
} else if ("Y".equals(tp.getUnicode())) {
yStart[0] = Math.min(yStart[0], tp.getXDirAdj());
}
}
}
};
float scale = 2f;
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
stripper.setStartPage(1);
stripper.setEndPage(1);
stripper.getText(doc);
java.awt.image.BufferedImage raster =
new PDFRenderer(doc).renderImage(0, scale);
int x0 = (int) (zEnd[0] * scale) + 2;
int x1 = (int) (yStart[0] * scale) - 2;
int baselineRow = (int) Math.round(baseY[0] * scale);
int inkBottom = -1;
final int inkMask = 0xFFFFFF;
final int inkMax = 0x808080;
for (int y = 0; y < raster.getHeight(); y++) {
for (int x = x0; x < x1; x++) {
if ((raster.getRGB(x, y) & inkMask) < inkMax) {
inkBottom = y;
break;
}
}
}
assertTrue(inkBottom > 0, "чернил формулы между ZZZ и YYY нет");
assertTrue(Math.abs(inkBottom - baselineRow) <= 2,
"низ чернил формулы row=" + inkBottom
+ " против базовой строки row=" + baselineRow);
}
}
/**
* Неизвестная math-конструкция (вне {@code MathModel.SUPPORTED}):
* MathFallbackNormalizer (правило 6) срезает блок в конкатенацию
* {@code m:t} ещё до загрузки docx4j — текст выводится (кириллица —
* бандлом, GlyphCoverage видит уже расплющенный ран), растра нет.
*/
@Test
void ommlUnsupported_degradesToText() throws IOException {
String body = "<w:p><m:oMath"
+ " xmlns:m=\"http://schemas.openxmlformats.org/officeDocument/2006/math\">"
+ "<m:fooBar><m:r><m:t>ФОРМУЛАДЕГРАД</m:t></m:r></m:fooBar>"
+ "</m:oMath></w:p>";
Path pdf = convertPdf(minimalDocx(body), "тест");
String t = norm(pdfText(pdf));
assertTrue(t.contains("ФОРМУЛАДЕГРАД"), t);
assertEquals(0, distinctImageCount(pdf),
"unsupported-формула не обязана давать растр");
}
/**
* {@code w:highlight} и run-{@code w:shd} (§17.3.2.16/.29) рисуют фон —
* вопреки прежней записи аудита о «фоном не обладающем fo:inline»
@@ -2720,7 +2914,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, 14); // ccpText
put32(wd, 80, 0); // ccpFtn
@@ -2803,6 +2998,13 @@ class WordPdfConverterTest {
return (FopFactory) f.get(null);
}
/** Обнуление общей FopFactory: следующий документ строит её заново (шов теста). */
private static void resetSharedFopFactory() throws Exception {
java.lang.reflect.Field f = WordPdfConverter.class.getDeclaredField("sharedFopFactory");
f.setAccessible(true);
f.set(null, null);
}
/** Размер внутренней {@code map} SoftMapCache (package-private поле). */
private static int softMapSize(Object cacheHolder, String field) throws Exception {
java.lang.reflect.Field f = cacheHolder.getClass().getDeclaredField(field);
@@ -908,8 +908,8 @@ class WordPdfValidatorTest {
* ({@code internal.doc}) бросает {@code ConversionException}, вердикт
* «вход некорректен» выносит только валидатор, оборачивая отказ в
* {@link WordPdfValidator#checkPageCountDoc(byte[], int)}. Синтетика:
* CFB-подпись + нули — sectorShift = 0, {@code CfbReader} отказывает
* до всякого разбора WordDocument-потока.
* CFB-подпись + нули — ByteOrder = 0x0000 ≠ 0xFFFE ([MS-CFB] §2.2),
* {@code CfbReader} отказывает до всякого разбора WordDocument-потока.
*/
@Test
void checkPageCountDoc_brokenBridge_wrappedAsValidation() {
@@ -919,7 +919,7 @@ class WordPdfValidatorTest {
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.checkPageCountDoc(bytes, 100));
assertSame(ValidationException.class, ex.getClass());
assertTrue(ex.getMessage().contains("Неподдерживаемый размер сектора CFB"),
assertTrue(ex.getMessage().contains("Неизвестный Byte Order контейнера .doc"),
ex.getMessage());
}
@@ -0,0 +1,71 @@
package ru.pjandro.wordpdf.fonts;
import org.docx4j.fonts.PhysicalFont;
import org.junit.jupiter.api.Test;
import java.lang.reflect.Field;
import java.util.HashMap;
import java.util.Map;
import static org.junit.jupiter.api.Assertions.*;
/**
* Таблица алиасов шрифтов (BundledFontAliases): прямое и обратное
* имя, fallback. Состояние «бандл не инициализирован» моделируется
* сохранением и восстановлением статического реестра BundledFonts.
*
* Класс намеренно не наследует BestMatchingMapper: обращение к его
* статикам не должно сканировать реестр шрифтов (см. javadoc класса).
*/
class BundledFontAliasesTest {
/** Выполнить body в состоянии «шрифты бандла не зарегистрированы», затем восстановить. */
private static void withoutBundledInit(Runnable body) throws Exception {
Field initedField = BundledFonts.class.getDeclaredField("inited");
initedField.setAccessible(true);
// VARIANTS package-private (тот же пакет) — снимок/очистка напрямую,
// типизированно, без reflection-каста.
Map<String, Map<String, PhysicalFont>> savedVariants = new HashMap<>(BundledFonts.VARIANTS);
boolean savedInited = initedField.getBoolean(null);
BundledFonts.VARIANTS.clear();
initedField.setBoolean(null, false);
try {
body.run();
} finally {
BundledFonts.VARIANTS.clear();
BundledFonts.VARIANTS.putAll(savedVariants);
initedField.setBoolean(null, savedInited);
}
}
/** Алиас + зарегистрированное семейство -> бандл-семейство (имя в любом регистре). */
@Test
void bundledFamilyKnownAliasMapsToBundle() {
BundledFonts.init();
assertEquals("carlito", BundledFontAliases.bundledFamily("Calibri"));
assertEquals("tinos", BundledFontAliases.bundledFamily("Times New Roman"));
assertEquals("dejavu sans", BundledFontAliases.bundledFamily("DejaVu Sans"));
}
/** Имени нет в таблице алиасов -> финальный fallback. */
@Test
void bundledFamilyUnknownFallsBack() {
BundledFonts.init();
assertEquals("dejavu sans", BundledFontAliases.bundledFamily("Zzz Not A Font"));
}
/** Алиас есть, но бандл не зарегистрирован (init() не вызван) -> fallback. */
@Test
void bundledFamilyWithoutInitFallsBack() throws Exception {
withoutBundledInit(() ->
assertEquals("dejavu sans", BundledFontAliases.bundledFamily("Calibri")));
}
/** Имя бандл-семейства для w:rFonts: отображаемое имя или само семейство. */
@Test
void documentFontNameMapsDisplayNames() {
assertEquals("DejaVu Sans", BundledFontAliases.documentFontName("dejavu sans"));
assertEquals("carlito", BundledFontAliases.documentFontName("carlito"),
"семейство без отображаемого имени возвращается как есть");
}
}

Some files were not shown because too many files have changed in this diff Show More