Compare commits

..

18 Commits

Author SHA1 Message Date
Pjandro ae7c8b755a docs: обновить AGENTS.md по итогам обхода репозитория
PR checks / web (pull_request) Successful in 9s
PR checks / java (pull_request) Successful in 3m23s
Main: tests, deploy, autotests / java (push) Successful in 11s
PR checks / macos-sim (pull_request) Successful in 6m45s
Main: tests, deploy, autotests / web (push) Successful in 11s
Main: tests, deploy, autotests / images-web (push) Successful in 16s
Main: tests, deploy, autotests / images-app (push) Successful in 4m22s
Main: tests, deploy, autotests / deploy (push) Successful in 1m55s
Main: tests, deploy, autotests / autotests (push) Successful in 20s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- internal/doc: 18 top-level классов; CHART_MEDIA_URI_PREFIX принадлежит DrawingPreRenderer
- required-контексты защиты main — java/web (GITEA-vars.md); macos-sim — PR-only, не гейт
- счётчики тестов 63 класса / 1005 (core 957); javadoc normalizers врёт про позицию MathFallback
- .env fail-closed для prod-like стенда; app-run; jeuclid/commons-logging exclusions;
  -Djacoco.skip=true; OLE-плейсхолдер; VITE_BASE-bake в images-web; Hamcrest inline-квалификация
2026-11-21 04:53:42 +03:00
Pjandro fca253b9f5 ci: job macos-sim — тесты под эмуляцией macOS (-Dos.name) на PR
PR checks / web (pull_request) Successful in 10s
PR checks / macos-sim (pull_request) Successful in 1m12s
Main: tests, deploy, autotests / web (push) Successful in 9s
Main: tests, deploy, autotests / images-web (push) Successful in 11s
Main: tests, deploy, autotests / java (push) Successful in 46s
PR checks / java (pull_request) Successful in 5m12s
Main: tests, deploy, autotests / images-app (push) Successful in 23s
Main: tests, deploy, autotests / deploy (push) Successful in 1m58s
Main: tests, deploy, autotests / autotests (push) Successful in 1m16s
Main: tests, deploy, autotests / rollback (push) Has been skipped
Containerfile.test получает ARG SUREFIRE_OS_NAME (пусто — прежнее
поведение), pr.yml — job macos-sim: тот же mvn clean verify с
-Dos.name='Mac OS X' (docx4j PhysicalFonts читает os.name и уходит в
MicrosoftFontsRegistry). Регрессия strictOoxml ловится до мержа.
Документация: AGENTS.md, docs/agent/ci-cd.md.
2026-11-21 03:43:44 +03:00
Pjandro e308db47da fix(fonts): реальные начертания бандла в getBoldForm/getItalicForm/getBoldItalicForm
PR checks / web (pull_request) Successful in 9s
PR checks / java (pull_request) Successful in 3m57s
Main: tests, deploy, autotests / web (push) Successful in 8s
Main: tests, deploy, autotests / java (push) Successful in 1m16s
Main: tests, deploy, autotests / images-web (push) Successful in 1m22s
Main: tests, deploy, autotests / images-app (push) Successful in 20s
Main: tests, deploy, autotests / deploy (push) Successful in 2m8s
Main: tests, deploy, autotests / autotests (push) Successful in 14s
Main: tests, deploy, autotests / rollback (push) Has been skipped
На macOS PhysicalFonts.getBoldForm для имён бандл-шрифтов ('Tinos Regular',
'Carlito Regular', ...) уходит в MicrosoftFontsRegistry, где у этих записей
Mac-имя файла null, и возвращает null; docx4j строит simulate-style fopconf
(все начертания на regular-TTF), FOP теряет реальные Bold/Italic — метрики и
кернинг ломают переносы (strictOoxml: 'таблица' -> 'таблиц а').

BundledFontMapper переопределяет три variant-form метода: семейство опознаётся
по embeddedURI regular-варианта, начертание берётся реальным из бандла; вне
бандла / без init() — родительская логика без изменений.

Тест: BundledFontMapperTest#variantForms_resolveBundleSibling (красный на macOS
без override); регрессии: WordPdfConverterTest#strictOoxml_convertsNotRejected,
#ruPlain_regularRunsUseRegularFont (проверены под -Dos.name='Mac OS X').
docs/agent/pipeline.md: абзац о macOS-ветке.
2026-11-21 03:06:39 +03:00
Pjandro f3ff218686 feat(core): собственный рендер OMML→PNG и полный FOP-конфиг шрифтов
PR checks / web (pull_request) Successful in 9s
PR checks / java (pull_request) Successful in 5m26s
Main: tests, deploy, autotests / web (push) Successful in 9s
Main: tests, deploy, autotests / images-web (push) Successful in 23s
Main: tests, deploy, autotests / java (push) Successful in 1m30s
Main: tests, deploy, autotests / images-app (push) Successful in 49s
Main: tests, deploy, autotests / deploy (push) Successful in 2m13s
Main: tests, deploy, autotests / autotests (push) Successful in 17s
Main: tests, deploy, autotests / rollback (push) Has been skipped
Замена JEuclid/AWT-ветки формул на детерминированный растер только
бандл-шрифтами jar (без fontconfig); FOP-конфиг дополняется всеми
бандл-начертаниями при каждом declare — иначе общая FopFactory
замораживает fopconf первого документа и теряет глифы.

MathModel/MathRenderer: OMML (§22.1) → дерево боксов → PNG 300 dpi
(только GlyphFont/fontbox, без java.awt.Font); метрики боксов равны
габариту paint (пределы nary/sPre не обрезаются канвой). Unsupported
конструкция или переполнение бюджета — текстовая деградация (m:t).
Inline-картинка опускается раном w:rPr/w:position на базовую линию
строки (FOP ставит инлайн-графику нижним краем на базу; AUDIT-FIX
baseline-shift). Байтовое правило 6 MathFallbackNormalizer (перед
GlyphCoverage) срезает unsupported-формулы до загрузки docx4j; формула
в wps:txbx уходит в docx4j-фолбэк mathText.

JEuclid исключён из pom (de.rototor jeuclid-core/jeuclid-fop); порядок
zip-правил сдвинут (MathFallback → 6). Порядок сканов шрифтов закрыт
гейтом FontsBundledOnlyInvariantTest + BundledFontAliases (единый
алиас-реестр вместо рефлексивных мутаций реестра).

Счётчики: 63 класса / 1004 теста (core 57/956, app 6/48); JaCoCo
BRANCH core 0.8518. Доки: pipeline/render-limitations/repo-map/
testing/doc-bridge/MEM_USAGE_UPGRADE синхронизированы.
2026-11-20 23:51:40 +03:00
Pjandro 202e4ca97e fix(fonts): FopFallbackFonts дополняет семейства реальными начертаниями
- declareFamily: family-level skip удалён; каждое начертание дописывается,
  если в конфиге нет записи с реальным TTF этого начертания (hasRealFace);
- общая FopFactory замораживает fopconf первого документа JVM, а docx4j
  декларирует только использованные начертания (частично/simulate-style) —
  на macOS это роняло ruPlain_regularRunsUseRegularFont (Carlito-Bold не
  встраивался) и strictOoxml_convertsNotRejected (кириллица на base-14);
- регрессии: FopFallbackFontsTest#declareWhenDocx4jDeclaredRegularOnly_addsMissingVariants,
  #declareWhenDocx4jDeclaredSimulatedStyle_addsRealFaces, #declareTwice_noDuplicates,
  WordPdfConverterTest#fopFactoryFrozenFromFirstDoc_fontsComplete (order-smoke).
2026-11-20 22:10:11 +03:00
Pjandro fa45b7a8be docs: обновить AGENTS.md по итогам аудита репозитория
PR checks / web (pull_request) Successful in 19s
PR checks / java (pull_request) Successful in 2m59s
Main: tests, deploy, autotests / web (push) Successful in 8s
Main: tests, deploy, autotests / java (push) Successful in 39s
Main: tests, deploy, autotests / images-app (push) Successful in 31s
Main: tests, deploy, autotests / images-web (push) Successful in 1m16s
Main: tests, deploy, autotests / deploy (push) Successful in 2m1s
Main: tests, deploy, autotests / autotests (push) Successful in 1m46s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- счётчики тестов 60 классов / 962 теста (core 54/914, app 6/48) вместо устаревших 59/898;
- internal/doc: 17 top-level классов + вложенный DocxBody;
- ValidationException бросает также convert() при options == null;
- открытые префиксы ApiKeyFilter: /actuator/ со слэшем + dot-segment гейт;
- деградация chart: wp:extent вне диапазона оставляет объект + warn;
- детализация шага 4 (4.25/4.5) и finally-очистки конвейера;
- добавлены: mem-bench, file-size-threshold=2MB, ловушка WORDPDF_API_KEY из .env mise,
  прод-вход pjandro.ru/pdf-converter/, лицензии шрифтов OFL/Bitstream-Vera/Noto,
  PMD-движок 6.55.0 как default плагина, явный выключенный TS-strict.
2026-11-20 21:06:52 +03:00
Pjandro 1c8f6e1516 docs: MEM_USAGE_UPGRADE.md — аудит памяти конвейера
PR checks / web (pull_request) Successful in 48s
PR checks / java (pull_request) Successful in 1m19s
Main: tests, deploy, autotests / java (push) Successful in 3m11s
Main: tests, deploy, autotests / web (push) Successful in 1m29s
Main: tests, deploy, autotests / images-app (push) Successful in 2m21s
Main: tests, deploy, autotests / images-web (push) Successful in 2m43s
Main: tests, deploy, autotests / deploy (push) Successful in 1m52s
Main: tests, deploy, autotests / autotests (push) Successful in 58s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- Методология харнеса (peak/used/GC-лог/JFR/VmHWM) и его ограничения;
- baseline suite×20+big, профиль аллокаций: доли приложения ≤0,44%, остальное — JAXB/XSLT/FOP;
- кандидаты A–E с замерными гейтами: все отклонены (A — измерением, B/C/E — долей ниже гейта);
- матрица флагов f1–f5: рекомендация проду -Xmx768m/G1 + mem_limit 1g вместо 2G/3G.
2026-11-17 05:46:10 +03:00
Pjandro 9d4661be3f test: MemoryBench начисто проходит PMD-гейт
- SystemPrintln: вывод харнеса через PrintStream(FileDescriptor.out) вместо System.out;
- AvoidLiteralsInIfCondition: условия сценариев вынесены в булевы локальные переменные;
- membench.sh: заметка про смену GC (нужен и -XX:-UseG1GC, иначе старт падает).
Полный ./mise.sh run verify после правки зелёный: core 914 + app 48, PMD/JaCoCo без нарушений.
2026-11-17 05:46:10 +03:00
Pjandro 67f8636b0c core,test: mem-bench харнес замера памяти (MemoryBench + membench.sh + mise task) 2026-11-17 05:08:54 +03:00
Pjandro 08c68305be docs: актуализация AGENTS.md по свежей сверке с кодом
PR checks / web (pull_request) Successful in 42s
Main: tests, deploy, autotests / web (push) Successful in 45s
PR checks / java (pull_request) Successful in 1m36s
Main: tests, deploy, autotests / images-web (push) Successful in 33s
Main: tests, deploy, autotests / java (push) Successful in 2m59s
Main: tests, deploy, autotests / images-app (push) Successful in 6m29s
Main: tests, deploy, autotests / deploy (push) Successful in 2m35s
Main: tests, deploy, autotests / autotests (push) Successful in 52s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- convert — только 3-аргументная сигнатура; App.tsx в components/; 11 zip-правил + OleObjectNormalizer как 12-й байтовый
- REST: открытые префиксы ApiKeyFilter, тело {"error": …}, карта 404/405/415 в repo-map
- расхождение compose (prod-like гасит springdoc, CI-прод держит swagger открытым); VITE_BASE в образе; подсети resolver; WORDPDF_SAMPLES_DIR; ручные фикстуры не перезаписывать
2026-11-17 04:14:23 +03:00
Pjandro f7304094ec fix: int-оверфлоу requireInFile и закрытие веток гейта JaCoCo
PR checks / web (pull_request) Successful in 43s
PR checks / java (pull_request) Successful in 2m47s
Main: tests, deploy, autotests / web (push) Successful in 41s
Main: tests, deploy, autotests / java (push) Successful in 3m37s
Main: tests, deploy, autotests / images-app (push) Successful in 48s
Main: tests, deploy, autotests / images-web (push) Successful in 38s
Main: tests, deploy, autotests / deploy (push) Successful in 2m0s
Main: tests, deploy, autotests / autotests (push) Successful in 47s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- requireInFile: (long) offset + len > fileLen — offset+len того же класса оверфлоу, что sectorOffset (DIFAT-сектор близ MAX_INT обходил проверку)
- CfbReader.chain: единая капка sect >= min(fat.length, sectorTotal) (меньше незакрытых исходов веток, контракт прежний), регрессии в javadoc
- CfbReaderTest#difatSectorFarBeyondFile_rejected — ветка sectorOffset (фat>MAX_INT при DIFAT[0]=0x400000)
- PieceTableTest#negativeStartCp_rejected: aCP[0] — все 4 байта 0xFF (один байт давал 255 и попадал в ветку монотонности, а не отрицательного CP)
2026-11-16 03:17:55 +03:00
Pjandro e6a8b86583 fix: замечания ревью — crash-гарды моста и сверка цитат MS-DOC
PR checks / web (pull_request) Successful in 44s
PR checks / java (pull_request) Failing after 1m22s
- CfbReader: цепочка FAT — сектор за sectorTotal → ConversionException «за концом FAT» (раньше FAT[>127] уходил за массив: ArrayIndexOutOfBounds на битом CFB)
- FibHeader: cbRgFcLcb — u16 по §2.5.1 (читался u32 → AIOOBE на FIB длиной 154 байта); csw/cslw MUST — цитата §2.5.1 Fib
- PieceTable: aCP[0] < 0 и endCp <= startCp → ConversionException (отрицательный aCP читал бы WordDocument до начала; отрицательный span ронял new String)
- Таблица nFib→cbRgFcLcb — ссыка на [MS-OSHARED] §2.1.1 Table 2
- Цитаты секций MS-DOC по ToC ms-doc-full.md: CSSAOperand §2.9.46, SHDOperand §2.9.249 (Shd §2.9.247, Ipat §2.9.121, Shd80 §2.9.248), Ico §2.9.119, SttbfFfn §2.9.286, Brc/BrcType §2.9.16/.22, PapxFkp §2.9.174 — в Grpprl/Tables/Sections/FibHeader, тестах моста, doc-bridge.md
- Регрессы: FibHeaderTest#blobEndAtBoundary_rejectedNotCrash, PieceTableTest#negativeStartCp_rejected, CfbReaderTest пин «за концом FAT»
2026-11-16 03:06:31 +03:00
Pjandro d44eac683a fix: PMD-чистые константы MUST-полей CFB и ветки покрытия гейта JaCoCo
PR checks / web (pull_request) Successful in 37s
PR checks / java (pull_request) Successful in 2m40s
- CfbReader: MiniStreamCutoff в именованную константу (§2.2) — гейт PMD AvoidLiteralsInIfCondition;
- GrpprlTest: полная таблица Kul→ST_Underline (§2.9.127, все 18 case);
- TableIndentNormalizerTest: явный w:type=pct и tblInd без w:w — пропуск свёртки;
- ChpxIndexTest/PapxIndexTest: отрицательный fcBte, fc раньше первого диапазона,
  вырожденный rgfc (§2.4.6.1) — ветки отказных гвардов.
2026-11-16 00:54:59 +03:00
Pjandro aaad5d2bb0 fix: устранение расхождений кода со спецификациями и синхронизация доков
PR checks / web (pull_request) Successful in 42s
PR checks / java (pull_request) Failing after 2m53s
- docx-нормализаторы: tblInd без w:type = dxa (§17.4.87); явный vanish=false перекрывает стиль (§17.3.2.70);
  RubyNormalizer снимает обёртку w:ruby и удаляет rubyBaseText; DocxOnOffNormalizer не трогает w:scrollbar;
  SymbolFontNormalizer читает прямые коды w:sym
- мост .doc: borderVal 0x1B→inset; STK_CHARACTER=2 (§2.4.6.5); grpprl toggle + знаковые XAS; ChpxIndex cb=0;
  PapxIndex cpara + ключ по последнему символу; sprmCIstd reset+preserve; Sections YAS/bkc/pgnStart/gutter/nfc;
  NPE-гард Lists; BrcMayBeNil = нет границы; emission (w:id, слоты шрифтов, Kul, ISS, header-картинки);
  OfficeArt 0x46B/TIFF/DIB/второй UID + warn EMF/WMF/PICT; PrcData стоп-обработка; CfbReader бюджет +
  MUST-поля заголовка (§2.2); FibHeader csw/cslw + cbRgFcLcb; PieceTable aCP-дубли + cbMac
- мёртвый код: девять неиспользуемых STEP-констант, недостижимая ветка pgMar
- javadoc: исправлены номера секций ECMA-376/MS-DOC/MS-CFB/MS-ODRAW в нормализаторах, chart-пакете, мосту
- доки: pipeline.md, repo-map.md, doc-bridge.md, render-limitations.md, AGENTS.md синхронизированы с кодом
2026-11-16 00:43:43 +03:00
Pjandro 334e6a9006 docs: перегенерировать AGENTS.md по структуре Repository Guidelines
PR checks / web (pull_request) Successful in 1m14s
PR checks / java (pull_request) Successful in 3m1s
Main: tests, deploy, autotests / web (push) Successful in 1m10s
Main: tests, deploy, autotests / images-web (push) Successful in 41s
Main: tests, deploy, autotests / java (push) Successful in 7m19s
Main: tests, deploy, autotests / images-app (push) Failing after 48s
Main: tests, deploy, autotests / deploy (push) Has been skipped
Main: tests, deploy, autotests / autotests (push) Has been skipped
Main: tests, deploy, autotests / rollback (push) Has been skipped
- синтез четырёх scout-обходов: core src, тесты, конфигурация/сборка, скрипты/документация
- 8 разделов: Overview, Architecture & Data Flow (пайплайн 0–7, инварианты), Key Directories,
  Development Commands, Conventions, Important Files, Runtime/Tooling, Testing & QA
- сохранены критические инварианты, ловушки (test-jar/-am, @Value-дефолты, idiom загрузки фикстур) и ссылки-роутеры на docs/agent
2026-11-15 01:28:22 +03:00
Pjandro 72cc717056 PMD: откат на движок 6.55.0 (maven-pmd-plugin 3.21.2), закрытый набор из 26 правил; нарушения починены кодом
PR checks / web (pull_request) Successful in 39s
PR checks / java (pull_request) Successful in 3m4s
Main: tests, deploy, autotests / java (push) Successful in 9s
Main: tests, deploy, autotests / web (push) Successful in 43s
Main: tests, deploy, autotests / images-app (push) Successful in 1m13s
Main: tests, deploy, autotests / images-web (push) Successful in 30s
Main: tests, deploy, autotests / deploy (push) Successful in 1m35s
Main: tests, deploy, autotests / autotests (push) Successful in 45s
Main: tests, deploy, autotests / rollback (push) Has been skipped
2026-11-13 02:11:51 +03:00
Pjandro 0b2dda8caa PMD: слияние новых правил (bestpractices/design/errorprone/multithreading) + правка нарушений без подавлений
PR checks / web (pull_request) Successful in 1m9s
PR checks / java (pull_request) Successful in 1m17s
Main: tests, deploy, autotests / web (push) Successful in 34s
Main: tests, deploy, autotests / images-web (push) Successful in 38s
Main: tests, deploy, autotests / java (push) Successful in 2m36s
Main: tests, deploy, autotests / images-app (push) Successful in 42s
Main: tests, deploy, autotests / deploy (push) Successful in 2m7s
Main: tests, deploy, autotests / autotests (push) Successful in 45s
Main: tests, deploy, autotests / rollback (push) Has been skipped
2026-11-13 01:24:25 +03:00
Pjandro d8eda0a2e4 Ядро: раздельные исключения ChartsFoundException/SmartArtFoundException/OleFoundException
PR checks / web (pull_request) Successful in 42s
PR checks / java (pull_request) Successful in 2m41s
Main: tests, deploy, autotests / web (push) Successful in 41s
Main: tests, deploy, autotests / images-web (push) Failing after 23s
Main: tests, deploy, autotests / java (push) Successful in 1m22s
Main: tests, deploy, autotests / images-app (push) Failing after 2m32s
Main: tests, deploy, autotests / deploy (push) Has been skipped
Main: tests, deploy, autotests / autotests (push) Has been skipped
Main: tests, deploy, autotests / rollback (push) Has been skipped
DrawingFoundException с enum Kind удалён: каждый error-флаг бросает свой
тип-наследник ConversionException с фиксированным сообщением. App-слой
сохраняет один DrawingRejectedException (422) — маппинг по типу в
ConversionService.doConvert, тексты ответа не изменились (контракт с
фронтом). Обновлены тесты и документация.
2026-11-13 00:59:07 +03:00
109 changed files with 5780 additions and 1195 deletions
+25
View File
@@ -104,6 +104,31 @@ jobs:
f"{base}/{existing}" if existing else base, {"body": body})
PY
macos-sim:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v5
- name: Check maven mirror var
env:
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
run: |
[ -n "$MAVEN_MIRROR_URL" ] || {
echo "Задайте Actions Variable MAVEN_MIRROR_URL — см. GITEA-vars.md" >&2
exit 1
}
- name: Tests under macOS emulation (-Dos.name)
env:
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
run: |
DOCKER_BUILDKIT=0 docker build \
-f Containerfile.test \
--build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \
--build-arg "SUREFIRE_OS_NAME=Mac OS X" \
-t wordpdf-verify:macos-sim \
.
web:
runs-on: ubuntu-latest
steps:
+101 -101
View File
@@ -1,129 +1,129 @@
# Repository Guidelines
> Роутер: правила, инварианты и команды — здесь; глубокие детали — `docs/agent/*.md`, нормативные форматы — `docs/standards/` (ссылка с номером секции обязательна), пользовательская документация — `README.md`.
> Роутер: правила, инварианты и команды — здесь; глубокие детали — `docs/agent/*.md` (pipeline, doc-bridge, chart, testing, ci-cd, repo-map, render-limitations — каждый авторитетен наравне с этим файлом), нормативные форматы — `docs/standards/` (навигатор — `docs/standards/README.md`, ссылка на спецификацию — с номером секции).
## Project Overview
Конвертер `.docx`/`.doc` → `.pdf` на чистом Java: docx4j 17.3.2 → XSL-FO → форк Apache FOP, без LibreOffice/Aspose. Бинарный `.doc` (Word 97-2003) переносится мостом MS-DOC/MS-CFB (`internal/doc`) в in-memory `.docx` и идёт тем же конвейером. Java 17, только Maven.
Конвертер `.docx`/`.doc` → `.pdf` на чистом Java: docx4j 17.3.2 → XSL-FO → форк Apache FOP (`org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 — транзитив от `docx4j-export-fo`), без LibreOffice/Aspose. Бинарный `.doc` (Word 97-2003) переносится мостом MS-DOC/MS-CFB (`internal/doc`) в in-memory `.docx` и идёт тем же конвейером. Maven-мультимодуль `ru.pjandro:java-word-pdf:1.0.0`: `wordpdf-core` (библиотека), `wordpdf-app` (REST на Spring Boot 4.1.1); вне Maven-реактора — SPA `wordpdf-web` (React 19.2 + TS ~6.0 + Vite 8.3 + oxlint + Tailwind v4.3, npm; strict-режим TS намеренно не включён — сборка не strict-гейт) и pytest-автотесты `prod-autotests/`. Java 17, только Maven.
| Модуль | Содержимое |
## Architecture & Data Flow
Единственный вход стека — gateway-контейнер nginx (`:9010` prod-like `compose.yml`, `:9011` dev `compose.dev.yml`), **не** 8080. Реальный прод-стек (`docker-compose.yml` + прод `nginx.conf`) рендерит CI-job `deploy` — копий на хосте/в репо не заводить. Наружный прод-вход — `https://pjandro.ru/pdf-converter/` (образ web собирается с `VITE_BASE=/pdf-converter/` — bake в job `images-web`, не в compose).
**Пайплайн** `WordPdfConverter.convert(byte[] docxBytes, String title, ConvertOptions)` → `convertToStream` (публичная сигнатура единственная, 2-аргументной перегрузки **нет**); порядок шагов фиксирован:
0. `DependencyGuard.check()` (commons-compress ≥ 1.25.0 API-проба);
1. шрифты: `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` — строго в этом порядке, до `load()`;
2. нормализаторы (`DocxRewritePipeline.STEP` + лямбда `OleObjectNormalizer`) → `WordprocessingMLPackage.load`;
3. `setFontMapper`; 3.5 `DrawingPreRenderer.run` (chart/SmartArt/OMML-формулы → PNG; error-флаги бросаются здесь) — **обязателен до `FOSettings`**, иначе FOP молча теряет диаграммы;
4. `FOSettings` + `ChartImageHandler` + `FopFallbackFonts.declare`; 4.25 `LayoutPostRenderer.register`; 4.5 `setCustomXsltTemplates(VendoredXslt.TEMPLATES)`;
5. общая `FopFactory` (DCL на мониторе `WordPdfConverter.class`);
6. `Docx4J.toFO(…, FLAG_EXPORT_PREFER_XSL)` — последним;
7. `finally`: сброс temp-шрифтов (`FontTablePart.deleteEmbeddedFontTempFiles()`), `resetSharedImageCaches()` (иначе ~1,5 ГБ за 30 конвертаций), `restrictToBundled()` (иначе встроенные в предыдущий docx шрифты травят реестр).
`WordPdfValidator.validate` вызывается в `convert()` **до** монитора (параллельно); при `options == null` бросает `ValidationException` сам `convert()`. Вход роутируется по сигнатуре: `PK\x03\x04` → docx; `D0 CF 11 E0 A1 B1 1A E1` (CFB) → `DocToDocx.convert`. Для `.doc` страницы считаются по сырым байтам. Пороги валидатора в `WordPdfConverter` объявлены compile-time literals (javac инлайнит, static-блок конвертера не дёргается).
**Слои ядра** (`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`):
- публичный API: `WordPdfConverter`, `WordPdfValidator`, `ConvertOptions` (record `errorOnCharts/errorOnSmartArt/errorOnOle/maxMb/maxPages` — порядок полей фиксирован), `ConversionException` + `ValidationException` + `Charts/SmartArt/OleFoundException`; `warmup()` — идемпотентный прогрев (никогда не бросает), решает вызывающий;
- `internal/`: контракт нормализатора — `byte[] normalize(byte[])`, нечего менять → **тот же массив** (`assertSame`); правила 1–11 идут одним zip-проходом `DocxRewritePipeline.STEP` в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby (порядок в javadoc `WordPdfConverter.normalizers` устарел — не доверять), `OleObjectNormalizer` — 12-й, отдельным байтовым проходом (не zip); неизменённые записи копируются raw-сжатыми байтами; наружу только `DocxNormalizer`, `DocxRewritePipeline.STEP`, `OleObjectNormalizer`, `FopFallbackFonts`, `LayoutPostRenderer`, `DependencyGuard`;
- `internal/doc`: мост `.doc`→`.docx`, 18 top-level классов (17 package-private + `DocToDocx`) + вложенный `DocxBody`, наружу только `DocToDocx.convert/countPages`; любая бита/шифрованный/Word 6-95 входов → `ConversionException`; раскладки — `docs/agent/doc-bridge.md`;
- `internal/chart`: Java2D → PNG (`ChartRenderer.DPI = 300`, `MAX_PIXELS` 4096² — `fitDpi` понижает dpi; `MAX_POINTS` 100 000, бюджет chart/math-PNG на документ 128 MiB); формулы OMML — собственный растер `MathModel` (разбор §22.1 в дерево боксов, `SUPPORTED` — единый список конструкций) + `MathRenderer` (без AWT/JEuclid, только бандл через `GlyphFont`); модель **деградации**: битая chart-часть/превышение бюджета → объект удалён + warn; неподдерживаемая/битая формула → **текст** (конкатенация `m:t`) + warn; `wp:extent` вне диапазона/ноль → объект **остаётся** + warn (FOP молча потеряет); `OutOfMemoryError` — не деградация, а `ConversionException` (500);
- `fonts/GlyphFont`: метрика/глифы через fontbox напрямую, **без** `java.awt.Font` (fontconfig хосту не нужен).
**Concurrency-инвариант**: `PhysicalFonts` — глобальный мутируемый реестр → все конвертации сериализованы монитором `WordPdfConverter.class` (convert, warmup, DCL-фабрика, мутации `BundledFonts`, `BundledFonts.font()`). Приложение дополнительно держит однопоточный `ThreadPoolExecutor` (очередь 16 → 503, `wordpdf.convert-timeout=2m` → 504), головой очереди стоит `warmup()`; `WordPdfValidator.checkInput` выполняется синхронно до очереди.
**REST** (`wordpdf-app`, всё package-private кроме `WordPdfApplication`): `POST /api/v1/convert` (multipart `file` + `errorOnCharts/errorOnSmartArt/errorOnOle`, `maxMb/maxPages` переопределяют серверный дефолт в обе стороны, ≤ 0 → 400; `file.getBytes()` — только после проверки размера; имя файла из `Content-Disposition`, UTF-8 + `.pdf`). Коды: 400 валидация/битые параметры, 401 `ApiKeyFilter` (`X-API-Key` ↔ `wordpdf.api-key`, пусто = выключено, сравнение `MessageDigest.isEqual`; открытые префиксы `/actuator/` (со слэшем!), `/swagger-ui`, `/v3/api-docs`; dot-segment (`..`, `%2e`) заставляет требовать ключ даже на открытых; Advice фильтров не видит — 401 пишет сам), 413 multipart, **422** отказ по графике (`DrawingRejectedException`, фиксированные тексты CHARTS/SMART_ART/OLE — контракт с фронтом), 500 `ConversionFailedException` (текст ядра только в лог, наружу фиксированный), 503 переполнение очереди, 504 timeout; тело ошибки — `{"error": …}` (`record ApiError`). Полная карта, включая 404/405/415, — `docs/agent/repo-map.md`. На `.doc` error-флаги не срабатывают (OLE-вложения — U+0001, мост деградирует в картинки); при снятом флаге `.docx`-OLE теряет data-части, **но сохраняет плейсхолдер-картинку**.
**SPA** (`wordpdf-web/src`): вся сеть — единственная точка `api.ts` (ровно 2 `fetch`: `convertDocx`, `probeApiKey()` — 401=required / иначе open; ключ в localStorage `wordpdf.api.key`, при 401 стирается; имя файла из `Content-Disposition filename*=utf-8''`); единственный источник состояния — `useState` в `components/App.tsx` (+ `useRef` для `AbortController`/blob-URL), store-библиотек нет; лимиты на клиенте не задаются — только сервер.
### Критические инварианты (нарушение = битый вывод, не исключение)
- Static-блок `WordPdfConverter`: `docx4j.convert.out.fo.gsubFeatures=false` (иначе `WordLayoutFixups` отказывает всем фиксам → FOP падает), `docx4j.fonts.discoverPhysicalFonts.enabled=false`, `discoverJarFonts.enabled=false` — не удалять.
- Единственный XSL-FO-стилист — вендорный `wordpdf-core/src/main/resources/xslt/docx2fo.xslt` (копия из docx4j-export-fo 17.3.2 + AUDIT-FIX-патчи); обновление docx4j = ручной перенос патчей; дрейф-гейт `vendoredXsltTracksJarCopy`; команда ре-вендоринга — `docs/agent/repo-map.md`.
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF; в app исключён (logback). Fontbox логируется commons-logging — единственный мост `jcl-over-slf4j`; `commons-logging` исключён из pdfbox/fontbox в dependencyManagement.
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 (транзитив от `docx4j-export-fo`, в pom не пинится); `jeuclid-fop`/`jeuclid-core` исключены из `docx4j-export-fo` в core-pom (тянут AWT/fontconfig); расхождения с upstream-доками FOP нормальны; `lineRule=auto` не «чинить».
- Chart-media префикс `/word/media/chart-*` — константа `DrawingPreRenderer.CHART_MEDIA_URI_PREFIX` (package-private), пакетный контракт с `ChartImageHandler` (отключение пересжатия); переименование молча вернёт мыльный ресемпл.
- Стоп-лист «не чинить» (до любой попытки починить расхождение с Word — `docs/agent/render-limitations.md`): `jc="distribute"`, `suff="tab"`/`lvlJc`, кернинг, `framePr`, `REF`/`SEQ`/`TOC`-кэш, руби-надстрочница, `ptab`, U+2188/U+218A (GPL-шрифты не добавляем).
## Key Directories
|Каталог|Назначение|
|---|---|
|`wordpdf-core`|библиотека: 61 Java-файл (6 — публичный API, 16 `internal/`, 18 `internal/doc/`, 18 `internal/chart/`, 3 `fonts/`)|
| `wordpdf-app` | REST API на Spring Boot 4.1.1: 11 классов, единственный `public` — `WordPdfApplication` |
| `wordpdf-web` | SPA (React 19 + TS + Vite + Tailwind), вне Maven-реактора, отдельный образ |
|`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API + `internal/` (нормализаторы) + `internal/doc/` (мост) + `internal/chart/` (рендер) + `fonts/`|
|`wordpdf-core/src/main/resources/`|`fonts/` (30 TTF + лицензии OFL/Bitstream-Vera/Noto), `xslt/docx2fo.xslt`, `slf4j-simple.properties`|
|`wordpdf-core/src/test/resources/samples/`|фикстуры: 13 `.docx` + 12 `.doc` (закоммичены, билдятся в test-jar для app; у app своего `src/test/resources` **нет**)|
|`wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/`|REST-слой (11 классов)|
|`wordpdf-web/src/`|SPA: `api.ts` (вся сеть), `components/` (`App.tsx` — состояние, `ApiKeyGate`, `DropZone`, `PdfPreview`, `StatusMessage`, `Logo`)|
|`prod-autotests/`|pytest-проверки живого стенда (31: 4 открытые + 27 `needs_key`)|
|`docs/agent/` · `docs/standards/`|справочники поведения · закоммиченные спецификации (ECMA-376, MS-DOC/CFB/ODRAW…, навигатор — `docs/standards/README.md`)|
|`gateway/nginx.conf`|прод-like шлюз (`client_max_body_size 100m`, таймауты 300 с, `resolver` привязан literal-ом к шлюзу сети)|
|`develop/`|вне git (gitignored): эталоны Word — **не фикстуры**, в тесты/jar не подключать|
Единственный вход стека — gateway-контейнер nginx (`:9010` prod-like `compose.yml`, `:9011` dev `compose.dev.yml`), **не** 8080. Авторитетны этот файл, `docs/agent/` и код. Полный путеводитель по каталогам, ключевым файлам и командам — `docs/agent/repo-map.md`.
## Development Commands
## Пайплайн `WordPdfConverter.convert(byte[], String[, ConvertOptions])`
Порядок шагов 0–7 фиксирован (`convertToStream`), местами менять нельзя. Вход роутируется по сигнатуре: `PK\x03\x04` → docx-путь; `D0 CF 11 E0 A1 B1 1A E1` (CFB, MS-CFB §2.2) → `DocToDocx.convert` → in-memory `.docx` → тот же конвейер (предикат — `WordPdfValidator.isBinaryDoc`). Валидация — **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись zip/CFB → контейнер → страницы); для `.doc` — `checkPageCountDoc` по сырым байтам.
Порядок: шрифты (`BundledFontMapper` → `BundledFonts.init` → `restrictToBundled`) и правила 1–10 (`DocxRewritePipeline.STEP`) + `OleObjectNormalizer` — до `WordprocessingMLPackage.load`; `FOSettings`/`FopFallbackFonts`/`LayoutPostRenderer` — до `setCustomXsltTemplates(VendoredXslt.TEMPLATES)`; `Docx4J.toFO(…, FLAG_EXPORT_PREFER_XSL)` — последним; `finally` → `deleteEmbeddedFontTempFiles()` + сброс имиджевых кешей общей FopFactory + `BundledFonts.restrictToBundled()` (реестр шрифтов возвращается в бандл-состояние: `load()` регистрирует встроенные шрифты документа в глобальном `PhysicalFonts`). Полная таблица шагов и подсчёт страниц — `docs/agent/pipeline.md`.
## Нормализаторы (`internal/DocxNormalizer`)
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame`). Порядок фиксирован: Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby. Правила 1–10 применяет `DocxRewritePipeline.STEP` одним zip-проходом (неизменённые записи копируются raw-сжатыми байтами); `OleObjectNormalizer` (правило 11) — лямбдой в `WordPdfConverter.normalizers()`. `STEP` выставляют 9 из 10 rewrite-нормализаторов (нет у `RubyNormalizer`), у `OleObjectNormalizer` её нет. Правила 1–11, guard'ы, номера секций и инвариант `mc-preprocessor.xslt` (собственный рерайт strict-URI ломать нельзя) — `docs/agent/pipeline.md`.
## Мост `.doc` → `.docx` (`internal/doc`)
18 классов, 17 package-private; наружу — только `DocToDocx` (`convert`/`countPages`). Общий разбор — `DocFile`: CFB → потоки WordDocument / 0Table|1Table / Data + FIB + piece table. Новых runtime-зависимостей нет (POI/POIFS — test-scope). Источники: [MS-DOC] (`docs/standards/doc/`), [MS-CFB]/[MS-OLEPS]/[MS-ODRAW] (`docs/standards/binary/`). Байтовые раскладки по классам — `docs/agent/doc-bridge.md`.
## REST API (`wordpdf-app`, всё package-private кроме `WordPdfApplication`)
`POST /api/v1/convert`: multipart-поле `file` (`.docx`/`.doc`) + query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолт каждого — `false`), `maxMb`/`maxPages` (лимиты входа: переопределяют серверный дефолт в обе стороны; ≤ 0 → 400). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`; имя — `ConversionService.safeBaseName`. Тело ошибки — `{"error": …}`. Error-флаги на `.doc` **не срабатывают** (BLIP-плейсхолдеры → картинки). `ApiExceptionHandler` не видит ошибок фильтров — 401 пишет сам `ApiKeyFilter`.
- **Коды**: 400 — `ValidationException`/`BadRequestException`/битые параметры; 401 — `ApiKeyFilter`; 404/405/415 — путь/метод/content-type; 413 — multipart; **422** — `DrawingRejectedException` (core-`DrawingFoundException`, `Kind {CHARTS, SMARTART, OLE}`); 500/503/504 — `ConversionFailedException`/`ConversionRejectedException`/`ConversionTimeoutException`. 500 отвечает фиксированный текст («Внутренняя ошибка конвертации») — сообщение ядра логируется, наружу не попадает. Полная карта — `docs/agent/repo-map.md`.
- **Текст 422** — контракт с фронтом: «Конвертация отменена: в документе найдены диаграммы/найден SmartArt/найдены OLE-объекты».
- **Ключ**: `X-API-Key` ↔ `wordpdf.api-key` (пустое = выключено); без ключа открыты только `OPEN_PREFIXES` (`/actuator/`, `/swagger-ui`, `/v3/api-docs`), пути с точечными сегментами — никогда.
- **Очередь и лимиты**: конвертации сериализованы однопоточным `ThreadPoolExecutor` (`QUEUE_CAPACITY = 16`, переполнение → 503): ядро дополнительно сериализует конвертации монитором `WordPdfConverter.class` (`convert()` безопасен из нескольких потоков); головой очереди на старте стоит `warmup()`. До очереди — только дешёвый гейт размера (`WordPdfValidator.checkInput` на потоке Tomcat); полный `validate` (контейнер/страницы — бюджеты распаковки и прочие пороги выводятся из лимитов входа `maxMb`/`maxPages` методом `WordPdfValidator.max*`, крышек нет) выполняется внутри воркера ядром, `ValidationException` из `ExecutionException` пробрасывается как 400. Лимиты входа: `wordpdf.max-mb`/`max-pages` — дефолт эндпоинта (литералы 5/100 в `@Value`; значение свойства ≤ 0 → `IllegalStateException` на старте); параметры запроса `maxMb`/`maxPages` переопределяют дефолт в обе стороны (≤ 0 → 400), верхнего потолка нет.
- **SPA**: вся сеть в `wordpdf-web/src/api.ts`; ключ в `localStorage` (`wordpdf.api.key`); `ApiKeyGate` — только если `probeApiKey()` подтвердил требование ключа (признак открытого сервера — **405**); base — `VITE_BASE`; DropZone `.docx,.doc`.
## Chart/SmartArt-движок (`internal/chart`, 18 классов)
Нормативный источник — ECMA-376 (`docs/standards/ooxml/`: графики §21.2, diagram-разметка §21.4, пресет-геометрия Annex D, XSD); поведение Word — `ms-oi29500.md`, `ms-odrawxml.md`. Калибровки (камера, `PIE_DEPTH`) меняются только с пиксельными тестами; невалидная фикстура правится, не код.
Java2D → PNG: `ChartRenderer.DPI = 300`, потолок `MAX_PIXELS = 16_777_216` (`fitDpi`); лимиты `ChartSpec.MAX_POINTS = 100_000`, `ChartRenderer.MAX_TICKS = 1000`, `DrawingPreRenderer.MAX_EXTENT_EMU = 22_000_000`, суммарный бюджет chart-PNG на документ `MAX_CHART_PNG_BYTES_TOTAL = 128 MiB` (превышение — объект удалён + warn; тестовый шов `run(pkg, options, maxPngBytesTotal)`) — деградация «объект как есть / удалён + warn», не OOM; сам `OutOfMemoryError` при рендере — не деградация, а `ConversionException` (500: состояние кучи после OOM ненадёжно). Chart-PNG вставляются media-частями вручную (`addChartMedia`, `/word/media/chart-*`, без `createImagePart`); `ChartImageHandler` отключает «Compress Pictures» (CR-029) только для них. Пейнтеры, `autoTitleDeleted`, Combo, обходы JAXB — `docs/agent/chart.md`.
## Критические инварианты (нарушение = битый вывод, не исключение)
- `docx4j.convert.out.fo.gsubFeatures=false` — static-блок `WordPdfConverter`; иначе FO невалиден → `WordLayoutFixups` молча отказывает всем фиксам → FOP падает на `docx4j-baseline`.
- `docx4j.fonts.discoverPhysicalFonts.enabled=false` и `discoverJarFonts.enabled=false` — static-блок: иначе `BestMatchingMapper` сканирует системные шрифты и jar'ы classpath'а, а `restrictToBundled()` всё найденное выбрасывает (~100–140 мс впустую на JVM). `discoverJarFonts("fonts-symbol")` свойством не гейтится — символ-шрифт регистрируется и снимается restrict'ом как раньше.
- Единственный XSL-FO-стилист — вендорный `xslt/docx2fo.xslt` (копия из docx4j-export-fo 17.3.2 + два AUDIT-FIX-патча: `w:rPr/w:position` → `baseline-shift`, Part 1 §17.3.2.24; AUDIT-FIX-2 — `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir`, иначе их ловит catch-all `match="*"` и текст теряется). Дрейф-гейт `vendoredXsltTracksJarCopy`: вне AUDIT-FIX-регионов копия побайтно равна стилю из jar'а. `setCustomXsltTemplates` принимает предкомпилированный `Templates`.
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`); приложение исключает его — логи ведёт logback.
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 (транзитив от `docx4j-export-fo`, в pom не пинится; пакеты `org.apache.fop.*`). `FopFallbackFonts` берёт `w:renderer` с mime `application/pdf`, иначе первый со шрифтами.
- `BundledFonts.init()` идемпотентен, распаковывает TTF в `wordpdf-fonts-*` (`deleteOnExit`); `dropNonBundled()` чистит `PhysicalFonts` от всего, что вне бандла; ВСЕ синхронизированные методы `BundledFonts` (`init`/`restrictToBundled`/`font`) держат монитор `WordPdfConverter.class` (не собственный замок класса) — тот же, что сериализует конвертации, поэтому внешний вызов рядом с идущей конвертацией безопасен автоматически. Регрессия — `WordPdfConverterTest#concurrentFontMutators_conversionsUnharmed`.
- `PhysicalFonts` — глобальный и мутируемый → конвертации сериализуются монитором `WordPdfConverter.class` внутри ядра (общая `FopFactory` и сброс её image-кешей — под тем же монитором); приложение держит однопоточный воркер ради 503/timeout; `warmup()` идёт тем же потоком.
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; правила StAX-подсчёта — `docs/agent/pipeline.md`.
- Не чинить: `jc="distribute"`, `suff="tab"`/`lvlJc`, метрика «single», кернинг, `framePr`, `REF`/`SEQ`/`TOC`-кэш, руби-надстрочница, U+2188/U+218A — доказательства в `docs/agent/render-limitations.md`.
- Комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.2 (описанное поведение верно).
## Шрифты (30 TTF + 3 лицензии, SIL OFL, `wordpdf-core/src/main/resources/fonts/`)
9 семейств: 7 × 4 начертания (Carlito/Caladea/Arimo/Tinos/Cousine/DejaVu Sans/DejaVu Serif) + Noto Naskh Arabic / Noto Sans Armenian (только regular). `BundledFontMapper.ALIASES`: Calibri→Carlito, Calibri Light→Carlito, Cambria→Caladea, Arial→Arimo, Times New Roman→Tinos, Courier New→Cousine; **self-map** всех бандл-семейств, включая Noto; fallback — DejaVu Sans; виртуальный `SYMBOL_FONT` «Segoe UI Symbol» (U+2000–U+2EFF) → fallback до основного цикла. Новый шрифт = файл + запись в `BundledFonts.ENTRIES` (синхрон проверяет `BundledFontsTest`). `GlyphFont` читает TTF напрямую с classpath через fontbox, **без** `java.awt.Font` (нужен fontconfig на хосте). Публичный API и детали — `docs/agent/repo-map.md`.
## Команды
Бутстрап: `sh bootstrap.sh` (Windows: `powershell -ExecutionPolicy Bypass -File .\bootstrap.ps1`) — project-local mise в `./.mise/`, дальше — `./mise.sh` / `.\mise.ps1`.
Бутстрап: `sh bootstrap.sh` (Windows: `powershell -ExecutionPolicy Bypass -File .\bootstrap.ps1`) — project-local mise 2026.10.19 в `./.mise/` + `mise install` + `npm ci` web; дальше всё через `./mise.sh` / `.\mise.ps1` (тонкие exec-обёртки; инструменты — в `~/.local/share/mise`).
```bash
./mise.sh run verify # = mvn clean verify: тесты + PMD + JaCoCo (гейт перед push)
mvn clean verify # то же; mvnw НЕТ — только системный Maven
./mise.sh run verify-nofontconfig # тот же полный verify в контейнере без fontconfig (именно так живёт CI)
mvn -pl wordpdf-core test -Dtest=WordPdfConverterTest#pageNumbers_recomputedNotCached # один тест
mvn -pl wordpdf-app -am test -Dtest=ConvertControllerTest#convertSample_returnsPdf # -am: core test-jar
mvn -pl wordpdf-app -am package # исполняемый jar бэкенда
java -jar wordpdf-app/target/wordpdf-app-1.0.0.jar # :8080, ключ выключен
./mise.sh run verify-nofontconfig # тот же verify в контейнерах без fontconfig (как CI)
mvn test -Djacoco.skip=true # работает: пустой <argLine> по умолчанию в корневом pom
mvn -pl wordpdf-core test -Dtest=WordPdfConverterTest#pageNumbers_recomputedNotCached
mvn -pl wordpdf-app -am test -Dtest=ConvertControllerTest#convertSample_returnsPdf # -am обязателен: core test-jar
./mise.sh run app-package && ./mise.sh run app-run # jar :8080, ключ выключен
curl -F "file=@doc.docx" http://localhost:8080/api/v1/convert -o doc.pdf
./mise.sh run web-install|web-build|web-lint|web-dev # npm ci | tsc -b && vite build | oxlint | vite :5173
./mise.sh run mem-bench # membench.sh + core MemoryBench (MB_LABEL, --scenario suite|big|all, --dir develop/)
podman-compose -f compose.dev.yml up -d --build --force-recreate # dev-стенд :9011, без ключа
./mise.sh run prod-tests # прод-автотесты в prod-autotests/
podman-compose up -d --build # prod-like стенд :9010 — fail-closed: нужен .env с WORDPDF_API_KEY (шаблон .env.example)
./mise.sh run prod-tests # pytest; обязателен WORDPDF_BASE_URL
python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources/samples/*.docx # XSD (lxml)
```
Задачи mise (9): `verify`, `verify-nofontconfig`, `app-package`, `app-run`, `web-install`, `web-build`, `web-lint`, `web-dev`, `prod-tests`.
**«Запусти тестовый сервер» (термин пользователя)** = полный dev-стенд, НЕ `java -jar`: `podman-compose -f compose.dev.yml up -d --build --force-recreate`, вход `http://<LAN-IP хоста>:9011` без API-ключа; гейт — контейнеры healthy + корень SPA отвечает 200. `--force-recreate` обязателен: без него контейнеры остаются на старом образе.
Пересоздание фикстур и перевендоривание стилиста — `docs/agent/repo-map.md`. Деплой: **прод** — на пользовательском LAN-сервере; **перед деплоем/перезапуском прочитать `/home/pjandro/prod/java-word-pdf/DEPLOY.md`**; пуск — push в `main` или Run workflow, ручных скриптов нет (детали — `docs/agent/ci-cd.md`).
- «Запусти тестовый сервер» (термин пользователя) = dev-стенд выше, **не** `java -jar`; вход — `http://<LAN-IP>:9011` (`hostname -I`); гейт готовности — контейнеры healthy (`podman-compose -f compose.dev.yml ps`) + корень SPA 200; `--force-recreate` обязателен.
- `mvn test` PMD и проверки JaCoCo **не** запускает (оба на `verify`; сам агент JaCoCo подключается и на `test` — execution `prepare-agent` на `initialize`); `mvn -pl wordpdf-app` без `-am` падает (зависимость от core test-jar).
- Деплой — push в `main` → Gitea Actions (детали — `docs/agent/ci-cd.md`); **перед деплоем/перезапуском прочитать `/home/pjandro/prod/java-word-pdf/DEPLOY.md`** (вне репо); ручных скриптов нет.
## Code Conventions & Common Patterns
- Классы `final`, приватный конструктор, только `static` (stateless, DI нет; конфигурация — `Docx4jProperties` + classpath-ресурсы). Исключения — экземпляры по природе: `BundledFontMapper`, `DrawMlColor`, Spring-компоненты `wordpdf-app`.
- В `internal/**` классы package-private, `public` — только вызываемые извне пакета: в `internal` — `DocxNormalizer`, `DocxRewritePipeline` (наружу только `STEP`), `OleObjectNormalizer` (только `normalize(byte[], boolean)`), `FopFallbackFonts` (`declare`), `LayoutPostRenderer` (`register`/`render`), `DependencyGuard` (`check`); в `internal/chart` — `DrawingPreRenderer` (`run`) и `ChartImageHandler`. Публичные члены наружу ничем шире этого не расширять; `rewrite`-хуки — package-private. В `wordpdf-app` всё package-private кроме `WordPdfApplication`; в `internal/doc` публичен только `DocToDocx`.
- Нормализаторы — единый контракт `internal/DocxNormalizer` + константа `STEP`; порядок цепочки — см. «Нормализаторы», правятся только `word/*.xml`.
- Ошибки публичного API — только `ConversionException extends RuntimeException` (unchecked); внутренние исключения оборачиваются на границе. В chart — деградация вместо падения. `ValidationException` — собственность `WordPdfValidator`; не оборачивать в общий `ConversionException`.
- DI в `wordpdf-app` — конструкторная инъекция Spring; состояние сервисов `private final`. SPA: единственный источник состояния — `useState` в `App.tsx`, вся сеть — в `api.ts`.
- Javadoc на русском, объясняет «почему» и ссылается на регрессию и фикстуру (формат: `Регрессия — WordPdfConverterTest#имя, фикстура samples/….docx`).
- Константы UPPER_SNAKE с эталонными значениями (`PIE_DEPTH`, `DECOMPRESS_MB_PER_MAX_MB`); начертания `V_REGULAR/V_BOLD/V_ITALIC/V_BOLD_ITALIC`; модели — `record`; размеры в chart — в пунктах, растр × `DPI/72`.
- Логирование: `java.util.logging.Logger` в корневом пакете и `internal/`, SLF4J — в `internal/chart` и `wordpdf-app`.
- Тестовые методы: регрессионные — `объект_условие` через underscore (`ruPlain_cyrillicAndStyles`), юниты — camelCase (`pageFieldBecomesFldSimple`); оба стиля разрешает PMD-паттерн `junit5TestPattern` (`^[a-z][a-zA-Z0-9]*(_[a-zA-Z0-9]+)*$`).
- PMD (`pmd-ruleset.xml`, execution `pmd-check` на `verify` в обоих модулях, `includeTests=true`, валится нарушение любой приоритетности): полные исключения категории, кастомное XPath-правило `LiteralFirstInEquals` и настройки — в самом ruleset.
- Классы `final`, приватный конструктор, только `static` (stateless, DI в ядре нет). Исключения-экземпляры: `BundledFontMapper`, Spring-компоненты app. В `internal/**` классы package-private; `public` — только вызываемые извне пакета, контракт не расширять.
- Ошибки публичного API — только `ConversionException extends RuntimeException`; `ValidationException` не оборачивать; в chart — деградация вместо падения; текст 500 наружу фиксированный (сообщения ядра логируются, не отдаются).
- Javadoc на русском: «зачем» со ссылкой на секцию спецификации (§17.3.2.24, [MS-DOC] §2.6.1…) + что сломается без шага + регрессия в формате `Регрессия — WordPdfConverterTest#имя, фикстура samples/….docx` (по этой строке грепом восстанавливаются пары «нормализатор-тест ↔ тест-в-конвейере»).
- Логирование по пакетам: `java.util.logging` — корневой пакет и `internal/` (`WordPdfConverter`, `OleObjectNormalizer`, `DocToDocx`); SLF4J — `internal/chart` (`ChartRenderer`, `DrawingPreRenderer`) и `wordpdf-app`; остальное молчит.
- Модели — `record` (`ConvertOptions`, `BundledFonts.Entry`, `MathRenderer.MathImage`, `ApiError`); константы UPPER_SNAKE с javadoc-обоснованием числа; holder-идиомы для ленивой инициализации (`VendoredXslt.TEMPLATES`); DCL+caches (`sharedFopFactory`, `GlyphFont.CACHE`); compile-time literals там, где важен инлайн (`WordPdfConverter` ↔ `WordPdfValidator`).
- Шрифты: новый шрифт = файл в `resources/fonts/` + запись в `BundledFonts.ENTRIES` (синхрон проверяет `BundledFontsTest`); алиасы — `BundledFontAliases.ALIASES` (Calibri→Carlito, Cambria→Caladea, Arial→Arimo, Times New Roman→Tinos, Courier New→Cousine, …; вынесено из `BundledFontMapper`, чтобы обращение к статикам не инициировало ungated-скан `BestMatchingMapper.<clinit>`), fallback — DejaVu Sans.
- PMD (`pmd-ruleset.xml`, execution `pmd-check` на `verify`, `includeTests=true`, валит любой приоритет): правила не перенастраивать, подавления (`@SuppressWarnings("PMD…")`, `// NOPMD`) запрещены — нарушения чинятся кодом.
- Git: origin `git.pjandro.ru:pjandro/java-word-pdf`; защищённые `main`/`master`/`dev`; все правки — через PR в дефолтную ветку; push — только после `./mise.sh run verify`. Прод-координаты и креды в репо не попадают (Gitea Variables/Secrets — `GITEA-vars.md`; прод-ключ — только Gitea Secret; локальный `.env` gitignored, только для prod-like стенда).
## Runtime & Tooling
## Important Files
- Java 17 + Maven (обязательны; wrapper `mvnw` НЕТ); UTF-8; только Maven — никаких Gradle/Ant. Инструменты (Java/Maven/Node/Python) ставит project-local mise (бинарь в `.mise/`, вне системы), версии пинятся в корневом `mise.toml`; ежедневный запуск — `./mise.sh`.
- Версии зависимостей — только в корневом `pom.xml` (properties + dependencyManagement), новые — latest stable; закреплённый список — `docs/agent/repo-map.md`. Maven-зависимости — через Nexus `maven-central`: локально `~/.m2/settings.xml` (файл вне репо), CI/Containerfile — `.ci/maven-settings.xml` + `MAVEN_MIRROR_URL`.
- Фронт: Node из engines vite/oxlint, `npm ci` с закоммиченным `package-lock.json`, TS `strict` нигде не включён. Контейнеры (podman/buildah): `FROM` только FQDN, хостовые прокси-переменные обнулять на самой команде (`RUN`/`HEALTHCHECK`), `DOCKER_BUILDKIT=0` обязателен, fontconfig рантайму не нужен (глифы — fontbox).
- Локальная проверка одна: `mvn clean verify` (тесты + PMD + JaCoCo). Форматтеров и checkstyle для Java нет; статический линтер — PMD. Исполняемый jar проверять только `java -jar`; нюанс `BundledFontsTest` (`file:`-протокол classpath) — `docs/agent/repo-map.md`.
- Git: origin `git.pjandro.ru:pjandro/java-word-pdf`; защищённые ветки — `main`, `master`, `dev`. Все правки — через PR в дефолтную ветку; push — завершающим шагом задачи, только после `./mise.sh run verify`.
- Прод-координаты и креды в коммитимые файлы **не попадают** (ни IP, ни хостов, ни пользователей, ни ключей): стенд — Gitea Actions Variables, креды — Secrets; workflow-файлы ссылаются только на `${{ vars.* }}`/`${{ secrets.* }}` (список — `GITEA-vars.md`). Локальный `.env` (gitignored) — только для `compose.yml`.
|Файл|Что держать в голове|
|---|---|
|`pom.xml` (корень)|единственное место версий (properties + dependencyManagement): docx4j 17.3.2, commons-compress 1.28.0, slf4j 2.0.20, Boot 4.1.1 BOM, springdoc 3.1.1, JUnit 6.1.3, PDFBox/fontbox 3.0.8, POI 5.5.1 (test), JaCoCo 0.8.15, PMD-плагин 3.21.2; там же плагины: compiler 3.16.0, surefire 3.6.0 (`-Djava.awt.headless=true`), jar 3.5.1; пустой `<argLine/>` — ради `-Djacoco.skip=true`|
|`wordpdf-core/src/main/java/.../WordPdfConverter.java`|весь конвейер, static-блок sysprops, пороги-константы, монитор сериализации|
|`wordpdf-app/src/main/resources/application.properties`|multipart 100MB/100MB (зеркалит nginx `client_max_body_size`) + `file-size-threshold=2MB` (сброс больших частей на диск — защита от OOM), `convert-timeout=2m`, `api-key=` (пусто = auth off), `forward-headers-strategy=framework`; `wordpdf.max-mb`/`max-pages` здесь **не объявлять намеренно** — пустое значение затенит `@Value`-дефолты 5/100 (≤ 0 на старте → `IllegalStateException`)|
|`wordpdf-core/pom.xml` / `wordpdf-app/pom.xml`|execution `test-jar`; BRANCH-гейт 0.85 (только core); exclusions: jeuclid (core), `slf4j-simple` (app); Boot-4 имена: `spring-boot-starter-webmvc` (не `-web`), отдельный `spring-boot-webmvc-test`; `repackage` привязан явно|
|`Containerfile` / `Containerfile.test` / `compose*.yml` / `gateway/nginx.conf`|прод-образ (heap 2G, mem_limit 3G, wget-healthcheck, FQDN FROM, non-root 10001, обнуление прокси на команде) / CI-гейт без fontconfig (Debian-база — alpine amd64-only; `SUREFIRE_OS_NAME` для macos-sim) / стенды :9010–:9011 / шлюз. Нюанс: repo `compose.yml` (prod-like) гасит springdoc env-ами и требует `.env`-ключ, а реальный прод из CI-рендера держит swagger открытым (`test_swagger_ui_open_without_key`) — не путать|
|`.gitea/workflows/pr.yml`, `main.yml`, `.ci/maven-settings.xml`|CI: jobs `java`/`web` в обоих — идентичные шаги, в `pr.yml` дополнительно `macos-sim` (те же тесты с `--build-arg SUREFIRE_OS_NAME="Mac OS X"`, только на PR, не required-гейт); `main.yml`: `images-* → deploy → autotests (+ rollback при failure)`; Maven в CI живёт в контейнере `maven:3.9-eclipse-temurin-17`; зеркало `${env.MAVEN_MIRROR_URL}`, `mirrorOf="*"`|
|`wordpdf-web/src/api.ts`, `vite.config.ts`|вся сеть SPA; `base` — только через env `VITE_BASE` (в прод-образ запекается `--build-arg VITE_BASE=/pdf-converter/` в job `images-web`)|
|`mise.toml`, `GITEA-vars.md`|пины инструментов и все таски / полный список Secrets+Variables CI и настройка branch protection|
## CI/CD (Gitea Actions)
## Runtime/Tooling Preferences
`pr.yml` (`PR checks`): job `java` (единственный полный `mvn clean verify` внутри образа `Containerfile.test` — без fontconfig, зеркало Nexus через build-arg) + извлечение `jacoco.xml` из образа (`docker create`/`docker cp`) + coverage-сводка и комментарий в PR, job `web` (`npm ci` → build → lint). `main.yml`: `java`/`web` → `images-app`/`images-web` (build+push в Nexus, теги `prod` + `sha-<7>`) → `deploy` (SSH, рендер прод-конфигов, гейты healthy) → `autotests` → `rollback` при провале. Нарратив — `docs/agent/ci-cd.md`.
Защита ветки `main`: required-контексты — **`PR checks / java (pull_request)`**, **`PR checks / web (pull_request)`** (deploy/autotests в список не включать — на PR не бегут). Смена лимитов стенда = правка Variables, PR не нужен.
- Java 17 temurin + Maven 3.9.16 + Node 24 + Python 3.15 — пинины в `mise.toml`, всё через project-local mise (`./.mise/bin/mise`, вне системы); `mvnw` **нет** (`.mvn/` — пустой) — только Maven из mise. UTF-8.
- Только Maven (никаких Gradle/Ant). Версии зависимостей/плагинов — только в корневом `pom.xml`; FOP-форк отдельно не пинить; `commons-compress` не завышать (привязан к docx4j 17.3.2); `<repositories>` в pom не добавлять (зеркало — через settings).
- Веб: только npm (`package-lock.json` закоммичен; никаких pnpm/yarn); линтер — oxlint (не eslint).
- Контейнеры: podman/buildah; `FROM` только FQDN; хостовые прокси-переменные обнулять на самой команде в `RUN`/`HEALTHCHECK`; `DOCKER_BUILDKIT=0` (CI); healthcheck через wget, не curl; fontconfig рантайму не нужен (глифы — fontbox); alpine-теги maven/temurin amd64-only — тестовый образ на Debian-базе.
- Сеть: наружу публикуется только gateway (9010/9011); 8080/80 наружу не выставлять; подсети compose зафиксированы (nginx `resolver` привязан literal-ом к шлюзу сети — 10.113.0.1 стенды / 10.112.0.1 прод).
- Прод-стек (`docker-compose.yml`, `nginx.conf`) рендерится job'ом `deploy` из Variables — копий на хосте/в репо не заводить; required-контексты защиты `main` (по `GITEA-vars.md`) — буквально `PR checks / java (pull_request)`, `PR checks / web (pull_request)`; `macos-sim`, deploy/autotests — не required.
## Testing & QA
- Гейты: PMD `maven-pmd-plugin` 3.28.0 (`includeTests=true`) и JaCoCo `0.8.15` (`jacoco:check` на `verify`) — LINE `0.90` (оба модуля), BRANCH `0.85` (только core); отчёт `report` раньше `check` (`target/site/jacoco/`). Механика — `docs/agent/repo-map.md`. Плотность покрытия держат тесты, а не заглушки.
- Стек: JUnit 6 (`org.junit.jupiter`), только `Assertions` — Mockito/AssertJ не использовать; в app-тестах допустим inline-Hamcrest `containsString` в `andExpect`; тестовые классы package-private, зеркалят main-пакеты. Счётчики — `docs/agent/testing.md`.
- **PDF сравнивается текстом, не растеризацией**: PDFBox 3, `PDFTextStripper`; негативные маркеры — `.notdef` (`#`) и `Helvetica`; текст нормализуется по пробелам (`norm`). Пиксельные проверки — только в юнитах chart-пейнтеров (допуски `assertRatio` < 0.06 / < 0.10). Детали — `docs/agent/repo-map.md`.
- Регрессивная конвенция: фикс = нормализатор/рендерер + юнит + конвертер-тест; в javadoc фикса — ссылка «Регрессия — Test#имя, фикстура samples/…». Пары `XxxNormalizerTest`↔`тест-в-конвейере` воспроизводятся грепом по этим ссылкам; исключения — `docs/agent/testing.md`.
- Фикстуры — только закоммиченные `samples/*.docx` (13) + `samples/*.doc` (12), в тестах не генерировать; контракт нормализаторов «нечего менять → тот же массив» (`assertSame`) + неприкосновенность частей вне `word/*.xml`.
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); четыре набора свойств = четыре контекста (отдельные классы, не `@Nested`); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring. Core-юниты Spring **не поднимают**; app-тесты проверяют только HTTP-код/заголовки/текст ошибки. Детали — `docs/agent/testing.md`.
- Жизненный цикл: только `@Test`; исключения — два `@BeforeAll` (прогрев шрифтов) и `@AfterEach drainWorker` в `ConversionTimeoutTest`. Ни `@Nested`, ни `@ParameterizedTest`, ни `@Disabled`, ни `assertAll`.
- Идиомы загрузки фикстур: **core** — classloader без ведущего слэша, **app** — class-relative со слэшем (core test-jar). Синтетика: docx — `ZipOutputStream`, `.doc` — крафт `POIFSFileSystem`.
- Сообщения ассертов — по-русски и с наблюдаемым значением; сравнение строк литерал-слева (`"%PDF".equals(...)`, PMD `LiteralFirstInEquals`); контракт идентичности — `assertSame`/`assertNotSame`. Общих test-util-классов нет: хелперы (`norm`, `pdfText`, `assertRatio`) намеренно продублированы.
- Прод-автотесты: pytest + requests; под маркером `needs_key` без ключа SKIP; конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен).
- `mvn test` **не** запускает PMD и JaCoCo-гейты (оба на `verify`) — «зелёное» состояние проверяется `mvn clean verify`. `mvn -pl wordpdf-app` без `-am` падает: app зависит от core test-jar.
- Гейты на `verify`: PMD (движок 6.55.0 — default внутри maven-pmd-plugin 3.21.2, отдельно в pom не пинится; осознанный откат — ruleset использует удалённые в PMD 7 `*MustUseBraces`; подавлений в коде нет и быть не должно) + JaCoCo: LINE ≥ 0.90 оба модуля, BRANCH ≥ 0.85 только core; при провале отчёт уже в `target/site/jacoco/` (`report` привязан до `check`). CI-эквивалент — `./mise.sh run verify-nofontconfig`.
- Стек: JUnit 6 (`org.junit.jupiter`), **только `Assertions`** — Mockito/AssertJ запрещены и в pom их нет; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` (полностью квалифицирован, без импортов) в `andExpect`; app не объявляет junit сам — только через `spring-boot-starter-test`. Тестовые классы package-private, зеркалят main-пакеты; только `@Test` (исключения: два `@BeforeAll` прогрева шрифтов и `@AfterEach drainWorker` в `ConversionTimeoutTest`); ни `@Nested`, ни `@ParameterizedTest`, ни `@Disabled`, ни `assertAll`.
- Именование: регрессионные — `объект_условие` (`pageNumbers_recomputedNotCached`), юниты — camelCase (`pageFieldBecomesFldSimple`).
- **PDF сравнивается текстом**: PDFBox 3 `PDFTextStripper` (`norm` схлопывает пробелы; негативные маркеры — `#`/`.notdef` и `Helvetica`; приём `fontNameOf` — имя шрифта символа, живёт только в `WordPdfConverterTest`). Пиксели — только юниты chart-пейнтеров (`assertRatio` < 0.06 / < 0.10, эталонные числа Word-рендеров 300 dpi захардкожены). Тестовых утилит нет — хелперы намеренно дублируются в классах. Сообщения ассертов — по-русски с наблюдаемым значением; литерал слева (`"%PDF".equals(…)`).
- Фикстуры — только закоммиченные `samples/*.docx`/`*.doc`, в тестах не генерировать; XSD-невалидная фикстура правится, не код. Синтетика в памяти разрешена: docx — `ZipOutputStream` из литеральных XML, `.doc` — крафт `POIFSFileSystem`. Пересоздание — одноразовые `SampleDocxGenerator`/`ChartTypesDocxGenerator` (POI test-scope, команда — `docs/agent/repo-map.md`); `charts-smartart.docx` и `ole-embedded.docx` сделаны руками — **никогда не перезаписывать** (все 12 `.doc` — эталоны заказчика, не вывод генераторов).
- Идиома загрузки (ловушка): **core** — classloader без ведущего слэша (`getResourceAsStream("samples/…")`); **app** — class-relative со слэшем (`"/samples/…"`, ресурсы из core test-jar).
- App-тесты: 4 набора свойств = 4 Spring-контекста (`ConvertControllerTest` пинует пустой `wordpdf.api-key=`; `ApiKeyFilterTest`; `ConvertLimitsTest`; `ConversionTimeoutTest`); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring; проверяют только HTTP-код/заголовки/текст ошибки; core-юниты Spring не поднимают. Ловушка: mise инжектирует корневой `.env` в окружение задач — ambient `WORDPDF_API_KEY` взорвёт 401 все MockMvc-тесты, если ключ не запинен свойствами контекста.
- Регрессивная конвенция: фикс = нормализатор/рендерер + юнит + конвертер-тест + javadoc-ссылка. Счётчики (2026-11): 63 класса / 1005 тестов (core 57/957, app 6/48); детали — `docs/agent/testing.md`.
- Прод-автотесты: pytest 9.1.1 + requests 2.34.2 (timeout `(10,180)` — больше серверных 2m), конфигурация **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY` факультативен → `needs_key`-декоратор `skipif` (немаркированный marker — маркеры не регистрируются) даёт SKIP, `WORDPDF_MAX_MB`/`MAX_PAGES` — ожидаемые лимиты стенда 5/100, `WORDPDF_SAMPLES_DIR` — путь к фикстурам); запуск `./mise.sh run prod-tests` либо job `autotests` в CI.
+16 -1
View File
@@ -42,4 +42,19 @@ COPY wordpdf-core/pom.xml wordpdf-core/
COPY wordpdf-app/pom.xml wordpdf-app/
RUN HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= mvn -B -q dependency:go-offline
COPY . .
RUN HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= mvn -B clean verify
# Эмуляция чужой ОС в fork-нутом surefire-JVM: пусто (дефолт) — прежнее
# поведение (одна команда mvn, байт-в-байт как раньше); job `macos-sim` передаёт
# "Mac OS X" (docx4j PhysicalFonts читает os.name и уходит в
# MicrosoftFontsRegistry.getMsFonts()).
# Флаг на команде mvn попадает и в саму Maven-JVM: в Linux-JDK нет
# jdk/net/MacOSXSocketOptions, и первая же сетевая загрузка (surefire-провайдер,
# optional-зависимости, PMD-скин — всё, что НЕ закрыто dependency:go-offline)
# упала бы AssertionError на создании сокета. Поэтому при непустом флаге первым
# проходит полный verify БЕЗ флага — он догревает локальный репозиторий до нуля
# загрузок, и второй verify с флагом уже не открывает сокетов вовсе. Пустой флаг
# = один verify, прежний путь.
ARG SUREFIRE_OS_NAME=
RUN echo "SUREFIRE_OS_NAME=[${SUREFIRE_OS_NAME}]" && \
HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= \
sh -c '[ -z "$SUREFIRE_OS_NAME" ] || mvn -B -q clean verify || exit 1; \
exec mvn -B clean verify ${SUREFIRE_OS_NAME:+-Dos.name="$SUREFIRE_OS_NAME"}'
+1 -1
View File
@@ -38,7 +38,7 @@ java-word-pdf/
|`ru.pjandro.wordpdf.WordPdfConverter`|публичный API: `convert(byte[], String, ConvertOptions)` — .docx/.doc по сигнатуре байтов, байты PDF на выходе; `warmup()` — прогрев ядра|
|`ru.pjandro.wordpdf.WordPdfValidator`|валидация входа и lightweight-оценка страниц без рендера (`checkInput`/`validate`; подсчёт страниц — внутренний метод)|
|`ru.pjandro.wordpdf.ConvertOptions`|опции конвертации (record `errorOnCharts, errorOnSmartArt, errorOnOle, maxMb, maxPages`); дефолтов в ядре нет — значения задаёт вызывающий|
|`ru.pjandro.wordpdf.ConversionException`|ошибки конвертации; подтипы `ValidationException` (некорректный вход) и `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`)|
|`ru.pjandro.wordpdf.ConversionException`|ошибки конвертации; подтипы `ValidationException` (некорректный вход) и `ChartsFoundException`/`SmartArtFoundException`/`OleFoundException` (по error-флагам)|
|`ru.pjandro.wordpdf.fonts.BundledFonts`|выгрузка TTF из jar и регистрация в docx4j|
|`ru.pjandro.wordpdf.fonts.BundledFontMapper`|маппинг имён шрифтов документа → TTF|
|`ru.pjandro.wordpdf.internal.DocxRewritePipeline`|правила 1–10 нормализации XML-частей одним zip-проходом (+ `OleObjectNormalizer`, правило 11)|
+190
View File
@@ -0,0 +1,190 @@
# Потребление памяти при конвертации doc/docx → pdf: аудит и результаты апгрейда (2026-11)
Харнес: `MemoryBench` (`wordpdf-core/src/test/java/ru/pjandro/wordpdf/MemoryBench.java`, test-scope) +
`membench.sh` + `./mise.sh run mem-bench`. Числа ниже получены на них; методология и ограничения — §1.
## 1. Методология измерения
JVM: temurin 17.0.21, флаги харнеса `-Xms64m -Xmx2g -XX:+UseG1GC -XX:+HeapDumpOnOutOfMemoryError`
+ JFR `settings=profile` + `-Xlog:gc*=info,gc+heap=debug`. Машина — рабочая станция (amd64), не прод-контейнер.
Метрики на конвертацию (TSV-строки вывода харнеса):
|Метрика|Как снята|Смысл|
|---|---|---|
|`peak`|`MemoryPoolMXBean.getPeakUsage()` по хип-пулам с `reset()` перед каждой конвертацией|высокая вода кучи за конвертацию (включает невозвращённый мусор young-поколения — это мера запроса памяти, не live-сета)|
|`used`|сумма `getUsage().getUsed()` сразу после конвертации|куча «как есть» до ближайшего GC|
|`allocated-estimate`|GC-лог: выметенный Eden + humongous между паузами|честная оценка аллокаций (JFR-веса для этого не годятся — см. ограничения)|
|`max-live-after-gc`|GC-лог: максимум `M->M(after)` по паузам|живая куча после GC (включает конвертацию, идущую в момент паузы)|
|`VmHWM`|`/proc/self/status`|пик резидентной памяти процесса (куча + Metaspace + стеки + JFR-буферы)|
|`top-frames`/`app-sites`|агрегация `jdk.ObjectAllocationSample` из JFR|профиль аллокаций (относительная доля; веса — оценка сэмплера)|
Сценарии: `suite` — все 25 фикстур `samples/` (13 `.docx` + 12 `.doc`) циклами; `big` — синтетический
документ: `document.xml` фикстуры `ru-plain.docx` с повтором секции ×400 (≈1,6 МБ XML после
распаковки, ≈6000 строк контента, PDF ≈50 КБ/конвертация — много контента при малом in-put,
именно он и нагружает конвейер, а не байты входа).
Ограничения (важно для повторного прочтения чисел):
- **шум ±30% на фикстуру** между прогонами (старт нового JVM на сценарий, G1 растягивает young по
ходу прогона); сравнимы только суммарные/медианные агрегаты одного метода на одном железе;
- `peak` включает мусор: документ с большим churn даёт большой peak при малом live-сете;
- веса JFR `ObjectAllocationSample` (profile, period=20ms) — оценка сэмплера; абсолют — только GC-лог;
- фикстуры малы (вход ≤182 КБ, PDF в среднем 385 КБ): кандидаты, экономящие единицы мегабайт,
на них неотличимы от шума — это учитывалось в гейтах (§4).
Воспроизведение: `MB_LABEL=run ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-run.txt`;
матрица флагов — через env `MB_JAVA_OPTS` (флаги идут после дефолтных и переопределяют их).
## 2. Baseline (до правок)
`MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20` (JVM 17.0.21, пик 2026-11-17):
|Фикстура|n|peak p50, МБ|peak max, МБ|used avg, МБ|
|---|---|---|---|---|
|chart-types.docx|20|641|934|398|
|charts-smartart.doc|20|457|630|321|
|charts-smartart.docx|20|471|751|299|
|doc-formats.doc|20|261|783|326|
|en-plain.doc|20|302|819|273|
|en-plain.docx|20|278|855|298|
|exotic-glyphs.doc|20|328|907|325|
|exotic-glyphs.docx|20|312|950|287|
|ole-embedded.doc|20|298|540|238|
|ole-embedded.docx|20|269|574|222|
|page-numbers.doc|20|234|598|257|
|page-numbers.docx|20|272|558|266|
|ru-en-mixed.doc|20|300|453|293|
|ru-en-mixed.docx|20|344|528|298|
|ru-plain.doc|20|344|572|256|
|ru-plain.docx|20|281|455|274|
|ru-table-image.doc|20|331|462|267|
|ru-table-image.docx|20|299|522|263|
|ru-times.doc|20|275|561|275|
|ru-times.docx|20|251|580|256|
|stale-cache.doc|20|307|511|264|
|stale-cache.docx|20|323|525|269|
|symbol-bullets.docx|20|335|459|310|
|too-many-pages.doc|20|405|599|265|
|too-many-pages.docx|20|327|724|288|
|big (синтетика ×400)|5|924|976|360|
Итоги прогона: `allocated-estimate=36069MB` (≈71 МБ churn на конвертацию при медианном peak 300 МБ),
`max-live-after-gc=504MB`, паузы 536 шт./4815 мс; `VmHWM` процесса: 1,34 ГБ после suite-части,
1,56 ГБ после big-части (`-Xmx2g` доступен, куча растягивается под churn).
Главный вывод baseline: **память уходит не в копии документа, а в churn конвейера**. Вход 2,6–182 КБ
при peak 224–641 МБ — отношение долей порядка сотен. Профиль аллокаций (JFR, alloc-total —
оценка сэмплера 26,3 МБ взвешенных):
- доли приложения в топ-кадрах: `DocxRewritePipeline.normalize` — 0,44%, `WordPdfConverter.convert` —
0,36%, `GlyphFont.draw` — 0,10%; все остальные кадры `ru.pjandro.*` — ниже 0,1% (гейты §4);
- остальное — библиотеки: JAXB-андмаршалинг docx4j через DOM (`DOMScanner.visit/scan`,
`SAXOutput.getQName`, `NamespaceContextImpl.put`, `SAX2DOMEx.startElement`, `ClassFactory.create0`),
Xalan/XSLT, FOP (таблицы OpenType: `OTFAdvancedTypographicTableReader`, `OpenFont.readHorizontalMetrics`),
commons-io `IOUtils.byteArray`, `Arrays.copyOf`, `Throwable.fillInStackTrace` (docx4j использует
исключения как control flow — «Package field null» и т.п.);
- ~~JEuclid (`Parser.parseStreamSourceAsOdf`) — OMML-формулы на хосте с fontconfig (в CI/контейнере
иначе: MathFallback)~~ — **удалён из класса путей** (2026-11): jeuclid исключён exclusion'ом из
`docx4j-export-fo`, формулы рисует собственный `MathRenderer` (PNG, только бандл-шрифты);
`MathFallbackNormalizer` теперь деградирует в текст только конструкции вне `MathModel.SUPPORTED`.
## 3. Что нашли при чтении кода (архитектурные находки)
1. **FO материалзуется как `String`.** Форк `FORendererApacheFOP.convert(FODocumentHandler,
FOConverterContext, String)` (javap docx4j-export-fo 17.3.2) принимает весь выход XSLT одной
строкой UTF-16: для FO-документа это ≈2 байта/символ и FO в разы больше исходного XML.
Убрать можно только правкой форка (`templates.transform` стримом в FOP-парсер) — вне рамок
репозитория; фиделити-риск высокий. Дорожная карта.
2. **`disableFontCache()` в форке вызывается безусловно в 3 местах** (javap `FORendererApacheFOP`:
`FontManager.disableFontCache`), один участок защищён `Fop.isUseCache()` из fop.xconf
(по умолчанию кеш выключен) → таблицы шрифтов перечитываются на каждый рендер (видно в топ-кадрах).
Потенциальный рычаг (churn+CPU), но включение кеша влияет на сабзеттинг/метрики — только с
фиделити-прогоном, в форк/конфиг. Дорожная карта.
3. **`WordprocessingMLPackage` в docx4j 17.3.2 не имеет `close()`/`dispose()`** (javap пакета
`openpackaging.packages`/`parts` — только `setJaxbElement`/`unmarshal`): «освободить пакет явно»
API не даёт; пакет — локальная переменная `convertToStream` и умирает вместе со стеком.
4. **Валидатор делает два полных стриминговых прохода** по байтам входа (`checkPageCount` +
`checkDocxContainer`/`validate`): CPU, память O(8 КБ буферов) — на peak не влияет (§4, гейт E).
5. **Мост `.doc` уже отпускает потоки** (`releaseStreams`), но `DocxWriter.write` держит одновременно
`bodyXml`+`parts`+`hyperlinks` до `toByteArray()`; на фикстурах доля моста в аллокациях <0,15% —
не рычаг при текущих документах (§4, гейт C).
## 4. Кандидаты оптимизаций и гейты
Гейт: кандидат остаётся, только если после правки suite-сумма peak или big-peak улучшились ≥3%
(для «всегдашнего» A — плюс отсутствие регрессии); для B/C/E — плюс доля ≥5% в app-sites JFR.
Прогоны «до/после» — идентичной методикой, один и тот же компьютер, подряд.
|Кандидат|Доля в аллокациях (гейт 5%)|Замер после (гейт 3%)|Итог|
|---|---|---|---|
|A. Чанковый буфер PDF вместо `ByteArrayOutputStream`|—|`allocated` +0,7% (шум), сумма peak **+7,2% (хуже)**|отклонён, откачен|
|B. Needle-гейт декода в `DocxRewritePipeline`|`normalize` 0,44%|—|отклонён до правки|
|C. Ранний отпуск `bodyXml`/`parts`/`hyperlinks` в `DocxWriter.write`|кадров моста в топ-15 нет (<0,15%)|—|отклонён до правки|
|D. Явный release пакета docx4j|API отсутствует (§3.3)|—|нереализуем|
|E. Один проход валидатора|кадров валидатора в топ-15 нет (<0,1%)|—|отклонён до правки (плюс риск порядка ошибок — контракт 400-кодов)|
**Почему A отклонён измерением, хотя «в теории» экономит.** Реализация (`PdfOutputChunks`,
чанки вместо удваивающегося `byte[]`) протестирована на эквивалентность байтов и прогнана полным
бенчем (25 фикстур ×20 + big ×5, тот же метод):
- PDF фикстур в среднем 385 КБ: для них `PdfOutputChunks` с фиксированным чанком выделяет больше,
чем рост `ByteArrayOutputStream` от `Math.max(1<<16, docxBytes.length)` — сумма peak выросла на 7,2%;
- микробенч на 24 МБ (одноразовый `PeakProof`, куча 2г): peak 76 МБ у чанков против 61 МБ у BAOS —
чанк 1 МиБ на G1 humongous (регион 1 МиБ → 2 региона на чанк, отсюда ×2), чанк 256 КиБ уходит в
young и при подсчёте `peak` платит растянутым Eden; live-минимум чанков (P+P против 2–3P у BAOS)
выигрывает только на PDF десятки мегабайт, каких в фикстурах нет;
- вердикт гейта: не улучшено → откачен, конвейер остался на `ByteArrayOutputStream`.
**Итог по правкам ядра: ни один кандидат не прошёл гейт.** Это не «нечего улучшать», а «у текущих
документов память тратят библиотеки» (JAXB-via-DOM, XSLT, FOP-шрифты — §2; JEuclid больше
не потребитель — исключён из зависимостей): точечными
правками репозитория их не сократить, а правки библиотек/форка (FO-стриминг, font cache) —
отдельные задачи с фиделити-гейтом. Практический рычаг «потреблять меньше» прямо сейчас — размеры
кучи и GC (§5).
## 5. Матрица флагов JVM (итог: что ставить в прод)
Один и тот же прогон (`--scenario all --loops 5 --big-loops 2`), меняются только флаги
(`MB_JAVA_OPTS` поверх дефолта харнеса; для смены GC нужен и `-XX:-UseG1GC` — иначе старт падает
с «Multiple garbage collectors selected»). ВМ не кончалась ни на одном наборе, OOM'а нет нигде,
включая big-сценарий:
|Набор|VmHWM suite, МБ|VmHWM +big, МБ|max-live, МБ|Паузы (шт/мс)|Вывод|
|---|---|---|---|---|---|
|f1 — G1, `-Xmx2g` (дефолт харнеса; прод-Containerfile как раз `2G`/`mem_limit 3G`)|931|1337|575|159 / 1724|работает, но куча ×2,6 к реальной потребности|
|f2 — G1, `-Xmx768m`|802|902|451|183 / 1865|**рекомендуемый**: RSS ≤0,9 ГБ с JFR-буферами, запас к max-live 1,7×|
|f3 — G1, `-Xmx512m`|818|843|416|199 / 1877|работает, но max-live 416 из 512 — малый запас на chart-тяжёлые документы|
|f4 — Serial, `-Xmx512m`|748|748|482|126 / 4453|работает; паузы ×2,6 против G1|
|f5 — Serial, `-Xmx384m`|628|634|359|150 / 5803|максимальная плотность (RSS 0,63 ГБ); паузы ×3,4, max-live 359 из 384 — впритык|
`allocated-estimate` у Serial-прогонов — 0: awk-агрегатор GC-лога понимает G1-формат (регионы),
для Serial аллокации считаются по другому шаблону — на вывод матрицы не влияет.
Рекомендация прод-стеку (рендерится job'ом `deploy` из Gitea Variables — менять их, не репо):
1. Heap: `-Xmx768m` (f2) вместо `2G`; `mem_limit` — `1g` вместо `3G`. FopFactory/XSLT-кеш перманентны,
их размер от кучи не зависит; 451 МБ max-live — это ~3 конвертации chart-тяжёлых документов в полёте
(а конвертации сериализованы монитором — реально одна).
2. G1 оставить (~13 мс пауз на конвертацию против ~40 мс у Serial; при конвертациях 1–4 с это не
критично, но G1 при 768m ещё и ровнее ведёт humongous-аллокации растров чартов).
3. Плотность выше f2 (Serial 384m) достижима, но запас <7% к max-live на 384m — для прод-вариабельности
документов неприемлемо.
## 6. Итог апгрейда
- Ядро не изменено: ни один кандидат (A–E, §4) не прошёл замерный гейт; экономия памяти на текущих
документах лежит не в коде репозитория, а внутри JAXB/XSLT/FOP (§2–3). Правки форка
(FO-стриминг, font cache) — зафиксированные дорожные пункты с фиделити-гейтом.
- Практический эффект «потреблять меньше» — профиль кучи: `2G/3G → 768m/1g` (в ~3 раза меньше
резидентной памяти на стенде) без потери проходимости всех сценариев, включая big.
- Инфраструктура измерений осталась в репо: `MemoryBench` + `membench.sh` + `./mise.sh run mem-bench`
— любой следующий раунд начинается с baseline за 10 минут.
## 7. Как читать этот документ дальше
- Перепроверить числа: §1 (команды) — прогон ~10 мин, артефакты в `target/` и `wordpdf-core/target/membench-*.jfr`.
- Перед новым «починить память»: сначала топ-кадры собственного прогона — доли приложения ≤0,4% означают,
что чинить нужно библиотеки, а не `WordPdfConverter`.
- Стоп-лист § «не чинить» из `docs/agent/render-limitations.md` остаётся в силе: экономия памяти
не должна менять выход PDF (фиделити-тесты — единственный арбитр).
+1 -1
View File
@@ -4,7 +4,7 @@
Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр × `DPI/72`, размеры в пунктах, EMU→pt `cx/12700.0`). Потолок растра `ChartRenderer.MAX_PIXELS = 16_777_216` (4096², 64 МБ ARGB): при превышении `fitDpi` uniform-но понижает эффективный dpi (геометрия в пунктах и безразмерные пропорции не меняются; 24″-график: 208 МБ → 64 МБ, dpi 300 → ≈171); `SmartArtRenderer` использует тот же `DPI`/`fitDpi`. `ChartSpec.parse` (`enum Type`: PIE, PIE3D, DOUGHNUT, BAR, BAR_HORIZONTAL, LINE, AREA, SURFACE3D, AREA3D, BAR3D, LINE3D, RADAR, SCATTER, BUBBLE, STOCK, OF_PIE, SURFACE, UNSUPPORTED). `c:autoTitleDeleted` (§21.2.2.7, `val` опущен — default true) применяется только при отсутствии `c:title` (MS-OI29500 §2.1.1431(a)) — явный заголовок показывается при любом флаге; при отсутствии `c:title` и `val=0` рисуется автозаголовок. Пустой/пробельный `c:title` (или `val=0` без `c:title`) — автозаголовок Office (MS-OI29500 §2.1.1561(a)): одиночный ряд с именем → имя ряда (любой тип графика), иначе `ChartSpec.AUTO_TITLE = "Название диаграммы"`; несколько абзацев `a:p` склеиваются `'\n'` (жёсткий перенос в `DrawMlText`). Регрессии — `ChartSpecTest#emptyTitleSingleSeriesBar_usesSeriesName`, `#deletedTitleWithText_stillShown`, `#deletedTitleValOmitted_stillShown`, `#multiSeriesDoughnut_placeholderNotSeriesName`, `#multiParagraphTitle_joinedWithNewlines`. Палитра `accent1..6` темы; легенда по умолчанию снизу; `overlay` (§21.2.2.132) рисуется поверх области построения, место не резервирует.
Пейнтеры: `CartesianPainter` (2-D line/bar/area; `c:grouping` stacked/percentStacked §21.2.2.76 — ряд рисуется накопленной суммой через `ChartRenderer.stackedCumulative`), `PiePainter` (`PIE_DEPTH = 0.22`, `PIE_FIT = 0.865`), `Surface3dPainter` (камера — регрессия `cameraMatchesWordReference`: `DEPTH_RATIO = 0.705`, `HEIGHT_RATIO = 0.664`, `GUTTER_LEFT/RIGHT = 0.1485`, `GUTTER_TOP = 0.116`, `GUTTER_BOTTOM = 0.146`, свет `LIGHT_X/Y/Z = 0.83/0.48/0.28`; `c:rAngAx=true` приоритетнее `c:perspective` (MS-OI29500 §2.1.1516(b)); `c:wireframe` §21.2.2.205 — только каркас), `ScatterPainter` (радиус пузыря sqrt при `c:sizeRepresents="area"` §21.2.2.128), `RadarPainter` (спицы от 12 часов), `StockPainter` (upDownBars обводятся контуром, дефолт чёрный 0.75pt), `OfPiePainter` (MS-OI29500 §2.1.1507(a), §2.1.1545(a)), `Surface2dPainter` (контурная карта §21.2.2.204, marching squares, изолинии по `c:bandFmts` §21.2.2.13/.14), `Cartesian3dPainter` (bar3D/line3D/area3D §21.2.2.19/.101/.122, `c:shape` §21.2.3.44), `SmartArtRenderer` (кэш `word/diagrams/drawing1.xml` через relationship `…/office/2007/relationships/diagramDrawing`; формы — `PresetGeometry` из `a:prstGeom`, семь пресетов дословно из `presetShapeDefinitions.xml`; оператор `?:` = «if x > 0 then y else z» (ISO/IEC 29500-1, **не** x != 0); углы в Arc2D — со знаком минус; текст — `DrawMlText`, шрифты через `BundledFontMapper.bundledFamily`; autofit только `normAutofit` §21.1.2.1.2/.3; `dgm:prSet/@phldrT` не рисуется).
Пейнтеры: `CartesianPainter` (2-D line/bar/area; `c:grouping` stacked/percentStacked §21.2.2.76 — ряд рисуется накопленной суммой через `ChartRenderer.stackedCumulative`), `PiePainter` (`PIE_DEPTH = 0.22`, `PIE_FIT = 0.865`), `Surface3dPainter` (камера — регрессия `cameraMatchesWordReference`: `DEPTH_RATIO = 0.705`, `HEIGHT_RATIO = 0.664`, `GUTTER_LEFT/RIGHT = 0.1485`, `GUTTER_TOP = 0.116`, `GUTTER_BOTTOM = 0.146`, свет `LIGHT_X/Y/Z = 0.83/0.48/0.28`; `c:rAngAx=true` приоритетнее `c:perspective` (MS-OI29500 §2.1.1516(b)); `c:wireframe` §21.2.2.205 — только каркас), `ScatterPainter` (радиус пузыря sqrt при `c:sizeRepresents="area"` §21.2.2.128), `RadarPainter` (спицы от 12 часов), `StockPainter` (upDownBars обводятся контуром, дефолт чёрный 0.75pt), `OfPiePainter` (MS-OI29500 §2.1.1507(a), §2.1.1545(a)), `Surface2dPainter` (контурная карта §21.2.2.204, marching squares, изолинии по `c:bandFmts` §21.2.2.13/.14), `Cartesian3dPainter` (bar3D/line3D/area3D §21.2.2.19/.101/.122, `c:shape` §21.2.3.44), `SmartArtRenderer` (кэш `word/diagrams/drawing1.xml` через relationship `…/office/2007/relationships/diagramDrawing`; формы — `PresetGeometry` из `a:prstGeom`, семь пресетов дословно из `presetShapeDefinitions.xml`; оператор `?:` = «if x > 0 then y else z» (ISO/IEC 29500-1, **не** x != 0); углы в Arc2D — со знаком минус; текст — `DrawMlText`, шрифты через `BundledFontAliases.bundledFamily`; autofit только `normAutofit` §21.1.2.1.2/.3; `dgm:prSet/@phldrT` не рисуется).
Защитные лимиты против враждебного chart-XML: `ChartSpec.MAX_POINTS = 100_000` (`c:pt/@idx` §21.2.2.150/.151, `c:ptCount` §21.2.2.152 — ST_UnsignedInt без верхней границы; отказ `IllegalArgumentException` **до** предвыделения списка), `ChartRenderer.MAX_TICKS = 1000` (шаг ≤ 0/NaN/слишком мелкий в `axisBounds` заменяется `niceUnit` 1/2/5·10ⁿ), `DrawingPreRenderer.MAX_EXTENT_EMU = 22_000_000` (≈24″; при `cx/cy` вне капа объект **оставляется как есть** + warn, картинка не рендерится — регрессия `hugeExtentChart_removedNotOom`). Бросок перехватывает catch в `DrawingPreRenderer.renderChart` → штатная деградация «объект удалён + warn». Обход `pkg.getParts()` — только по **снимку** списка (вставка media-частей `addChartMedia→addPart→loadPart` мутирует реестр → CME); rels частей — `part.getRelationshipsPart()`, **не** `getOwningRelationshipPart()`; обход XML обязан раскрывать `JAXBElement`.
+1 -1
View File
@@ -6,7 +6,7 @@
### Job'ы workflow'ов
Два workflow. `.gitea/workflows/pr.yml` — `PR checks` (`pull_request` + `workflow_dispatch`): job `java` (fail-closed проверка Variable `MAVEN_MIRROR_URL` первым шагом → единственный прогон `mvn -B clean verify` внутри образа `Containerfile.test` — без fontconfig, набор тестов никогда не исполняется на хосте с fontconfig; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером podman, BuildKit-сессий нет; зеркало Nexus приходит `--build-arg` → извлечение двух `jacoco.xml` из образа `wordpdf-verify:ci` шагами `docker create`/`docker cp || true` — при непрошедшей сборке пустая сводка, тесты не затронуты) → `Coverage summary` (разбор извлечённого `target/site/jacoco/jacoco.xml` python-сниппетом в step summary) → `Comment coverage on PR` (тот же текст комментарием; создаётся один раз, повторные push обновляют по маркеру `<!-- jacoco-coverage -->`; `continue-on-error`). job `web` (кеш `~/.npm`, `npm ci` → `build` → `lint`; `setup-node` **нет** — нода берётся с раннера).
Два workflow. `.gitea/workflows/pr.yml` — `PR checks` (`pull_request` + `workflow_dispatch`): job `java` (fail-closed проверка Variable `MAVEN_MIRROR_URL` первым шагом → единственный прогон `mvn -B clean verify` внутри образа `Containerfile.test` — без fontconfig, набор тестов никогда не исполняется на хосте с fontconfig; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером podman, BuildKit-сессий нет; зеркало Nexus приходит `--build-arg` → извлечение двух `jacoco.xml` из образа `wordpdf-verify:ci` шагами `docker create`/`docker cp || true` — при непрошедшей сборке пустая сводка, тесты не затронуты) → `Coverage summary` (разбор извлечённого `target/site/jacoco/jacoco.xml` python-сниппетом в step summary) → `Comment coverage on PR` (тот же текст комментарием; создаётся один раз, повторные push обновляют по маркеру `<!-- jacoco-coverage -->`; `continue-on-error`). job `macos-sim` — тот же образ `Containerfile.test`, собранный с `--build-arg SUREFIRE_OS_NAME="Mac OS X"` (эмуляция macOS: единственный хост-зависимый код — docx4j `PhysicalFonts`, читающий `os.name`; внутри образа набор исполняется дважды — сначала `verify` без флага догревает локальный репозиторий до нуля загрузок, затем `verify` с флагом, т.к. Linux-JVM с `os.name=Mac OS X` падает AssertionError на первом же сетевом сокете; шагов JaCoCo/комментария нет — дублировали бы `java`), в `main.yml` отсутствует намеренно. job `web` (кеш `~/.npm`, `npm ci` → `build` → `lint`; `setup-node` **нет** — нода берётся с раннера).
`.gitea/workflows/main.yml` — `Main: tests, deploy, autotests` (`push` в `main` + `workflow_dispatch`): те же `java`/`web` (байт-байт дубль — workflow-файлы самодостаточны, reusable-workflow не вводить) → `images-app`/`images-web` (build+push каждого Containerfile в Nexus-реестр `${{ vars.REGISTRY }}`, теги `prod` + immovable `sha-<7 символов GITHUB_SHA>`; app печётся с `--build-arg MAVEN_MIRROR_URL=…` (зеркало Nexus в Containerfile); web печётся с `--build-arg VITE_BASE=/pdf-converter/`; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером podman, BuildKit-сессий нет; креды — вручную пишется `~/.docker/config.json`) → `deploy` (SSH на прод: рендер конфигов heredoc'ами в workspace раннера — appleboy/ssh-action непригоден, ломает heredoc; валидация PyYAML; прод-стек — подсеть `10.112.0.0/24` gw `10.112.0.1` (в репо-`compose.yml` — `10.113.0.0/24`, стенды разные), gateway биндится на `127.0.0.1:9010` + `$DEPLOY_HOST:9010`, `nginx.conf` — с `resolver 10.112.0.1`; сохранение `.rollback.env`; `login/pull/timeout 90 podman-compose up -d --force-recreate app web`; гейты healthy и image; gateway пересоздаётся последним; health-check) → `autotests` (venv + `prod-autotests/` против прода) → `rollback` (`if: failure()` — перерендер/перезалив прод-файлов тем же шагом, retag прежних image ID на `:prod`, `--force-recreate app web`, пересоздание gateway).
File diff suppressed because one or more lines are too long
+16 -13
View File
@@ -6,40 +6,43 @@
|---|---|---|
| 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j |
| 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера (static `BestMatchingMapper`) регистрирует в `PhysicalFonts` только symbol-шрифты из `docx4j-export-fo-fonts-symbol` (сканы системы и jar'ов отключены в static-блоке `WordPdfConverter` гейт-свойствами — всё найденное всё равно выбрасывает `restrictToBundled()`); `init()` вызывает `dropNonBundled()` **до** регистрации бандла, `restrictToBundled()` оставляет реестр = бандл + встроенные в docx. Порядок `init()` после конструктора — инвариант: `addPhysicalFont` не перезаписывает занятый ключ (иначе системный Calibri ломает em-dash-fallback) |
|2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–10 — раздел «Нормализаторы: контракт и правила 1–11» в этом файле) + условная OLE-вычистка (правило 11)|
|2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–11 — раздел «Нормализаторы: контракт и правила 1–12» в этом файле) + условная OLE-вычистка (правило 12)|
| 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF |
| 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет) |
| 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные |
| 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds`/`m:oMath` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет); формулы — собственный растер `MathModel`/`MathRenderer` (только бандл-шрифты, без AWT/JEuclid), inline-картинка опускается ран-`w:rPr/w:position` на свой нижний запас (FOP ставит инлайн-графику нижним краем на базу строки; регрессия — WordPdfConverterTest#ommlMathInline_sitsOnTextBaseline), неподдерживаемая конструкция — текстовая деградация + warn; budget chart/math-PNG общий |
| 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные. Конфиг обязан быть **полным при каждом `declare`**: docx4j декларирует из `fontsInUse` только использованные начертания (или simulate-style на regular-файле), а общая `FopFactory` замораживает fopconf **первого** документа JVM — `declareFamily`+`hasRealFace` дополняют каждое семейство недостающими реальными начертаниями (регрессия — `fopFactoryFrozenFromFirstDoc_fontsComplete`) |
| 4.25 | `LayoutPostRenderer.register(foSettings)` | Кастомный `FORenderer`: post-FO padding-компенсация таблиц (`start-indent` += `padding-left` первой ячейки), внутри — штатный `FORendererApacheFOP` |
| 4.5 | `foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES)` | Стилист — вендорный `xslt/docx2fo.xslt` (копия docx4j-export-fo + AUDIT-FIX-патчи: `w:rPr/w:position`→`baseline-shift` и AUDIT-FIX-2 `moveFrom`/`moveTo`/`bdo`/`dir`); `Templates` компилируется один раз — `getTemplates` кастит значение в `Templates` |
| 5 | `FORendererApacheFOP.getFopFactoryBuilder` + `getFOUserAgent` | Непустой `title` → заголовок PDF |
| 6 | `Docx4J.toFO(foSettings, os, FLAG_EXPORT_PREFER_XSL)` | XSL-FO → PDF |
| 7 | `finally` → `getFontTablePart().deleteEmbeddedFontTempFiles()` | В docx4j 17.x `OpcPackage.close()` нет — пакет в памяти |
`BundledFontMapper` переопределяет `getBoldForm`/`getItalicForm`/`getBoldItalicForm`: на macOS `PhysicalFonts.getBoldForm` для имён `Tinos Regular`/`Carlito Regular`/… уходит в `MicrosoftFontsRegistry` и возвращает `null` (у записей нет Mac-имени файла), из-за чего docx4j строил simulate-style fopconf — FOP терял реальные начертания и кернинг (регрессии `strictOoxml_convertsNotRejected`, `ruPlain_regularRunsUseRegularFont`). Override находит реальный вариант по `embeddedURI` regular-варианта.
### `warmup()` — прогрев ядра (шаги 0–7 на минимальном docx)
Первая конвертация после старта JVM стоит 1,3–1,7 с (JAXB/XSLT/FOP/классы; замер 2026-11), её платил первый запрос после деплоя. Публичный `WordPdfConverter.warmup()` прогоняет шаги 0–7 на минимальном docx, собранном в байтах (три zip-части константами, фикстуры не задействованы; алиас Calibri→Carlito греет маппер и embed-подмножество), и греет Java2D/PNG-энкодер (`warmRaster()` — растер + `GlyphFont.draw` + `ImageIO.write`), иначе первый чартный документ платит ещё ~200 мс. Идемпотентен (`volatile warmedUp`, метод `synchronized`), никогда не бросает (провал — warn в JUL), артефакты отбрасываются; вызывать на потоке, сериализующем конвертации. Ядро само себя не зовёт: `wordpdf-app` ставит warmup головой очереди воркеров в конструкторе `ConversionService`. Прогретый первый конверт ru-plain.docx HTTP-запросом: 0,13 с против 1,74 с (A/B на одной машине, сборки ветки и `main`).
### Валидация входа и подсчёт страниц
Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + явные разрывы)`; явные — 0x0C в основном тексте + `sprmPFPageBreakBefore` из PAPX. Тот же метод — вход приложения. Скан выполняется ровно один раз по сырому входу, до аллокаций docx4j: правила 1–10 число учитываемых разрывов не увеличивают (правило 9 способно только убрать разрыв внутри скрытого рана — счёт по сырому входу остаётся верхней оценкой лимита).
Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + разрывы 0x0C − непрерывные межсекционные (sprmSBkc 0/1) + sprmPFPageBreakBefore)` (код — `DocFile.countPages`). Тот же метод — вход приложения. Скан выполняется ровно один раз по сырому входу, до аллокаций docx4j: правила 1–11 число учитываемых разрывов не увеличивают (правило 10 способно только убрать разрыв внутри скрытого рана — счёт по сырому входу остаётся верхней оценкой лимита).
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `w:sectPr` в body + `w:br type="page"` + `pageBreakBefore` (включая таблицы и `w:sdt`). Единственный путь — lightweight (StAX по zip, secure-ридер без DTD/external entities; `WordPdfValidator` не зависит от docx4j): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитуках — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy `val`: `null|true|1|on`). На не-zip молчит — подпись проверяет вызывающий. `checkPageCount` — один стриминговый проход `ZipInputStream` без буферизации частей (хелпер `noClose` глушит `close()` сканеров): потребление O(одной части) вместо O(суммы XML-частей).
### Нормализаторы: контракт и правила 1–11 (детали)
### Нормализаторы: контракт и правила 1–12 (детали)
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Десять rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby; константу `STEP` (`public static final DocxNormalizer`) выставляют девять из десяти (нет только у `RubyNormalizer` — он цепочный, подключается внутри пайплайна), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`. Правила 1–10 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 9; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` десяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим:
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Одиннадцать rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby; константу `STEP` (`public static final DocxNormalizer`) несёт только `DocxRewritePipeline` (собирает рерайты сам), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`, а вместо `normalize(byte[])` у него `normalize(byte[], boolean)`. Правила 1–11 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 10; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` десяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим:
1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174a — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.7 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`).
1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174 — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.4 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`).
2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается.
3. `SymbolFontNormalizer` — PUA U+F000–U+F0FF (Symbol/Wingdings/Webdings) → Unicode + DejaVu Sans; переписывает `<w:sym>`, правит `w:lvl` в numbering.xml; 5 карт по 256 слотов (таблица `SymbolMapper` из docx4j 17.x).
4. `FieldNormalizer` — `fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple` (кэш страниц в PDF не попадает); вложенные/битые поля пропускаются.
5. `InvisibleCharNormalizer` — вырезает из `w:t` U+0085, U+2028, U+2029, U+200E/200F, U+202A–202E, U+2060, U+FEFF (FOP делает из них переносы/пустые строки, Arimo/Tinos рисуют боксы). U+00A0/U+00AD/U+200B–U+200D **не** трогает.
6. `GlyphCoverageNormalizer` — режет раны по покрытию глифов и пишет семейство в `w:rFonts`, иначе FOP рисует «#». Покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, **не** docx4j `GlyphCheck` (плодит INFO-лог; `java.awt.Font` требовал fontconfig на хосте). Для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (`dejavu serif`, `tinos`, `caladea`), затем в sans.
7. `TableIndentNormalizer` — свёртка `w:tblPr/w:jc` (center/right) с любым (в т.ч. отсутствующим/нулевым) `w:tblInd` в абсолютный `w:tblInd` с удалением `w:jc` (Word: tblInd — сдвиг от поля после центрирования, MS-OI29500 §2.1.155; docx4j при jc≠left игнорирует tblInd буквально — Part 1 §17.4.50, а центрированию пишет абсолютный start-indent **без** вычета cellMar, поверх которого padding-компенсация правила LayoutPostRenderer уводит текст на +padding — свёртка обязательна и при X=0): center → (W−T)/2+X, right → (W−T)+X, W — полоса набора (pgSz − pgMar left/right в transitional и `w:start`/`w:end` в strict; дефолты 11906/1440 — измеренное поведение docx4j, не ECMA-1800), T — Σ gridCol; пропускает несколько body-level `sectPr`, не-dxa `tblInd`, `tblPr` с `tblCellSpacing` без `tblInd` (нет корректной позиции вставки по CT_TblPrBase), `tblW pct`, нецелые gridCol. Кроме `rewrite`/`STEP` (document.xml, полоса из собственного sectPr) есть `rewritePart(part, xml, band)` — `word/headerN.xml`/`footerN.xml` с полосой из document.xml (в частях колонтитуков своего sectPr нет) и `bandOf(documentXml)` — экстрактор полосы (−1 — полосы нет). Регрессия — WordPdfConverterTest#tableIndentCentered_shiftedLikeWord, #headerTableIndent_centeredInHeader, #tableCenteredNoIndent_shiftedLikeWord.
8. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; Part 1 §17.3.1.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace.
9. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.30): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, юниты — HiddenTextNormalizerTest.
10. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.18/.19/.20/.21): `w:rubyBase`/`w:rubyBaseText` разворачиваются в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.2 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest.
11. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `<w:object`; не-zip/нет центрального каталога → входной массив — прежняя снисходительность), переупаковка — только при находке. Детект OLE-бинарников — по `[Content_Types].xml`: тип `…oleObject` **или** ложный `+xml`-тип у `.bin` (XML в bin не бывает; `printerSettings` не трогается). Удаляются вместе с rels-ссылками (по типу, включая `TargetMode=External`) и Override удалённых частей. Элементы `<w:object>` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `DrawingFoundException(OLE)`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет.
6. `MathFallbackNormalizer` — байтовый скан OMML-формул (§22.1) до загрузки пакета: формулы с конструкциями вне `MathModel.SUPPORTED` (или structurally битые) деградируют в текст — `m:oMathPara`/`m:oMath` → обычные раны с конкатенацией `m:t` (как в штатном фолбэке docx4j `XsltFOFunctions.mathText`); поддерживаемые части не трогаются (`rewrite` → `null`, тот же массив) — их рисует собственный `MathRenderer` на шаге 3.5. Позиция **до GlyphCoverage** обязательна: деградировавшие раны с математическими символами (U+1D400+) обязаны пройти резку по покрытию, иначе FOP рисует «#». `m:oMathPara` содержит `m:oMath`, поэтому блок para заменяется первым. Регрессия — WordPdfConverterTest#ommlMathUnsupported_flattenedToText, юниты — MathFallbackNormalizerTest.
7. `GlyphCoverageNormalizer` — режет раны по покрытию глифов и пишет семейство в `w:rFonts`, иначе FOP рисует «#». Покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, **не** docx4j `GlyphCheck` (плодит INFO-лог; `java.awt.Font` требовал fontconfig на хосте). Для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (`dejavu serif`, `tinos`, `caladea`), затем в sans.
8. `TableIndentNormalizer` — свёртка `w:tblPr/w:jc` (center/right) с любым (в т.ч. отсутствующим/нулевым) `w:tblInd` в абсолютный `w:tblInd` с удалением `w:jc` (Word: tblInd — сдвиг от поля после центрирования, MS-OI29500 §2.1.155; docx4j при jc≠left игнорирует tblInd буквально — аудит раскладки ECMA-376, матрица B3, а центрированию пишет абсолютный start-indent **без** вычета cellMar, поверх которого padding-компенсация правила LayoutPostRenderer уводит текст на +padding — свёртка обязательна и при X=0): center → (W−T)/2+X, right → (W−T)+X, W — полоса набора (pgSz − pgMar left/right; у CT_PageMar полей `w:start`/`w:end` нет, полоса берётся из сырого document.xml до правила 1; дефолты 11906/1440 — измеренное поведение docx4j, ECMA дефолтов не фиксирует §17.6.11/.13), T — Σ gridCol; пропускает несколько body-level `sectPr`, `tblInd` с явным `w:type` ≠ dxa (опущенный type — dxa, §17.4.87), `tblPr` с `tblCellSpacing` без `tblInd` (нет корректной позиции вставки по CT_TblPrBase), `tblW pct`, нецелые gridCol. Кроме `rewrite` (document.xml, полоса из собственного sectPr) есть `rewritePart(part, xml, band)` — `word/headerN.xml`/`footerN.xml` с полосой из document.xml (в частях колонтитуков своего sectPr нет) и `bandOf(documentXml)` — экстрактор полосы (−1 — полосы нет). Регрессия — WordPdfConverterTest#tableIndentCentered_shiftedLikeWord, #headerTableIndent_centeredInHeader, #tableCenteredNoIndent_shiftedLikeWord.
9. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; ST_LevelSuffix Part 1 §17.9.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace.
10. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.41): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true; явный `false/0/off` в ране **перекрывает** vanish-стиль) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, #hiddenText_directFalseOverridesVanishStyle, юниты — HiddenTextNormalizerTest.
11. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.24–.28): снимается обёртка `w:ruby` (схемно-валидная транзишнл-разметка `w:r`→`w:ruby`→rubyPr/rt/rubyBase иначе достаёт catch-all-шаблону XSLT, и база теряется молча), `w:rubyBase` разворачивается в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.2 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest.
12. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `<w:object`; не-zip/нет центрального каталога → входной массив — прежняя снисходительность), переупаковка — только при находке. Детект OLE-бинарников — по `[Content_Types].xml`: тип `…oleObject` **или** ложный `+xml`-тип у `.bin` (XML в bin не бывает; `printerSettings` не трогается). Удаляются вместе с rels-ссылками (по типу, включая `TargetMode=External`) и Override удалённых частей. Элементы `<w:object>` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `OleFoundException`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет.
`mc-preprocessor.xslt` docx4j (в jar `docx4j-core`) перебивает strict-namespace'ы в transitional и конвертит `pt` в twips/half-points, но ветку перевода процентов в тысячные для namespace'ных атрибутов содержит с закомментированным `<xsl:value-of select="$cleanValue * 1000"/>` (для атрибутов без namespace — она активна), а `w:start`/`w:end` в `w:left`/`w:right` не маппит вовсе. Поэтому собственный рерайт URI ломать нельзя — он сломал бы pt-конверсию preprocessor'а (FOP получил бы «10pt»).
+2 -2
View File
@@ -4,6 +4,6 @@
- Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно).
- Аудит раскладки по ECMA-376 Part 1 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается, свойства `text-align-last` в форке нет (в docx4j-fo-renderer отсутствуют классы TextAlign*); `w:suff="tab"` и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab; suff=space чинит правило 8, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер: advance A→V = A→A — Carlito 6.369pt, DejaVu Sans 7.524pt@11pt): 22 TTF — GPOS-only, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19; при отсутствии `w:kern` Office не кернит — MS-OI29500 §21.1.2.3.9a) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 7), `w:suff="space"` (правило 8).
- Аудит раскладки по ECMA-376 Part 1 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается, свойства `text-align-last` в форке нет (в docx4j-fo-renderer отсутствуют классы TextAlign*); `w:suff="tab"` и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab; suff=space чинит правило 9, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер: advance A→V = A→A — Carlito 6.369pt, DejaVu Sans 7.524pt@11pt): 22 TTF — GPOS-only, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19: кернинг применяется, только когда элемент задан; при отсутствии `w:kern` не кернит; MS-OI29500 §2.1.83 уточняет лишь диапазон `w:val`) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 8), `w:suff="space"` (правило 9).
- Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.13.1.35), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23), OMML-формулы рисуются вектором jeuclid-fop (§22.1 — текст из PDF не извлекается, пинь пикселями), фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 9); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 10 + AUDIT-FIX-2). Остаток (не чиним): `w:framePr` игнорируется — текст печатается в общем потоке, геометрия фрейма теряется (ни XSLT, ни `createBlockForPPr` не читают); `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 10 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура).
- Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.10.6), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23; формула внутри текстового бокса до растера не доходит — обход drawing-нагрузку не спускается и уходит в docx4j-фолбэк `mathText`, конкатенация `m:t`; регрессия — WordPdfConverterTest#drawingTextBoxMath_convertsViaDocx4jTextFallback), OMML-формулы (§22.1) рисует собственный растер `MathModel`/`MathRenderer` — PNG 300 dpi, только бандл-шрифты jar, без AWT/JEuclid (текст из PDF не извлекается, пинь пикселями); неподдерживаемая конструкция или превышение бюджета — текстовая деградация (конкатенация `m:t`, `MathFallbackNormalizer`, правило 6) + warn, inline-формула выравнивается по базовой линии текста (мат-ось Word — принятая деградация), `m:oMathPara` — отдельный центрированный абзац (left/right по `m:jc`, indentLeft→left); фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 10); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 11 + AUDIT-FIX-2). Остаток (не чиним): `w:framePr` игнорируется — текст печатается в общем потоке, геометрия фрейма теряется (ни XSLT, ни `createBlockForPPr` не читают); `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 11 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура).
+10 -10
View File
@@ -4,11 +4,11 @@
| Путь | Назначение |
|---|---|
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String,ConvertOptions)`), `WordPdfValidator` (`checkInput`/`validate` наружу; `checkPageCount`/`checkPageCountDoc`/`isBinaryDoc` — package-private, всё без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`), `ConvertOptions` (record; дефолтов в ядре нет). Пороги защиты — производные от лимитов входа: `WordPdfValidator.maxDecompressedBytes`/`maxDecompressedXmlBytes` (`max(MIN_*×MiB, maxMb×10/4MiB + maxPages×64/32KiB)`, крышек нет), `maxZipEntries` (`max(2048, maxMb×512 + maxPages×32)`), `maxImagePixels` (`maxMb×5_000_000`); коэффициенты и полы — package-private литералы `WordPdfConverter` (`DECOMPRESS_*`, `MIN_DECOMPRESSED_*`, `IMAGE_PIXELS_PER_MAX_MB`, `ZIP_ENTRIES_*`, javac их инлайнит — валидатор не инициализирует конвертер) |
| `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontMapper` (алиасы, self-map, `DISPLAY_NAMES`, `bundledFamily`), `GlyphFont` (глиф-движок fontbox) |
| `…/wordpdf/internal/` | 11 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–10, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы package-private; `public` — `DocxNormalizer`, `DocxRewritePipeline` (наружу только `STEP`, `normalize` package-private), `OleObjectNormalizer`, `FopFallbackFonts` (`declare`), `LayoutPostRenderer` (`register`), `DependencyGuard` (`check`), остальные нормализаторы полностью package-private; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `DrawingFoundException(OLE)` |
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String,ConvertOptions)`), `WordPdfValidator` (`checkInput`/`validate` наружу; `checkPageCount`/`checkPageCountDoc`/`isBinaryDoc` — package-private, всё без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `ChartsFoundException`/`SmartArtFoundException`/`OleFoundException` (по error-флагам), `ConvertOptions` (record; дефолтов в ядре нет). Пороги защиты — производные от лимитов входа: `WordPdfValidator.maxDecompressedBytes`/`maxDecompressedXmlBytes` (`max(MIN_*×MiB, maxMb×10/4MiB + maxPages×64/32KiB)`, крышек нет), `maxZipEntries` (`max(2048, maxMb×512 + maxPages×32)`), `maxImagePixels` (`maxMb×5_000_000`); коэффициенты и полы — package-private литералы `WordPdfConverter` (`DECOMPRESS_*`, `MIN_DECOMPRESSED_*`, `IMAGE_PIXELS_PER_MAX_MB`, `ZIP_ENTRIES_*`, javac их инлайнит — валидатор не инициализирует конвертер) |
| `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontAliases` (алиасы, `DISPLAY_NAMES`, `bundledFamily` — без наследования, статика безопасна до гейта), `BundledFontMapper` (экземпляр-маппер docx4j), `GlyphFont` (глиф-движок fontbox) |
| `…/wordpdf/internal/` | 12 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–11, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы package-private; `public` — `DocxNormalizer`, `DocxRewritePipeline` (наружу только `STEP`, `normalize` package-private), `OleObjectNormalizer`, `FopFallbackFonts` (`declare`), `LayoutPostRenderer` (`register`), `DependencyGuard` (`check`), остальные нормализаторы полностью package-private; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `OleFoundException` |
| `…/wordpdf/internal/doc/` | Мост `.doc` → `.docx`: 18 классов (детали — `docs/agent/doc-bridge.md`) — `CfbReader`, `FibHeader`, `PieceTable`, `Grpprl`, `ChpxIndex`, `PapxIndex`, `Styles`, `Tables`, `Lists`, `Sections`, `FontTable`, `SummaryInfo`, `Headers`, `OfficeArt`, `PrcData`, `DocFile`, `DocxWriter`, `DocToDocx` (публичные `convert`/`countPages`; вложенный `DocxBody` — рендер текста и табличного автомата в XML) |
| `…/wordpdf/internal/chart/` |18 классов Java2D-рендера диаграмм/SmartArt в PNG (public: `DrawingPreRenderer.run` и `ChartImageHandler` — второй инстанцируется из `WordPdfConverter`)|
| `…/wordpdf/internal/chart/` |21 классов Java2D-рендера диаграмм/SmartArt/OMML-формул в PNG (`MathModel`/`MathRenderer`/`MathUnsupportedException` — формулы); public: `DrawingPreRenderer.run` и `ChartImageHandler` — второй инстанцируется из `WordPdfConverter`|
| `wordpdf-core/src/main/resources/fonts/` | 30 TTF + 3 лицензии — бинарные фикстуры, часть jar |
| `wordpdf-core/src/main/resources/xslt/` | `docx2fo.xslt` — вендорный XSL-FO-стилист (копия docx4j-export-fo + AUDIT-FIX-патчи), часть jar |
| `wordpdf-core/src/test/resources/samples/` | 25 закоммиченных фикстур: 13 `.docx` + 12 `.doc` (11 эталонов заказчика из `develop/doc/` с теми же базовыми именами + `doc-formats.doc`); `.docx` проходят `docs/standards/docx/validate-fixtures.py`, `.doc` — бинарные, XSD к ним неприменим |
@@ -30,11 +30,11 @@
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java` — точка входа библиотеки + static-блок `gsubFeatures` + `normalizers(options)` (порядок цепочки).
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java` — валидация входа и lightweight-подсчёт страниц (StAX, без docx4j).
- Дефолтов лимитов в ядре нет (`WordPdfSettings` упразднён): лимиты входа всегда приходят с вызовом через `ConvertOptions`, производные пороги считает `WordPdfValidator.max*` (см. таблицу выше).
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java` — замена диаграмм/SmartArt на PNG; владеет `MAX_EXTENT_EMU` и деградацией при падении рендера.
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java` — замена диаграмм/SmartArt/OMML-формул на PNG; владеет `MAX_EXTENT_EMU` и деградацией при падении рендера (формула — текст вместо удаления).
- `wordpdf-app/src/main/resources/application.properties` — multipart 100MB (`max-file-size`/`max-request-size` + `file-size-threshold=2MB` — части крупнее 2 МБ на диск, не в память; в тон gateway `client_max_body_size 100m`), `wordpdf.convert-timeout=2m`, пустой `wordpdf.api-key`, `server.forward-headers-strategy=framework` (префикс прод-прокси для springdoc) + `springdoc.swagger-ui.persist-authorization=true`; `wordpdf.max-mb`/`max-pages` здесь намеренно нет.
- `wordpdf-app/pom.xml` — `spring-boot-maven-plugin` с **явной** execution `repackage` (в 4.1.1 сам не связывается, jar останется тонким); `slf4j-simple` исключён; `spring-boot-starter-webmvc` (Boot 4: переименован из starter-web) + `spring-boot-starter-actuator` (нужен HEALTHCHECK контейнера `/actuator/health`); тест-зависимости: `spring-boot-webmvc-test` (в Boot 4 автоконфиг MockMvc вынесен из starter-test), test-jar core.
- `wordpdf-core/pom.xml` — `maven-jar-plugin` execution `test-jar` (публикует фикстуры для app); JaCoCo execution `check` переопределён (LINE 0.90 + BRANCH 0.85).
- Корневой `pom.xml` — все версии зависимостей (в модулях версии не объявлять): docx4j `17.3.2`, commons-compress `1.28.0`, slf4j `2.0.20`, JUnit `6.1.3`, PDFBox/fontbox `3.0.8` (`fontbox` — compile в core: глиф-движок `GlyphFont`; `pdfbox` — test в обоих модулях; commons-logging исключён, мост — `jcl-over-slf4j`), POI `5.5.1` (test), Spring Boot `4.1.1` (BOM-import), springdoc `3.1.1`; pluginManagement: compiler `3.16.0`, surefire `3.6.0` с `-Djava.awt.headless=true`, jar `3.5.1`, PMD `3.28.0`, JaCoCo `0.8.15`; пустой дефолт `<argLine>` (для `-Djacoco.skip=true`).
- Корневой `pom.xml` — все версии зависимостей (в модулях версии не объявлять): docx4j `17.3.2`, commons-compress `1.28.0`, slf4j `2.0.20`, JUnit `6.1.3`, PDFBox/fontbox `3.0.8` (`fontbox` — compile в core: глиф-движок `GlyphFont`; `pdfbox` — test в обоих модулях; commons-logging исключён, мост — `jcl-over-slf4j`), POI `5.5.1` (test), Spring Boot `4.1.1` (BOM-import), springdoc `3.1.1`; pluginManagement: compiler `3.16.0`, surefire `3.6.0` с `-Djava.awt.headless=true`, jar `3.5.1`, PMD `3.21.2` (движок PMD `6.55.0`), JaCoCo `0.8.15`; пустой дефолт `<argLine>` (для `-Djacoco.skip=true`).
- `pmd-ruleset.xml` — ruleset PMD (см. Code Conventions).
- `.ci/maven-settings.xml` — Maven-зеркало Nexus с URL из `${env.MAVEN_MIRROR_URL}` (общий файл CI-job'ов `java` и Containerfile; координаты стенда в репо не хранятся — Variable/build-arg).
- `wordpdf-core/src/main/resources/slf4j-simple.properties` — без него предупреждение лезет в PDF.
@@ -105,11 +105,11 @@ unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-expo
- **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` (пер-странично `setStartPage/setEndPage`), override `processTextPosition` для шрифта конкретного символа (`fontNameOf`), обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`) и счётчик картинок (`imageCount`/`distinctImageCount` — SMask игнорируется). Негативные маркеры: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`); в `tableImage_tableAndImage` — полное удаление пробелов (docx4j переносит слова в auto-fit таблицах).
PMD: `failurePriority` в плагине не задан — на практике `verify` валит нарушение любой приоритетности; перечень исключённых правил в AGENTS.md не дублируется — единственный источник `pmd-ruleset.xml`.
PMD: `failurePriority` в плагине не задан — на практике `verify` валит нарушение любой приоритетности; закрытый список правил — единственный источник `pmd-ruleset.xml` (в AGENTS.md не дублируется). Четыре правила `*MustUseBraces` деприкейтед в 6.55.0 — предупреждения «Discontinue using…» в логе verify ожидаемы.
- Нормализаторы — единый контракт `internal/DocxNormalizer` + константа `STEP`; цепочка `WordPdfConverter.normalizers()` = `DocxRewritePipeline.STEP` (правила 1–10 одним zip-проходом) + лямбда `OleObjectNormalizer`; нечего менять → **тот же массив**; package-private хук `static String rewrite(String xml)` для юнит-тестов (возвращает `null` при отсутствии изменений; есть у 10 из 11 — у многочастного `OleObjectNormalizer` нет); у `StrictOoxmlNormalizer` есть также `rewritePart(entryName, xml)`, у `TableIndentNormalizer` — `rewritePart(name, xml, band)` (per-part-логика, хуки пайплайна); правятся только части `word/*.xml`.
- Нормализаторы — единый контракт `internal/DocxNormalizer`; константа `STEP` только у `DocxRewritePipeline` (сам собирает цепочку); цепочка `WordPdfConverter.normalizers()` = `DocxRewritePipeline.STEP` (правила 1–11 одним zip-проходом) + лямбда `OleObjectNormalizer`; нечего менять → **тот же массив**; package-private хук `static String rewrite(String xml)` для юнит-тестов (возвращает `null` при отсутствии изменений; есть у 11 из 12 — у многочастного `OleObjectNormalizer` нет); у `StrictOoxmlNormalizer` есть также `rewritePart(entryName, xml)`, у `TableIndentNormalizer` — `rewritePart(name, xml, band)` (per-part-логика, хуки пайплайна); правятся только части `word/*.xml`.
- Классы в `internal` — `public` (иначе родительский пакет не вызвал бы), но публичные члены наружу только `normalize`/`STEP`/`declare`/`DrawingPreRenderer.run`/`DependencyGuard.check` (`rewrite`, карты — package-private); в `wordpdf-app` всё package-private кроме `WordPdfApplication`.
- Классы в `internal` — package-private; `public` только контракт наружу: `DocxNormalizer`, `DocxRewritePipeline`(+`STEP`), `OleObjectNormalizer`, `FopFallbackFonts`(+`declare`), `LayoutPostRenderer`(+`register`), `DependencyGuard`(+`check`) и `DrawingPreRenderer`(+`run`); `rewrite`-хуки и карты — package-private; в `wordpdf-app` всё package-private кроме `WordPdfApplication`.
- Гейт JaCoCo `0.8.15`: `jacoco:check` (правило BUNDLE, LINE COVEREDRATIO `0.90` — обоих модулей; в `wordpdf-core/pom.xml` execution `check` переопределён и добавляет BRANCH COVEREDRATIO `0.85` — только для core) на `verify`; агент подключается в surefire через `argLine` = `@{argLine} -Djava.awt.headless=true` (свойство `argLine` в корневом pom по умолчанию пусто и перезаписывается `prepare-agent` — `mvn test -Djacoco.skip=true` без агента работоспособно); `report` и `check` оба на `verify`, report раньше — при провале порога отчёт уже на диске; отчёты `target/site/jacoco/` (html+xml, xml нужен CI-сводке). Плотность покрытия держат тесты, а не заглушки: промахи в основном недостижимые IOException/catch-ветки (`GlyphFont`, `BundledFonts`) и защитные ветви сканеров нормализаторов/валидатора.
- Счётчики тестов и описание блока аудита .docx 2026-11 — `docs/agent/testing.md`. JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true`; только `Assertions` (Mockito/AssertJ не использовать; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`), тестовые классы package-private, зеркалят main-пакеты; только `@Test` + два `@BeforeAll` (warm-up шрифтов в `GlyphCoverageNormalizerTest` и `BundledFonts.init()` в `BundledFontsTest`) + `@AfterEach drainWorker` в `ConversionTimeoutTest` (дренировать отменённый FOP-рендер до следующего класса — гонка глобального `PhysicalFonts`).
@@ -121,4 +121,4 @@ PMD: `failurePriority` в плагине не задан — на практик
## Шрифты (детали)
`DISPLAY_NAMES` — обратный маппинг lowercase→отображаемое имя для `documentFontName` (пишет `GlyphCoverageNormalizer` в `w:rFonts`). `BundledFontMapper.bundledFamily` — public-хук «имя шрифта из docx → бандл-семейство или fallback» (пользуется chart-движком). `GlyphFont` — глиф-движок на fontbox (метрики + растеризация глифов для chart-движка и покрытия глифов); читает TTF **напрямую из classpath** `fonts/<file>` (не из temp-каталога `BundledFonts`), кэш по `family/variant`, `of()` возвращает `null` для неизвестного семейства; `java.awt.Font` из рантайм-пути убран, AWT остаётся только как геометрия Graphics2D.
`DISPLAY_NAMES` — обратный маппинг lowercase→отображаемое имя для `documentFontName` (пишет `GlyphCoverageNormalizer` в `w:rFonts`). `BundledFontAliases.bundledFamily` — public-хук «имя шрифта из docx → бандл-семейство или fallback» (пользуется chart/math-движком и покрытием); вынесен из `BundledFontMapper`, чтобы обращение к статике не тянуло `BestMatchingMapper.<clinit>` (скан classpath вне гейта свойств `docx4j.fonts.discover*`, которые выставляет `WordPdfConverter.<clinit>`). `GlyphFont` — глиф-движок на fontbox (метрики + растеризация глифов для chart-движка и покрытия глифов); читает TTF **напрямую из classpath** `fonts/<file>` (не из temp-каталога `BundledFonts`), кэш по `family/variant`, `of()` возвращает `null` для неизвестного семейства; `java.awt.Font` из рантайм-пути убран, AWT остаётся только как геометрия Graphics2D.
+2 -2
View File
@@ -2,7 +2,7 @@
### Счётчики (2026-11)
- 59 тестовых классов / 898 тестов: core 53/849 (`internal/doc/` 17/225, `internal/chart/` 17/271, `WordPdfConverterTest` 77), app 6/49 (ConvertController 23, ApiKeyFilter 8, ConversionService 5, ApiExceptionHandler 5, ConvertLimits 5, ConversionTimeout 3). Обновлять при изменении набора.
- 63 тестовых классов / 1004 теста: core 57/956 (`internal/doc/` 17/256, `internal/chart/` 18/301, `WordPdfConverterTest` 87), app 6/48 (ConvertController 26, ApiKeyFilter 8, ConversionService 5, ApiExceptionHandler 5, ConvertLimits 3, ConversionTimeout 1). Обновлять при изменении набора.
### Пиксели, метрики шрифтов, стенд без fontconfig
@@ -31,5 +31,5 @@
- `lineRuleAuto_wordSingleLinePitch` — пинит метрический шаг «single» (13.4277pt) от псевдофиксов раскладки; `carlitoAutoBlock_untouched` — блок без явного `w:line` не трогается.
- `vendoredXsltTracksJarCopy` — дрейф-гейт: вне AUDIT-FIX-регионов вендорный `docx2fo.xslt` обязан быть побайтно равен стилисту из jar'а docx4j-export-fo (при апгрейде docx4j — перевендорить и перенести патчи).
- Крафт POIFS (закоммиченных фикстур нет, крафт продублирован в `WordPdfConverterTest`): `ListsTest`+`DocToDocxFormattingTest#list*`↔`docLists_numberingAndBulletsRendered` (синтетический .doc со списками → PDF: `1.` `2.` `a)` `b)` `•`, ни одного `#`; фикстур со списками нет — крафт POIFS продублирован в `WordPdfConverterTest`), `PrcDataTest`+`DocToDocxFormattingTest#hugePapxRowMark_closesRowWithGridFromPrcData` (TTP-абзац с grpprl в PrcData Data-потока → `w:tbl`/`w:tr`/сетка из цепочки; фикстуры нет — `docTest.doc` заказчика не коммитим, крафт POIFS продублирован), `SectionsTest`+`HeadersTest`+`DocToDocxFormattingTest#twoSections*/sectionBreakInTable*`↔`docMultiSection_perSectionHeaders` (двухсекционный .doc → PDF: стр. 1 — ШАПКА-1+ПОДВАЛ-1, стр. 2 — ШАПКА-2 + унаследованный ПОДВАЛ-1, ни одной `#`; крафт POIFS продублирован в `WordPdfConverterTest`), `ChpxIndexTest#zeroOffset_defaultPropsBoundaryKept`+`DocToDocxFormattingTest#runFlags_*/keepNextKeepLines_*/sectLandscapePgNumCols_*/sectUnevenCols_*/cellVertAlign_*/drawnObject_*`+`SectionsTest#orientationPgNumColumns_applied/unevenColumns_perIndexWidths/restartWithoutStart_clampsToOne`+`TablesTest#vertAlign_*`↔`WordPdfConverterTest#docClassD_landscapeHiddenDelCaps/#docClassD_pageNumberRestartLowerRoman/#docClassD_twoColumnsBreak/#docClassD_drawnObjectBecomesImage` (закрытие пробелов класса D: vanish-фильтр/правки/caps/position/keep, landscape+pgNumType, колонки+column break, vAlign, 0x08→inline-картинка; фикстур нет — крафт POIFS продублирован в обоих тестовых классах).
- Синтетика через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`: AUDIT-FIX-2↔`movedRevision_textPrinted`/`bdoDir_textPrinted` (фикстур нет — синтетический docx через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`); пиннинг аудита .docx↔`footnote_rendersAtPageBottom`, `endnote_rendersAtDocumentEnd`, `docxHyperlink_uriAnnotation`, `pageRefField_liveNotCached` (кэш 9001/7777 заменён живым номером), `dateField_notStaleCache` (кэш 01.02.2003 заменён текущей датой), `titlePg_firstPageHeader`, `vMergeCell_spansRows`, `sdtContent_rendered`, `drawingTextBox_textPrinted`, `ommlMath_drawnAsVectors` (пиксели: +150 тёмных px@150dpi сверх текста), `highlightAndShading_backgroundDrawn` (жёлтые px >0 против baseline 0), аудит [MS-DOC] моста 2026-11: `GrpprlTest#tInsertOperand_skippedBySpra`/`tInsertOperand_truncated_aborts` (sprmTInsert — 4 байта, хвост TAP не рассинхронизирован), `TablesTest#cellPadding_*` + `DocToDocxFormattingTest#cellMargins_becomeTcMar` ↔ `WordPdfConverterTest#tableTcMar_textInsetLikeWord` (CSSA→w:tcMar, пайплайн красит поля ячейки как tblCellMar — текст на margin+padding), `StylesTest#characterStyle_stk3_chainViaCharChain`/`charChain_nonCharacterStk_empty` + `DocToDocxFormattingTest#charStyle_viaIstd_mergesUnderDirect` (sprmCIstd: символьная chpx-цепочка между стилевой и прямыми, direct wins), `DocToDocxFormattingTest#runHighlightAndShading_inRPr`/`runShadingPattern_degradesToBackFill`/`paraShd_inPPrBeforeJc` ↔ `docHighlightAndShading_yellowPixels` (Ico→ST_HighlightColor; w:shd в форме FOP val="clear"+fill; паттерн→cvBack), `SectionsTest#titlePage_flagFromSepx` + `DocToDocxFormattingTest#titlePage_emittedAfterCols` ↔ `docTitlePage_firstHeaderOnlyFirstPage` (sprmSFTitlePage + first-слоты Plcfhdd → headerReference type="first", первая страница — только first-шапка)..
- Синтетика через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`: AUDIT-FIX-2↔`movedRevision_textPrinted`/`bdoDir_textPrinted` (фикстур нет — синтетический docx через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`); пиннинг аудита .docx↔`footnote_rendersAtPageBottom`, `endnote_rendersAtDocumentEnd`, `docxHyperlink_uriAnnotation`, `pageRefField_liveNotCached` (кэш 9001/7777 заменён живым номером), `dateField_notStaleCache` (кэш 01.02.2003 заменён текущей датой), `titlePg_firstPageHeader`, `vMergeCell_spansRows`, `sdtContent_rendered`, `drawingTextBox_textPrinted`, `ommlMath_renderedAsPng` (пиксели: +150 тёмных px@150dpi сверх текста, текст формулы не извлекается), `ommlMathUnsupported_flattenedToText`, `highlightAndShading_backgroundDrawn` (жёлтые px >0 против baseline 0), аудит [MS-DOC] моста 2026-11: `GrpprlTest#tInsertOperand_skippedBySpra`/`tInsertOperand_truncated_aborts` (sprmTInsert — 4 байта, хвост TAP не рассинхронизирован), `TablesTest#cellPadding_*` + `DocToDocxFormattingTest#cellMargins_becomeTcMar` ↔ `WordPdfConverterTest#tableTcMar_textInsetLikeWord` (CSSA→w:tcMar, пайплайн красит поля ячейки как tblCellMar — текст на margin+padding), `StylesTest#characterStyle_stk3_chainViaCharChain`/`charChain_nonCharacterStk_empty` + `DocToDocxFormattingTest#charStyle_viaIstd_mergesUnderDirect` (sprmCIstd: символьная chpx-цепочка между стилевой и прямыми, direct wins), `DocToDocxFormattingTest#runHighlightAndShading_inRPr`/`runShadingPattern_degradesToBackFill`/`paraShd_inPPrBeforeJc` ↔ `docHighlightAndShading_yellowPixels` (Ico→ST_HighlightColor; w:shd в форме FOP val="clear"+fill; паттерн→cvBack), `SectionsTest#titlePage_flagFromSepx` + `DocToDocxFormattingTest#titlePage_emittedAfterCols` ↔ `docTitlePage_firstHeaderOnlyFirstPage` (sprmSFTitlePage + first-слоты Plcfhdd → headerReference type="first", первая страница — только first-шапка)..
- App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed`, `corruptNotAZip_rejected`, `plainZipNotDocx_rejected`, `junkInsideValidZip_conversionError` (500 на валидном .docx-контейнере с мусором), `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `drawingsAlwaysRendered`, `cyrillicAndPathInFilename_sanitizedResponseName`, `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey`, `dotSegmentOpenPrefix_rejected`, `errorFlagNotBoolean_rejected`, `methodNotSupportedReturns405`/`badContentTypeReturns415`.
Executable
+128
View File
@@ -0,0 +1,128 @@
#!/bin/sh
# Замер памяти конвейера конвертации: пики кучи на конвертацию (TSV из MemoryBench)
# + топ аллокаций по JFR (jdk.ObjectAllocationSample). Методика и числа —
# docs/MEM_USAGE_UPGRADE.md.
#
# Вход: env MB_LABEL — метка прогона (before/after/f1…, файл JFR per-label);
# env MB_JAVA_OPTS — доп. флаги JVM ПОСЛЕ дефолтных (переопределение Xmx/GC
# для матрицы флагов; при -Xmx меньше дефолтного дефолт просто заменяется;
# для смены GC нужен и выключатель дефолта: "-XX:-UseG1GC -XX:+UseSerialGC",
# иначе JVM падает на старте с "Multiple garbage collectors selected");
# аргументы проходят в MemoryBench: --scenario suite|big|all|, --loops N,
# --big-loops N, --dir PATH (реальные документы, напр. develop/).
#
# Пример: MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-before.txt
set -eu
cd "$(dirname "$0")"
LABEL=${MB_LABEL:-run}
mvn -q -pl wordpdf-core test-compile
CPFILE=$PWD/wordpdf-core/target/cp.txt
if [ ! -f "$CPFILE" ] || [ wordpdf-core/pom.xml -nt "$CPFILE" ]; then
mvn -q -pl wordpdf-core org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
-Dmdep.outputFile="$CPFILE" -Dmdep.includeScope=test
fi
JFR=$PWD/wordpdf-core/target/membench-$LABEL.jfr
GCLOG=$PWD/wordpdf-core/target/membench-$LABEL.gc.log
ERRLOG=$PWD/wordpdf-core/target/membench-$LABEL.err
printf '# git %s\n' "$(git rev-parse HEAD)"
printf '# date %s\n' "$(date -u +%FT%TZ)"
printf '# MB_JAVA_OPTS=%s\n' "${MB_JAVA_OPTS:-}"
# MB_JAVA_OPTS без кавычек — намеренно: несколько флагов одним словом пользователя.
# shellcheck disable=SC2086
java -Xms64m -Xmx2g -XX:+UseG1GC -Djava.awt.headless=true \
-Xlog:gc*=info,gc+heap=debug:file=$GCLOG \
${MB_JAVA_OPTS:-} \
-XX:StartFlightRecording=filename=$JFR,settings=profile,maxsize=0,loglevel=error \
-cp "wordpdf-core/target/classes:wordpdf-core/target/test-classes:$(cat "$CPFILE")" \
ru.pjandro.wordpdf.MemoryBench "$@" 2>"$ERRLOG"
# --- аллокации по GC-логу (абсолютная оценка) -----------------------------------
# allocated ≈ выметенный Eden + выметенные humongous-области (G1); max-live —
# максимум heap после пауз (тренд накопления); паузы — число/сумма.
# awk — портативный (mawk/gawk): без 3-аргументного match().
echo
awk '
/Region Size:/ {
for (i = 1; i <= NF; i++) { if ($i ~ /^[0-9]+M$/) { tok = $i; sub(/M$/, "", tok); rs = tok + 0 } }
}
/Eden regions:/ {
for (i = 1; i <= NF; i++) {
if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); eden += (a[1] - a[2]) * rs }
}
}
/Humongous regions:/ {
for (i = 1; i <= NF; i++) {
if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); hum += (a[1] - a[2]) * rs }
}
}
/Pause (Young|Full)/ && /M->/ {
pauses++
tail = $NF; if (tail ~ /[0-9]ms$/) { sub(/ms$/, "", tail); ptime += tail }
for (i = 1; i <= NF; i++) {
if ($i ~ /^[0-9]+M->[0-9]+M/) {
v = $i; sub(/\(.*/, "", v); split(v, m, "->")
if (m[2] + 0 > maxlive) { maxlive = m[2] + 0 }
}
}
}
END {
printf "gc-summary allocated-estimate=%dMB max-live-after-gc=%dMB pauses=%d pause-total=%dms\n",
eden + hum, maxlive, pauses, ptime
}
' "$GCLOG"
# --- агрегация аллокаций из JFR -------------------------------------------------
TOPF=$(mktemp); APPF=$(mktemp)
trap 'rm -f "$TOPF" "$APPF"' EXIT
jfr print --events jdk.ObjectAllocationSample "$JFR" | awk \
-v TOPF="$TOPF" -v APPF="$APPF" '
function framekey(line, k) {
k = line
sub(/^[ \t]+/, "", k)
sub(/ line: [0-9]+$/, "", k)
return k
}
function cls(key, c) {
c = key
sub(/ ?\(.*$/, "", c)
sub(/^[^ ]*\//, "", c)
return c
}
/^ *weight = / { w = $3 + 0 }
/^ *stackTrace = \[/ { instk = 1; nf = 0; next }
instk == 1 && /^ *\]/ {
instk = 0
if (nf == 0) { next }
top = fr[1]
app = ""
for (i = 1; i <= nf; i++) {
c = cls(fr[i])
if (c !~ /^(java|javax|jdk|sun|com\.sun|org\.apache|org\.docx4j|org\.springframework|org\.springdoc|org\.w3c|org\.xml|net\.sf|org\.slf4j|ch\.qos)/) {
app = fr[i]
break
}
}
wsum[top] += w
if (app != "") { asum[app] += w }
next
}
instk == 1 { nf++; fr[nf] = framekey($0) }
END {
for (k in wsum) { print wsum[k] "\t" k > TOPF }
for (k in asum) { print asum[k] "\t" k > APPF }
}
'
echo
printf '===== top-frames: суммарный вес аллокаций, байт (JFR profile, оценка) — label %s =====\n' "$LABEL"
sort -rn "$TOPF" | head -15
printf '===== alloc-total: %s байт\n' "$(awk '{s+=$1} END {printf "%.0f", s}' "$TOPF")"
echo
printf '===== app-sites: аллокации с первым кадром из приложения (attribution) =====\n'
sort -rn "$APPF" | head -15
+4
View File
@@ -18,6 +18,10 @@ run = "mvn clean verify"
description = "mvn clean verify в контейнере без fontconfig (гейт, которым живёт CI; verify — хост-гейт без контейнера)"
run = "podman build -f Containerfile.test ."
[tasks.mem-bench]
description = "Замер памяти конвейера: TSV пиков кучи + топ аллокаций JFR (docs/MEM_USAGE_UPGRADE.md)"
run = "sh membench.sh"
[tasks.app-package]
description = "Исполняемый jar бэкенда"
run = "mvn -pl wordpdf-app -am package"
+30 -70
View File
@@ -2,76 +2,36 @@
<ruleset name="WordPDF code style" xmlns="http://pmd.sourceforge.net/ruleset/2.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://pmd.sourceforge.net/ruleset/2.0.0 https://pmd.sourceforge.io/ruleset_2_0_0.xsd">
<description>Код-стиль java-word-pdf: codestyle без opinionated-правил + unused-правила + NPE-safe equals</description>
<description>Код-стиль java-word-pdf: закрытый список правил под движок PMD 6.55.0
(maven-pmd-plugin 3.21.2; откат с PMD 7 — правила *MustUseBraces удалены в 7-й
мажорной, их deprecation-предупреждения в логе verify ожидаемы). Нарушения чинятся
кодом — подавление @SuppressWarnings("PMD…") и // NOPMD запрещены; правила не
исключаются и не перенастраиваются.</description>
<rule ref="category/java/codestyle.xml">
<!-- opinionated/шумные, намеренно выключены -->
<exclude name="AtLeastOneConstructor"/>
<exclude name="CallSuperInConstructor"/>
<exclude name="CommentDefaultAccessModifier"/>
<exclude name="ConfusingTernary"/>
<exclude name="FieldDeclarationsShouldBeAtStartOfClass"/>
<exclude name="LocalVariableCouldBeFinal"/>
<exclude name="LongVariable"/>
<exclude name="MethodArgumentCouldBeFinal"/>
<exclude name="OnlyOneReturn"/>
<exclude name="PrematureDeclaration"/>
<exclude name="ShortMethodName"/>
<exclude name="ShortVariable"/>
<exclude name="UseExplicitTypes"/>
<exclude name="UseUnderscoresInNumericLiterals"/>
<!-- переопределены ниже -->
<exclude name="MethodNamingConventions"/>
<exclude name="TooManyStaticImports"/>
</rule>
<!-- регрессионные тесты репо именуются объект_условие (AGENTS.md) -->
<rule ref="category/java/codestyle.xml/MethodNamingConventions">
<properties>
<property name="junit5TestPattern" value="^[a-z][a-zA-Z0-9]*(_[a-zA-Z0-9]+)*$"/>
</properties>
</rule>
<!-- MockMvc-тесты: >4 статических импортов — норма -->
<rule ref="category/java/codestyle.xml/TooManyStaticImports">
<properties>
<property name="maximumStaticImports" value="12"/>
</properties>
</rule>
<!-- PMD 7 удалил EqualsAvoidsNull; NPE-safe порядок операндов: литерал слева -->
<rule name="LiteralFirstInEquals" language="java"
message="NPE-safe сравнение строк: строковый литерал должен стоять слева: &quot;lit&quot;.equals(x)"
class="net.sourceforge.pmd.lang.rule.xpath.XPathRule">
<priority>3</priority>
<properties>
<property name="xpath">
<value><![CDATA[
//MethodCall[
(@MethodName = 'equals' or @MethodName = 'equalsIgnoreCase')
and ArgumentList/StringLiteral
and not(*[1][self::StringLiteral
or (self::VariableAccess and @CompileTimeConstant = true())])
]
]]></value>
</property>
</properties>
</rule>
<rule ref="category/java/bestpractices.xml/UnusedAssignment"/>
<rule ref="category/java/bestpractices.xml/UnusedFormalParameter"/>
<rule ref="category/java/bestpractices.xml/UnusedLocalVariable"/>
<rule ref="category/java/bestpractices.xml/UnusedPrivateField"/>
<rule ref="category/java/bestpractices.xml/UnusedPrivateMethod"/>
<!-- null вместо пустой коллекции запрещён (priority 1 по умолчанию — валит verify) -->
<rule ref="category/java/errorprone.xml/ReturnEmptyCollectionRatherThanNull"/>
<!-- литералы в условиях if — только именованными константами -->
<rule ref="category/java/bestpractices.xml/ForLoopCanBeForeach"/>
<rule ref="category/java/design.xml/ExceptionAsFlowControl"/>
<rule ref="category/java/errorprone.xml/EqualsNull"/>
<rule ref="category/java/errorprone.xml/CloseResource"/>
<rule ref="category/java/errorprone.xml/BrokenNullCheck"/>
<rule ref="category/java/bestpractices.xml/AvoidPrintStackTrace"/>
<rule ref="category/java/errorprone.xml/AvoidLosingExceptionInformation"/>
<rule ref="category/java/errorprone.xml/AvoidLiteralsInIfCondition"/>
<rule ref="category/java/errorprone.xml/EmptyCatchBlock">
<priority>2</priority>
</rule>
<rule ref="category/java/bestpractices.xml/ForLoopCanBeForeach">
<priority>2</priority>
</rule>
<rule ref="category/java/errorprone.xml/AvoidCatchingNPE"/>
<rule ref="category/java/errorprone.xml/AssignmentToNonFinalStatic"/>
<rule ref="category/java/errorprone.xml/DoNotCallGarbageCollectionExplicitly"/>
<rule ref="category/java/errorprone.xml/EmptyCatchBlock"/>
<rule ref="category/java/errorprone.xml/CompareObjectsWithEquals"/>
<rule ref="category/java/bestpractices.xml/UnusedPrivateMethod"/>
<rule ref="category/java/bestpractices.xml/UnusedPrivateField"/>
<rule ref="category/java/codestyle.xml/UnnecessaryImport"/>
<rule ref="category/java/bestpractices.xml/SystemPrintln"/>
<rule ref="category/java/multithreading.xml/UnsynchronizedStaticFormatter"/>
<rule ref="category/java/errorprone.xml/ReturnEmptyCollectionRatherThanNull"/>
<rule ref="category/java/errorprone.xml/MisplacedNullCheck"/>
<rule ref="category/java/bestpractices.xml/LiteralsFirstInComparisons"/>
<rule ref="category/java/codestyle.xml/WhileLoopsMustUseBraces"/>
<rule ref="category/java/codestyle.xml/IfStmtsMustUseBraces"/>
<rule ref="category/java/codestyle.xml/IfElseStmtsMustUseBraces"/>
<rule ref="category/java/errorprone.xml/ImplicitSwitchFallThrough"/>
<rule ref="category/java/codestyle.xml/ForLoopsMustUseBraces"/>
</ruleset>
+1 -1
View File
@@ -159,7 +159,7 @@
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-pmd-plugin</artifactId>
<version>3.28.0</version>
<version>3.21.2</version>
<configuration>
<rulesets>
<ruleset>${maven.multiModuleProjectDirectory}/pmd-ruleset.xml</ruleset>
@@ -3,9 +3,11 @@ package ru.pjandro.wordpdf.app;
import jakarta.annotation.PreDestroy;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;
import ru.pjandro.wordpdf.ChartsFoundException;
import ru.pjandro.wordpdf.ConvertOptions;
import ru.pjandro.wordpdf.ConversionException;
import ru.pjandro.wordpdf.DrawingFoundException;
import ru.pjandro.wordpdf.OleFoundException;
import ru.pjandro.wordpdf.SmartArtFoundException;
import ru.pjandro.wordpdf.WordPdfConverter;
import ru.pjandro.wordpdf.WordPdfValidator;
import ru.pjandro.wordpdf.ValidationException;
@@ -141,10 +143,14 @@ final class ConversionService {
// отказ проверки страниц внутри конвейера ядра — некорректный
// вход (400), а не ошибка рендера: без этого утонул бы в 500
throw e;
} catch (DrawingFoundException e) {
} catch (ChartsFoundException e) {
// отказ по настройке запроса (error-флаг) — не ошибка рендера: 422,
// иначе утонет в общем catch ниже как 500
throw new DrawingRejectedException(e.kind());
throw new DrawingRejectedException(DrawingRejectedException.CHARTS);
} catch (SmartArtFoundException e) {
throw new DrawingRejectedException(DrawingRejectedException.SMART_ART);
} catch (OleFoundException e) {
throw new DrawingRejectedException(DrawingRejectedException.OLE);
} catch (ConversionException e) {
// всё, что упало на валидации/рендер-стадии ядра, — ошибка преобразования, 500
throw new ConversionFailedException("Не удалось конвертировать документ: "
@@ -1,28 +1,25 @@
package ru.pjandro.wordpdf.app;
import ru.pjandro.wordpdf.DrawingFoundException;
import ru.pjandro.wordpdf.ChartsFoundException;
import ru.pjandro.wordpdf.OleFoundException;
import ru.pjandro.wordpdf.SmartArtFoundException;
/**
* Документ содержит диаграммы/SmartArt/OLE-объекты при включённом error-флаге
* ({@link DrawingFoundException} ядра).
* ({@link ChartsFoundException}, {@link SmartArtFoundException} или
* {@link OleFoundException} ядра).
*
* <p>Маппится в HTTP 422 ({@link ApiExceptionHandler}); клиенту осмысленно
* повторить без error-флага. Текст сообщения —
* пользовательский контракт: фронт показывает его дословно.</p>
* повторить без error-флага.</p>
*/
class DrawingRejectedException extends RuntimeException {
DrawingRejectedException(DrawingFoundException.Kind kind) {
super(message(kind));
}
/** Тексты — пользовательский контракт: фронт показывает их дословно. */
static final String CHARTS = "Конвертация отменена: в документе найдены диаграммы";
static final String SMART_ART = "Конвертация отменена: в документе найден SmartArt";
static final String OLE = "Конвертация отменена: в документе найдены OLE-объекты";
// switch вынесен из super(): парсер PMD 7.17 (движок maven-pmd-plugin)
// падает на switch-выражении в аргументе super (pmd/pmd#6234).
private static String message(DrawingFoundException.Kind kind) {
return switch (kind) {
case CHARTS -> "Конвертация отменена: в документе найдены диаграммы";
case SMARTART -> "Конвертация отменена: в документе найден SmartArt";
case OLE -> "Конвертация отменена: в документе найдены OLE-объекты";
};
DrawingRejectedException(String message) {
super(message);
}
}
@@ -189,7 +189,8 @@ class ConvertControllerTest {
/**
* errorOnSmartArt=true — HTTP 422 с текстом про SmartArt (диаграммы
* конвертируются, их error-флаг выключен, поэтому бросается целевой Kind).
* конвертируются, их error-флаг выключен, поэтому бросается
* {@code SmartArtFoundException}).
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsSmartArt,
* фикстура samples/charts-smartart.docx.
*/
+18
View File
@@ -29,6 +29,24 @@
<dependency>
<groupId>org.docx4j</groupId>
<artifactId>docx4j-export-fo</artifactId>
<!-- JEuclid (MathML-рендер FOP) исключён: формулы OMML больше не
доходят до FO — DrawingPreRenderer заменяет каждую math-узел
собственным растером (MathModel/MathRenderer) или текстом, а
MathFallbackNormalizer (правило 6) срезает unsupported до
загрузки. Jeuclid тянул AWT-менеджер шрифтов (fontconfig —
падение на без-fontconfig хостах) и системные шрифты в вывод;
инвариант «шрифты только бандла» пинит
FontsBundledOnlyInvariantTest. -->
<exclusions>
<exclusion>
<groupId>de.rototor.jeuclid</groupId>
<artifactId>jeuclid-fop</artifactId>
</exclusion>
<exclusion>
<groupId>de.rototor.jeuclid</groupId>
<artifactId>jeuclid-core</artifactId>
</exclusion>
</exclusions>
</dependency>
<!-- Простой логгер в консоль (slf4j). Обязателен: без него docx4j
пишет предупреждение прямо в выходной PDF. -->
@@ -0,0 +1,16 @@
package ru.pjandro.wordpdf;
/**
* В документе найдены диаграммы, а их обработка запрещена включённым
* {@link ConvertOptions#errorOnCharts()}. Исключение отвергает документ целиком.
*
* <p>Наследник {@link ConversionException} — наружу по-прежнему ловится и он.
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsCharts,
* фикстура samples/charts-smartart.docx.</p>
*/
public final class ChartsFoundException extends ConversionException {
public ChartsFoundException() {
super("В документе найдены диаграммы, а их обработка запрещена (errorOnCharts)");
}
}
@@ -6,9 +6,9 @@ package ru.pjandro.wordpdf;
* сервера как дефолт REST-эндпоинта + параметры запроса). Диаграммы/SmartArt
* конвертируются всегда.
*
* @param errorOnCharts бросать {@link DrawingFoundException} при находке диаграмм
* @param errorOnSmartArt бросать {@link DrawingFoundException} при находке SmartArt
* @param errorOnOle бросать {@link DrawingFoundException} при находке OLE-объектов
* @param errorOnCharts бросать {@link ChartsFoundException} при находке диаграмм
* @param errorOnSmartArt бросать {@link SmartArtFoundException} при находке SmartArt
* @param errorOnOle бросать {@link OleFoundException} при находке OLE-объектов
* (иначе — тихо удалить их из документа)
* @param maxMb лимит размера входа в МБ (MiB) на этот вызов;
* должен быть больше 0
@@ -1,45 +0,0 @@
package ru.pjandro.wordpdf;
/**
* Документ содержит объект, находку которого вызывающий запретил:
* соответствующий error-флаг включён
* ({@link ConvertOptions#errorOnCharts()}, {@link ConvertOptions#errorOnSmartArt()},
* {@link ConvertOptions#errorOnOle()}).
* Диаграммы/SmartArt конвертируются всегда; OLE-объекты при выключенном
* {@code errorOnOle} теряют свои данные, но сохраняют картинку-плейсхолдер
* (в отличие от них).
* Исключение отвергает документ целиком.
*
* <p>Наследник {@link ConversionException} — наружу по-прежнему ловится
* только он; {@code kind()} даёт вызывающему тип объекта без разбора текста.
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsCharts,
* фикстура samples/charts-smartart.docx; OLE —
* WordPdfConverterTest#drawingErrors_errorFlagRejectsOle,
* фикстура samples/ole-embedded.docx.</p>
*/
public class DrawingFoundException extends ConversionException {
/** Тип найденного объекта. */
public enum Kind { CHARTS, SMARTART, OLE }
private final Kind kind;
public DrawingFoundException(Kind kind) {
super(message(kind));
this.kind = kind;
}
// switch вынесен из super(): парсер PMD 7.17 (движок maven-pmd-plugin)
// падает на switch-выражении в аргументе super (pmd/pmd#6234).
private static String message(Kind kind) {
return switch (kind) {
case CHARTS -> "В документе найдены диаграммы, а их обработка запрещена (errorOnCharts)";
case SMARTART -> "В документе найден SmartArt, а его обработка запрещена (errorOnSmartArt)";
case OLE -> "В документе найдены OLE-объекты, а их обработка запрещена (errorOnOle)";
};
}
public Kind kind() {
return kind;
}
}
@@ -0,0 +1,22 @@
package ru.pjandro.wordpdf;
/**
* В документе найдены OLE-объекты, а их обработка запрещена включённым
* {@link ConvertOptions#errorOnOle()}. Исключение отвергает документ целиком.
*
* <p>При выключенном флаге OLE-объекты теряют свои данные, но сохраняют
* картинку-плейсхолдер (в отличие от диаграмм/SmartArt, конвертируемых
* всегда). Флаг действует только на {@code .docx}: в бинарном {@code .doc}
* вложения OLE — форматирование U+0001, мост деградирует их до картинки,
* поэтому находки OLE там не бывает.</p>
*
* <p>Наследник {@link ConversionException} — наружу по-прежнему ловится и он.
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsOle,
* фикстура samples/ole-embedded.docx; OleObjectNormalizerTest#errorOnOleThrowsOleFound.</p>
*/
public final class OleFoundException extends ConversionException {
public OleFoundException() {
super("В документе найдены OLE-объекты, а их обработка запрещена (errorOnOle)");
}
}
@@ -0,0 +1,16 @@
package ru.pjandro.wordpdf;
/**
* В документе найден SmartArt, а его обработка запрещена включённым
* {@link ConvertOptions#errorOnSmartArt()}. Исключение отвергает документ целиком.
*
* <p>Наследник {@link ConversionException} — наружу по-прежнему ловится и он.
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsSmartArt,
* фикстура samples/charts-smartart.docx.</p>
*/
public final class SmartArtFoundException extends ConversionException {
public SmartArtFoundException() {
super("В документе найден SmartArt, а его обработка запрещена (errorOnSmartArt)");
}
}
@@ -31,6 +31,7 @@ import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import javax.xml.transform.Templates;
import javax.xml.transform.TransformerConfigurationException;
import javax.xml.transform.stream.StreamSource;
import javax.imageio.ImageIO;
import java.io.InputStream;
@@ -156,7 +157,7 @@ public final class WordPdfConverter {
* считаются ровно раз по сырому входу, до аллокаций docx4j: для .docx —
* lightweight-скан по zip, для .doc — по чистому бинарному документу до
* конвертации. Повторного скана по нормализованным байтам нет: правила
* 1–10 {@code DocxRewritePipeline} число учитываемых разрывов не
* 1–11 {@code DocxRewritePipeline} число учитываемых разрывов не
* увеличивают (правило 9 способно только убрать разрыв внутри скрытого
* рана — счёт по сырому входу остаётся верхней оценкой лимита), а скан
* внутри живой JAXB-модели удваивал бы пиковую память.
@@ -400,7 +401,8 @@ public final class WordPdfConverter {
LayoutPostRenderer.register(foSettings);
// 4.5 Вендорный xslt/docx2fo.xslt = копия из docx4j-export-fo +
// AUDIT-FIX-патч (w:rPr position) — стилист jar'а не
// AUDIT-FIX-патчи (w:rPr/w:position→baseline-shift;
// AUDIT-FIX-2: moveFrom/moveTo/bdo/dir) — стилист jar'а не
// используется.
foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES);
@@ -429,13 +431,13 @@ public final class WordPdfConverter {
}
resetSharedImageCaches();
BundledFonts.restrictToBundled();
// Примечание: в docx4j 11.x OpcPackage.close() отсутствует —
// Примечание: в docx4j 17.x OpcPackage.close() отсутствует —
// пакет загружается в память и ничего не закрывает.
}
}
/**
* Нормализация входных байтов (цепочка {@link #normalizers}: правила 1–10
* Нормализация входных байтов (цепочка {@link #normalizers}: правила 1–11
* одним zip-проходом {@code DocxRewritePipeline} + условная OLE-вычистка)
* и {@code WordprocessingMLPackage.load} полученного transitional-байта.
* Нормализация переиспользует слот {@code bytes}: каждая замена массива
@@ -454,10 +456,11 @@ public final class WordPdfConverter {
* Конвейер байтовой нормализации docx. Порядок фиксирован: сначала один
* zip-проход переписывания XML-частей (внутри части порядок рерайтов
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→
* NumberingSuffix→Hidden→Ruby значим: Strict первым — дальше transitional-байт;
* NumberingSuffix→Hidden→Ruby→MathFallback значим: Strict первым — дальше transitional-байт;
* GlyphCoverage — по финальному тексту рана; Hidden — вырезает скрытые
* раны по финальному содержимому; Ruby — разворачивает руби-разметку,
* которую схема docx4j не биндит), затем OleObjectNormalizer
* которую схема docx4j не биндит; MathFallback — деградирует OMML-формулы
* в текст m:t, когда JEuclid недоступен), затем OleObjectNormalizer
* (меняет части, а не XML ранов).
* Регрессии каждого рерайта — в javadoc соответствующего нормализатора.
*/
@@ -465,17 +468,19 @@ public final class WordPdfConverter {
return List.of(
// один zip-проход: strict→transitional, on/off, Symbol-PUA,
// поля PAGE/NUMPAGES, невидимки, покрытие глифов, tblInd при
// jc≠left, suff=space, скрытый текст (vanish) — порядок
// jc≠left, suff=space, скрытый текст (vanish), снятие обёртки
// w:ruby, OMML-фолбэк в текст — порядок
// рерайтов внутри части фиксирован (DocxRewritePipeline)
DocxRewritePipeline.STEP,
// OLE-объекты: при выключенном errorOnOle тихо удаляем
// (часть/rels/w:object), при включённом — DrawingFoundException
// (часть/rels/w:object), при включённом — OleFoundException
// (OleObjectNormalizer); второй проход, т.к. меняет части, а не XML
bytes -> OleObjectNormalizer.normalize(bytes, options.errorOnOle()));
}
/**
* Вендорный docx2fo.xslt (копия из docx4j-export-fo + AUDIT-FIX-патч).
* Вендорный docx2fo.xslt (копия из docx4j-export-fo + AUDIT-FIX-патчи:
* w:rPr/w:position→baseline-shift; AUDIT-FIX-2: moveFrom/moveTo/bdo/dir).
* {@code AbstractXsltExporterDelegate.getTemplates} кастит значение
* {@code setCustomXsltTemplates} в {@code Templates} — компилируем заранее;
* {@code Templates} неизменяем и потокобезопасен, один экземпляр на процесс.
@@ -490,7 +495,7 @@ public final class WordPdfConverter {
throw new ConversionException("Ресурс xslt/docx2fo.xslt не найден");
}
return XmlUtils.getTransformerFactory().newTemplates(new StreamSource(xslt));
} catch (Exception e) {
} catch (IOException | TransformerConfigurationException e) {
throw new ConversionException("Не удалось скомпилировать xslt/docx2fo.xslt", e);
}
}
@@ -66,6 +66,15 @@ public final class WordPdfValidator {
/** Элемент-контейнер body, внутри которого sectPr — межсекционный разрыв. */
private static final String BODY_ELEMENT = "body";
/** Кэш-элемент &lt;Pages&gt; в docProps/app.xml. */
private static final String PAGES_ELEMENT = "Pages";
/** Элемент sectPr — секция документа (межсекционный разрыв). */
private static final String SECTION_PROPERTIES = "sectPr";
/** Элемент w:br — разрыв строки/страницы. */
private static final String BREAK_ELEMENT = "br";
/** Кэш Word &lt;Pages&gt;. */
private static final String APP_PART = "docProps/app.xml";
@@ -563,7 +572,7 @@ public final class WordPdfValidator {
XMLStreamReader xr = newSecureReader().createXMLStreamReader(in);
while (xr.hasNext()) {
if (xr.next() == XMLStreamReader.START_ELEMENT
&& "Pages".equals(xr.getLocalName())) {
&& PAGES_ELEMENT.equals(xr.getLocalName())) {
String text = xr.getElementText().trim();
return Math.max(0, Integer.parseInt(text));
}
@@ -652,7 +661,7 @@ public final class WordPdfValidator {
// различает финальную и межсекционные)
}
case "type" -> {
if (inBodySectPr && "sectPr".equals(parent)) {
if (inBodySectPr && SECTION_PROPERTIES.equals(parent)) {
sectTypeVal = attrLocal(xr, "val");
}
}
@@ -660,7 +669,7 @@ public final class WordPdfValidator {
}
}
} else if (ev == XMLStreamReader.END_ELEMENT) {
if ("sectPr".equals(xr.getLocalName()) && inBodySectPr) {
if (SECTION_PROPERTIES.equals(xr.getLocalName()) && inBodySectPr) {
if (pendingNewPageSection) {
bodyDirectSectPr++;
}
@@ -693,7 +702,7 @@ public final class WordPdfValidator {
XMLStreamReader xr = newSecureReader().createXMLStreamReader(in);
while (xr.hasNext()) {
if (xr.next() == XMLStreamReader.START_ELEMENT
&& "br".equals(xr.getLocalName()) && isPageBreak(xr)) {
&& BREAK_ELEMENT.equals(xr.getLocalName()) && isPageBreak(xr)) {
count++;
}
}
@@ -0,0 +1,106 @@
package ru.pjandro.wordpdf.fonts;
import java.util.HashMap;
import java.util.Locale;
import java.util.Map;
/**
* Таблица алиасов имён шрифтов и обратное имя для {@code w:rFonts}.
*
* Почему это вынесено из {@link BundledFontMapper}: обращение к статикам
* маппера (чарты, GlyphCoverageNormalizer, MathModel) по правилам JVM
* инициализирует и суперкласс {@code BestMatchingMapper}, чей
* {@code <clinit>} сканирует classpath-джары в реестр {@code PhysicalFonts};
* системный скан гейтится свойствами {@code docx4j.fonts.discover*},
* которые выставляет {@code WordPdfConverter.<clinit>}, — и при раннем
* обращении к мапперу скан мог пройти без гейта. У этого класса нет
* наследования, его статика безопасна при любом порядке загрузки.
* Экземпляр {@code BundledFontMapper} создаётся только в конвейере
* {@code WordPdfConverter} — всегда после его {@code <clinit>}.
*/
public final class BundledFontAliases {
/**
* Алиасы: имя шрифта из документа (lowercase) -> бандл-семейство (lowercase).
* Croscore (Arimo/Tinos/Cousine) и crosextra (Carlito/Caladea) шрифты
* метрически совместимы с соответствующими MS-шрифтами и содержат
* кириллицу.
*/
static final Map<String, String> ALIASES;
static {
Map<String, String> m = new HashMap<>();
// Частые MS-шрифты -> open-source аналоги
m.put("calibri", "carlito");
m.put("calibri light", "carlito");
m.put("cambria", "caladea");
m.put("arial", "arimo");
m.put("times new roman", "tinos");
m.put("courier new", "cousine");
// Бандл-шрифты сами по себе (на случай, если документ прямо
// указывает одно из них)
m.put("carlito", "carlito");
m.put("caladea", "caladea");
m.put("arimo", "arimo");
m.put("tinos", "tinos");
m.put("cousine", "cousine");
m.put("dejavu sans", "dejavu sans");
m.put("dejavu serif", "dejavu serif");
// Покрывающие шрифты (в документе обычно не встречаются, но если
// встречаться — маппятся на себя, а не в DejaVu-фолбэк)
m.put("noto naskh arabic", "noto naskh arabic");
m.put("noto sans armenian", "noto sans armenian");
ALIASES = Map.copyOf(m);
}
/** Финальный fallback: шрифт с гарантированной кириллицей. */
private static final String FALLBACK_FAMILY = BundledFonts.FALLBACK_FAMILY;
/**
* Имя семейства для записи в {@code w:rFonts} (ключ — lowercase-семейство).
* Нужно {@code GlyphCoverageNormalizer}: он пишет в разрезанный ран
* человекочитаемое имя, а {@code BundledFontMapper.populateFontMappings}
* маппит его обратно на TTF.
*/
private static final Map<String, String> DISPLAY_NAMES = Map.of(
"dejavu sans", "DejaVu Sans",
"dejavu serif", "DejaVu Serif",
"noto naskh arabic", "Noto Naskh Arabic",
"noto sans armenian", "Noto Sans Armenian");
/**
* Имя, которое docx4j {@code RunFontSelector} запрашивает у маппера для
* символов диапазона U+2000–U+2EFF (em-dash «—», кавычки «„», многоточие
* «…»), если шрифт ранa не содержит глифа. Это виртуальное имя (в
* документе его нет), поэтому маппим его на {@link #FALLBACK_FAMILY}:
* без записи символ остаётся без font-family в FO и рендерится системным
* неembedded-шрифтом (Helvetica).
*/
static final String SYMBOL_FONT = "Segoe UI Symbol";
private BundledFontAliases() {
}
/**
* Бандл-семейство для имени шрифта из документа (таблица алиасов)
* или финальный fallback. Используется пре-рендером диаграмм и формул
* (internal/chart), которому нужен тот же шрифт, что и у текста PDF.
*/
public static String bundledFamily(String docFontName) {
String family = ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
return family != null && BundledFonts.regular(family) != null
? family
: FALLBACK_FAMILY;
}
/**
* Имя шрифта, которое можно поставить в {@code w:rFonts}, чтобы получить
* бандл-семейство {@code family}: {@code GlyphCoverageNormalizer} пишет
* его в разрезанные раны. Обратная к {@link #bundledFamily} операция —
* имена берутся из таблицы алиасов, поэтому маппинг гарантированно
* возвращается к тому же семейству.
*/
public static String documentFontName(String family) {
return DISPLAY_NAMES.getOrDefault(family, family);
}
}
@@ -4,10 +4,8 @@ import org.docx4j.fonts.BestMatchingMapper;
import org.docx4j.fonts.PhysicalFont;
import org.docx4j.wml.Fonts;
import java.util.HashMap;
import java.util.LinkedHashSet;
import java.util.Locale;
import java.util.Map;
import java.util.Set;
/**
@@ -15,7 +13,8 @@ import java.util.Set;
*
* Стратегия (см. {@link #populateFontMappings}):
* 1. Частые MS-шрифты заменяются метрически совместимыми open-source
* аналогами (таблица алиасов) — они есть в jar и содержат кириллицу.
* аналогами (таблица алиасов {@link BundledFontAliases}) — они есть в
* jar и содержат кириллицу.
* 2. Нераспознанные шрифты передаются родительскому
* {@link BestMatchingMapper} (совпадение по Panose-кодам среди
* доступных шрифтов).
@@ -27,95 +26,30 @@ import java.util.Set;
* файл для каждого начертания. Ключи register*Form — точное имя из
* документа: docx4j ищет варианты именно по нему.
*
* ВАЖНО (macOS): {@code PhysicalFonts.getBoldForm} для имён бандл-шрифтов
* ({@code Tinos Regular}, {@code Carlito Regular}, …) на macOS уходит в
* {@code MicrosoftFontsRegistry} и возвращает {@code null} — у этих записей
* нет Mac-имени файла. docx4j тогда строит simulate-style fopconf (все
* начертания на regular-TTF), и FOP теряет реальные Bold/Italic: другие
* метрики и кернинг ломают переносы в узких ячейках (регрессии —
* {@code WordPdfConverterTest#strictOoxml_convertsNotRejected},
* {@code #ruPlain_regularRunsUseRegularFont}). Override-ы
* {@code getBoldForm}/{@code getItalicForm}/{@code getBoldItalicForm}
* отдают реальные бандл-варианты.
*
* ВАЖНО (порядок инициализации): конструктор BestMatchingMapper
* запускает обнаружение системных шрифтов, которые могут занять те же
* имена в реестре docx4j. Поэтому {@code BundledFonts.init()} нужно
* вызывать ПОСЛЕ создания маппера, чтобы бандл-шрифты оказались в
* реестре поверх системных.
* реестре поверх системных. Таблица алиасов вынесена в
* {@link BundledFontAliases}, чтобы обращение к ней не инициировало этот
* класс до гейта {@code WordPdfConverter.<clinit>}.
*/
public class BundledFontMapper extends BestMatchingMapper {
/**
* Алиасы: имя шрифта из документа (lowercase) -> бандл-семейство (lowercase).
* Croscore (Arimo/Tinos/Cousine) и crosextra (Carlito/Caladea) шрифты
* метрически совместимы с соответствующими MS-шрифтами и содержат
* кириллицу.
*/
private static final Map<String, String> ALIASES;
/** Финальный fallback: шрифт с гарантированной кириллицей. */
private static final String FALLBACK_FAMILY = BundledFonts.FALLBACK_FAMILY;
/**
* Имя семейства для записи в {@code w:rFonts} (ключ — lowercase-семейство).
* Нужно {@code GlyphCoverageNormalizer}: он пишет в разрезанный ран
* человекочитаемое имя, а {@link #populateFontMappings} маппит его
* обратно на TTF.
*/
private static final Map<String, String> DISPLAY_NAMES = Map.of(
"dejavu sans", "DejaVu Sans",
"dejavu serif", "DejaVu Serif",
"noto naskh arabic", "Noto Naskh Arabic",
"noto sans armenian", "Noto Sans Armenian");
/**
* Имя, которое docx4j {@code RunFontSelector} запрашивает у маппера для
* символов диапазона U+2000–U+2EFF (em-dash «—», кавычки «„», многоточие
* «…»), если шрифт ранa не содержит глифа. Это виртуальное имя (в
* документе его нет), поэтому маппим его на {@link #FALLBACK_FAMILY}:
* без записи символ остаётся без font-family в FO и рендерится системным
* неembedded-шрифтом (Helvetica).
*/
static final String SYMBOL_FONT = "Segoe UI Symbol";
static {
Map<String, String> m = new HashMap<>();
// Частые MS-шрифты -> open-source аналоги
m.put("calibri", "carlito");
m.put("calibri light", "carlito");
m.put("cambria", "caladea");
m.put("arial", "arimo");
m.put("times new roman", "tinos");
m.put("courier new", "cousine");
// Бандл-шрифты сами по себе (на случай, если документ прямо
// указывает одно из них)
m.put("carlito", "carlito");
m.put("caladea", "caladea");
m.put("arimo", "arimo");
m.put("tinos", "tinos");
m.put("cousine", "cousine");
m.put("dejavu sans", "dejavu sans");
m.put("dejavu serif", "dejavu serif");
// Покрывающие шрифты (в документе обычно не встречаются, но если
// встречаться — маппятся на себя, а не в DejaVu-фолбэк)
m.put("noto naskh arabic", "noto naskh arabic");
m.put("noto sans armenian", "noto sans armenian");
ALIASES = Map.copyOf(m);
}
/**
* Бандл-семейство для имени шрифта из документа (таблица алиасов)
* или финальный fallback. Используется пре-рендером диаграмм
* (internal/chart), которому нужен тот же шрифт, что и у текста PDF.
*/
public static String bundledFamily(String docFontName) {
String family = ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
return family != null && BundledFonts.regular(family) != null
? family
: FALLBACK_FAMILY;
}
/**
* Имя шрифта, которое можно поставить в {@code w:rFonts}, чтобы получить
* бандл-семейство {@code family}: {@code GlyphCoverageNormalizer} пишет
* его в разрезанные раны. Обратная к {@link #bundledFamily} операция —
* имена берутся из таблицы алиасов, поэтому маппинг гарантированно
* возвращается к тому же семейству.
*/
public static String documentFontName(String family) {
return DISPLAY_NAMES.getOrDefault(family, family);
}
/**
* Вызывается docx4j при {@code package.setFontMapper(...)}: для каждого
* имени шрифта, использованного в документе, нужно определить, каким
@@ -126,21 +60,21 @@ public class BundledFontMapper extends BestMatchingMapper {
*/
@Override
public void populateFontMappings(Set<String> documentFontNames, Fonts wmlFonts) throws Exception {
// Виртуальное имя для символов U+2000–U+2EFF (см. SYMBOL_FONT):
// Виртуальное имя для символов U+2000–U+2EFF (см. BundledFontAliases.SYMBOL_FONT):
// маппим сразу, чтобы оно не попало в remaining и родительский
// BestMatchingMapper не пытался искать его в fontTable (и не логировал
// "Font Segoe UI Symbol not found in font table!").
if (BundledFonts.regular(FALLBACK_FAMILY) != null) {
mapFamily(SYMBOL_FONT, FALLBACK_FAMILY);
mapFamily(BundledFontAliases.SYMBOL_FONT, FALLBACK_FAMILY);
}
Set<String> remaining = new LinkedHashSet<>();
for (String docFontName : documentFontNames) {
if (SYMBOL_FONT.equalsIgnoreCase(docFontName)) {
if (BundledFontAliases.SYMBOL_FONT.equalsIgnoreCase(docFontName)) {
// уже маппировано выше
continue;
}
String family = ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
String family = BundledFontAliases.ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
if (family == null || BundledFonts.regular(family) == null) {
// Нет алиаса (или init() не вызван) — доверимся родителю
remaining.add(docFontName);
@@ -163,6 +97,51 @@ public class BundledFontMapper extends BestMatchingMapper {
}
}
/** Начертание бандла вместо registry-эвристики: см. «ВАЖНО (macOS)» в javadoc класса. */
@Override
public PhysicalFont getBoldForm(String fontName, PhysicalFont physicalFont) {
PhysicalFont bundled = bundledSibling(physicalFont, BundledFonts.V_BOLD);
return bundled != null ? bundled : super.getBoldForm(fontName, physicalFont);
}
/** Начертание бандла вместо registry-эвристики: см. «ВАЖНО (macOS)» в javadoc класса. */
@Override
public PhysicalFont getItalicForm(String fontName, PhysicalFont physicalFont) {
PhysicalFont bundled = bundledSibling(physicalFont, BundledFonts.V_ITALIC);
return bundled != null ? bundled : super.getItalicForm(fontName, physicalFont);
}
/** Начертание бандла вместо registry-эвристики: см. «ВАЖНО (macOS)» в javadoc класса. */
@Override
public PhysicalFont getBoldItalicForm(String fontName, PhysicalFont physicalFont) {
PhysicalFont bundled = bundledSibling(physicalFont, BundledFonts.V_BOLD_ITALIC);
return bundled != null ? bundled : super.getBoldItalicForm(fontName, physicalFont);
}
/**
* Реальное начертание бандл-семейства, к которому относится {@code pf}.
*
* <p>Семейство опознаётся по {@code embeddedURI} regular-варианта, а не
* по имени: на macOS имя в реестре docx4j — полное из TTF-таблицы
* ({@code Tinos Regular}), и именно на нём ломается
* {@code PhysicalFonts.getBoldForm}. Шрифт вне бандла (или {@code pf ==
* null}, {@code BundledFonts.init()} не вызван) → {@code null}, вызывающий
* идёт родительской логикой.</p>
*/
private static PhysicalFont bundledSibling(PhysicalFont pf, String variant) {
if (pf == null || pf.getEmbeddedURI() == null) {
return null;
}
String uri = pf.getEmbeddedURI().toString();
for (String family : BundledFonts.families()) {
PhysicalFont regular = BundledFonts.regular(family);
if (regular != null && uri.equals(regular.getEmbeddedURI().toString())) {
return BundledFonts.font(family, variant);
}
}
return null;
}
/**
* Привязывает все начертания семейства к имени шрифта из документа.
*/
@@ -13,7 +13,7 @@ import java.util.regex.Pattern;
/**
* Нормализация ST_OnOff-значений в docx перед загрузкой docx4j.
*
* docx4j 11.x теряет атрибуты {@code w:val="off"} / {@code w:val="on"}
* docx4j 17.x теряет атрибуты {@code w:val="off"} / {@code w:val="on"}
* при JAXB-разборе (тип поля {@code Boolean} не принимает "on"/"off",
* поле остаётся null и {@code BooleanDefaultTrue.isVal()} считается
* true). Из-за этого явные {@code <w:b w:val="off"/>} и
@@ -22,6 +22,11 @@ import java.util.regex.Pattern;
* docx4j разбирает корректно, поэтому заменяем "off"->"false",
* "on"->"true" в XML-частях word/*.xml.
*
* <p>Исключение — {@code w:scrollbar} (свойство фрейма, §17.15.2.37): его
* {@code w:val} — ST_FrameScrollbar (none/left/right/leftAndRight,
* §17.18.32), единственный не-ST_OnOff носитель on/off в WML; переписывать
* его нельзя — вывод станет невалидным.
*
* Если совпадений нет, возвращает исходный массив без переупаковки zip.
*/
final class DocxOnOffNormalizer {
@@ -33,15 +38,12 @@ final class DocxOnOffNormalizer {
* {@code w:t} не правится. Регрессия — DocxOnOffNormalizerTest#onOffInTextNotTouched.
*/
private static final Pattern ON_OFF = Pattern.compile(
"(<[A-Za-z][A-Za-z0-9:]*(?:\\s[^<>]*)?)w:val=([\"'])(on|off)\\2",
"(<(?!w:scrollbar\\b)[A-Za-z][A-Za-z0-9:]*(?:\\s[^<>]*)?)w:val=([\"'])(on|off)\\2",
Pattern.CASE_INSENSITIVE);
private DocxOnOffNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = DocxOnOffNormalizer::normalize;
/**
* Заменяет в XML-частях docx (word/*.xml) w:val="off"/"on"
* на "false"/"true".
@@ -16,11 +16,13 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
* Единый zip-проход переписывания XML-частей (.docx) вместо отдельных
* проходов нормализаторов: к каждой записи {@code word/*.xml} применяются
* все одиннадцать рерайтов в фиксированном порядке
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby→MathFallback.
* Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby.
* Порядок значим: Strict первым — дальше части в transitional-виде
* (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage
* (TableIndent читает transitional-атрибуты {@code w:}); MathFallback
* шестым — flatten unsupported-формул даёт обычный текст ранов, который
* следующий GlyphCoverage покрывает кириллицей бандла; GlyphCoverage
* режет раны по финальному тексту рана (после Symbol/Invisible); Hidden
* последним — вырезает уже финальные раны (после Symbol/GLYPH-разбиений),
* девятым — вырезает уже финальные раны (после Symbol/GLYPH-разбиений),
* а его OnOff-форма vanish читается после правила 2. Каждый
* рерайт работает только содержимым одной части, поэтому по-частная
* цепочка эквивалентна последовательным полным проходам. Исключения из
@@ -66,7 +68,8 @@ public final class DocxRewritePipeline {
// Ширина полосы набора для правила 7 (таблицы в header/footer-
// частях своей sectPr не содержат): из сырого document.xml —
// геометрия инвариантна к рерайтам цепочки (Strict не трогает
// w:pgSz/@w:w, а pgMar-чередование left|start покрывает strict).
// w:pgSz/@w:w; у strict CT_PageMar start/end нет вовсе —
// только left/right).
// Записи нет/несколько секций → −1, header/footer консервативно
// пропускаются (та же неоднозначность полосы, что для body).
int band = -1;
@@ -113,6 +116,10 @@ public final class DocxRewritePipeline {
if (next != null) {
cur = next;
}
next = MathFallbackNormalizer.rewrite(cur);
if (next != null) {
cur = next;
}
next = GlyphCoverageNormalizer.rewrite(cur);
if (next != null) {
cur = next;
@@ -133,11 +140,7 @@ public final class DocxRewritePipeline {
if (next != null) {
cur = next;
}
next = MathFallbackNormalizer.rewrite(cur);
if (next != null) {
cur = next;
}
if (cur != xml) {
if (!cur.equals(xml)) {
changed = true;
rewritten = cur.getBytes(StandardCharsets.UTF_8);
}
@@ -44,9 +44,6 @@ final class FieldNormalizer {
private FieldNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = FieldNormalizer::normalize;
/**
* Переписывает поддерживаемые поля во всех word/*.xml частях docx.
*
@@ -26,7 +26,16 @@ import ru.pjandro.wordpdf.fonts.BundledFonts;
* рендерится шрифтом просмотрщика либо .notdef («#»). Поэтому в конфиг
* добавляются ВСЕ шрифты бандла: стоит они в документе или нет, решает FO.
*
* Метод идемпотентен: уже задекларированное семейство не дублируется.
* Конфиг обязан быть полным при каждом {@code declare}: общая FopFactory
* ({@code WordPdfConverter.sharedFopFactory}) строится из fopconf первого
* документа JVM, а docx4j декларирует из {@code fontsInUse} только
* использованные начертания — {@code declareFamily} дополняет семейство
* недостающими реальными начертаниями, а не пропускает его целиком.
* Идемпотентность: начертание, уже имеющее в конфиге запись на реальном
* TTF, не дублируется.
*
* <p>Регрессия — FopFallbackFontsTest#declareWhenDocx4jDeclaredRegularOnly_addsMissingVariants,
* WordPdfConverterTest#fopFactoryFrozenFromFirstDoc_fontsComplete.
*/
public final class FopFallbackFonts {
@@ -49,7 +58,15 @@ public final class FopFallbackFonts {
}
}
/** Одно семейство: regular + существующие начертания (Noto — только regular). */
/**
* Одно семейство: каждое начертание, для которого в конфиге нет
* записи с реальным TTF этого начертания (Noto — только regular,
* отсутствующие варианты пропускаются). Family-level «уже есть —
* пропускаем всё» запрещён: docx4j декларирует только использованные
* начертания (или simulate-style на одном файле), а общая FopFactory
* замораживает конфиг первого документа на всю JVM — пропущенное
* семейство остаётся неполным для всех последующих конвертаций.
*/
private static void declareFamily(Fonts rendererFonts, ObjectFactory factory,
String family) {
PhysicalFont regular = BundledFonts.regular(family);
@@ -61,21 +78,43 @@ public final class FopFallbackFonts {
// и под это же имя декларируются все начертания (так делает
// docx4j FopConfigUtil.createVariant).
String familyName = regular.getName();
for (Fonts.Font existing : rendererFonts.getFont()) {
for (Fonts.Font.FontTriplet triplet : existing.getFontTriplet()) {
if (familyName.equals(triplet.getName())) {
return;
String[][] variants = {
{BundledFonts.V_REGULAR, "normal", "normal"},
{BundledFonts.V_BOLD, "normal", "bold"},
{BundledFonts.V_ITALIC, "italic", "normal"},
{BundledFonts.V_BOLD_ITALIC, "italic", "bold"},
};
for (String[] v : variants) {
PhysicalFont variant = BundledFonts.font(family, v[0]);
if (variant == null
|| hasRealFace(rendererFonts, familyName, v[1], v[2], variant)) {
continue;
}
addFont(rendererFonts, factory, familyName, variant, v[1], v[2]);
}
}
addFont(rendererFonts, factory, familyName, regular, "normal", "normal");
addFont(rendererFonts, factory, familyName,
BundledFonts.bold(family), "normal", "bold");
addFont(rendererFonts, factory, familyName,
BundledFonts.italic(family), "italic", "normal");
addFont(rendererFonts, factory, familyName,
BundledFonts.boldItalic(family), "italic", "bold");
/**
* Есть ли в конфиге запись триплета (familyName, style, weight) именно
* на реальном TTF {@code variant}. Триплет без этого embed-url
* (simulate-style docx4j — все начертания на regular-файле) реальным
* лицом не считается: FOP встроит из него не то начертание.
*/
private static boolean hasRealFace(Fonts rendererFonts, String familyName,
String style, String weight, PhysicalFont variant) {
String url = variant.getEmbeddedURI().toString();
for (Fonts.Font font : rendererFonts.getFont()) {
if (!url.equals(font.getEmbedUrl())) {
continue;
}
for (Fonts.Font.FontTriplet triplet : font.getFontTriplet()) {
if (familyName.equals(triplet.getName()) && style.equals(triplet.getStyle())
&& weight.equals(triplet.getWeight())) {
return true;
}
}
}
return false;
}
/**
@@ -1,6 +1,6 @@
package ru.pjandro.wordpdf.internal;
import ru.pjandro.wordpdf.fonts.BundledFontMapper;
import ru.pjandro.wordpdf.fonts.BundledFontAliases;
import ru.pjandro.wordpdf.fonts.BundledFonts;
import ru.pjandro.wordpdf.fonts.GlyphFont;
@@ -38,7 +38,7 @@ import java.util.concurrent.ConcurrentHashMap;
* Делаем то, что должен был сделать рендер: ран, в тексте которого есть
* знаки без глифа, разрезается на части, и каждой части явно назначается
* бандл-семейство, где глиф есть ({@link #targetFamily}). Имя пишется в
* {@code w:rFonts}, дальше {@link BundledFontMapper} маппит его на TTF,
* {@code w:rFonts}, дальше {@code BundledFontMapper} маппит его на TTF,
* а {@link FopFallbackFonts} декларирует его в FOP-конфиге.
*
* Правила, ограничивающие вмешательство:
@@ -81,9 +81,6 @@ final class GlyphCoverageNormalizer {
private GlyphCoverageNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = GlyphCoverageNormalizer::normalize;
/**
* Разрезает раны с непокрытыми глифами в XML-частях docx (word/*.xml).
*
@@ -409,7 +406,7 @@ final class GlyphCoverageNormalizer {
if (!m.find()) {
return null;
}
return BundledFontMapper.bundledFamily(m.group(2));
return BundledFontAliases.bundledFamily(m.group(2));
}
/**
@@ -417,7 +414,7 @@ final class GlyphCoverageNormalizer {
* {@code w:rFonts}, а если их нет — вставляет элемент первым ребёнком.
*/
private static String forceFont(String rPr, String family) {
String name = BundledFontMapper.documentFontName(family);
String name = BundledFontAliases.documentFontName(family);
String fonts = "<w:rFonts w:ascii=\"" + name + "\" w:hAnsi=\"" + name + "\"/>";
if (rPr.isEmpty()) {
return "<w:rPr>" + fonts + "</w:rPr>";
@@ -24,7 +24,7 @@ import org.apache.commons.compress.archivers.zip.ZipFile;
import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
/**
* Вырезание скрытых ранов ({@code w:rPr/w:vanish}, Part 1 §17.3.2.30) из
* Вырезание скрытых ранов ({@code w:rPr/w:vanish}, Part 1 §17.3.2.41) из
* XML-частей — до загрузки docx4j.
*
* <p>Word по умолчанию не выводит скрытый текст ни на экран, ни на печать,
@@ -39,8 +39,13 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
* правило 2 к моменту запуска уже привело on/off к true/false, но обе формы
* принимаются) либо {@code w:rStyle} ссылается на стиль с vanish — по
* цепочке {@code w:basedOn} (капа 16, цикл — обрыв; тот же приём, что
* {@code internal/doc/Styles}). Прямой vanish ранa перекрывает стилевой;
* вложенные раны ({@code w:rubyBase}/{@code w:rt}, текстовые боксы)
* {@code internal/doc/Styles}). Прямой vanish ранa перекрывает стилевой
* (§17.7.3: в конфликте toggle выигрывает direct formatting); принятое
* упрощение стилевого слоя — явный falsy {@code w:val} <b>у стиля</b>
* (vanish=false поверх vanish-предка по {@code w:basedOn}) не
* разворачивается: стиль с {@code w:vanish} делает раны скрытыми
* независимо от {@code w:val}; вложенные раны
* ({@code w:rubyBase}/{@code w:rt}, текстовые боксы)
* оцениваются независимо, но ран внутри уже удалённого внешнего не
* вырезается повторно (диапазоны сливаются при сборке).
*
@@ -72,6 +77,10 @@ final class HiddenTextNormalizer {
/** Закрывающий слэш самозакрывающегося тега. */
private static final char SELF_CLOSE = '/';
/** Части, которые рерайт пропускает: ранов там нет, а vanish в styles — входные данные. */
private static final String STYLES_PART = "word/styles.xml";
private static final String NUMBERING_PART = "word/numbering.xml";
/** Открывающий/закрывающий тег рана; {@code <w:rPr>}/{@code <w:rStyle>} и прочее не матчатся по границе имени. */
private static final Pattern RUN_TOKEN = Pattern.compile("<w:r(?=[ >/])|</w:r>");
@@ -97,9 +106,6 @@ final class HiddenTextNormalizer {
private HiddenTextNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = HiddenTextNormalizer::normalize;
/**
* Вырезает скрытые раны (только прямой {@code w:vanish}) из XML-частей
* docx; {@code word/styles.xml}/{@code word/numbering.xml} пропускаются.
@@ -110,7 +116,7 @@ final class HiddenTextNormalizer {
static byte[] normalize(byte[] docx) throws IOException {
Set<String> vanishStyles = Set.of();
try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx))) {
ZipArchiveEntry styles = zf.getEntry("word/styles.xml");
ZipArchiveEntry styles = zf.getEntry(STYLES_PART);
if (styles != null) {
vanishStyles = vanishStyles(new String(
zf.getInputStream(styles).readAllBytes(), StandardCharsets.UTF_8));
@@ -152,7 +158,7 @@ final class HiddenTextNormalizer {
* @return новая строка либо null, если менять нечего
*/
static String rewritePart(String name, String xml, Set<String> vanishStyleIds) {
if ("word/styles.xml".equals(name) || "word/numbering.xml".equals(name)) {
if (STYLES_PART.equals(name) || NUMBERING_PART.equals(name)) {
return null;
}
return rewrite(vanishStyleIds, xml);
@@ -309,6 +315,9 @@ final class HiddenTextNormalizer {
if (hasTruthyVanish(region)) {
return true;
}
if (hasExplicitFalsyVanish(region)) {
return false; // явный w:val=false/0/off перекрывает стилевой vanish (§17.7.3)
}
if (!vanishStyleIds.isEmpty()) {
Matcher r = RSTYLE.matcher(region);
if (r.find() && vanishStyleIds.contains(r.group(1))) {
@@ -360,7 +369,7 @@ final class HiddenTextNormalizer {
String tag = end < 0 ? region.substring(i) : region.substring(i, end + 1);
Matcher v = VAL_ATTR.matcher(tag);
if (!v.find()) {
return true; // вал опущен — default true (Part 1 §17.3.2.30)
return true; // вал опущен — default true (Part 1 §17.3.2.41)
}
if (truthy(v.group(1))) {
return true;
@@ -372,11 +381,21 @@ final class HiddenTextNormalizer {
return false;
}
/** truthy по Part 1 §17.18.69 ST_OnOff: false/0/off — выключено, прочее — включено. */
/** truthy по Part 1 §22.9.2.7 ST_OnOff: false/0/off — выключено, прочее — включено. */
private static boolean truthy(String val) {
return !"false".equalsIgnoreCase(val) && !"0".equals(val) && !"off".equalsIgnoreCase(val);
}
/** Явный falsy {@code w:vanish} (val=false/0/off) — перекрытие стилевого. */
private static final Pattern FALSY_VANISH =
Pattern.compile("<w:vanish\\b[^>]*w:val=\"(?:false|0|off)\"",
Pattern.CASE_INSENSITIVE);
/** Есть ли в регионе явный falsy {@code w:vanish} (val=false/0/off). */
private static boolean hasExplicitFalsyVanish(String region) {
return FALSY_VANISH.matcher(region).find();
}
/** Есть ли защищённый элемент в содержимом рана [from, to). */
private static boolean hasProtected(String xml, int from, int to) {
for (String p : PROTECTED) {
@@ -27,9 +27,10 @@ import java.util.zip.ZipOutputStream;
* в невидимый DejaVu — FOP рисует «тофу» прямо в тексте.</li>
* </ul>
*
* Zero-width знаки, значимые для shaping и переносов (U+00A0, U+00AD,
* U+200B, U+200C, U+200D), НЕ трогаем: во всех шрифтах бандла они
* нулевой ширины и пустых строк не создают.
* NBSP (U+00A0, ширина пробела — не zero-width) и zero-width знаки, значимые
* для shaping и переносов (U+00AD, U+200B, U+200C, U+200D), НЕ трогаем:
* во всех шрифтах бандла NBSP широк, остальное нулевой ширины, и ни то ни
* другое пустых строк не создаёт.
*
* Правим байты zip до JAXB-разбора, как остальные нормализаторы; запускается
* до {@link GlyphCoverageNormalizer}, чтобы тот не искал шрифт для уже
@@ -86,9 +87,6 @@ final class InvisibleCharNormalizer {
private InvisibleCharNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = InvisibleCharNormalizer::normalize;
/**
* Вырезает невидимые символы из текстовых узлов XML-частей docx
* (word/*.xml).
@@ -1,89 +1,265 @@
package ru.pjandro.wordpdf.internal;
import ru.pjandro.wordpdf.internal.chart.MathModel;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/**
* Деградация OMML-формул (§22.1) в текст на хостах без fontconfig.
* Байтовый скан формул OMML (§22.1): блок {@code m:oMathPara}/{@code m:oMath},
* содержащий math-элемент вне {@link MathModel#SUPPORTED}, заменяется раном с
* конкатенацией текста {@code m:t} (как штатный фолбэк docx4j
* {@code XsltFOFunctions.mathText}) — формула видна текстом, а не теряется.
*
* <p>docx4j превращает {@code m:oMath}/{@code m:oMathPara} в
* {@code fo:instream-foreign-object} с MathML, а FOP рисует его через
* jeuclid-fop. JEuclid при первой формуле обращается к AWT-менеджеру шрифтов,
* которому на Linux нужен fontconfig; без него конвертация падает
* {@code InternalError: Fontconfig head is null} (репро: arm64 без /etc/fonts;
* контейнерный рантайм проекта тоже без fontconfig — Containerfile).
* Поэтому до загрузки docx4j формулы заменяются обычными ранами с текстом
* {@code m:t} (конкатенация, как в штатном фолбэке docx4j
* {@code XsltFOFunctions.mathText}) — формула видна, приложение не падает.
* <p>Зачем скан до загрузки docx4j: собственный растер формул
* ({@code MathModel}/{@code MathRenderer} в {@code DrawingPreRenderer})
* уронил бы unsupported-конструкцию в {@code MathUnsupportedException} и
* деградировал тем же текстом — но скан даёт детерминизм «формула целиком
* текстом» для байтового уровня пайплайна и не зависит от JAXB-биндинга.
* Рантайм-деградация остаётся второй сетью (биндинг может не смонтировать
* неизвестный элемент, который скан увидел).
*
* <p>На хосте с fontconfig рерайт не срабатывает (возвращается {@code null},
* пайплайн отдаёт тот же массив). Позиция в цепочке — после Ruby (правило 11):
* {@code m:oMathPara} содержит {@code m:oMath}, поэтому блок para заменяется
* первым, иначе остался бы несбалансированный каркас. Префикс {@code m:}
* предполагается (Word и strict-OOXML используют его; StrictOoxmlNormalizer
* его не переименовывает).
* <p>Скан namespace-aware: префиксы, привязанные к math-URI на корневом
* элементе (+ переопределения {@code xmlns} внутри блока), — unsupported
* проверяется только для тегов в math-namespace; префиксы чужих namespace'ов
* ( {@code w:rPr} внутри рана формулы) игнорируются. Непривязанный/отсутствующий
* map объявлений при наличии {@code :oMath} — консервативная обработка «как
* math» (риск потерять контент при недобитом биндинге сильнее избыточной
* деградации).
*
* <p>Регрессия — WordPdfConverterTest#ommlMath_drawnAsVectors.
* <p>Позиция в цепочке — шестое правило, перед GlyphCoverage: flatten даёт
* обычный текст ранов, который следующий рерайт покрывает кириллицей бандла
* (раньше формулы с {@code &#x043C;} теряли глифы именно из-за порядка —
* GlyphCoverage не видел текст внутри OMML). Блок para заменяется первым:
* {@code m:oMathPara} содержит {@code m:oMath}, иначе остался бы
* несбалансированный каркас.
*/
final class MathFallbackNormalizer {
/** {@code m:oMathPara} ... {@code </m:oMathPara>} — блок формулы. */
private static final Pattern MATH_PARA = Pattern.compile(
"<m:oMathPara(?:\\s[^>]*)?>.*?</m:oMathPara>", Pattern.DOTALL);
/** Закрывающий символ открывающего тега (скан конца корня формулы). */
private static final char TAG_END = '>';
/** Самозакрывающийся {@code <m:oMathPara/>}. */
private static final Pattern MATH_PARA_SELF = Pattern.compile(
"<m:oMathPara(?:\\s[^>]*)?/>");
/** Math-namespace OMML (§22.1). */
private static final String MATH_NS =
"http://schemas.openxmlformats.org/officeDocument/2006/math";
/** {@code m:oMath} ... {@code </m:oMath>} — встроенная формула. */
private static final Pattern MATH_INLINE = Pattern.compile(
"<m:oMath(?:\\s[^>]*)?>.*?</m:oMath>", Pattern.DOTALL);
/** Объявление {@code xmlns:prefix="uri"} (значение без кавычек). */
private static final Pattern XMLNS = Pattern.compile(
"xmlns:([A-Za-z_][\\w.-]*)=\"([^\"]*)\"");
/** Самозакрывающийся {@code <m:oMath/>}. */
private static final Pattern MATH_INLINE_SELF = Pattern.compile(
"<m:oMath(?:\\s[^>]*)?/>");
/** Начало блока формулы; префикс обязателен (без него {@code :oMath} нет). */
private static final Pattern MATH_BLOCK = Pattern.compile(
"<([A-Za-z_][\\w.-]*):oMath(Para)?(?=[\\s/>])");
/** Текстовый узел OMML; содержимое — уже экранированный XML-текст. */
/** Элементный тег с префиксом {@code <p:name>} / {@code </p:name>}. */
private static final Pattern PREFIXED_TAG = Pattern.compile(
"</?([A-Za-z_][\\w.-]*):([A-Za-z_][\\w.-]*)");
/** Текстовый узел {@code <p:t>}; содержимое — уже экранированный XML. */
private static final Pattern MATH_TEXT = Pattern.compile(
"<m:t(?:\\s[^>]*)?>(.*?)</m:t>", Pattern.DOTALL);
"<([A-Za-z_][\\w.-]*):t(?:\\s[^>]*)?>(.*?)</\\1:t>", Pattern.DOTALL);
private MathFallbackNormalizer() {
}
/**
* Рерайт одной XML-части: формулы → текст, если AWT-шрифтов нет.
* Формул нет / шрифты есть / ничего не изменилось → {@code null}.
* Рерайт одной XML-части: unsupported-формулы → текст. Формул нет /
* все поддерживаются / ничего не изменилось → {@code null}
* (пайплайн отдаёт тот же массив).
*/
static String rewrite(String xml) {
if (!xml.contains("<m:oMath")) {
if (!xml.contains(":oMath")) {
return null;
}
return MathMlSupport.awtFontsAvailable() ? null : flatten(xml);
Map<String, String> rootNs = rootNamespaces(xml);
StringBuilder out = new StringBuilder();
int pos = 0;
boolean changed = false;
Matcher m = MATH_BLOCK.matcher(xml);
int search = 0;
while (m.find(search)) {
String prefix = m.group(1);
boolean para = m.group(2) != null;
int start = m.start();
int tagEnd = tagEnd(xml, start);
if (tagEnd < 0) {
break; // незакрытый тег — дело валидатора, скан останавливаем
}
Map<String, String> ns = mergedNamespaces(rootNs, xml.substring(start, tagEnd));
if (!isMath(ns, prefix)) {
search = tagEnd;
continue; // чужой namespace — не формула
}
int blockEnd;
int before = tagEnd - 2;
while (before > start && Character.isWhitespace(xml.charAt(before))) {
before--;
}
boolean selfClosing = xml.charAt(before) == '/';
if (selfClosing) {
blockEnd = tagEnd;
} else {
String closing = "</" + prefix + ":oMath" + (para ? "Para" : "") + ">";
int close = xml.indexOf(closing, tagEnd);
if (close < 0) {
break; // битый каркас — валидатор его и отвергнет
}
blockEnd = close + closing.length();
}
String block = xml.substring(start, blockEnd);
if (hasUnsupported(ns, block)) {
out.append(xml, pos, start).append(run(text(ns, block)));
pos = blockEnd;
changed = true;
search = blockEnd;
continue;
}
search = tagEnd;
}
if (!changed) {
return null;
}
return out.append(xml, pos, xml.length()).toString();
}
/**
* Замена всех формул на раны с текстом (без проверки доступности шрифтов).
* Формул нет → {@code null}. Package-private — прямой юнит-тест
* детерминирован на любом хосте.
* Объявления {@code xmlns:} фактического корневого элемента: пролог
* ({@code <?xml ...?>}, комментарии, DOCTYPE) пропускается — иначе
* карта осталась бы пустой на реальном XML-файле части, а пустая карта
* консервативно считает каждый префикс math-тегом и срезает боевые
* формулы (внутри {@code m:r}/{@code m:ctrlPr} Word пишет
* {@code w:rPr}/{@code w:rFonts} — имена вне SUPPORTED).
*/
static String flatten(String xml) {
String out = MATH_PARA.matcher(xml).replaceAll(m -> run(text(m.group())));
out = MATH_PARA_SELF.matcher(out).replaceAll("");
out = MATH_INLINE.matcher(out).replaceAll(m -> run(text(m.group())));
out = MATH_INLINE_SELF.matcher(out).replaceAll("");
return out.equals(xml) ? null : out;
private static Map<String, String> rootNamespaces(String xml) {
Map<String, String> map = new HashMap<>();
int pos = 0;
while (pos < xml.length()) {
int open = xml.indexOf('<', pos);
if (open < 0) {
return map;
}
if (xml.startsWith("<?", open)) {
int end = xml.indexOf("?>", open);
pos = end < 0 ? xml.length() : end + 2;
continue;
}
if (xml.startsWith("<!--", open)) {
int end = xml.indexOf("-->", open);
pos = end < 0 ? xml.length() : end + 3;
continue;
}
if (xml.startsWith("<!", open)) {
int end = xml.indexOf('>', open);
pos = end < 0 ? xml.length() : end + 1;
continue;
}
int end = tagEnd(xml, open);
if (end < 0) {
return map;
}
Matcher m = XMLNS.matcher(xml.substring(open, end));
while (m.find()) {
map.put(m.group(1), m.group(2));
}
return map;
}
return map;
}
/** Текст формулы: конкатенация содержимого всех {@code m:t} (как docx4j mathText). */
private static String text(String block) {
Matcher m = MATH_TEXT.matcher(block);
StringBuilder sb = new StringBuilder();
/** Корневые объявления + переопределения из заголовка блока. */
private static Map<String, String> mergedNamespaces(Map<String, String> root,
String openTag) {
Matcher m = XMLNS.matcher(openTag);
if (!m.find()) {
return root;
}
Map<String, String> map = new HashMap<>(root);
m.reset();
while (m.find()) {
sb.append(m.group(1));
map.put(m.group(1), m.group(2));
}
return map;
}
/**
* Привязан ли префикс к math-namespace: явная привязка — да; привязка к
* другому URI — нет; префикс не объявлен нигде — да (консервативно, см.
* javadoc класса), если только вообще нет ни одного объявления xmlns
* (тогда это не XML с map префиксов, а мусор — тоже «как math»).
*/
private static boolean isMath(Map<String, String> ns, String prefix) {
String bound = ns.get(prefix);
if (MATH_NS.equals(bound)) {
return true;
}
return bound == null;
}
/** Есть ли в блоке тег math-namespace вне {@link MathModel#SUPPORTED}. */
private static boolean hasUnsupported(Map<String, String> ns, String block) {
List<String> mathPrefixes = new ArrayList<>();
for (Map.Entry<String, String> e : ns.entrySet()) {
if (MATH_NS.equals(e.getValue())) {
mathPrefixes.add(e.getKey());
}
}
Matcher m = PREFIXED_TAG.matcher(block);
while (m.find()) {
String prefix = m.group(1);
String name = m.group(2);
boolean mathTag = mathPrefixes.contains(prefix)
|| (mathPrefixes.isEmpty() && !ns.containsKey(prefix));
if (mathTag && !MathModel.SUPPORTED.contains(name)) {
return true;
}
}
return false;
}
/** Текст формулы: конкатенация {@code m:t} math-префиксов (как mathText). */
private static String text(Map<String, String> ns, String block) {
Set<String> mathPrefixes = new HashSet<>();
for (Map.Entry<String, String> e : ns.entrySet()) {
if (MATH_NS.equals(e.getValue())) {
mathPrefixes.add(e.getKey());
}
}
StringBuilder sb = new StringBuilder();
Matcher m = MATH_TEXT.matcher(block);
while (m.find()) {
String prefix = m.group(1);
if (mathPrefixes.contains(prefix)
|| (mathPrefixes.isEmpty() && !ns.containsKey(prefix))) {
sb.append(m.group(2));
}
}
return sb.toString();
}
/** Конец открывающего тега (индекс после {@code >}), кавычки-осведомлённый. */
private static int tagEnd(String xml, int start) {
char quote = 0;
for (int i = start + 1; i < xml.length(); i++) {
char c = xml.charAt(i);
if (quote != 0) {
if (c == quote) {
quote = 0;
}
} else if (c == '"' || c == '\'') {
quote = c;
} else if (c == TAG_END) {
return i + 1;
}
}
return -1;
}
/** Ран с текстом формулы; пустая формула удаляется. */
private static String run(String text) {
return text.isEmpty() ? ""
@@ -1,48 +0,0 @@
package ru.pjandro.wordpdf.internal;
import java.awt.GraphicsEnvironment;
import java.util.logging.Logger;
/**
* Проба доступности AWT-шрифтового менеджера (fontconfig) в текущем JVM.
*
* <p>JEuclid (jeuclid-fop), которым docx4j рисует OMML (§22.1), при первой
* отрисовке формулы вызывает {@code GraphicsEnvironment.getAvailableFontFamilyNames()}.
* На Linux без libfontconfig/конфигурации шрифтов это падает
* {@code InternalError → RuntimeException: Fontconfig head is null}
* (репро: arm64 без /etc/fonts). Проба выполняется лениво и один раз:
* результат определяет, оставлять ли MathML (вектор) или деградировать
* формулу в текст в {@link MathFallbackNormalizer}.
*
* <p>Проба намеренно ловит {@link Throwable}: отказ приходит как
* {@code java.lang.InternalError}, а не RuntimeException.
*
* <p>Регрессия — WordPdfConverterTest#ommlMath_drawnAsVectors.
*/
final class MathMlSupport {
private static final Logger LOGGER = Logger.getLogger(MathMlSupport.class.getName());
private MathMlSupport() {
}
/** Доступен ли AWT-менеджер шрифтов (fontconfig); проба — один раз на JVM. */
static boolean awtFontsAvailable() {
return Holder.AVAILABLE;
}
private static final class Holder {
private static final boolean AVAILABLE = probe();
}
private static boolean probe() {
try {
GraphicsEnvironment.getLocalGraphicsEnvironment().getAvailableFontFamilyNames();
return true;
} catch (Throwable t) {
LOGGER.info("AWT-менеджер шрифтов недоступен (нет fontconfig): "
+ "OMML-формулы будут отрисованы текстом: " + t);
return false;
}
}
}
@@ -16,7 +16,8 @@ import java.util.zip.ZipOutputStream;
*
* Word рисует после номера лейбла разделитель по {@code w:suff}: tab —
* табуляция до позиционного отступа, space — обычный пробел, nothing — ничего
* (Part 1 §17.3.1.28). docx4j/export-fo разделитель не эмитит вовсе: в FO
* (Part 1 §17.9.28, тип — ST_LevelSuffix §17.18.46). docx4j/export-fo
* разделитель не эмитит вовсе: в FO
* уходит только текст лейбла («1.»), хинт {@code docx4j:label-suffix} —
* заготовка без обработчика (дамп n4.fo аудита раскладки). Для suff=tab это
* отдельный Class C-остаток (нужна per-item ширина), а suff=space чинится
@@ -38,9 +39,6 @@ final class NumberingSuffixNormalizer {
private NumberingSuffixNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = NumberingSuffixNormalizer::normalize;
/**
* Дописывает пробел в lvlText у уровней с suff=space.
*
@@ -1,6 +1,6 @@
package ru.pjandro.wordpdf.internal;
import ru.pjandro.wordpdf.DrawingFoundException;
import ru.pjandro.wordpdf.OleFoundException;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
@@ -42,13 +42,14 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
* по ECMA-376 §15.2.10 у каждого внедрённого объекта обязан быть «associated
* image, which appears in the document as a placeholder» — именно его показывает
* Word вместо объекта, — поэтому {@code w:object} заменяется его статичным
* представлением (картинкой-плейсхолдером, §17.3.3.3); без плейсхолдера блок
* представлением (картинкой-плейсхолдером, §17.3.3.19; картинка — §17.3.3.9);
* без плейсхолдера блок
* удаляется. OLE-бинарники при этом никогда не читаются — байты только
* удаляются, так что содержимое объекта (вплоть до враждебного архива) на
* вывод не влияет.</p>
*
* <p>Отличие от остальных нормализаторов пакета: принимает флаг
* {@code errorOnOle} и умеет бросать {@link DrawingFoundException}
* {@code errorOnOle} и умеет бросать {@link OleFoundException}
* (при включённом флаге документ отвергается вместо вычистки), и правит
* не только {@code word/*.xml}, но и {@code [Content_Types].xml} с
* {@code *.rels}. Хука {@code rewrite(String)} нет — нормализатор
@@ -75,6 +76,9 @@ public final class OleObjectNormalizer {
/** Сегмент «наверх» в относительном Target rels. */
private static final String PARENT_DIR = "..";
/** Сегмент «текущий каталог» в относительном Target rels. */
private static final String CURRENT_DIR = ".";
private static final Pattern DEFAULT_TYPE = Pattern.compile(
"<Default\\b[^>]*\\bExtension=\"([^\"]*)\"[^>]*\\bContentType=\"([^\"]*)\"[^>]*/>"
+ "|<Default\\b[^>]*\\bContentType=\"([^\"]*)\"[^>]*\\bExtension=\"([^\"]*)\"[^>]*/>");
@@ -231,7 +235,7 @@ public final class OleObjectNormalizer {
return docx;
}
if (errorOnOle) {
throw new DrawingFoundException(DrawingFoundException.Kind.OLE);
throw new OleFoundException();
}
for (String part : oleParts) {
LOG.warning("Удалён OLE-объект: " + part);
@@ -259,7 +263,7 @@ public final class OleObjectNormalizer {
if (fixed != null) {
data = fixed.getBytes(StandardCharsets.UTF_8);
}
} else if (name.equals(CONTENT_TYPES_ENTRY)) {
} else if (CONTENT_TYPES_ENTRY.equals(name)) {
String fixed = stripOverrides(
new String(data, StandardCharsets.UTF_8), oleParts);
if (fixed != null) {
@@ -373,7 +377,7 @@ public final class OleObjectNormalizer {
}
}
for (String s : target.split("/")) {
if (s.isEmpty() || ".".equals(s)) {
if (s.isEmpty() || CURRENT_DIR.equals(s)) {
continue;
}
if (PARENT_DIR.equals(s)) {
@@ -389,7 +393,7 @@ public final class OleObjectNormalizer {
/**
* Заменяет в word/*.xml каждый w:object его статичным представлением
* (плейсхолдером, ECMA-376 §15.2.10/§17.3.3.3): блок с `w:control`
* (плейсхолдером, ECMA-376 §15.2.10/§17.3.3.19): блок с `w:control`
* (ActiveX) удаляется целиком — property bag всё равно остаётся сиротой;
* блок с `w:drawing` (ветка mc:Choice) заменяется этим drawing дословно;
* блок с `v:imagedata r:id` заменяется inline-DrawingML на ту же
@@ -10,8 +10,9 @@ import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream;
/**
* Разбор руби-разметки ({@code w:rubyBase}/{@code w:rt}/{@code w:rubyPr},
* Part 1 §17.3.3.19/.20/.21) в байтах до загрузки docx4j.
* Разбор руби-разметки ({@code w:ruby}/{@code w:rubyBase}/{@code w:rt}/
* {@code w:rubyPr}/{@code w:rubyAlign}, Part 1 §17.3.3.25/.27/.24/.28/.26)
* в байтах до загрузки docx4j.
*
* <p>Джинябиндованные схемы docx4j 17.3.2 {@code w:rubyBase}/{@code w:rt}
* в {@code w:r} <b>не содержат</b> (unmarshaller сообщает «unexpected
@@ -20,11 +21,13 @@ import java.util.zip.ZipOutputStream;
* (в отличие от {@code w:moveFrom}/{@code w:moveTo}/{@code w:bdo}/{@code w:dir},
* которые схема знает). Единственный слой починки — байтовый нормализатор.
*
* <p>Деградация принята: база ({@code w:rubyBase}/{@code w:rubyBaseText})
* разворачивается в обычные раны ранa — текст печатается; надстрочница
* ({@code w:rt}) и форматирование руби ({@code w:rubyPr}, {@code w:rubyAlign})
* удаляются вместе с содержимым — ruby-разметки в XSL-FO у FOP нет, а потеря
* текста хуже потери аннотации.
* <p>Деградация принята: база ({@code w:rubyBase}) разворачивается в обычные
* раны ранa — текст печатается; надстрочница ({@code w:rt}) и форматирование
* руби ({@code w:rubyPr}, {@code w:rubyAlign}) удаляются вместе с содержимым
* — ruby-разметки в XSL-FO у FOP нет, а потеря текста хуже потери аннотации.
* Снимается и обёртка {@code w:ruby}: схемно-валидная разметка (транзишнл
* CT_R: {@code w:r} → {@code w:ruby} → rubyPr/rt/rubyBase, wml.xsd) иначе
* достаёт catch-all-шаблону XSLT и база теряется молча.
*
* <p>В конвейере подключается десятым рерайтом в {@link DocxRewritePipeline}
* (после Hidden; порядок 1–8 не перенумеровать); в
@@ -46,18 +49,21 @@ final class RubyNormalizer {
private static final Pattern RUBY_PR_BLOCK =
Pattern.compile("<w:rubyPr(?:\\s[^>]*)?(?:/>|>.*?</w:rubyPr>)", Pattern.DOTALL);
/** Одиночный {@code w:rubyPr}. */
/** Одиночный {@code w:rubyAlign}. */
private static final Pattern RUBY_ALIGN =
Pattern.compile("<w:rubyAlign(?:\\s[^>]*)?(?:/>|>\\s*</w:rubyAlign>)", Pattern.DOTALL);
private static final Pattern RUBY_BASE_OPEN =
Pattern.compile("<w:rubyBase(?:\\s[^>]*)?>");
private static final Pattern RUBY_BASE_TEXT_OPEN =
Pattern.compile("<w:rubyBaseText(?:\\s[^>]*)?>");
/** Обёртка {@code w:ruby} (снимается: ран разворачивается в обычные раны). */
private static final Pattern RUBY_OPEN =
Pattern.compile("<w:ruby(?:\\s[^>]*)?>");
private static final String RUBY_CLOSE = "</w:ruby>";
/**
* Рерайт одной XML-строки: разворачивает {@code w:rubyBase}/
* {@code w:rubyBaseText}, вырезает {@code w:rt}/{@code w:rubyPr}/
* Рерайт одной XML-строки: разворачивает {@code w:rubyBase}, снимает
* обёртку {@code w:ruby}, вырезает {@code w:rt}/{@code w:rubyPr}/
* {@code w:rubyAlign}. Руби-токенов нет / ничего не поменялось → {@code null}.
*/
static String rewrite(String xml) {
@@ -67,10 +73,10 @@ final class RubyNormalizer {
String out = RT_BLOCK.matcher(xml).replaceAll("");
out = RUBY_PR_BLOCK.matcher(out).replaceAll("");
out = RUBY_ALIGN.matcher(out).replaceAll("");
out = RUBY_BASE_TEXT_OPEN.matcher(out).replaceAll("");
out = out.replace("</w:rubyBaseText>", "");
out = RUBY_BASE_OPEN.matcher(out).replaceAll("");
out = out.replace("</w:rubyBase>", "");
out = RUBY_OPEN.matcher(out).replaceAll("");
out = out.replace(RUBY_CLOSE, "");
return out.equals(xml) ? null : out;
}
@@ -26,14 +26,17 @@ import java.util.zip.ZipOutputStream;
* {@code w14:fillToRect w14:t="130%"} — JAXB падает на
* {@code NumberFormatException: Not a number: 130%};</li>
* <li>текстовые проценты в {@code wp14:pctWidth}/{@code wp14:pctHeight};</li>
* <li>границы и отступы в элементах {@code w:start}/{@code w:end}
* (в transitional они называются {@code w:left}/{@code w:right}) —
* JAXB сообщает «unexpected element» и границы теряются;</li>
* <li>границы и отступы в элементах {@code w:start}/{@code w:end} — в
* strict-схеме это единственные имена, transitional-схема допускает
* обе пары детей (wml.xsd CT_TcMar/CT_TblCellMar), но strict-часть их
* не пишет — JAXB transitional-модели сообщает «unexpected element»
* и границы теряются;</li>
* <li>атрибуты {@code w:start}/{@code w:end} у {@code w:ind} и значения
* {@code start}/{@code end} у {@code w:jc}/{@code w:tab} — в strict-модели
* это единственные имена, а transitional-модель docx4j их не принимает
* (значения {@code w:tab} — и подавно: enum {@code STTabJc} в docx4j
* 17.3.2 содержит только left/right).</li>
* 17.3.2 содержит только left/center/right; в спековом ST_TabJc
* §17.18.84 start/end есть, но JAXB-enum их не принимает).</li>
* </ul>
*
* <p>Полный strict→transitional рерайт не делается: mc-preprocessor уже
@@ -72,7 +75,9 @@ import java.util.zip.ZipOutputStream;
* RTL; ST_Jc §17.18.44); RTL вне контура конвейера (FOP без complex-script,
* direction docx4j не выставляет — start и так рендерился как left).</li>
* <li>значения {@code start}/{@code end} у {@code w:tab} правятся всегда
* (enum без start/end).</li>
* (enum {@code STTabJc} docx4j — left/center/right, без start/end;
* спека ST_TabJc §17.18.84 их содержит, но JAXB-биндинг их не
* принимает).</li>
* </ul>
*
* Регрессия — WordPdfConverterTest#strictOoxml_convertsNotRejected.
@@ -121,9 +126,6 @@ final class StrictOoxmlNormalizer {
private StrictOoxmlNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = StrictOoxmlNormalizer::normalize;
/**
* Приводит strict-OOXML в XML-частях docx (word/*.xml) к виду, который
* разбирает JAXB-модель transitional (детали — в javadoc класса).
@@ -219,13 +221,14 @@ final class StrictOoxmlNormalizer {
/**
* Атрибуты {@code w:start→w:left}/{@code w:end→w:right} только внутри
* открывающего тега {@code w:ind} (MS-OI29500 §2.1.174a: start/end как
* псевдонимы left/right в strict — единственный носитель w:ind) и только
* открывающего тега {@code w:ind} (MS-OI29500 §2.1.44 (ind) плюс
* strict wml.xsd: {@code CT_Ind} знает только start/end — единственный
* носитель w:ind в strict) и только
* при отсутствии в нём {@code w:left}/{@code w:right}: CT_Ind
* (transitional) допускает обе пары, дубль атрибута — не well-formed
* XML; литеральный текст {@code w:val}-вида в {@code w:t} не
* затрагивается. У {@code w:pgNumType} атрибут {@code w:start} — старт
* нумерации страниц, легален в transitional (Part 1 §17.13.7), — не
* нумерации страниц, легален в transitional (Part 1 §17.6.12), — не
* трогается (регрессия — pgNumTypeStartAttrUntouched).
*/
private static String renameStartEndAttrs(String xml) {
@@ -51,8 +51,9 @@ final class SymbolFontNormalizer {
* Имя шрифта (lowercase) -> таблица из 256 слотов по 4 hex-цифры:
* младший байт кода из PUA -> Unicode-код цели (0 — соответствия нет).
* Источник — SymbolMapper из docx4j 17.x; сгенерировано, см. javadoc
* класса. Коды вне U+F000–U+F0FF (обычная ASCII-часть символьного
* шрифта) не переписываются.
* класса. Прямые коды {@code w:sym} (≤0xFF, вне PUA) маппятся по той же
* таблице как индекс символной cmap (§17.3.3.30); слот без маппинга, код
* &gt;0xFF вне PUA или отсутствие font-map — элемент сохраняется как есть.
*/
private static final Map<String, String> SYMBOL_MAPS = buildMaps();
@@ -70,9 +71,6 @@ final class SymbolFontNormalizer {
private SymbolFontNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = SymbolFontNormalizer::normalize;
/**
* Заменяет символьные шрифты в XML-частях docx (word/*.xml).
*
@@ -311,14 +309,20 @@ final class SymbolFontNormalizer {
char mapped = 0;
if (charHex != null && fontMap != null) {
char code = (char) Integer.parseInt(charHex, 16);
if (code >= 0xF000 && code <= 0xF0FF) {
mapped = mapped(fontMap, code & 0xFF);
}
// PUA-форма (U+F0xx) и прямая (код ≤0xFF — индекс в символной
// cmap, §17.3.3.30) маппятся по одной таблице
int slot = (code >= 0xF000 && code <= 0xF0FF) ? code & 0xFF
: (code <= 0xFF ? code : -1);
mapped = slot >= 0 ? mapped(fontMap, slot) : 0;
}
if (mapped != 0) {
sb.append(openTag).append(fallbackRPr)
.append("<w:t xml:space=\"preserve\">").append(mapped)
.append("</w:t></w:r>");
} else if (charHex != null) {
// неразрешимый, но схемно-валидный w:sym (§17.3.3.30) —
// сохраняем verbatim: удалять валидный контент нельзя
sb.append(openTag).append(rPr).append(m.group()).append("</w:r>");
}
pos = m.end();
}
@@ -14,7 +14,9 @@ import java.util.zip.ZipOutputStream;
* Свёртка {@code w:tblPr/w:jc} (center/right) с ненулевым {@code w:tblInd} в
* абсолютный {@code w:tblInd} — до загрузки docx4j.
*
* Word (Part 1 §17.4.50 в чтении MS-OI29500 §2.1.155): при {@code w:jc}≠left
* Word (MS-OI29500 §2.1.155; Part 1 §17.4.28 {@code w:jc} + §17.4.50
* {@code w:tblInd} описывают без аддитивной семантики — «сдвиг от поля после
* центрирования/прижимания» есть измеренное поведение Word): при {@code w:jc}≠left
* таблица центрируется/прижимается, а {@code w:tblInd} добавляется сдвигом от
* поля. docx4j же при {@code w:jc}≠left {@code w:tblInd} игнорирует буквально
* (аудит раскладки ECMA-376, матрица B3) — таблица рендерилась без учёта
@@ -31,12 +33,17 @@ import java.util.zip.ZipOutputStream;
* <p>Пропускается (не ломая существующее поведение): документы без
* единственного body-level {@code w:sectPr} (несколько секций — полоса
* неоднозначна), {@code w:tblW type="pct"} и таблицы с gridCol без целого
* {@code w:w} (фактическая ширина неизвестна), {@code w:tblInd} не-dxa и
* {@code w:w} (фактическая ширина неизвестна), {@code w:tblInd} с явным
* {@code w:type}≠dxa (опущенный type — dxa, §17.4.87) и
* {@code w:tblPr} с {@code w:tblCellSpacing} без {@code w:tblInd} (вставить
* тег в корректную позицию CT_TblPrBase некуда). Дефолты при отсутствии
* pgSz/pgMar — 11906 и 1440/1440: измеренное поведение docx4j при отсутствующем
* {@code w:pgMar} (левый край текста = 72pt = 1440 twips), а не ECMA-дефолт
* 1800 — нормализатор обязан считать ту же полосу, что рендерит стек.
* pgSz/pgMar — 11906 и 1440/1440: ECMA дефолтов {@code w:pgSz}/{@code w:pgMar}
* не фиксирует (§17.6.13/§17.6.11), а 11906/1440 — измеренное поведение
* docx4j при отсутствующем {@code w:pgMar} (левый край текста = 72pt =
* 1440 twips) — нормализатор обязан считать ту же полосу, что рендерит стек.
* Band берётся из сырого {@code word/document.xml}: геометрия инвариантна
* к рерайтам (Strict-схема у {@code CT_PageMar} не имеет start/end, rule 1
* {@code w:pgSz}/{@code w:pgMar} не трогает).
*
* <p>{@link #normalize} трогает только {@code word/document.xml} (признак —
* {@code <w:body}); нечего менять → тот же массив. {@link #rewritePart} —
@@ -57,13 +64,14 @@ final class TableIndentNormalizer {
private static final String DOCUMENT_ENTRY = "word/document.xml";
private static final Pattern PG_SZ_W = Pattern.compile("<w:pgSz\\b[^>]*w:w=\"(\\d+)\"");
// strict-OOXML пишет поля как w:start/w:end; band считается из СЫРОГО
// document.xml (до rule 1, которая их переименует) — чередование
// обязательно, иначе полоса строгого документа молча возьмётся из дефолтов
// полоса считается из СЫРОГО document.xml; чередование left|start не
// нужен: CT_PageMar не имеет start/end ни в strict-, ни в transitional-
// схеме (wml.xsd), StrictOoxmlNormalizer w:pgSz/w:pgMar не трогает —
// геометрия инвариантна к рерайтам
private static final Pattern PG_MAR_LEFT =
Pattern.compile("<w:pgMar\\b[^>]*w:(?:left|start)=\"(\\d+)\"");
Pattern.compile("<w:pgMar\\b[^>]*w:left=\"(\\d+)\"");
private static final Pattern PG_MAR_RIGHT =
Pattern.compile("<w:pgMar\\b[^>]*w:(?:right|end)=\"(\\d+)\"");
Pattern.compile("<w:pgMar\\b[^>]*w:right=\"(\\d+)\"");
private static final Pattern JC =
Pattern.compile("<w:jc\\b[^>]*w:val=\"(center|right)\"[^>]*/>");
private static final Pattern TBL_IND = Pattern.compile("<w:tblInd\\b[^>]*/>");
@@ -74,9 +82,6 @@ final class TableIndentNormalizer {
private TableIndentNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
static final DocxNormalizer STEP = TableIndentNormalizer::normalize;
/**
* Переписывает jc+tblInd в абсолютный tblInd в {@code word/document.xml}.
*
@@ -186,10 +191,18 @@ final class TableIndentNormalizer {
if (hasInd) {
String indTag = ind.group();
Matcher indW = TBL_IND_W.matcher(indTag);
if (!indW.find() || !indTag.contains("w:type=\"dxa\"")) {
continue; // не-dxa — величина сдвига неизвестна
// CT_TblWidth (§17.4.87): опущенный w:type = dxa;
// явный не-dxa (pct и т.п.) — величина сдвига неизвестна
boolean nonDxa = indTag.contains("w:type=") && !indTag.contains("w:type=\"dxa\"");
if (!indW.find() || nonDxa) {
continue;
}
x = Integer.parseInt(indW.group(1));
} else if (pr.contains("<w:tblInd")) {
// парный (не самозакрывающийся) w:tblInd — паттерн видит
// только самозакрытый; вставка нового тега оставила бы старый
// → дубль элемента (maxOccurs=1 у CT_TblPrBase), консервативно
continue;
} else if (pr.contains("<w:tblCellSpacing")) {
// tblInd по CT_TblPrBase идёт ПОСЛЕ tblCellSpacing — вставить
// тег в корректную позицию некуда, консервативно пропускаем
@@ -11,7 +11,7 @@ import java.util.List;
/**
* Объёмные декартовы графики: c:bar3DChart, c:line3DChart, c:area3DChart
* (ECMA-376 §21.2.2.19/.101/.122). Камера — та же, что у поверхности
* (ECMA-376 §21.2.2.15/.96/.4). Камера — та же, что у поверхности
* ({@link Surface3dPainter#project}): u — категория (ширина), v — ряд
* (глубина), w — значение (высота); вписка равномерным масштабом в поля
* {@link Surface3dPainter#GUTTER_LEFT} и т.д.
@@ -21,8 +21,8 @@ import java.util.List;
* §2.1.1474(a)); торец затемняется (псевдо-свет, калибровка — Cartesian3dPainterTest).
* line3D: полилиния ряда на своей глубине, лента-толщина не имитируется;
* area3D: стена ряда от пола до значений, полупрозрачная, как AREA.
* c:shape (§21.2.2.177, ST_Shape §21.2.3.44): box/cone/coneToMax/cylinder/pyramid/
* pyramidToMax; c:shape ряда переопределяет форму диаграммы (MS-OI29500 §2.1.1545(a/b)),
* c:shape (§21.2.2.177, ST_Shape §21.2.3.42): box/cone/coneToMax/cylinder/pyramid/
* pyramidToMax; c:shape ряда переопределяет форму диаграммы (MS-OI29500 §2.1.1546(a/b)),
* ToMax-формы сужаются к верху пропорционально val/max (семантика Excel — ECMA геометрию
* не нормирует); неизвестное значение — box. c:barDir="bar" — горизонтальная ориентация
* боксов (Word UI не сочетает barDir=bar с формами).
@@ -343,7 +343,7 @@ final class Cartesian3dPainter {
}
}
/** Грани колонки в модельных координатах (§21.2.3.44 ST_Shape); все вершины
/** Грани колонки в модельных координатах (§21.2.3.42 ST_Shape); все вершины
* проецируются в nodes — по ним происходит вписка. Неизвестная форма — box. */
private static List<Face> buildFaces(Color color, String shape, double t,
double u0, double u1, double v0, double v1,
@@ -600,7 +600,7 @@ final class Cartesian3dPainter {
}
/** Подписи: значения — вдоль переднего левого ребра, категории — нижнего,
* ряды — правого; c:delete (§21.2.2.38) убирает подписи оси.
* ряды — правого; c:delete (§21.2.2.40) убирает подписи оси.
* Регрессия — Cartesian3dPainterTest#bar3d_seriesAxisLabelsDrawn. */
private static void drawLabels(Graphics2D g, ChartSpec spec, List<Double> tickValues,
List<Surface3dPainter.Node> valueAnchors, int nCat,
@@ -70,12 +70,12 @@ final class CartesianPainter {
"percentStacked".equalsIgnoreCase(lineGrouping))
: null;
// Разделение серий по осям значений: ссылочное равенство с secondaryValAxis
// (назначается ChartSpec.parse по c:axId, §21.2.2.9).
// Разделение серий по осям значений: та же ось по c:axId
// (назначается ChartSpec.parse, §21.2.2.9; {@link ChartSpec#sameAxis}).
List<Integer> primIdx = new ArrayList<>();
List<Integer> secIdx = new ArrayList<>();
for (int si = 0; si < spec.series.size(); si++) {
if (secAxis != null && spec.series.get(si).valAxis == secAxis) {
if (ChartSpec.sameAxis(spec.series.get(si).valAxis, secAxis)) {
secIdx.add(si);
} else {
primIdx.add(si);
@@ -278,9 +278,9 @@ final class CartesianPainter {
return gr != null ? gr : spec.grouping;
}
/** Серия на вторичной оси значений (ссылочное равенство с secondaryValAxis). */
/** Серия на вторичной оси значений (та же ось по c:axId, §21.2.2.9; {@link ChartSpec#sameAxis}). */
private static boolean onSecondary(ChartSpec.Series s, ChartSpec spec) {
return spec.secondaryValAxis != null && s.valAxis == spec.secondaryValAxis;
return ChartSpec.sameAxis(s.valAxis, spec.secondaryValAxis);
}
private static List<Integer> intersect(List<Integer> family, List<Integer> prim) {
@@ -52,6 +52,10 @@ final class ChartRenderer {
/** Порог «значение целое» при форматировании подписей. */
private static final double INTEGER_EPSILON = 1e-9;
/** Позиции легенды (ECMA-376 §21.2.2.95 legendPos, ST_LegendPos §21.2.3.24): снизу/сверху. */
private static final String LEGEND_BOTTOM = "b";
private static final String LEGEND_TOP = "t";
/**
* Верхняя граница числа делений: {@code c:majorUnit} (ECMA-376 §21.2.2.103) —
* double без нижней границы; Word пишет «круглые» значения, а враждебный docx —
@@ -110,12 +114,12 @@ final class ChartRenderer {
// дорисовывается поверх после художника. Регрессия — ChartRendererTest#overlayLegend_drawnOverPlot.
double legendH = legend == null || spec.legendOverlay ? 0 : legend.height;
Rectangle2D box0 = box;
if (legend != null && !spec.legendOverlay && "b".equals(spec.legendPos)) {
if (legend != null && !spec.legendOverlay && LEGEND_BOTTOM.equals(spec.legendPos)) {
legend.draw(g, box.getX(), box.getY() + box.getHeight() - legendH,
box.getWidth());
box = new Rectangle2D.Double(box.getX(), box.getY(),
box.getWidth(), box.getHeight() - legendH);
} else if (legend != null && !spec.legendOverlay && "t".equals(spec.legendPos)) {
} else if (legend != null && !spec.legendOverlay && LEGEND_TOP.equals(spec.legendPos)) {
legend.draw(g, box.getX(), box.getY(), box.getWidth());
box = new Rectangle2D.Double(box.getX(), box.getY() + legendH,
box.getWidth(), box.getHeight() - legendH);
@@ -144,7 +148,7 @@ final class ChartRenderer {
default -> LOG.warn("тип графика {} не поддерживается — пустой PNG", spec.type);
}
if (legend != null && spec.legendOverlay) {
double y = "t".equals(spec.legendPos)
double y = LEGEND_TOP.equals(spec.legendPos)
? box0.getY() : box0.getY() + box0.getHeight() - legend.height;
legend.draw(g, box0.getX(), y, box0.getWidth());
}
@@ -117,7 +117,7 @@ final class ChartSpec {
final List<Double> xValues = new ArrayList<>();
/** bubble: размеры пузырей (c:bubbleSize). */
final List<Double> bubbleSizes = new ArrayList<>();
/** c:shape ряда bar3D (MS-OI29500 §2.1.1545(b)); null = дефолт диаграммы ({@link #shape3d}). */
/** c:shape ряда bar3D (MS-OI29500 §2.1.1546(b)); null = дефолт диаграммы ({@link #shape3d}). */
String shape3d;
/** Способ отрисовки ряда в combo-диаграмме (несколько групп в одном c:plotArea,
* ECMA-376 §21.2.2.145): BAR/BAR_HORIZONTAL/LINE/AREA по группе-источнику.
@@ -396,7 +396,7 @@ final class ChartSpec {
break;
}
}
if (va == null || va == spec.valAxis) {
if (va == null || sameAxis(va, spec.valAxis)) {
continue;
}
if (spec.secondaryValAxis == null) {
@@ -409,6 +409,14 @@ final class ChartSpec {
}
}
/** Та же ось по c:axId (§21.2.2.9): id уникален в диаграмме, оси с id ≥ 0 лежат
* в {@code axesById} по одному на id — для осей, назначенных из карты при разборе,
* эквивалентно ссылочному равенству. Прямое сравнение осей через == запрещено
* PMD CompareObjectsWithEquals; null и id &lt; 0 — никогда «та же». */
static boolean sameAxis(AxisSpec a, AxisSpec b) {
return a != null && b != null && a.axId >= 0 && a.axId == b.axId;
}
private static void readChartFrame(CTChartSpace space, ChartSpec spec, DrawMlColor colors) {
CTShapeProperties sp = space.getSpPr();
if (sp == null) {
@@ -29,12 +29,13 @@ import java.util.Map;
* Палитра цветов DrawingML: цвета схемы из word/theme/theme1.xml плюс
* разбор {@code a:color} (srgbClr / scrgbClr / hslClr / sysClr /
* schemeClr / prstClr) с полным набором трансформаций EG_ColorTransform
* (§20.1.2.3.2-28: lum/sat/hue Mod/Off и абсолютные, tint/shade,
* (§20.1.2.3.2-34: lum/sat/hue Mod/Off и абсолютные, tint §20.1.2.3.34 /
* shade §20.1.2.3.31,
* alpha/alphaMod/alphaOff, red/green/blue + Mod/Off, comp, inv, gray,
* gamma/invGamma).
*
* tint/shade — модуляция светлоты в HSL (L' = L·p + (1−p) / L·p,
* MS-OI29500 §17.3.2.6(a) — поведение Word); ECMA-примеры именно для
* MS-OI29500 §2.1.72 — поведение Word); ECMA-примеры именно для
* tint/shade (00BC00) противоречат его же примерам семейства lum/sat —
* расхождение на стороне спецификации.
*
@@ -432,7 +433,7 @@ final class DrawMlColor {
rgb = toRgb(hsl);
}
// §20.1.2.3.31/.34: Office-семантика — модуляция
// светлоты в HSL (MS-OI29500 §17.3.2.6(a)), не
// светлоты в HSL (MS-OI29500 §2.1.72), не
// гамма-микс; ECMA-примеры tint/shade противоречат
// собственному семейству lum/sat (§20.1.2.3.19-28).
case "tint" -> {
@@ -7,7 +7,7 @@ import org.docx4j.dml.CTTextParagraph;
import org.docx4j.dml.CTTextParagraphProperties;
import org.docx4j.dml.CTTextSpacing;
import org.docx4j.dml.TextFont;
import ru.pjandro.wordpdf.fonts.BundledFontMapper;
import ru.pjandro.wordpdf.fonts.BundledFontAliases;
import ru.pjandro.wordpdf.fonts.BundledFonts;
import ru.pjandro.wordpdf.fonts.GlyphFont;
@@ -23,7 +23,7 @@ import java.util.List;
* (a:defRPr / a:rPr: sz, b, i, solidFill, latin) и разбивка на строки.
*
* Шрифты берутся из того же бандла, что и у текста PDF
* ({@link BundledFontMapper#bundledFamily}), поэтому подпись диаграммы
* ({@link BundledFontAliases#bundledFamily}), поэтому подпись диаграммы
* рисуется тем же Carlito/Tinos, что и абзацы документа.
*/
final class DrawMlText {
@@ -43,7 +43,7 @@ final class DrawMlText {
/**
* Один абзац: текст + начертание + выравнивание + межстрочный интервал
* из {@code a:lnSpc} (ECMA-376 §21.1.2.4): {@code spacingPct} — доля
* из {@code a:lnSpc} (ECMA-376 §21.1.2.2.5): {@code spacingPct} — доля
* одинарного (a:spcPct/100000), {@code spacingPts} — фиксированная
* высота строки в pt (a:spcPts/100); оба null — одинарный.
*/
@@ -57,6 +57,8 @@ final class DrawMlText {
/** Значения выравнивания DrawingML (a:pPr/@algn, a:bodyPr/@anchor). */
private static final String ALIGN_CTR = "ctr";
private static final String ALIGN_RIGHT = "r";
private static final String ALIGN_FAR = "far";
private static final String VALIGN_BOTTOM = "b";
/** Длина строки, дальше которую рез не идёт (прогресс гарантирован 1 символом). */
@@ -82,7 +84,7 @@ final class DrawMlText {
String fallbackFam, double fallbackSize, Color fallbackColor) {
Style base = new Style(fallbackSize, false, false, fallbackColor,
fallbackFam == null ? BundledFonts.FALLBACK_FAMILY
: BundledFontMapper.bundledFamily(fallbackFam));
: BundledFontAliases.bundledFamily(fallbackFam));
if (txPr == null || txPr.getP().isEmpty()) {
return base;
}
@@ -168,7 +170,7 @@ final class DrawMlText {
case "+mj-lt", "+mj-ea", "+mj-cs" -> colors.majorFontName();
default -> typeface;
};
return BundledFontMapper.bundledFamily(name != null ? name : fallbackFam);
return BundledFontAliases.bundledFamily(name != null ? name : fallbackFam);
}
/**
@@ -241,7 +243,7 @@ final class DrawMlText {
String align = line.align() != null ? line.align() : defAlign;
if (ALIGN_CTR.equals(align)) {
x += (box.getWidth() - line.width()) / 2.0;
} else if ("r".equals(align) || "far".equals(align)) {
} else if (ALIGN_RIGHT.equals(align) || ALIGN_FAR.equals(align)) {
x += box.getWidth() - line.width();
}
fontFor(line.style()).draw(g, line.text(), x, y + line.ascent(),
@@ -253,7 +255,7 @@ final class DrawMlText {
/**
* Высота строки абзаца: a:lnSpc/a:spcPts — фиксированная в pt,
* a:spcPct — доля одинарного (ascent+descent+leading), ничего —
* одинарный (ECMA-376 §21.1.2.4 CT_TextLineSpacing).
* одинарный (ECMA-376 §21.1.2.2.5 CT_TextLineSpacing).
*/
private static double lineFor(Paragraph p, double single) {
if (p.spacingPts() != null) {
@@ -22,6 +22,8 @@ import org.docx4j.dml.diagram2008.CTDrawing;
import org.docx4j.dml.picture.Pic;
import org.docx4j.dml.wordprocessingDrawing.Anchor;
import org.docx4j.dml.wordprocessingDrawing.Inline;
import org.docx4j.math.CTOMath;
import org.docx4j.math.CTOMathPara;
import org.docx4j.openpackaging.contenttype.ContentTypes;
import org.docx4j.openpackaging.exceptions.Docx4JException;
import org.docx4j.openpackaging.exceptions.InvalidFormatException;
@@ -32,20 +34,34 @@ import org.docx4j.openpackaging.parts.PartName;
import org.docx4j.openpackaging.parts.ThemePart;
import org.docx4j.openpackaging.parts.WordprocessingML.BinaryPartAbstractImage;
import org.docx4j.openpackaging.parts.relationships.RelationshipsPart;
import org.docx4j.wml.CTSignedHpsMeasure;
import org.docx4j.wml.Drawing;
import org.docx4j.wml.Jc;
import org.docx4j.wml.JcEnumeration;
import org.docx4j.wml.P;
import org.docx4j.wml.PPr;
import org.docx4j.wml.R;
import org.docx4j.wml.RPr;
import org.docx4j.wml.Text;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import ru.pjandro.wordpdf.ChartsFoundException;
import ru.pjandro.wordpdf.ConvertOptions;
import ru.pjandro.wordpdf.ConversionException;
import ru.pjandro.wordpdf.DrawingFoundException;
import ru.pjandro.wordpdf.SmartArtFoundException;
import javax.imageio.ImageIO;
import javax.xml.namespace.QName;
import java.awt.image.BufferedImage;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.lang.reflect.Method;
import java.math.BigInteger;
import java.util.ArrayList;
import java.util.Collections;
import java.util.HashSet;
import java.util.IdentityHashMap;
import java.util.List;
import java.util.Set;
@@ -59,8 +75,20 @@ import java.util.Set;
* пакета и до создания FOSettings, иначе FOP увидит исходные chart/diagram
* и молча их выбросит (notImplemented в шаблоне).
*
* <p>Третий объект — формулы OMML (§22.1): {@code m:oMathPara}/{@code m:oMath}
* доходят сюда нетронутыми (docx2fo.xslt кладёт их в
* {@code fo:instream-foreign-object} с MathML, который FOP+jeuclid на
* без-fontconfig хостах роняет конвертацию, а на остальных рисует чужими
* системными шрифтами). Каждая формула рендерится своим растером
* ({@link MathModel} → {@link MathRenderer}) и заменяется inline-картинкой
* на месте; unsupported/битая формула деградирует раном с текстом
* {@code m:t}. Байтовый скан {@code MathFallbackNormalizer} (правило 6)
* срезает unsupported-конструкции до загрузки docx4j — этот путь остаётся
* безопасной сетью.
*
* Error-флаги {@link ConvertOptions}: при выключенном render-флаге и
* включённом error-флаге находка объекта — {@link DrawingFoundException}
* включённом error-флаге находка объекта — {@link ChartsFoundException} или
* {@link SmartArtFoundException}
* (бросок здесь, на шаге 3.5, до XSLT/FOP). Регрессия —
* WordPdfConverterTest#drawingErrors_errorFlagRejectsCharts, фикстура
* samples/charts-smartart.docx.
@@ -77,6 +105,15 @@ public final class DrawingPreRenderer {
"http://schemas.openxmlformats.org/drawingml/2006/picture";
private static final String DIAGRAM_DRAWING_REL =
"http://schemas.microsoft.com/office/2007/relationships/diagramDrawing";
/** {@code m:} — namespace OMML (§22.1); {@code w:} — wordprocessingML. */
private static final String MATH_URI =
"http://schemas.openxmlformats.org/officeDocument/2006/math";
/** Local name элемента {@code m:oMath} (диспетч JAXBElement по имени тега). */
private static final String LOCAL_OMATH = "oMath";
/** Local name элемента {@code m:oMathPara} (формула отдельным абзацем). */
private static final String LOCAL_OMATH_PARA = "oMathPara";
private static final String WML_URI =
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
/**
* Верхняя граница {@code wp:extent} в EMU: максимальная страница Word —
@@ -99,7 +136,8 @@ public final class DrawingPreRenderer {
/**
* Рендерит диаграммы/SmartArt пакета в PNG и подменяет их картинками —
* объекты конвертируются всегда. Бросается {@link DrawingFoundException},
* объекты конвертируются всегда. Бросается {@link ChartsFoundException} или
* {@link SmartArtFoundException},
* когда для объектов включён error-флаг ({@link ConvertOptions}).
*/
public static void run(WordprocessingMLPackage pkg, ConvertOptions options) {
@@ -131,6 +169,7 @@ public final class DrawingPreRenderer {
// ConcurrentModificationException.
List<Part> parts = new ArrayList<>(pkg.getParts().getParts().values());
Set<Part> handled = new HashSet<>();
Set<List<?>> visitedContents = Collections.newSetFromMap(new IdentityHashMap<>());
int[] idSeq = {1000};
long[] pngTotal = {0};
for (Part p : parts) {
@@ -141,7 +180,8 @@ public final class DrawingPreRenderer {
if (content.isEmpty()) {
continue;
}
walk(p, content, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options);
walk(p, content, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options,
visitedContents, null);
}
}
@@ -168,20 +208,60 @@ public final class DrawingPreRenderer {
private static void walk(Part part, List<?> content, WordprocessingMLPackage pkg,
DrawMlColor colors, int[] idSeq, long[] pngTotal,
long maxPngBytesTotal, ConvertOptions options) {
for (Object o : content) {
long maxPngBytesTotal, ConvertOptions options,
Set<List<?>> visitedContents, P ownerPara) {
// Посещённые списки — по идентичности (IdentityHashMap): рефлексивный
// getContent (ребёнок возвращает список родителя) не зацикливает обход.
// Сравнение списков через ==/!= запрещено PMD CompareObjectsWithEquals.
if (!visitedContents.add(content)) {
return;
}
for (int i = 0; i < content.size(); i++) {
Object o = content.get(i);
Object v = o instanceof JAXBElement ? ((JAXBElement<?>) o).getValue() : o;
if (v instanceof Drawing drawing) {
replaceDrawing(part, drawing, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options);
replaceDrawing(part, drawing, pkg, colors, idSeq, pngTotal,
maxPngBytesTotal, options);
continue;
}
if (o instanceof JAXBElement<?> el && el.getName() != null
&& MATH_URI.equals(el.getName().getNamespaceURI())) {
String local = el.getName().getLocalPart();
if (LOCAL_OMATH.equals(local) && v instanceof CTOMath math) {
i = splice(content, i, mathReplacements(math, false, part, pkg,
idSeq, pngTotal, maxPngBytesTotal));
continue;
}
if (LOCAL_OMATH_PARA.equals(local) && v instanceof CTOMathPara para) {
i = splice(content, i, mathParaReplacements(para, ownerPara, part,
pkg, idSeq, pngTotal, maxPngBytesTotal));
continue;
}
}
P para = v instanceof P p ? p : ownerPara;
List<?> nested = invokeList(v, "getContent");
if (!nested.isEmpty() && nested != content) {
walk(part, nested, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options);
if (!nested.isEmpty()) {
walk(part, nested, pkg, colors, idSeq, pngTotal, maxPngBytesTotal,
options, visitedContents, para);
}
}
}
/**
* In-place замена элемента {@code index} живого списка дерева на {@code reps}
* (формула → картинка/текст). Живые списки docx4j — изменяемые
* {@code ArrayList}; немодифицируемый список (нетипичный биндинг) —
* {@link UnsupportedOperationException}, который вызывающий не ловит:
* это ошибка программы, а не враждебный вход (валидатор пропускает только
* OOXML-валидные пакеты). Raw-сигнатура — единственный способ mutate
* {@code List<?>} без {@code @SuppressWarnings}.
*/
private static int splice(List content, int index, List reps) {
content.remove(index);
content.addAll(index, reps);
return index + reps.size() - 1;
}
private static List<?> invokeList(Object target, String getter) {
try {
Method m = target.getClass().getMethod(getter);
@@ -225,10 +305,10 @@ public final class DrawingPreRenderer {
boolean isChart = CHART_ELEMENT.equals(name);
boolean isDiagram = DIAGRAM_ELEMENT.equals(name);
if (isChart && options.errorOnCharts()) {
throw new DrawingFoundException(DrawingFoundException.Kind.CHARTS);
throw new ChartsFoundException();
}
if (isDiagram && options.errorOnSmartArt()) {
throw new DrawingFoundException(DrawingFoundException.Kind.SMARTART);
throw new SmartArtFoundException();
}
if (cx <= 0 || cy <= 0 || cx > MAX_EXTENT_EMU || cy > MAX_EXTENT_EMU) {
LOG.warn("drawing вне допустимого wp:extent (cx={}, cy={}) — объект оставлен как есть",
@@ -256,6 +336,165 @@ public final class DrawingPreRenderer {
}
}
/**
* Одна {@code m:oMath} → замены на позиции формулы: inline
* {@code w:drawing} с pic:pic (успех) или ран с конкатенацией
* {@code m:t} (деградация: unsupported-конструкция — безопасная сеть
* после байтового скана MathFallbackNormalizer, пустая/битая формула,
* переполнение бюджета PNG). OOM — {@link ConversionException}, не
* деградация (тот же контракт, что у графиков).
*/
private static List<Object> mathReplacements(CTOMath math, boolean display,
Part part, WordprocessingMLPackage pkg,
int[] idSeq, long[] pngTotal,
long maxPngBytesTotal) {
try {
MathRenderer.MathImage mi = MathRenderer.render(MathModel.build(math, display));
if (mi.image() == null) {
return textRuns(MathModel.mathText(math));
}
byte[] png;
try {
ByteArrayOutputStream bos = new ByteArrayOutputStream();
ImageIO.write(mi.image(), "png", bos);
png = bos.toByteArray();
} finally {
mi.image().flush();
}
if (png.length == 0) {
LOG.warn("PNG формулы пуст — формула деградирована в текст");
return textRuns(MathModel.mathText(math));
}
if (pngTotal[0] + png.length > maxPngBytesTotal) {
LOG.warn("суммарный размер PNG превысил {} байт — формула деградирована в текст",
maxPngBytesTotal);
return textRuns(MathModel.mathText(math));
}
pngTotal[0] += png.length;
String relId = addChartMedia(pkg, part, png);
long cx = Math.round(mi.widthPt() * 12700.0);
long cy = Math.round(mi.heightPt() * 12700.0);
Drawing pic = mathPicture(idSeq, relId, cx, cy);
if (display) {
return List.of(pic);
}
// FOP ставит инлайн-картинку НИЖНИМ краем на базовую линию
// строки, поэтому формула «всплывала» на descent+PAD над
// текстом. Word роняет базовую линию формулы на базовую
// линию строки — компенсируем смещением ранa вниз:
// w:rPr/w:position (полупункты, отрицательное опускает,
// §17.3.2.24) через AUDIT-FIX baseline-shift вендорного
// XSLT. belowBaselinePt > PAD всегда (канва ≥ габариту +
// 2·PAD), нулевого смещения не бывает. Регрессия —
// WordPdfConverterTest#ommlMathInline_sitsOnTextBaseline.
R run = new R();
RPr rpr = new RPr();
CTSignedHpsMeasure pos = new CTSignedHpsMeasure();
pos.setVal(BigInteger.valueOf(-Math.round(2 * mi.belowBaselinePt())));
rpr.setPosition(pos);
run.setRPr(rpr);
run.getContent().add(pic);
return List.of(run);
} catch (MathUnsupportedException e) {
LOG.info("формула не поддерживается рендером — деградация в текст: {}",
e.getMessage());
return textRuns(MathModel.mathText(math));
} catch (OutOfMemoryError e) {
LOG.error("память исчерпана при рендере формулы", e);
throw new ConversionException("Память исчерпана при рендере формулы", e);
} catch (Docx4JException | IOException | RuntimeException e) {
LOG.warn("рендер формулы упал: {}", e.toString());
return textRuns(MathModel.mathText(math));
}
}
/**
* Блок {@code m:oMathPara} (§22.1.3.13): все формулы блока — display.
* Word кладёт {@code oMathPara} либо в блок-контейнер (§22.1.3 —
* наблюдаемая раскладка Word-файлов), либо в {@code w:p}; в первом
* случае формулы заворачиваются в новый центрированный {@code w:p},
* во втором — вставляются на место блока, а содержащему абзацу
* выставляется {@code jc=center} (семантика центрированной
* формулы-абзаца; prose в том же абзаце — враждебный вход, центрируется
* тоже — зарегистрированная деградация).
*/
private static List<Object> mathParaReplacements(CTOMathPara para, P ownerPara,
Part part, WordprocessingMLPackage pkg,
int[] idSeq, long[] pngTotal,
long maxPngBytesTotal) {
List<Object> inner = new ArrayList<>();
for (CTOMath m : para.getOMath()) {
inner.addAll(mathReplacements(m, true, part, pkg, idSeq, pngTotal,
maxPngBytesTotal));
}
if (ownerPara != null) {
centerParagraph(ownerPara);
return inner;
}
if (inner.isEmpty()) {
return List.of();
}
P p = new P();
PPr ppr = new PPr();
Jc jc = new Jc();
jc.setVal(JcEnumeration.CENTER);
ppr.setJc(jc);
p.setPPr(ppr);
p.getContent().addAll(inner);
return List.of(p);
}
/** {@code jc=center} на абзаце (создаёт {@code w:pPr}, если нет). */
private static void centerParagraph(P para) {
PPr ppr = para.getPPr();
if (ppr == null) {
ppr = new PPr();
para.setPPr(ppr);
}
Jc jc = new Jc();
jc.setVal(JcEnumeration.CENTER);
ppr.setJc(jc);
}
/** Inline {@code w:drawing} с pic:Pic заданного размера (EMU). */
private static Drawing mathPicture(int[] idSeq, String relId, long cx, long cy) {
Drawing drawing = new Drawing();
Inline inline = new Inline();
inline.setDistT(0L);
inline.setDistB(0L);
inline.setDistL(0L);
inline.setDistR(0L);
CTPositiveSize2D extent = new CTPositiveSize2D();
extent.setCx(cx);
extent.setCy(cy);
inline.setExtent(extent);
CTNonVisualDrawingProps docPr = new CTNonVisualDrawingProps();
docPr.setId(idSeq[0]++);
docPr.setName("Формула " + docPr.getId());
inline.setDocPr(docPr);
Graphic graphic = new Graphic();
GraphicData gd = new GraphicData();
gd.setUri(PICTURE_URI);
gd.getAny().add(buildPic(idSeq, relId, cx, cy, "Формула"));
graphic.setGraphicData(gd);
inline.setGraphic(graphic);
drawing.getAnchorOrInline().add(inline);
return drawing;
}
/** Ран с текстом (деградация формулы); пустой текст — пустой список. */
private static List<Object> textRuns(String text) {
if (text.isEmpty()) {
return List.of();
}
R run = new R();
Text t = new Text();
t.setValue(text);
t.setSpace("preserve");
run.getContent().add(new JAXBElement<>(new QName(WML_URI, "t"), Text.class, t));
return List.of(run);
}
private static BufferedImage renderChart(Part part, CTRelId ref,
DrawMlColor colors, long cx, long cy) {
Part target = resolve(part, ref.getId());
@@ -371,11 +610,25 @@ public final class DrawingPreRenderer {
return;
}
Pic pic = buildPic(idSeq, relId, cx, cy, "Диаграмма");
gd.setUri(PICTURE_URI);
gd.getAny().clear();
gd.getAny().add(pic);
}
/**
* {@code pic:pic} на готовый media-r:id: id/имя из счётчика {@code idSeq}
* (общего для картинок диаграмм и формул), геометрия — входной extent
* (EMU), превью не нужно.
*/
private static Pic buildPic(int[] idSeq, String relId, long cx, long cy,
String namePrefix) {
Pic pic = new Pic();
org.docx4j.dml.picture.CTPictureNonVisual nv = new org.docx4j.dml.picture.CTPictureNonVisual();
CTNonVisualDrawingProps props = new CTNonVisualDrawingProps();
props.setId(idSeq[0]++);
props.setName("Диаграмма " + props.getId());
props.setName(namePrefix + " " + props.getId());
nv.setCNvPr(props);
nv.setCNvPicPr(new CTNonVisualPictureProperties());
pic.setNvPicPr(nv);
@@ -405,10 +658,7 @@ public final class DrawingPreRenderer {
geom.setAvLst(new CTGeomGuideList());
spPr.setPrstGeom(geom);
pic.setSpPr(spPr);
gd.setUri(PICTURE_URI);
gd.getAny().clear();
gd.getAny().add(pic);
return pic;
}
/**
File diff suppressed because it is too large Load Diff
@@ -0,0 +1,75 @@
package ru.pjandro.wordpdf.internal.chart;
import java.awt.Color;
import java.awt.Graphics2D;
import java.awt.RenderingHints;
import java.awt.image.BufferedImage;
/**
* Растеризация разобранной формулы: дерево {@link MathModel.Box} → PNG
* в координатах pt×dpi/72 (тот же растер-контракт, что у график:
* {@link ChartRenderer#DPI}, понижение dpi по {@link ChartRenderer#fitDpi}
* при превышении площади). Фон прозрачный (ARGB), сглаживание включено —
* глифы рисуются контурами fontbox, шрифтов хоста не касается.
*
* <p>Пустая формула (нулевые метрики) → {@link MathImage} с нулевыми
* размерами и {@code image == null}: вызывающий заменяет её текстом
* {@code m:t} либо убирает вовсе. {@code OutOfMemoryError} при раздутии
* битмапа НЕ перехватывается — это {@code ConversionException} (500) выше
* по стеку, не деградация (контракт chart-модели).
*/
final class MathRenderer {
/** Минимальный размер растра формулы, pt (тонкий индекс не «схлопнется»). */
static final double MIN_WIDTH_PT = 4.0;
/** Минимальная высота растра формулы, pt. */
static final double MIN_HEIGHT_PT = 12.0;
/** Отступ вокруг габарита формулы, pt (обрезка сглаженных краёв). */
static final double PAD_PT = 1.0;
private MathRenderer() {
}
/**
* Растр формулы: PNG-носитель, габарит в pt (для extcx/extcy) и
* {@code belowBaselinePt} — расстояние от базовой линии формулы до
* нижнего края растра (высота минус верхний отступ и ascent; при
* клампе к MIN_HEIGHT — с запасом снизу).
*/
record MathImage(BufferedImage image, double widthPt, double heightPt,
double belowBaselinePt) {
}
/** Растр бокса; пустой бокс → {@code image == null}, размеры 0. */
static MathImage render(MathModel.Box root) {
if (root.isEmpty()) {
return new MathImage(null, 0, 0, 0);
}
double widthPt = Math.max(MIN_WIDTH_PT, root.width + 2 * PAD_PT);
double heightPt = Math.max(MIN_HEIGHT_PT, root.ascent + root.descent + 2 * PAD_PT);
double dpi = ChartRenderer.fitDpi(widthPt, heightPt);
int w = Math.max(1, (int) Math.round(widthPt * dpi / 72.0));
int h = Math.max(1, (int) Math.round(heightPt * dpi / 72.0));
BufferedImage img = new BufferedImage(w, h, BufferedImage.TYPE_INT_ARGB);
Graphics2D g = img.createGraphics();
try {
g.setRenderingHint(RenderingHints.KEY_ANTIALIASING,
RenderingHints.VALUE_ANTIALIAS_ON);
g.setRenderingHint(RenderingHints.KEY_TEXT_ANTIALIASING,
RenderingHints.VALUE_TEXT_ANTIALIAS_ON);
g.setRenderingHint(RenderingHints.KEY_STROKE_CONTROL,
RenderingHints.VALUE_STROKE_PURE);
g.setColor(new Color(0, 0, 0, 0));
double k = dpi / 72.0;
g.scale(k, k);
double x = (widthPt - root.width) / 2.0;
double baseline = PAD_PT + root.ascent;
root.paint(g, x, baseline);
} finally {
g.dispose();
}
return new MathImage(img, widthPt, heightPt, heightPt - PAD_PT - root.ascent);
}
}
@@ -0,0 +1,20 @@
package ru.pjandro.wordpdf.internal.chart;
/**
* Конструкция OMML, которую формульный рендер не раскладывает: math-элемент
* вне {@link MathModel#SUPPORTED}, math-узел не JAXBElement или структурная
* поломка (например, {@code w:br} внутри math-рана).
*
* <p>Сигнал деградации, не отказа: {@code DrawingPreRenderer} заменяет
* формулу её текстом {@code m:t} вместо растра (контент не теряется).
* Бросается на разборе ({@link MathModel#build}), тем же критерием
* срезается раньше — на байтовом уровне в {@code MathFallbackNormalizer}.
*/
final class MathUnsupportedException extends RuntimeException {
private static final long serialVersionUID = 1L;
MathUnsupportedException(String what) {
super(what);
}
}
@@ -11,11 +11,11 @@ import java.util.List;
import java.util.Set;
/**
* Комбинированная диаграмма (c:ofPieChart, ECMA-376 §21.2.2.108): главный
* Комбинированная диаграмма (c:ofPieChart, ECMA-376 §21.2.2.126): главный
* пирог из первичных точек + вторичная круговая (c:ofPieType="pie") либо
* вертикальный стек ("bar") из вторичных. Разбиение по c:splitType
* (auto|cust|percent|pos|val, §21.2.2.155; семантика splitPos —
* MS-OI29500 §2.1.1554a/b): auto/pos — последние ceil(n/3) (или splitPos)
* (auto|cust|percent|pos|val, §21.2.2.196; семантика splitPos —
* MS-OI29500 §2.1.1553): auto/pos — последние ceil(n/3) (или splitPos)
* точек, val/percent — точки ниже splitPos, cust — c:secondPiePt.
* Вторичных точек нет → обычная круговая через {@link PiePainter}.
* «Other»-сектор (MS-OI29500 §2.1.1507(a)) замыкает главный пирог и обращён к
@@ -37,7 +37,7 @@ final class OfPiePainter {
* калибровка — OfPiePainterTest). */
private static final double GAP_FIT = 0.25;
/** c:ofPieType="bar" — вторичная часть столбчатая (§21.2.2.134). */
/** c:ofPieType="bar" — вторичная часть столбчатая (§21.2.2.127). */
private static final String SECONDARY_BAR = "bar";
private OfPiePainter() {
@@ -9,9 +9,9 @@ import java.util.ArrayList;
import java.util.List;
/**
* Лепестковая диаграмма (c:radarChart, ECMA-376 §21.2.2.143): категории —
* Лепестковая диаграмма (c:radarChart, ECMA-376 §21.2.2.153): категории —
* спицы от 12 часов по часовой, значения — радиус по оси значений.
* c:radarStyle (§21.2.2.119): standard — контур, marker — контур + маркеры,
* c:radarStyle (§21.2.2.154): standard — контур, marker — контур + маркеры,
* filled — полупрозрачная заливка без контура (вид как у AREA).
* Сетка — концентрические многоугольники по делениям оси значений (паутина
* прямыми звеньями, как в Word) и спицы.
@@ -15,9 +15,9 @@ import java.util.List;
* ChartSpecTest#scatterFirstValAxisIsX).
*
* scatter: маркеры по c:marker ряда, линия по c:scatterStyle (line/smooth —
* ECMA-376 §21.2.2.136, сглаживание — кривая Жозефа де Кастельно не
* ECMA-376 §21.2.2.162, сглаживание — кривая Жозефа де Кастельно не
* имитируется, ломаная с JOIN_ROUND). bubble: круги без обводки, радиус
* sqrt(|size|/maxSize) при c:sizeRepresents="area" (§21.2.2.128) и линейно
* sqrt(|size|/maxSize) при c:sizeRepresents="area" (§21.2.2.193) и линейно
* при "w", масштаб c:bubbleScale. Ограничения: c:bubble3D рисуется плоско.
*
* Регрессия — ScatterPainterTest, фикстура samples/chart-types.docx
@@ -278,8 +278,9 @@ final class SmartArtRenderer {
if (paragraphs.isEmpty()) {
return;
}
// autofit по ECMA-376 §21.1.2.1.2/.3: noAutofit, spAutoFit (§21.1.2.1.4 —
// под размер текста ресайзится фигура, сам текст не масштабируется)
// autofit по ECMA-376 §21.1.2.1.2 noAutofit / §21.1.2.1.3 normAutofit /
// §21.1.2.1.4 spAutoFit (под размер текста ресайзится фигура,
// сам текст не масштабируется)
// или отсутствие autofit-элемента (отсутствие имплицирует noAutofit) —
// текст рисуется заявленным кеглем. normAutofit — применяем запечённые
// Word-ом fontScale/lnSpcReduction из XML; если fontScale не запечён
@@ -9,7 +9,7 @@ import java.util.ArrayList;
import java.util.List;
/**
* Биржевая диаграмма (c:stockChart, ECMA-376 §21.2.2.153): ряды — линии
* Биржевая диаграмма (c:stockChart, ECMA-376 §21.2.2.198): ряды — линии
* (CT_LineSer, обычно open/high/low/close), плюс факультативные
* c:hiLowLines (вертикаль min..max по всем рядам категории),
* c:upDownBars (столбик между первым и последним рядом: вверх — зелёный,
@@ -402,19 +402,24 @@ final class Surface3dPainter {
private static List<double[]> clipHalf(List<double[]> poly, double bound, boolean keepAbove) {
List<double[]> out = new ArrayList<>();
for (int i = 0; i < poly.size(); i++) {
double[] cur = poly.get(i);
double[] nxt = poly.get((i + 1) % poly.size());
if (poly.isEmpty()) {
return out;
}
// Рёбра (prev → cur) по кругу от замыкающего: то же множество рёбер, что у
// индексного (i, (i+1)%n); foreach — ForLoopCanBeForeach.
double[] prev = poly.get(poly.size() - 1);
for (double[] cur : poly) {
boolean inPrev = keepAbove ? prev[2] >= bound : prev[2] <= bound;
boolean inCur = keepAbove ? cur[2] >= bound : cur[2] <= bound;
boolean inNxt = keepAbove ? nxt[2] >= bound : nxt[2] <= bound;
if (inCur) {
out.add(cur);
if (inPrev) {
out.add(prev);
}
if (inCur != inNxt && Math.abs(nxt[2] - cur[2]) > 1e-12) {
double t = (bound - cur[2]) / (nxt[2] - cur[2]);
out.add(new double[]{cur[0] + t * (nxt[0] - cur[0]),
cur[1] + t * (nxt[1] - cur[1]), bound});
if (inPrev != inCur && Math.abs(cur[2] - prev[2]) > 1e-12) {
double t = (bound - prev[2]) / (cur[2] - prev[2]);
out.add(new double[]{prev[0] + t * (cur[0] - prev[0]),
prev[1] + t * (cur[1] - prev[1]), bound});
}
prev = cur;
}
return out;
}
@@ -459,7 +464,7 @@ final class Surface3dPainter {
project(0.5, v, floorW, rotX, rotY, depthScale, persp), fit);
}
// сетка значений: левая стенка (от переднего левого ребра в глубину)
// и дальней стенка — обе рисует Word; c:delete (§21.2.2.38) убирает ось
// и дальней стенка — обе рисует Word; c:delete (§21.2.2.40) убирает ось
// целиком — сетка удалённой оси не рисуется.
if (valAxis.gridlines && !valAxis.deleted) {
for (double v = lo; v <= hi + unit / 2; v += unit) {
@@ -33,9 +33,6 @@ final class CfbReader {
private static final long FREESECT = 0xFFFFFFFFL;
private static final long MAX_SECT = 0xFFFFFFFAL;
/** Разумный потолок mini-sector shift: 2^16 = 64 KiB (MS-CFB §2.2). */
private static final int MAX_MINI_SECTOR_SHIFT = 16;
/** Типы записей directory (MS-CFB §2.6, Object Type). */
private static final int TYPE_STREAM = 0x02;
private static final int TYPE_ROOT = 0x05;
@@ -44,6 +41,7 @@ final class CfbReader {
private static final int ENTRY_SIZE = 128;
/** Смещения полей заголовка (MS-CFB §2.2: сигнатура 8 + CLSID 16). */
private static final int OFF_BYTE_ORDER = 0x1C;
private static final int OFF_SECTOR_SHIFT = 0x1E;
private static final int OFF_MINI_SECTOR_SHIFT = 0x20;
private static final int OFF_FIRST_DIR = 0x30;
@@ -63,6 +61,16 @@ final class CfbReader {
/** Минимальный заголовок — 512 байт (сектор v3). */
private static final int HEADER_SIZE = 512;
/** ByteOrder MUST быть little-endian ([MS-CFB] §2.2). */
private static final int BYTE_ORDER_LITTLE = 0xFFFE;
/** SectorShift: 9 (v3, 512 Б) или 12 (v4, 4096 Б) ([MS-CFB] §2.2). */
private static final int SECTOR_SHIFT_V3 = 9;
private static final int SECTOR_SHIFT_V4 = 12;
/** MiniSectorShift MUST быть 6 (64 Б) ([MS-CFB] §2.2). */
private static final int MINI_SECTOR_SHIFT_MUST = 6;
/** Mini Stream Cutoff MUST быть 0x1000 ([MS-CFB] §2.2). */
private static final int MINI_STREAM_CUTOFF_MUST = 0x1000;
private CfbReader() {
}
@@ -77,18 +85,26 @@ final class CfbReader {
if (cfb == null || cfb.length < HEADER_SIZE || !startsWithSignature(cfb)) {
throw new ConversionException("Содержимое не похоже на .doc Word 97–2003");
}
// MUST-поля заголовка ([MS-CFB] §2.2): не-равенство — чужой/битый
// формат, разбор дал бы мусор вместо отказа
if (u16(cfb, OFF_BYTE_ORDER) != BYTE_ORDER_LITTLE) {
throw new ConversionException("Неизвестный Byte Order контейнера .doc");
}
int sectorShift = u16(cfb, OFF_SECTOR_SHIFT);
int miniSectorShift = u16(cfb, OFF_MINI_SECTOR_SHIFT);
if (sectorShift != 9 && sectorShift != 12) {
if (sectorShift != SECTOR_SHIFT_V3 && sectorShift != SECTOR_SHIFT_V4) {
throw new ConversionException("Неподдерживаемый размер сектора CFB: 2^" + sectorShift);
}
if (miniSectorShift > MAX_MINI_SECTOR_SHIFT) {
if (miniSectorShift != MINI_SECTOR_SHIFT_MUST) { // §2.2: «MUST be set to 0x0006»
throw new ConversionException("Неподдерживаемый размер mini-сектора CFB: 2^" + miniSectorShift);
}
int sectorSize = 1 << sectorShift;
int miniSectorSize = 1 << miniSectorShift;
long firstDir = u32(cfb, OFF_FIRST_DIR);
long cutoff = u32(cfb, OFF_CUTOFF);
if (cutoff != MINI_STREAM_CUTOFF_MUST) { // §2.2: «MUST be set to 0x00001000»
throw new ConversionException("Неподдерживаемый Mini Stream Cutoff контейнера .doc");
}
long firstMiniFat = u32(cfb, OFF_FIRST_MINI_FAT);
long firstDifat = u32(cfb, OFF_FIRST_DIFAT);
long difatCount = u32(cfb, OFF_DIFAT_COUNT);
@@ -144,22 +160,27 @@ final class CfbReader {
}
}
// второй проход: содержимое потоков
// второй проход: содержимое потоков.
// Суммарный бюджет аллокаций big-потоков: FAT легально шарит сектора
// между записями, поэтому пер-запись «size <= cfb.length» не
// ограничивает итог — N записей с size ≈ cfb.length аллоцировали бы
// N×файл (OOM с одного враждебного контейнера). В легитимном
// контейнере big-потоки не перекрываются: rootSize + Σ big ≤ файл +
// служебные сектора (FAT/dir/докругление) ≈ 1.1×файла; 1.5× — запас.
// Mini-потоки (size < cutoff) в бюджет НЕ идут: их данные физически
// лежат внутри rootSize ([MS-CFB] §2.1/§2.4 — «The space for these
// objects comes from a special stream that is called the mini
// stream»), учёт их размеров второй раз удваивал бы rootSize и
// ложно отвергал контейнер из одних мелких потоков.
Map<String, byte[]> result = new HashMap<>();
// Суммарный бюджет аллокаций: FAT легально шарит сектора между
// записями, поэтому пер-запись «size <= cfb.length» не ограничивает
// итог — N записей с size ≈ cfb.length аллоцировали бы N×файл
// (OOM с одного враждебного контейнера). В легитимном контейнере
// потоки не перекрываются: rootSize + Σ sizes ≤ файл + служебные
// сектора (FAT/dir/докругление mini) ≈ 1.1×файла; 1.5× — запас.
long allocated = rootSize;
for (Entry e : entries) {
byte[] data;
if (e.size() >= cutoff) {
if (allocated + e.size() > 3L * cfb.length / 2) {
throw new ConversionException("Суммарный размер потоков .doc больше лимита контейнера");
}
allocated += e.size();
byte[] data;
if (e.size() >= cutoff) {
data = readChain(cfb, fat, e.start(), e.size(), sectorSize, sectorTotal,
"цепочка потока «" + e.name() + "»");
} else {
@@ -242,7 +263,15 @@ final class CfbReader {
return fat;
}
/** Цепочка секторов по FAT; цикл/выход за FAT → {@link ConversionException}. */
/**
* Цепочка секторов по FAT; цикл/выход за FAT → {@link ConversionException}.
* Капа min(fat.length, sectorTotal): sectorOffset=(sector+1)·sectorSize
* обязан остаться положительным int — сектор «за файлом» дал бы оффлоу
* и обход проверок base+n&gt;cfb.length; капка fat.length — ещё и на
* индексацию fat[] при FAT, покрывающем меньше файла (битый DIFAT).
* Регрессия — CfbReaderTest#streamChainBeyondFile_rejected,
* #rootChainBeyondFile_rejected.
*/
private static int[] chain(int[] fat, long start, int sectorTotal, String what) {
List<Integer> sectors = new ArrayList<>();
long sect = start;
@@ -251,7 +280,7 @@ final class CfbReader {
if (sectors.size() > limit) {
throw new ConversionException("Циклическая " + what + " в .doc");
}
if (sect >= fat.length) {
if (sect >= limit - 1) {
throw new ConversionException("Сектор за концом FAT в .doc: " + what);
}
sectors.add((int) sect);
@@ -324,11 +353,15 @@ final class CfbReader {
}
private static int sectorOffset(int sector, int sectorSize) {
return (sector + 1) * sectorSize;
long off = (long) (sector + 1) * sectorSize;
if (off > Integer.MAX_VALUE) {
throw new ConversionException("Сектор за концом файла в .doc");
}
return (int) off;
}
private static void requireInFile(int offset, int len, int fileLen, String what) {
if (offset < HEADER_SIZE || offset + len > fileLen) {
if (offset < HEADER_SIZE || (long) offset + len > fileLen) {
throw new ConversionException("Ссылка за конец файла в .doc: " + what);
}
}
@@ -58,13 +58,19 @@ final class ChpxIndex {
if (bx != 0) {
int chpxOff = (int) pageOff + bx * 2;
int cb = wordDocument[chpxOff] & 0xFF;
if (cb == 0 || chpxOff + 1 + cb > pageOff + FKP_PAGE_SIZE) {
continue;
// cb=0 (§2.9.32 Chpx — пустой grpx; ср. rgb[i]=0 в
// §2.9.33 «there is no Chpx associated»): диапазон без
// прямых свойств, но валидный — заносим с пустым grpprl
if (cb > 0) {
if (chpxOff + 1 + cb > pageOff + FKP_PAGE_SIZE) {
continue; // grpprl не влезает в страницу — пропуск
}
grpprl = new byte[cb];
System.arraycopy(wordDocument, chpxOff + 1, grpprl, 0, cb);
}
// bOffset=0 (§2.4.2 «no properties») — диапазон без свойств, НО
}
// bOffset=0 (§2.9.33 «there is no Chpx associated») — диапазон
// без свойств, НО
// граница rgfc[j+1] значима: без записи в ranges rangeEnd для
// дефолтного рана вернул бы конец абзаца, и ран, следующий за
// plain-участком (жирное слово в простом тексте — норма Word),
@@ -42,7 +42,8 @@ final class DocFile {
throw new ConversionException("В .doc нет потока "
+ (fib.use1Table() ? "1Table" : "0Table"));
}
pieces = PieceTable.read(table, fib.fcClx(), fib.lcbClx(), wordDocument);
pieces = PieceTable.read(table, fib.fcClx(), fib.lcbClx(), wordDocument,
fib.cbMac() & 0xFFFF_FFFFL);
}
static DocFile open(byte[] docBytes) {
@@ -78,7 +79,8 @@ final class DocFile {
+ papx.countPageBreakBefore());
}
/** Число символов 0x0C (разрыв страницы/колонки/секции, §2.2) в основном тексте. */
/** Число символов 0x0C (разрыв страницы/секции, §2.8.26) в основном тексте;
* разрыв колонки — 0x0E (§2.6.3), страниц не добавляет. */
int countPageBreaks() {
int count = 0;
for (int cp = 0; cp < fib.ccpText(); cp++) {
@@ -5,6 +5,7 @@ import ru.pjandro.wordpdf.WordPdfValidator;
import java.nio.charset.StandardCharsets;
import java.util.ArrayDeque;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.Deque;
import java.util.HashMap;
import java.util.Iterator;
@@ -12,6 +13,7 @@ import java.util.List;
import java.util.Locale;
import java.util.Map;
import java.util.Set;
import java.util.logging.Logger;
import java.util.regex.Pattern;
/**
@@ -24,9 +26,9 @@ import java.util.regex.Pattern;
* {@link PieceTable} (§2.4.1), прямые
* свойства — {@link ChpxIndex}/{@link PapxIndex} (§2.4.6.1/.2), стили —
* {@link Styles} (STSH, цепочка по istd, §2.4.6.5), списки — {@link Lists}
* (PlfLst/PlfLfo → numbering.xml + w:numPr, §2.4.6.5 «Determining List
* (PlfLst/PlfLfo → numbering.xml + w:numPr, §2.4.6.3 «Determining List
* Formatting»), сетка таблиц — {@link Tables} (TAP, §2.6.3), полоса набора —
* {@link Sections} (§2.8.26), колонтитуки — {@link Headers} (§2.4.1,
* {@link Sections} (§2.8.26), колонтитуки — {@link Headers} (§2.3.3,
* нечётные полосы каждой секции → свой {@code w:sectPr} с
* {@code headerReference}/{@code footerReference} в pPr абзаца с
* межсекционным разрывом + body-level sectPr последней секции),
@@ -43,7 +45,7 @@ import java.util.regex.Pattern;
* объектов (0x08 — inline-приближение, PlcfSpa не переносится),
* текстовыделитель (sprmCHighlight → w:highlight), затенения рана/абзаца
* (sprmCShd/sprmCShd80 → rPr, sprmPShd/sprmPShd80 → pPr — w:shd), прямые
* символьные стили (sprmCIstd + stk=3 в STSH → цепочка chpx в rPr), поля
* символьные стили (sprmCIstd + stk=2 в STSH → цепочка chpx в rPr), поля
* ячеек (sprmTCellPadding/sprmTCellPaddingDefault → w:tcMar; по умолчанию
* конвейер даёт дефолт Word 108/0), титульная страница секции
* (sprmSFTitlePage → w:titlePg + first-колонтитуки Plcfhdd). Не переносятся:
@@ -52,14 +54,14 @@ import java.util.regex.Pattern;
* (sprmPBrc* 0xC64E–0xC652 — конвейер не читает w:pBdr) и ячейки
* (sprmTSetBrc — не читает w:tcBorders), высота строк (sprmTDyaRowHeight —
* не читает w:trHeight),
* «шапка-repeat»/cantSplit/widowControl, типы подчёркивания и цвет линии
* (sprmCKul/sprmCCvUl — всегда single), эффетки шрифта, отступы Dxc
* цвет линии подчёркивания
* (sprmCCvUl — w:u без w:color), эффетки шрифта, отступы Dxc
* (hundredths of a character — пайплайн не читает w:*Chars);
* сноски/комментарии
* (0x02/0x05) и инструкции полей (0x13–0x14) выбрасываются,
* результат поля (0x14–0x15) остаётся; поле {@code HYPERLINK} в основном
* тексте переносится как {@code w:hyperlink} с внешней rels-связью на URL из
* инструкции ([MS-DOC] §2.4.4; деградации в плоский текст: якорный
* инструкции ([MS-DOC] §2.9.115 HFD; деградации в плоский текст: якорный
* переключатель {@code \l}, URL без схемы RFC 3986, ссылки в колонтитуках);
* прочие управляющие символы не эмитятся.</p>
*
@@ -69,7 +71,9 @@ import java.util.regex.Pattern;
*/
public final class DocToDocx {
/** Символы .doc (§2.2/§2.4). */
private static final Logger LOG = Logger.getLogger(DocToDocx.class.getName());
/** Символы .doc (§2.8.26/§2.4). */
private static final char CELL_MARK = 0x07;
private static final char EMBEDDED_OBJECT = 0x01;
private static final char ANNOTATION_REF = 0x05;
@@ -84,7 +88,7 @@ public final class DocToDocx {
private static final char FIELD_SEPARATOR = 0x14;
private static final char FIELD_END = 0x15;
/** Ниже — управляющие символы без текстового смысла (§2.2) → граница рана. */
/** Ниже — управляющие символы без текстового смысла (§2.8.26) → граница рана. */
private static final char CONTROL_LIMIT = 0x20;
private static final char NON_BREAKING_HYPHEN = 0x1E;
private static final char SOFT_HYPHEN = 0x1F;
@@ -159,7 +163,7 @@ public final class DocToDocx {
String[] firstFtrRel = new String[secs.size()];
// Odd header/footer каждой секции → type="default" (FOP не различает
// чётные/нечётные); guard-абзац истории отбрасывается. История
// cpStart == cpEnd не определена (§2.4.4) — ни части, ни ссылки:
// cpStart == cpEnd не определена (§2.3.3) — ни части, ни ссылки:
// docx4j наследует полосы предыдущей секции. Guard-only история —
// часть с единственным <w:p/> (явно пустой колонтитул, обрывающий
// наследование; пустой w:hdr невалиден — ≥1 блочный элемент).
@@ -231,7 +235,7 @@ public final class DocToDocx {
/** Текст CP 0..ccpText → XML-тело {@code <w:body>}. */
static final class DocxBody {
/** Длина операнда LSPD: dyaLine (i16) + fMultLinespace (i16), §2.9.181. */
/** Длина операнда LSPD: dyaLine (i16) + fMultLinespace (i16), §2.9.146. */
private static final int LSPD_OPERAND_LEN = 4;
/** fMultLinespace=1: dyaLine — множитель интервала в 240-х долях. */
private static final int FMULT_MULTIPLIER = 1;
@@ -256,6 +260,8 @@ public final class DocToDocx {
private static final char QUOTE = '"';
/** Переключатель якорной ссылки Word. */
private static final String ANCHOR_SWITCH = "\\l";
/** Токен поля HYPERLINK в начале инструкции. */
private static final String HYPERLINK_FIELD = "HYPERLINK";
private final PieceTable pieces;
private final ChpxIndex chpx;
@@ -322,7 +328,7 @@ public final class DocToDocx {
* {@code w:sectPr} в pPr абзаца с разрывом 0x0C + body-level sectPr
* последней секции. {@code w:type} секции описывает разрыв ПЕРЕД ней
* (ECMA-376 §17.6.22), поэтому берётся из sprmSBkc ПРЕДЫДУЩЕЙ секции
* ([MS-DOC] §2.6.3 SBkcOperand — «break that terminates the section»).
* ([MS-DOC] sprmSBkc §2.6.4, SBkcOperand §2.9.235 — «break that terminates the section»).
*/
String build(List<Sections.Section> secs, String[] hdrRel, String[] ftrRel,
String[] firstHdrRel, String[] firstFtrRel) {
@@ -334,14 +340,14 @@ public final class DocToDocx {
&& pieces.charAt(endCp) == PAGE_OR_SECTION_BREAK) {
sectByEndCp.put(endCp, sectPrXml(secs.get(i), hdrRel[i], ftrRel[i],
firstHdrRel[i], firstFtrRel[i],
i > 0 && secs.get(i - 1).continuous()));
i > 0 ? secs.get(i - 1) : null));
}
}
Sections.Section last = secs.get(n - 1);
return buildRange(0, ccpText, false, sectByEndCp)
+ sectPrXml(last, hdrRel[n - 1], ftrRel[n - 1],
firstHdrRel[n - 1], firstFtrRel[n - 1],
n > 1 && secs.get(n - 2).continuous());
n > 1 ? secs.get(n - 2) : null);
}
/**
@@ -384,7 +390,25 @@ public final class DocToDocx {
int cp = from;
while (cp < to) {
int paraStart = cp;
long paraFc = pieces.fcOf(paraStart);
// PAPX-ключ — FC ПОСЛЕДНЕГО символа абзаца (маркера): bucket
// PlcBtePapx и rgfc PapxFkp определяются последним символом
// (§2.8.6, §2.4.6.1 «Determining Paragraph Boundaries» →
// Direct Paragraph Formatting шаг 1); граница bucket'а внутри
// абзаца иначе обрезает диапазон выше первого FC и теряются
// grpprl + istd (регрессия —
// DocToDocxFormattingTest#papxBucketBoundary_insideParagraph_propsKept)
int markCp = paraStart;
while (markCp < to) {
char chMark = pieces.charAt(markCp);
// 0x0C, завершающий секцию, и есть -маркер абзаца
// (тот же предикат, что обрывает абзац в цикле ниже)
if (chMark == PARA_MARK || chMark == CELL_MARK
|| sectByEndCp.containsKey(markCp)) {
break;
}
markCp++;
}
long paraFc = pieces.fcOf(markCp < to ? markCp : Math.max(paraStart, markCp - 1));
// grpprl абзаца может быть вынесен Word в PrcData (Data-поток)
// через sprmPHugePapx/sprmPTableProps — разворачиваем до
// потребления: InTable/TTP/TAP видят автомат и paraProps (§2.9.210)
@@ -526,7 +550,7 @@ public final class DocToDocx {
}
}
/** Открытие w:tbl: tblPr (tblW → jc → tblInd → tblBorders) + tblGrid (§17.4.49). */
/** Открытие w:tbl: tblPr (tblW → jc → tblInd → tblBorders) + tblGrid (§17.4.48). */
private static String openTable(Tables.Grid g) {
StringBuilder xml = new StringBuilder("<w:tbl><w:tblPr>");
int total = 0;
@@ -552,7 +576,7 @@ public final class DocToDocx {
* w:tr: ширина/объединение ячейки — из собственной сетки строки
* (§2.9.321: у TTP-абзаца свой sprmTDefTable; объединённая ячейка —
* центр, покрывающий несколько колонок tblGrid → w:gridSpan +
* суммарный w:tcW, ECMA-376 §17.4.65, порядок детей CT_TcPrBase:
* суммарный w:tcW, ECMA-376 §17.4.17, порядок детей CT_TcPrBase:
* tcW → gridSpan). Строка без согласованной сетки (центров не на 1
* больше числа ячеек) или с невыровненными с tblGrid границами —
* прежнее поведение: ячейка i получает tcW i-й колонки, лишние —
@@ -563,7 +587,7 @@ public final class DocToDocx {
int[] table = grid.centers();
int[] row = rowGrid == null ? null : rowGrid.centers();
// собственная сетка строки согласована с автоматом, только если
// центров ровно на 1 больше ячеек (§2.4.4: число ячеек = число определений)
// центров ровно на 1 больше ячеек (§2.4.3: число ячеек = число определений)
boolean perRow = row != null && row.length == cells.size() + 1;
int i = 0;
for (List<Para> cell : cells) {
@@ -581,7 +605,7 @@ public final class DocToDocx {
tcPr.append("<w:tcW w:w=\"").append(grid.colWidths()[i])
.append("\" w:type=\"dxa\"/>");
}
// sprmTCellPadding/…Default (CT_TcPr, §17.4.72: tcMar до vAlign)
// sprmTCellPadding/…Default (CT_TcPr, §17.4.69: tcMar до vAlign)
String tcMar = tcMarXml(rowGrid, i);
if (tcMar != null) {
tcPr.append(tcMar);
@@ -596,7 +620,7 @@ public final class DocToDocx {
xml.append("<w:tcPr>").append(tcPr).append("</w:tcPr>");
}
if (cell.isEmpty()) {
xml.append("<w:p/>"); // ≥1 абзац в ячейке обязательно (§17.4.42)
xml.append("<w:p/>"); // ≥1 абзац в ячейке обязательно (§17.4.65)
} else {
for (Para p : cell) {
xml.append(paraXml(p));
@@ -623,7 +647,7 @@ public final class DocToDocx {
* пересечение диапазона [itcFirst, itcLim) с индексом ячейки, позже
* заданный операнд перекрывает сторону ранее заданного (порядок
* скана TAP = last-wins). Стороны только явные, порядок детей
* CT_TcMar (§17.4.66): top → left → bottom → right. Нет явных
* CT_TcMar (§17.4.68): top → left → bottom → right. Нет явных
* полей — null (конвейер даёт дефолт 108/0 — он же дефолт Word).
*/
private static String tcMarXml(Tables.Grid rowGrid, int i) {
@@ -678,7 +702,7 @@ public final class DocToDocx {
boolean[] in = {false};
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
if (sprm == Grpprl.SPRM_P_F_IN_TABLE) {
in[0] = Grpprl.toggleOn(buf, off);
in[0] = Grpprl.toggle(false, buf[off]);
}
});
return in[0];
@@ -801,7 +825,7 @@ public final class DocToDocx {
break;
case EMBEDDED_OBJECT:
case DRAWN_OBJECT:
// Якорь плавающей картинки 0x08 (§2.9.267) несёт тот же
// Якорь плавающей картинки 0x08 (PlcfSpa §2.8.27) несёт тот же
// sprmCPicLocation, что 0x01 → inline-приближение
// (позиционирование/обтекание PlcfSpa не переносится)
flushText(text, content);
@@ -845,7 +869,8 @@ public final class DocToDocx {
/**
* Закрыть накопленный {@code <w:r>}: fldSimple обязан лежать вне рана;
* непринятая правка (sprmCFRMark*) оборачивает ран в {@code w:del}/
* {@code w:ins} (атрибуты w:id/w:author/w:date опциональны — не эмитятся).
* {@code w:ins}. Атрибуты w:id и w:author обязательны (CT_Markup/
* CT_TrackChange, wml.xsd — оба use="required", w:date опционален).
*/
private void closeRun(StringBuilder runs, String rPr, StringBuilder content,
StringBuilder text) {
@@ -857,9 +882,16 @@ public final class DocToDocx {
}
}
/** Счётчик w:id правок (CT_TrackChange.@w:id). */
private int markupSeq;
/** Открывающая обёртка правки текущего рана; обычный ран — пустая строка. */
private String markupOpen() {
return runMarkup == MARKUP_DEL ? "<w:del>" : runMarkup == MARKUP_INS ? "<w:ins>" : "";
if (runMarkup == MARKUP_NONE) {
return "";
}
String tag = runMarkup == MARKUP_DEL ? "w:del" : "w:ins";
return "<" + tag + " w:id=\"" + (++markupSeq) + "\" w:author=\"\">";
}
/** Закрывающая обёртка правки; см. {@link #markupOpen()}. */
@@ -876,6 +908,12 @@ public final class DocToDocx {
* простираться дальше картинки.
*/
private void emitPicture(StringBuilder runs, String rPr, int cp) {
if (fieldsAsSimple) {
// колонтитулы: rels per-story (word/_rels/headerN.xml.rels) мост
// не пишет → r:embed висел бы над несуществующей связью
LOG.warning("Картинка в колонтитуле пропущена (нет per-story rels)");
return;
}
long picLoc = picLocationFor(chpx.grpprlFor(pieces.fcOf(cp)));
if (picLoc < 0) {
return;
@@ -936,7 +974,7 @@ public final class DocToDocx {
}
/**
* URL из инструкции поля HYPERLINK ([MS-DOC] §2.4.4: токен, затем
* URL из инструкции поля HYPERLINK ([MS-DOC] §2.9.115 HFD: токен, затем
* {@code "url"} или url без кавычек, затем switch'и). Схема обязательна
* (RFC 3986 §3.1) — {@code readme.txt}/{@code #bookmark} ссылкой не
* считаются. Якорный переключатель {@code \l} — {@code null}: закладки
@@ -950,7 +988,7 @@ public final class DocToDocx {
while (end < s.length() && !Character.isWhitespace(s.charAt(end))) {
end++;
}
if (!"HYPERLINK".equalsIgnoreCase(s.substring(0, end))) {
if (!HYPERLINK_FIELD.equalsIgnoreCase(s.substring(0, end))) {
return null;
}
int p = end;
@@ -1055,7 +1093,7 @@ public final class DocToDocx {
boolean[] ttp = {false};
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
if (sprm == Grpprl.SPRM_P_F_TTP) {
ttp[0] = Grpprl.toggleOn(buf, off);
ttp[0] = Grpprl.toggle(false, buf[off]);
}
});
return ttp[0];
@@ -1066,14 +1104,20 @@ public final class DocToDocx {
RunProps p = new RunProps();
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
switch (sprm) {
case Grpprl.SPRM_C_F_BOLD -> p.bold = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_F_ITALIC -> p.italic = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_F_STRIKE -> p.strike = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_KUL -> p.underline = Grpprl.operandInt(buf, off, len) != 0;
// ToggleOperand (§2.9.327): current = накопленное значение
// (цепочка стиля сканируется раньше прямого grpprl)
case Grpprl.SPRM_C_F_BOLD -> p.bold = Grpprl.toggle(p.bold, buf[off]);
case Grpprl.SPRM_C_F_ITALIC -> p.italic = Grpprl.toggle(p.italic, buf[off]);
case Grpprl.SPRM_C_F_STRIKE -> p.strike = Grpprl.toggle(p.strike, buf[off]);
case Grpprl.SPRM_C_KUL ->
p.underline = Grpprl.underlineVal(Grpprl.operandInt(buf, off, len));
case Grpprl.SPRM_C_HPS -> p.sz = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_HPS_BI -> p.szCs = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_RG_FTC0 -> p.ftc0 = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_RG_FTC1 -> p.ftc1 = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_RG_FTC0 -> p.ftc0 = signedXas(buf, off, len);
case Grpprl.SPRM_C_RG_FTC1 -> p.ftc1 = signedXas(buf, off, len);
case Grpprl.SPRM_C_RG_FTC2 -> p.ftc2 = signedXas(buf, off, len);
case Grpprl.SPRM_C_FTC_BI -> p.ftcBi = signedXas(buf, off, len);
case Grpprl.SPRM_C_ISS -> p.iss = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_CV -> p.color = colorOf(buf, off, len);
case Grpprl.SPRM_C_HIGHLIGHT -> p.highlight =
highlightName(Grpprl.operandInt(buf, off, len));
@@ -1081,11 +1125,12 @@ public final class DocToDocx {
case Grpprl.SPRM_C_SHD80 -> p.shd =
shdAttrs80(Grpprl.operandInt(buf, off, len));
case Grpprl.SPRM_C_HPS_POS -> p.pos = signedXas(buf, off, len);
case Grpprl.SPRM_C_F_VANISH -> p.hidden = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_F_CAPS -> p.caps = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_F_SMALL_CAPS -> p.smallCaps = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_RMARK_DEL -> p.del = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_RMARK_INS -> p.ins = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_F_VANISH -> p.hidden = Grpprl.toggle(p.hidden, buf[off]);
case Grpprl.SPRM_C_F_CAPS -> p.caps = Grpprl.toggle(p.caps, buf[off]);
case Grpprl.SPRM_C_F_SMALL_CAPS ->
p.smallCaps = Grpprl.toggle(p.smallCaps, buf[off]);
case Grpprl.SPRM_C_RMARK_DEL -> p.del = Grpprl.toggle(p.del, buf[off]);
case Grpprl.SPRM_C_RMARK_INS -> p.ins = Grpprl.toggle(p.ins, buf[off]);
default -> { }
}
});
@@ -1094,17 +1139,26 @@ public final class DocToDocx {
/**
* rPr по CT_RPr-порядку (§17.3.2.28): rFonts, b, i, strike, color,
* position, sz, szCs, highlight, u, shd.
* position, sz, szCs, highlight, u, shd, vertAlign.
*/
private String runXml(RunProps p) {
StringBuilder xml = new StringBuilder();
// Слоты шрифта (ms-doc-full.md §2.6.1): ftc0→ascii, ftc1→eastAsia,
// ftc2→hAnsi (перекрывает ascii-значение ftc0), ftcBi→cs
String ascii = p.ftc0 >= 0 ? fonts.font(p.ftc0) : null;
String cs = p.ftc1 >= 0 ? fonts.font(p.ftc1) : null;
if (ascii != null || cs != null) {
String hAnsi = p.ftc2 >= 0 ? fonts.font(p.ftc2) : ascii;
String eastAsia = p.ftc1 >= 0 ? fonts.font(p.ftc1) : null;
String cs = p.ftcBi >= 0 ? fonts.font(p.ftcBi) : null;
if (ascii != null || hAnsi != null || eastAsia != null || cs != null) {
xml.append("<w:rFonts");
if (ascii != null) {
xml.append(" w:ascii=\"").append(escapeAttr(ascii))
.append("\" w:hAnsi=\"").append(escapeAttr(ascii)).append('"');
xml.append(" w:ascii=\"").append(escapeAttr(ascii)).append('"');
}
if (hAnsi != null) {
xml.append(" w:hAnsi=\"").append(escapeAttr(hAnsi)).append('"');
}
if (eastAsia != null) {
xml.append(" w:eastAsia=\"").append(escapeAttr(eastAsia)).append('"');
}
if (cs != null) {
xml.append(" w:cs=\"").append(escapeAttr(cs)).append('"');
@@ -1137,12 +1191,17 @@ public final class DocToDocx {
if (p.highlight != null) {
xml.append("<w:highlight w:val=\"").append(p.highlight).append("\"/>");
}
if (p.underline) {
xml.append("<w:u w:val=\"single\"/>");
if (p.underline != null) {
xml.append("<w:u w:val=\"").append(p.underline).append("\"/>");
}
if (p.shd != null) {
xml.append("<w:shd ").append(p.shd).append("/>");
}
if (p.iss == RunProps.ISS_SUPERSCRIPT) {
xml.append("<w:vertAlign w:val=\"superscript\"/>");
} else if (p.iss == RunProps.ISS_SUBSCRIPT) {
xml.append("<w:vertAlign w:val=\"subscript\"/>");
}
return xml.length() == 0 ? "" : "<w:rPr>" + xml + "</w:rPr>";
}
@@ -1184,17 +1243,17 @@ public final class DocToDocx {
jc80[0] = false;
}
case Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE -> pageBreak[0] =
Grpprl.toggleOn(buf, off);
Grpprl.toggle(false, buf[off]);
case Grpprl.SPRM_P_F_KEEP_FOLLOW -> keepNext[0] =
Grpprl.toggleOn(buf, off);
Grpprl.toggle(false, buf[off]);
case Grpprl.SPRM_P_F_KEEP -> keepLines[0] =
Grpprl.toggleOn(buf, off);
Grpprl.toggle(false, buf[off]);
case Grpprl.SPRM_P_DYA_BEFORE -> before[0] =
Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_P_DYA_AFTER -> after[0] = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_P_DYA_LINE -> {
if (len >= LSPD_OPERAND_LEN) {
// LSPD (§2.9.181): dyaLine (i16) + fMultLinespace (i16)
// LSPD (§2.9.146): dyaLine (i16) + fMultLinespace (i16)
dyaLine[0] = signedXas(buf, off, 2);
fMult[0] = Grpprl.operandInt(buf, off + 2, 2);
}
@@ -1239,11 +1298,11 @@ public final class DocToDocx {
spacing.append(" w:after=\"").append(after[0]).append('"');
}
if (dyaLine[0] != Integer.MIN_VALUE && dyaLine[0] != 0) {
// LSPD → w:spacing (§2.9.181): fMult=1 — множитель в 240-х
// LSPD → w:spacing (§2.9.146): fMult=1 — множитель в 240-х
// (lineRule="auto"); fMult=0, dyaLine>0 — «не меньше» (atLeast,
// max(dyaLine, одиночный интервал)); dyaLine<0 — точная высота
// (exact, |dyaLine|). См. grfhicPapx.fSuppressTopSpacingMac5 /
// fExactOnTop ([MS-DOC] §2.4.6, отсылки к lineRule).
// fExactOnTop — бит A Copts80 ([MS-DOC] §2.7.12, отсылки к lineRule).
if (fMult[0] == FMULT_MULTIPLIER) {
spacing.append(" w:line=\"").append(dyaLine[0])
.append("\" w:lineRule=\"auto\"");
@@ -1393,7 +1452,7 @@ public final class DocToDocx {
}
}
/** w:tabs: TBD.jc → ST_TabVal (§17.18.78), TBD.tlc → ST_Leader (§17.18.57). */
/** w:tabs: TBD.jc → ST_TabJc (§17.18.84), TBD.tlc → ST_TabTlc (§17.18.85). */
private static String tabsXml(List<int[]> tabs) {
StringBuilder inner = new StringBuilder();
for (int[] t : tabs) {
@@ -1456,7 +1515,7 @@ public final class DocToDocx {
}
/**
* Ico (§2.9.171) → член ST_HighlightColor (§17.18.42) — соответствие
* Ico (§2.9.119) → член ST_HighlightColor (§17.18.40) — соответствие
* 1:1 по RGB палитры (teal 00FFFF = cyan, dark teal 008080 = darkCyan,
* gray50 = darkGray, gray25 = lightGray). 0/auto/вне 1..16 → null
* (не эмитится).
@@ -1484,8 +1543,8 @@ public final class DocToDocx {
}
/**
* SHDOperand (§2.9.177): cb(1)=10 + Shd(10: cvFore/cvBack COLORREF +
* ipat u16, §2.9.178) → атрибуты w:shd; cb≠10/обрезок → null.
* SHDOperand (§2.9.249): cb(1)=10 + Shd(10: cvFore/cvBack COLORREF +
* ipat u16, §2.9.121) → атрибуты w:shd; cb≠10/обрезок → null.
*/
private static String shdAttrs10(byte[] buf, int off, int len) {
if (len < 11 || (buf[off] & 0xFF) != 10) {
@@ -1496,7 +1555,7 @@ public final class DocToDocx {
}
/**
* Shd80 (§2.9.176, u16: icoFore(5) icoBack(5) ipat(6)) → атрибуты
* Shd80 (§2.9.248, u16: icoFore(5) icoBack(5) ipat(6)) → атрибуты
* w:shd; Shd80Nil (0x1F/0x1F/0x3F) даёт null (цвета вне палитры).
*/
private static String shdAttrs80(int v) {
@@ -1510,7 +1569,7 @@ public final class DocToDocx {
* w:fill (зонд 2026-11: w:val="solid" w:color=RRGGBB w:fill="auto"
* не рисует ничего); паттерны Ipat≥2 в FOP неразличимы — деградация
* в фон cvBack (MS-DOC Ipat: вне ST_Shd паттерны «lost if converted
* to ECMA-376»). ShdAuto/ShdNil (оба цвета auto, §2.9.178) и
* to ECMA-376»). ShdAuto/ShdNil (оба цвета auto, §2.9.249) и
* нечем-красить (fill auto) → null.
*/
private static String shdAttrs(int ipat, String fore, String back) {
@@ -1523,43 +1582,51 @@ public final class DocToDocx {
}
/**
* Grpprl рана с учётом sprmCIstd (§2.6.1): цепочка chpx символьного
* стиля (stk=3) вставляется между цепочкой стиля абзаца и прямыми
* CHPX — §2.4.6.5: символьные свойства сначала возвращаются к
* результату стиля абзаца, затем символьный стиль, затем прямые.
* Без sprmCIstd — прежняя конкатенация.
* Grpprl рана с учётом sprmCIstd (§2.6.1): символьные свойства
* возвращаются к результату стиля абзаца (прямые до sprmCIstd
* сбрасываются, кроме preserv-list {@link Grpprl#CI_STD_PRESERVE}),
* затем цепочка chpx символьного стиля (stk=2), затем Prl после
* sprmCIstd. sprmCIstd нет или istd вне STSH (Prl невалиден —
* спекулятивный сброс не делается) — прежняя конкатенация.
*/
private byte[] chpxWithCharStyle(byte[] grpprl, byte[] styleChpx) {
int[] istd = {-1};
int[] ciStdStart = {-1};
int[] ciStdEnd = {-1};
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
if (sprm == Grpprl.SPRM_C_ISTD) {
if (sprm == Grpprl.SPRM_C_ISTD && ciStdStart[0] < 0) {
ciStdStart[0] = off - 2;
ciStdEnd[0] = off + len;
int v = Grpprl.operandInt(buf, off, len);
istd[0] = v < styles.count() ? v : -1;
}
});
byte[] chStyle = istd[0] >= 0 ? styles.charChain(istd[0]) : new byte[0];
if (chStyle.length == 0) {
if (istd[0] < 0) {
return styleChpx.length == 0 ? grpprl : concat(styleChpx, grpprl);
}
return concat(concat(styleChpx, chStyle), grpprl);
byte[] chStyle = styles.charChain(istd[0]);
byte[] before = Grpprl.filterOnly(grpprl, ciStdStart[0],
Grpprl.CI_STD_PRESERVE);
byte[] after = Arrays.copyOfRange(grpprl, ciStdEnd[0], grpprl.length);
return concat(concat(concat(styleChpx, chStyle), before), after);
}
/**
* w:sectPr секции: ссылки на части колонтитуков (null — элемент не
* пишется, docx4j наследует полосы предыдущей секции), затем w:type,
* затем pgSz/pgMar её геометрии. Порядок детей — CT_SectPr:
* EG_HdrFtrReferences → type → pgSz → pgMar (ECMA-376 §17.2.3).
* EG_HdrFtrReferences → type → pgSz → pgMar (ECMA-376 §17.6.18).
*
* @param typeContinuous разрыв ПЕРЕД секцией не начинает новую
* страницу (§17.6.22 — w:type описывает
* предыдущий разрыв; источник — sprmSBkc
* предыдущей секции, [MS-DOC] §2.6.3)
* @param prev разрыв ПЕРЕД секцией (null — первая секция): его
* SBkcOperand даёт {@code w:type} (§17.6.22 — w:type
* описывает предыдущий разрыв; источник — sprmSBkc
* предыдущей секции, [MS-DOC] §2.6.4)
*/
private static String sectPrXml(Sections.Section s, String headerRelId,
String footerRelId, String firstHeaderRelId, String firstFooterRelId,
boolean typeContinuous) {
Sections.Section prev) {
StringBuilder xml = new StringBuilder("<w:sectPr>");
// EG_HdrFtrReferences — до содержимого секции (CT_SectPr, ECMA-376 §17.2.3)
// EG_HdrFtrReferences — до содержимого секции (CT_SectPr, ECMA-376 §17.6.18)
if (headerRelId != null) {
xml.append("<w:headerReference w:type=\"default\" r:id=\"")
.append(headerRelId).append("\"/>");
@@ -1576,8 +1643,9 @@ public final class DocToDocx {
xml.append("<w:footerReference w:type=\"first\" r:id=\"")
.append(firstFooterRelId).append("\"/>");
}
if (typeContinuous) {
xml.append("<w:type w:val=\"continuous\"/>");
String typeVal = prev == null ? null : prev.wTypeName();
if (typeVal != null) {
xml.append("<w:type w:val=\"").append(typeVal).append("\"/>");
}
// sprmSBOrientation: Word пишет dxa уже перевёрнутыми; max/min —
// защита от генераторов, оставивших портретные размеры при landscape
@@ -1598,10 +1666,10 @@ public final class DocToDocx {
.append("\" w:left=\"").append(s.marginLeft())
.append("\" w:header=\"").append(s.header())
.append("\" w:footer=\"").append(s.footer())
.append("\" w:gutter=\"0\"/>");
.append("\" w:gutter=\"").append(s.gutter()).append("\"/>");
appendPgNumType(xml, s);
appendCols(xml, s);
// w:titlePg — после w:cols (CT_SectPrBase, §17.2.3): первая страница
// w:titlePg — после w:cols (CT_SectPrBase, §17.6.18): первая страница
// секции использует first-части (ссылки w:type="first" выше)
if (s.titlePage()) {
xml.append("<w:titlePg/>");
@@ -1615,7 +1683,7 @@ public final class DocToDocx {
* w:start — при сбросе нумерации, w:fmt — из подмножества
* ST_NumberFormat, допустимого для номеров страниц (decimal —
* формат по умолчанию, не эмитится; bullet/none/экзотика — вне
* смысла w:fmt). Порядок CT_SectPr §17.2.3: после pgMar.
* смысла w:fmt). Порядок CT_SectPr §17.6.18: после pgMar.
*/
private static void appendPgNumType(StringBuilder xml, Sections.Section s) {
int start = s.pgNumStart();
@@ -1710,11 +1778,19 @@ public final class DocToDocx {
private boolean bold;
private boolean italic;
private boolean strike;
private boolean underline;
/** sprmCKul → ST_Underline-имя; null — без подчёркивания. */
private String underline;
private int sz;
private int szCs;
private int ftc0 = -1;
private int ftc1 = -1;
private int ftc2 = -1;
private int ftcBi = -1;
/** sprmCIss: 0 нормальный, 1 надстрочный, 2 подстрочный. */
private int iss;
/** Значения sprmCIss ([MS-DOC] §2.6.1): надстрочный/подстрочный. */
private static final int ISS_SUPERSCRIPT = 1;
private static final int ISS_SUBSCRIPT = 2;
private String color;
/** sprmCHpsPos: вертикальный сдвиг в hps со знаком ( надострочный, <0 подстрочный). */
private int pos;
@@ -1726,7 +1802,7 @@ public final class DocToDocx {
/** sprmCFRMarkDel/sprmCFRMarkIns: непринятая правка → w:del/w:ins. */
private boolean del;
private boolean ins;
/** sprmCHighlight: член ST_HighlightColor (§17.18.42); null — нет. */
/** sprmCHighlight: член ST_HighlightColor (§17.18.40); null — нет. */
private String highlight;
/** sprmCShd/sprmCShd80: готовые атрибуты w:shd; null — нет затенения. */
private String shd;
@@ -8,7 +8,9 @@ import ru.pjandro.wordpdf.ConversionException;
* <p>По [MS-DOC] §2.5: Fib = FibBase (32) + csw + FibRgW97 + cslw + FibRgLw97
* + cbRgFcLcb + FibRgFcLcbBlob (§2.5.1). Читаются только нужные поля;
* порядок и смещения — §2.5.15 «How to read the FIB», побайтовые примеры —
* §3 (Figure 22/30). Число 136 пар в blob (Word 2003+) не мешает: нужные
* §3 (Figure 22/30). cbRgFcLcb — один из по таблице nFib (§2.5.1):
* 0x00C1→0x005D (88 пар, Word 97), 0x0101→0x0088 (136, Word 2002),
* 0x010C→0x00A4 (164, Word 2003) — сверяется при чтении; нужные
* пары стоят на фиксированных индексах.</p>
*/
final class FibHeader {
@@ -29,10 +31,12 @@ final class FibHeader {
/** Значение бита флага «включён» (§2.5.2, grpprl FIB). */
private static final int BIT_ON = 1;
/** Минимум FibRgW97 (4 коротких значения, §2.5.4). */
private static final int MIN_CSLW = 4;
/** MUST-значения счётчиков (§2.5.1 Fib, Word 97+): csw=14 коротких, cslw=22 длинных. */
private static final int C_SW = 0x000E;
private static final int C_SLW = 0x0016;
/** Смещения после FibBase (§2.5.1). */
private static final int OFF_CSW = 32;
private static final int OFF_CSLW = 62;
private static final int OFF_FIB_RG_LW = 64;
private static final int OFF_CB_MAC = OFF_FIB_RG_LW;
@@ -91,8 +95,13 @@ final class FibHeader {
throw new ConversionException("Документ зашифрован (пароль на открытие) — конвертация невозможна");
}
use1Table = ((flags >> BIT_F_WHICH_TBL_STM) & BIT_ON) == BIT_ON;
// §2.5.1 Fib: csw «MUST be 0x000E», cslw «MUST be 0x0016» —
// фиксированный layout FibRgW97/FibRgLw97, любое другое
// значение = чужая версия FIB, чтение по константным смещениям дало
// бы мусор
int csw = (int) CfbReader.u32(wd, OFF_CSW) & 0xFFFF;
int cslw = (int) CfbReader.u32(wd, OFF_CSLW) & 0xFFFF;
if (cslw < MIN_CSLW) {
if (csw != C_SW || cslw != C_SLW) {
throw new ConversionException("Обрезанный FIB в .doc");
}
cbMac = (int) CfbReader.u32(wd, OFF_CB_MAC);
@@ -102,35 +111,35 @@ final class FibHeader {
if (ccpText < 0) {
throw new ConversionException("Отрицательная длина текста в .doc");
}
int cbRgFcLcb = (int) CfbReader.u32(wd, OFF_CB_RG_FC_LCB) & 0xFFFF;
int cbRgFcLcb = CfbReader.u16(wd, OFF_CB_RG_FC_LCB);
if (cbRgFcLcb <= PAIR_CLX) {
throw new ConversionException("Устаревшая структура FIB в .doc");
}
long[] stshf = pair(wd, PAIR_STSHF);
long[] stshf = pair(wd, PAIR_STSHF, cbRgFcLcb);
fcStshf = stshf[0];
lcbStshf = stshf[1];
long[] sed = pair(wd, PAIR_PLCF_SED);
long[] sed = pair(wd, PAIR_PLCF_SED, cbRgFcLcb);
fcPlcfSed = sed[0];
lcbPlcfSed = sed[1];
long[] hdd = pair(wd, PAIR_PLCF_HDD);
long[] hdd = pair(wd, PAIR_PLCF_HDD, cbRgFcLcb);
fcPlcfHdd = hdd[0];
lcbPlcfHdd = hdd[1];
long[] chpx = pair(wd, PAIR_PLCF_BTE_CHPX);
long[] chpx = pair(wd, PAIR_PLCF_BTE_CHPX, cbRgFcLcb);
fcPlcfBteChpx = chpx[0];
lcbPlcfBteChpx = chpx[1];
long[] papx = pair(wd, PAIR_PLCF_BTE_PAPX);
long[] papx = pair(wd, PAIR_PLCF_BTE_PAPX, cbRgFcLcb);
fcPlcfBtePapx = papx[0];
lcbPlcfBtePapx = papx[1];
long[] ffn = pair(wd, PAIR_STTBF_FFN);
long[] ffn = pair(wd, PAIR_STTBF_FFN, cbRgFcLcb);
fcSttbfFfn = ffn[0];
lcbSttbfFfn = ffn[1];
long[] clx = pair(wd, PAIR_CLX);
long[] clx = pair(wd, PAIR_CLX, cbRgFcLcb);
fcClx = clx[0];
lcbClx = clx[1];
long[] lst = pair(wd, PAIR_PLF_LST);
long[] lst = pair(wd, PAIR_PLF_LST, cbRgFcLcb);
fcPlfLst = lst[0];
lcbPlfLst = lst[1];
long[] lfo = pair(wd, PAIR_PLF_LFO);
long[] lfo = pair(wd, PAIR_PLF_LFO, cbRgFcLcb);
fcPlfLfo = lfo[0];
lcbPlfLfo = lfo[1];
}
@@ -143,7 +152,16 @@ final class FibHeader {
return new FibHeader(wordDocument);
}
private static long[] pair(byte[] wd, int index) {
/**
* Пара (fc,lcb) с индексом {@code index} в FibRgFcLcbBlob. Индекс за
* объявленным числом пар (§2.5.1: cbRgFcLcb «MUST be one of» —
* 0x005D при nFib=0x00C1 … 0x00B7 при 0x0112; старые FIB короче) — поле
* отсутствует: fc=0/lcb=0, потребитель трактует как «нет структуры».
*/
private static long[] pair(byte[] wd, int index, int pairCount) {
if (index >= pairCount) {
return new long[] {0, 0};
}
int off = OFF_BLOB + index * 8;
if (off + 8 > wd.length) {
throw new ConversionException("Обрезанный FIB в .doc");
@@ -1,5 +1,8 @@
package ru.pjandro.wordpdf.internal.doc;
import java.io.ByteArrayOutputStream;
import java.util.Set;
/**
* Разбор Grpprl — массива Prl (sprm + операнд), [MS-DOC] §2.6.
*
@@ -9,8 +12,8 @@ package ru.pjandro.wordpdf.internal.doc;
* 3 = 4, 4 = 2, 5 = 2, 6 = переменный (первый байт — длина остального),
* 7 = 3. Неизвестный sprm пропускается по spra (ms-doc.md:1809).</p>
*
* <p>Значения sprm — таблицы §2.6.1/2.6.2/2.6.3 dated-.docx [MS-DOC] 12.5
* (в md репозитория потеряны как [TABLE]); кросс-чек с примерами §3:
* <p>Значения sprm — таблицы §2.6.1/§2.6.2/§2.6.3/§2.6.4 полного [MS-DOC]
* (ms-doc-full.md); кросс-чек с примерами §3:
* sprmPJc = 0x2461, sprmSDxaLeft = 0xB021, sprmCKul ispmd 0x3E fSpec 1.</p>
*/
final class Grpprl {
@@ -29,7 +32,7 @@ final class Grpprl {
* sprmCPicLocation (§2.6.1, 4 байта): offset в Data-потоке —
* PICFAndOfficeArtData (картинка) или NilPICFAndBinData (OLE-бинарник,
* {@code picf.cbHeader≠0x44} → {@link OfficeArt#read} вернёт null).
* sprmCFSpec=0x0875/sprmCFData=0x0806/sprmCFOle2=0x084B не читаем:
* sprmCFSpec=0x0855/sprmCFData=0x0806/sprmCFOle2=0x080A не читаем:
* фикстуры пишут их непоследовательно (ole-embedded — без CFSpec),
* а различает картинку/бинарник сам cbHeader.
*/
@@ -53,26 +56,39 @@ final class Grpprl {
/** sprmCHpsPos (§2.6.1, 2 байта со знаком): вертикальный сдвиг в hps. */
static final int SPRM_C_HPS_POS = 0x4845;
/**
* sprmCHighlight (§2.6.1, 1 байт Ico): текстовыделитель. Ico (§2.9.171)
* sprmCHighlight (§2.6.1, 1 байт Ico): текстовыделитель. Ico (§2.9.119)
* → w:highlight в порядке CT_RPr — конвейер рисует фон рана (пинь
* WordPdfConverterTest#highlightAndShading_backgroundDrawn).
*/
static final int SPRM_C_HIGHLIGHT = 0x2A0C;
/**
* sprmCShd/sprmCShd80 (§2.6.1): затенение рана → w:shd в rPr.
* SHDOperand (§2.9.177) = cb(1)=10 + Shd(10): cvFore/cvBack COLORREF
* + ipat (§2.9.178); Shd80 (§2.9.176) — 2 байта: icoFore(5) icoBack(5)
* SHDOperand (§2.9.249) = cb(1)=10 + Shd(10): cvFore/cvBack COLORREF
* + ipat (§2.9.121); Shd80 (§2.9.248) — 2 байта: icoFore(5) icoBack(5)
* ipat(6).
*/
static final int SPRM_C_SHD = 0xCA71;
static final int SPRM_C_SHD80 = 0x4866;
/**
* sprmCIstd (§2.6.1, u16): istd прямого символьного стиля (stk=3 в STSH).
* sprmCIstd (§2.6.1, u16): istd прямого символьного стиля (stk=2 в STSH).
* По §2.4.6.5 символьные свойства возвращаются к результату стиля абзаца,
* затем накладывается цепочка chpx символьного стиля, затем прямые CHPX —
* порядок конкатенации в {@code DocxBody.chpxWithCharStyle}.
*/
static final int SPRM_C_ISTD = 0x4A30;
/**
* sprmCRgFtc2 (§2.6.1, 2 байта со знаком): индекс SttbfFfn для текста вне
* U+0020–U+007F, когда ftc1/ftcBi не применимы → {@code w:hAnsi}
* (перекрывает ftc0-значение).
*/
static final int SPRM_C_RG_FTC2 = 0x4A51;
/** sprmCFtcBi (§2.6.1, 2 байта со знаком): RTL/complex-шрифт → {@code w:cs}. */
static final int SPRM_C_FTC_BI = 0x4A5E;
/**
* sprmCIss (§2.6.1, 1 байт): 0x01 надстрочный, 0x02 подстрочный →
* {@code w:vertAlign} (0x00 нормальный — элемент не эмитится).
*/
static final int SPRM_C_ISS = 0x2A48;
// Paragraph Properties (§2.6.2, sgc 1)
static final int SPRM_P_ISTD = 0x4600;
@@ -179,7 +195,7 @@ final class Grpprl {
static final int SPRM_T_VERT_ALIGN = 0xD62C;
/**
* sprmTCellPadding/sprmTCellPaddingDefault (§2.6.3): поля ячеек —
* CSSAOperand (§2.9.209): cb(1)=6 + CSSA (§2.9.96): itc(2, ItcFirstLim)
* CSSAOperand (§2.9.46): cb(1)=6 + CSSA (§2.9.45): itc(2, ItcFirstLim)
* + grfbrc(1: маска сторон top|left|bottom|right = 1|2|4|8) + ftsWidth(1)
* + wWidth(2). Поля переносятся только при ftsWidth=ftsDxa(0x03);
* ftsNil(0) — сторона не задана. Default-вариант действует на весь ряд
@@ -191,7 +207,7 @@ final class Grpprl {
static final int SPRM_T_CELL_PADDING_DEFAULT = 0xD634;
/**
* sprmTInsert (§2.6.3): вставка определений ячеек ряда — пропускается
* правилом spra=3 (4 байта: itcFirst(1)+ctc(1)+dxaCol(2 XAS), §2.9.322;
* правилом spra=3 (4 байта: itcFirst(1)+ctc(1)+dxaCol(2 XAS), §2.9.324;
* ECMA-376 Part 4 описывал прежнюю форму rgttte ctc×6 байт, но [MS-DOC]
* и реальные файлы Word сходятся на 4 байтах: в TAP образцов
* ru-table-image.doc/ru-en-mixed.doc following-sprm выравниваются ровно
@@ -222,11 +238,15 @@ final class Grpprl {
static final int SPRM_S_C_COLUMNS = 0x500B;
/** sprmSPgnStart97 (§2.6.4, 2 байта): стартовый номер страниц (Word 97+). */
static final int SPRM_S_PGN_START97 = 0x501C;
/** sprmSPgnStart (§2.6.4, 4 байта, u32): стартовый номер (32-бит вариант). */
static final int SPRM_S_PGN_START = 0x7044;
/** sprmSDzaGutter (§2.6.4, XAS_nonNeg 2 байта): поле переплёта → w:gutter. */
static final int SPRM_S_DZA_GUTTER = 0xB025;
/** sprmSDxaColumns (§2.6.4, XAS_nonNeg): зазор между колонками при evenly-spaced. */
static final int SPRM_S_DXA_COLUMNS = 0x900C;
/**
* sprmSDxaColWidth/sprmSDxaColSpacing (§2.6.4, SDxaColWidthOperand /
* SDxaColSpacingOperand §2.9.241/.242: iCol(1)+dxaCol(2)) — ширина
* sprmSDxaColWidth/sprmSDxaColSpacing (§2.6.4, SDxaColWidthOperand
* §2.9.242 / SDxaColSpacingOperand §2.9.241: iCol(1)+dxaCol(2)) — ширина
* колонки iCol / зазор ПОСЛЕ колонки iCol при неравных колонках.
*/
static final int SPRM_S_DXA_COL_WIDTH = 0xF203;
@@ -262,19 +282,20 @@ final class Grpprl {
/** Кормить каждым Prl скана PAPX; не-отступные sprm игнорируются. */
void prl(int sprm, byte[] buf, int off, int len) {
// XAS — 16-битное СО ЗНАКОМ значение (§2.9.349), не unsigned
switch (sprm) {
case SPRM_P_DXA_LEFT -> {
modern = true;
left = operandInt(buf, off, len);
left = signedXas(buf, off, len);
}
case SPRM_P_NEST -> {
modern = true;
nest = operandInt(buf, off, len);
nest = signedXas(buf, off, len);
}
case SPRM_P_DXA_LEFT80 -> left80 = operandInt(buf, off, len);
case SPRM_P_NEST80 -> nest80 = operandInt(buf, off, len);
case SPRM_P_DXA_LEFT80 -> left80 = signedXas(buf, off, len);
case SPRM_P_NEST80 -> nest80 = signedXas(buf, off, len);
case SPRM_P_DXA_RIGHT, SPRM_P_DXA_RIGHT80 ->
right = operandInt(buf, off, len);
right = signedXas(buf, off, len);
case SPRM_P_DXA_LEFT1, SPRM_P_DXA_LEFT180 ->
left1 = signedXas(buf, off, len);
default -> { }
@@ -340,6 +361,36 @@ final class Grpprl {
}
}
/**
* Preserv-list sprmCIstd (§2.6.1): значения этих свойств предшествуют
* применению символьного стиля при сбросе прямого форматирования к
* результату стиля абзаца. Значения — таблица §2.6.1: CFRMarkDel
* 0x0800, CFRMarkIns 0x0801, CFFldVanish 0x0802, CFData 0x0806,
* CFOle2 0x080A, CFWebHidden 0x0811, CFSpec 0x0855, CFObj 0x0856,
* CFBiDi 0x085A, CFComplexScripts 0x0882, CIdctHint 0x286F,
* CHighlight 0x2A0C, CWall 0x2A83, CIdslRMark 0x4807, CPicLocation
* 0x6A03, CSymbol 0x6A09, CPropRMark 0xCA89.
*/
static final Set<Integer> CI_STD_PRESERVE = Set.of(
0x0800, 0x0801, 0x0802, 0x0806, 0x080A, 0x0811, 0x0855, 0x0856,
0x085A, 0x0882, 0x286F, 0x2A0C, 0x2A83, 0x4807, 0x6A03, 0x6A09,
0xCA89);
/**
* Байты Prl-ей, целиком лежащих в {@code [0, endExclusive)} и имеющих
* sprm из {@code keep} (§2.6.1 — выборка preserve-list до sprmCIstd);
* битый хвост обрывается как в {@link #scan}.
*/
static byte[] filterOnly(byte[] grpprl, int endExclusive, Set<Integer> keep) {
ByteArrayOutputStream out = new ByteArrayOutputStream();
scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
if (keep.contains(sprm) && off + len <= endExclusive) {
out.write(buf, off - 2, len + 2);
}
});
return out.toByteArray();
}
/** Длина операнда по spra; -1 — переменный формат битый. */
private static int operandSize(int sprm, byte[] buf, int p, int end) {
int spra = sprm >> 13;
@@ -352,6 +403,8 @@ final class Grpprl {
case 5:
return 2;
case 3:
// §2.8.4: «A value of 0x3 specifies that operand is four
// bytes long» (ms-doc.md:14495) — не путать с S16=2
return 4;
case 7:
return 3;
@@ -404,8 +457,47 @@ final class Grpprl {
return v;
}
/** Toggle-операнд: бит 0 = on; чётное («переключить от предыдущего») = off. */
static boolean toggleOn(byte[] buf, int off) {
return (buf[off] & 1) == 1;
/**
* ToggleOperand (§2.9.327): 0x00 — off, 0x01 — on, 0x80 — значение
* свойства текущего стиля (текущее накопленное {@code current}), 0x81 —
* инверсия стилевого; иное (вне перечисления) — консервативно current.
*/
static boolean toggle(boolean current, byte operand) {
int v = operand & 0xFF;
return switch (v) {
case 0x00 -> false;
case 0x01 -> true;
case 0x80 -> current;
case 0x81 -> !current;
default -> current;
};
}
/**
* Kul (§2.9.127) → ST_Underline (wml.xsd): 0 — без подчёркивания
* ({@code null}), нераспознанный ≠0 — single.
*/
static String underlineVal(int kul) {
return switch (kul) {
case 0x00 -> null;
case 0x01 -> "single";
case 0x02 -> "words";
case 0x03 -> "double";
case 0x04 -> "dotted";
case 0x06 -> "thick";
case 0x07 -> "dash";
case 0x09 -> "dotDash";
case 0x0A -> "dotDotDash";
case 0x0B -> "wave";
case 0x14 -> "dottedHeavy";
case 0x17 -> "dashedHeavy";
case 0x19 -> "dashDotHeavy";
case 0x1A -> "dashDotDotHeavy";
case 0x1B -> "wavyHeavy";
case 0x27 -> "dashLong";
case 0x2B -> "wavyDouble";
case 0x37 -> "dashLongHeavy";
default -> "single";
};
}
}
@@ -4,11 +4,11 @@ import ru.pjandro.wordpdf.ConversionException;
/**
* Header Document (.doc): истории колонтитуков по {@code Plcfhdd}
* ([MS-DOC] §2.8.22 — PLC из одних CP; §2.4.4 — порядок историй).
* ([MS-DOC] §2.8.22 — PLC из одних CP; §2.3.3 — порядок историй).
*
* <p>Массив aCP размечает подряд идущие CP-диапазоны: первые шесть — пустые
* абзацы-разделители, далее на каждую секцию шесть историй
* [even header, odd header, even footer, odd footer, first-page header,
* <p>Массив aCP размечает подряд идущие CP-диапазоны: первые шесть —
* footnote/endnote separator-истории (§2.4.4), далее на каждую секцию шесть
* историй [even header, odd header, even footer, odd footer, first-page header,
* first-page footer]; последний aCP (§2.8.22 «the last CP is ignored») в
* расчёт не входит. Каждая история заканчивается guard-абзацем (), который
* в вывод не попадает.</p>
@@ -19,7 +19,7 @@ import ru.pjandro.wordpdf.ConversionException;
* {@code sprmSFTitlePage} (w:titlePg, конвейер различает first/default —
* пинь {@code titlePg_firstPageHeader}). История с {@code cpStart == cpEnd}
* не определена — часть и ссылка не эмитятся, docx4j наследует полосы
* предыдущей секции (§2.4.4 «Same as Previous»).</p>
* предыдущей секции (§2.3.3 «Same as Previous»).</p>
*/
final class Headers {
@@ -27,7 +27,7 @@ final class Headers {
record Story(int cpStart, int cpEnd) {
/**
* История НЕ определена (§2.4.4: «Stories are considered empty if
* История НЕ определена (§2.3.3: «Stories are considered empty if
* they have no contents and no guard paragraph mark … the beginning
* CP being the same as the next CP») — Word показывает полосы
* предыдущей секции (Same as Previous). Пустая часть с guard- при
@@ -49,14 +49,14 @@ final class Headers {
}
}
/** Пустых абзацев-разделителей перед историями первой секции (§2.4.4). */
/** Footnote/endnote separator-историй перед историями первой секции (§2.4.4). */
private static final int SEPARATOR_STORIES = 6;
/** Историй на секцию (§2.4.4). */
/** Историй на секцию (§2.3.3). */
private static final int STORIES_PER_SECTION = 6;
/** Индексы внутри группы секции: 0 even hdr, 1 odd hdr, 2 even ftr, 3 odd ftr… */
private static final int ODD_HEADER = 1;
private static final int ODD_FOOTER = 3;
/** Первая страница (истории 4/5, применяются при sprmSFTitlePage, §2.4.4). */
/** Первая страница (истории 4/5, применяются при sprmSFTitlePage, §2.3.3). */
private static final int FIRST_HEADER = 4;
private static final int FIRST_FOOTER = 5;
@@ -89,22 +89,22 @@ final class Headers {
return new Headers(table, fcPlcfHdd, lcbPlcfHdd, baseCp);
}
/** Заголовок нечётных полос набора секции {@code section} (§2.4.4). */
/** Заголовок нечётных полос набора секции {@code section} (§2.3.3). */
Story oddHeader(int section) {
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + ODD_HEADER);
}
/** Колонтитул нечётных полос набора секции {@code section} (§2.4.4). */
/** Колонтитул нечётных полос набора секции {@code section} (§2.3.3). */
Story oddFooter(int section) {
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + ODD_FOOTER);
}
/** Заголовок первой страницы секции {@code section} (titlePg, §2.4.4). */
/** Заголовок первой страницы секции {@code section} (titlePg, §2.3.3). */
Story firstHeader(int section) {
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + FIRST_HEADER);
}
/** Колонтитул первой страницы секции {@code section} (titlePg, §2.4.4). */
/** Колонтитул первой страницы секции {@code section} (titlePg, §2.3.3). */
Story firstFooter(int section) {
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + FIRST_FOOTER);
}
@@ -158,8 +158,13 @@ final class Lists {
/** abstractNumId (1-базированный индекс LSTF) для LFO; −1 — нет валидного. */
private int abstractIdOf(int lfoIndex) {
// lfos[·] всегда непустой: readPlfLfo присваивает out[i] до обхода LFOData
Integer lstfIndex = lstfByLsid.get(lfos[lfoIndex].lsid());
// обрыв LFOData оставляет lfos[i+1..] null (readPlfLfo выходит по
// границе потока) — null LFO = «номера нет», без NPE
Lfo lfo = lfos[lfoIndex];
if (lfo == null) {
return -1;
}
Integer lstfIndex = lstfByLsid.get(lfo.lsid());
if (lstfIndex == null || !isValid(lstfs[lstfIndex])) {
return -1;
}
@@ -194,7 +199,9 @@ final class Lists {
boolean simple = (table[rec + 26] & 1) != 0;
Level[] levels = new Level[simple ? 1 : LEVEL_COUNT];
for (int j = 0; j < levels.length; j++) {
Level lv = readLevel(table, cursor);
// массив LVL приложен ЗА lcbPlfLst (§2.5.6) — граница одна
// длина потока, lcb здесь не ограничитель
Level lv = readLevel(table, cursor, table.length);
if (lv == null) {
// обрыв: этот LSTF — с разобранными уровнями, остальные — без
out[i] = new Lstf(lsid, levels);
@@ -208,9 +215,9 @@ final class Lists {
return out;
}
/** LVL по {@code at}; null — поля за пределами потока. */
private static Level readLevel(byte[] table, int at) {
if (at < 0 || at + LVLF_SIZE > table.length) {
/** LVL по {@code at}; null — поля за пределами {@code limit}. */
private static Level readLevel(byte[] table, int at, int limit) {
if (at < 0 || at + LVLF_SIZE > limit) {
return null;
}
int startAt = (int) CfbReader.u32(table, at);
@@ -220,19 +227,19 @@ final class Lists {
int cbChpx = table[at + 24] & 0xFF;
int cbPapx = table[at + 25] & 0xFF;
int p = at + LVLF_SIZE;
if (p + cbPapx + cbChpx > table.length) {
if (p + cbPapx + cbChpx > limit) {
return null;
}
byte[] papx = slice(table, p, cbPapx);
p += cbPapx;
byte[] chpx = slice(table, p, cbChpx);
p += cbChpx;
if (p + 2 > table.length) {
if (p + 2 > limit) {
return null;
}
int cch = CfbReader.u16(table, p);
p += 2;
if (cch > MAX_XST_CHARS || p + 2 * cch > table.length) {
if (cch > MAX_XST_CHARS || p + 2 * cch > limit) {
return null;
}
String xst = new String(table, p, 2 * cch, StandardCharsets.UTF_16LE);
@@ -259,6 +266,10 @@ final class Lists {
int fit = (int) ((end - fc - 4) / LFO_SIZE);
mac = Math.min(Math.min(mac, fit), MAX_ENTRIES);
Lfo[] out = new Lfo[mac];
// LFOData лежит ВНУТРИ lcbPlfLfo (§2.5.6/§2.9.132) — обход ограничен
// end, а не длиной потока: короткий lcb не должен уводить парсер в
// чужие записи табличного потока
int limit = (int) end;
int cursor = (int) (fc + 4) + mac * LFO_SIZE;
for (int i = 0; i < mac; i++) {
int rec = (int) fc + 4 + i * LFO_SIZE;
@@ -266,12 +277,12 @@ final class Lists {
int clfolvl = table[rec + 12] & 0xFF;
LfoLvl[] overrides = new LfoLvl[clfolvl];
out[i] = new Lfo(lsid, overrides);
if (cursor + 4 > table.length) {
if (cursor + 4 > limit) {
return out; // обрыв LFOData — остаток без переопределений
}
cursor += 4; // cp — не переносится (осознанный остаток)
for (int j = 0; j < clfolvl; j++) {
if (cursor + 8 > table.length) {
if (cursor + 8 > limit) {
return out;
}
int startAt = (int) CfbReader.u32(table, cursor);
@@ -282,7 +293,7 @@ final class Lists {
boolean fFormatting = (bits >>> 5 & 1) != 0;
Level formatting = null;
if (fFormatting) {
formatting = readLevel(table, cursor);
formatting = readLevel(table, cursor, limit);
if (formatting == null) {
return out;
}
@@ -398,7 +409,7 @@ final class Lists {
Grpprl.scan(chpx, 0, chpx.length, (sprm, buf, off, len) -> {
switch (sprm) {
case Grpprl.SPRM_C_RG_FTC0 -> ftc0[0] = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_F_BOLD -> bold[0] = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_F_BOLD -> bold[0] = Grpprl.toggle(bold[0], buf[off]);
case Grpprl.SPRM_C_HPS -> hps[0] = Grpprl.operandInt(buf, off, len);
default -> { }
}
@@ -4,8 +4,9 @@ package ru.pjandro.wordpdf.internal.doc;
* Извлечение растровой картинки из {@code PICFAndOfficeArtData}
* ([MS-DOC] §2.9.192, операнд {@code sprmCPicLocation} = offset в Data-потоке)
* по [MS-ODRAW]: PICF (68 байт, §2.9.190) → OfficeArt-записи → BLIP
* (§2.2.23–.31: recType 0xF01A EMF / 0xF01B WMF / 0xF01C PICT / 0xF01D JPEG /
* 0xF01E PNG / 0xF01F DIB; нечётный recInstance — второй UID, §2.2.24).
* (§2.2.23–.30: recType 0xF01A EMF / 0xF01B WMF / 0xF01C PICT / 0xF01D JPEG /
* 0xF01E PNG / 0xF01F DIB / 0xF029 TIFF; recInstance с вторым UID —
* §2.2.24–.30).
*
* <p>Word кладёт BLIP в разные места (BStoreContainer 0xF004,
* BStoreContainerDelay 0xF007, инлайн-контейнер), а POI-продукция пишет
@@ -17,8 +18,9 @@ package ru.pjandro.wordpdf.internal.doc;
* потоку их плодит, скан по картинному диапазону нет.</p>
*
* <p>EMF/WMF/PICT в PDF не рендерятся (Java2D-движка для метафайлов в ядре
* нет) — {@code null} (объект исчезает, как удалённый {@code w:object}).
* DIB перекодируется в PNG через ImageIO.</p>
* нет) — {@code null} с JUL-warning (объект исчезает, как удалённый
* {@code w:object}; потеря контента должна быть видна в логе).
* DIB перекодируется в PNG через ImageIO, TIFF проходит как есть.</p>
*/
final class OfficeArt {
@@ -39,20 +41,29 @@ final class OfficeArt {
/** Границы отображаемого размера, twips (§2.9.193: 15…31680). */
private static final int DXA_MIN = 15;
private static final int DXA_MAX = 31_680;
/** twips → EMU (ECMA-376 §20.1.8: 1 twip = 635 EMU). */
/** twips → EMU (ST_TwipsMeasure §22.9.2.14: 1 twip = 635 EMU). */
private static final int EMU_PER_TWIP = 635;
private static final int BLIP_EMF = 0xF01A;
private static final int BLIP_WMF = 0xF01B;
private static final int BLIP_PICT = 0xF01C;
private static final int BLIP_JPEG = 0xF01D;
private static final int BLIP_JPEG_ALT = 0xF02A; // [MS-ODRAW] A.1: = 0xF01D
private static final int BLIP_JPEG_ALT = 0xF02A; // [MS-ODRAW] Appendix A, примечание <5> к §2.2.23
private static final int BLIP_PNG = 0xF01E;
private static final int BLIP_DIB = 0xF01F;
private static final int BLIP_TIFF = 0xF029; // §2.2.30
/** recInstance с двумя UID ([MS-ODRAW] §2.2.24–.31). */
/** Пропуск метафайлов логируется (JUL — конвенция {@code internal/}). */
private static final java.util.logging.Logger LOG =
java.util.logging.Logger.getLogger(OfficeArt.class.getName());
/**
* recInstance с двумя UID ([MS-ODRAW] §2.2.24–.30): EMF 0x3D5, WMF 0x217,
* PICT 0x543, JPEG CMYK 0x6E3, JPEG RGB 0x46B, PNG 0x6E1, DIB 0x7A9,
* TIFF 0x6E5.
*/
private static final java.util.Set<Integer> TWO_UIDS =
java.util.Set.of(0x217, 0x3D5, 0x543, 0x6E1, 0x6E3, 0x6E5, 0x7A9);
java.util.Set.of(0x217, 0x3D5, 0x46B, 0x543, 0x6E1, 0x6E3, 0x6E5, 0x7A9);
private OfficeArt() {
}
@@ -97,9 +108,8 @@ final class OfficeArt {
if (cb < 17 || p + 8 + cb > end) {
return null;
}
// Второй UID — только перечисленные recInstance (§2.2.24–.31:
// EMF 0x3D5, WMF 0x217, PICT 0x543, JPEG 0x6E3, PNG 0x6E1,
// DIB 0x7A9, EMF+ 0x6E5; JPEG 0x46B — нечётный, но ОДИН UID).
// Второй UID — только перечисленные recInstance (§2.2.24–.30,
// таблица выше: 0x46B = JPEG RGB с ДВУМЯ UID, 0x6E5 = TIFF).
// Word/POI кладут значение в raw verInstance (0x06E1), спека —
// в 12-битное поле (0x6E10): проверяем обе формы.
int uidSize = (TWO_UIDS.contains(verInstance >>> 4) || TWO_UIDS.contains(verInstance))
@@ -119,12 +129,26 @@ final class OfficeArt {
? new Picture("jpg", "image/jpeg", slice(data, dataOff, dataLen),
emu(sizeX), emu(sizeY))
: null;
case BLIP_TIFF -> isTiff(data, dataOff, dataLen)
? new Picture("tif", "image/tiff", slice(data, dataOff, dataLen),
emu(sizeX), emu(sizeY))
: null;
case BLIP_DIB -> dibToPng(data, dataOff, dataLen, sizeX, sizeY, maxPixels);
case BLIP_EMF, BLIP_WMF, BLIP_PICT -> null; // метафайлы не рендерим
case BLIP_EMF, BLIP_WMF, BLIP_PICT -> {
// метафайлы не рендерим — пропуск с warn (деградация видна в логе)
LOG.warning("Метафайл в .doc пропущен (EMF/WMF/PICT в PDF не рендерятся)");
yield null;
}
default -> null;
};
}
/** TIFF-сигнатура II*\\0 или MM\\0* ([TIFF] §2, little/big endian). */
private static boolean isTiff(byte[] data, int off, int len) {
return startsWith(data, off, len, new byte[] {'I', 'I', '*', 0})
|| startsWith(data, off, len, new byte[] {'M', 'M', 0, '*'});
}
/** PICMID отсутствует/битый — размер из PNG IHDR @96 dpi (1 px = 15 twips). */
private static int pngDxa(byte[] data, int pngOff, boolean width) {
if (pngOff + 24 > data.length) {
@@ -171,8 +195,9 @@ final class OfficeArt {
// бросает OutOfMemoryError (Error, не ловится catch ниже). Отказ по
// площади — та же семантика «битый → объект пропущен»; порог
// приходит параметром (WordPdfValidator.maxImagePixels).
long area = (long) Math.abs((int) CfbReader.u32(data, off + 4))
* Math.abs((int) CfbReader.u32(data, off + 8));
// abs в long: Math.abs(Integer.MIN_VALUE) отрицателен и обходил бы guard
long area = Math.abs((long) (int) CfbReader.u32(data, off + 4))
* Math.abs((long) (int) CfbReader.u32(data, off + 8));
if (area > maxPixels) {
return null;
}
@@ -190,7 +215,14 @@ final class OfficeArt {
}
}
/** DIB → BMP: BITMAPFILEHEADER(14) + как есть (§2.2.29 — DIB без хедера). */
/**
* DIB → BMP: BITMAPFILEHEADER(14) + как есть (§2.2.29 — DIB без хедера).
* dataOff: BITMAPINFOHEADER + палитра (biClrUsed, offset 32: 0 — полное
* 2^bits, иначе объявленное число записей, [MS-WMF] §2.2.2.8) + для
* BI_BITFIELDS (biCompression=3, 16/32 bpp) ещё 12 байт масок после
* хедера ([MS-WMF] §2.2.1.6.3). CoreHeader (12 байт) не поддерживаем —
* ImageIO отвергнет, деградация в null.
*/
private static byte[] wrapAsBmp(byte[] data, int off, int len) {
byte[] bmp = new byte[14 + len];
bmp[0] = 'B';
@@ -202,8 +234,18 @@ final class OfficeArt {
bmp[5] = (byte) (fileSize >>> 24);
int bits = (int) (CfbReader.u32(data, off + 14) & 0xFFFF);
int headerSize = (int) CfbReader.u32(data, off);
int dataOff = 14 + headerSize
+ (bits == 1 || bits == 4 || bits == 8 ? (1 << bits) * 4 : 0);
int palette = 0;
int bitfields = 0;
if (headerSize >= BITMAPINFOHEADER_SIZE) {
if (bits == 1 || bits == 4 || bits == 8) {
int clrUsed = (int) CfbReader.u32(data, off + 32);
palette = 4 * (clrUsed > 0 && clrUsed < (1 << bits) ? clrUsed : 1 << bits);
}
if ((int) CfbReader.u32(data, off + 16) == 3 && (bits == 16 || bits == 32)) {
bitfields = 12;
}
}
int dataOff = 14 + headerSize + palette + bitfields;
bmp[10] = (byte) dataOff;
bmp[11] = (byte) (dataOff >>> 8);
System.arraycopy(data, off, bmp, 14, len);
@@ -11,8 +11,9 @@ import java.util.List;
* <p>Алгоритм [MS-DOC] §2.4.6.1 (Direct Paragraph Formatting): PlcfBtePapx —
* PLC (aFc n+1, PnFkpPapx n по 4 байта: pn 22 бита); PapxFkp-страница по
* {@code pn*512} в WordDocument-потоке: rgfc (cpara+1 × 4), rgbx (cpara ×
* BxPap — по 13 байт: bOffset 1 + reserved 12, §2.9.16; PapxInFkp по
* {@code bOffset*2}), cpara — последний байт. BxPap.bOffset=0 → абзац по
* BxPap — по 13 байт: bOffset 1 + reserved 12, §2.9.23; PapxInFkp по
* {@code bOffset*2}), cpara — последний байт (§2.9.174: cpara ≥ 0x01 и ≤ 0x1D,
* больше — PapxFkp не влезает в 512). BxPap.bOffset=0 → абзац по
* умолчанию (ms-doc.md:5635). PapxInFkp (§2.9.175):
* cb (1 байт); при cb≠0 GrpPrlAndIstd занимает 2×cb−1 байт, при cb=0 —
* следующий байт cb' и 2×cb' байт; GrpPrlAndIstd = istd(2) + grpprl.
@@ -45,9 +46,14 @@ final class PapxIndex {
throw new ConversionException("PapxFkp вне WordDocument-потока в .doc");
}
int cpara = wordDocument[(int) (pageOff + FKP_PAGE_SIZE - 1)] & 0xFF;
if (cpara < 1 || cpara > 0x60) {
// §2.9.174: cpara MUST NOT exceed 0x1D (иначе rgfc+rgbx расширяют
// PapxFkp за 512 байт)
if (cpara < 1 || cpara > 0x1D) {
throw new ConversionException("Битый cpara в PapxFkp .doc");
}
if (4 * (cpara + 1) + 13 * cpara > FKP_PAGE_SIZE) {
throw new ConversionException("Битый PapxFkp .doc");
}
for (int j = 0; j < cpara; j++) {
long rgfcStart = CfbReader.u32(wordDocument, (int) pageOff + j * 4);
long rgfcEnd = CfbReader.u32(wordDocument, (int) pageOff + (j + 1) * 4);
@@ -105,7 +111,8 @@ final class PapxIndex {
int[] count = {0};
for (Range r : ranges) {
Grpprl.scan(r.grpprl(), 0, r.grpprl().length, (sprm, buf, off, len) -> {
if (sprm == Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE && Grpprl.toggleOn(buf, off)) {
if (sprm == Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE
&& Grpprl.toggle(false, buf[off])) {
count[0]++;
}
});
@@ -25,7 +25,7 @@ final class PieceTable {
private static final long F_COMPRESSED = 0x4000_0000L;
private static final long FC_MASK = 0x3FFF_FFFFL;
/** Байты 0x80–0x9F сжатого текста → Unicode (§2.4.1, таблица Pcd.fc). */
/** Байты 0x82–0x9F сжатого текста → Unicode (FcCompressed §2.9.73). */
private static final char[] COMPRESSED_MAP = new char[32];
static {
@@ -46,8 +46,10 @@ final class PieceTable {
private final int[] aCp;
private final long[] fc;
private final boolean[] compressed;
/** Читаемый размер куска в байтах после клампа по cbMac (§2.5.4). */
private final long[] readable;
private PieceTable(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument) {
private PieceTable(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument, long cbMac) {
this.wordDocument = wordDocument;
if (lcbClx <= 0) {
throw new ConversionException("В .doc нет piece table");
@@ -95,8 +97,13 @@ final class PieceTable {
compressed = new boolean[n];
for (int i = 0; i <= n; i++) {
aCp[i] = (int) CfbReader.u32(tableStream, plcStart + i * 4);
if (i > 0 && aCp[i] < aCp[i - 1]) {
throw new ConversionException("Невозрастающие aCP в PlcPcd .doc");
// §2.8.35 PlcPcd: «All CPs MUST be greater than or equal to
// zero», «aCP MUST be sorted in ascending order and MUST NOT
// contain duplicate CPs» — дубль/отрицательный CP = битый кусок;
// отрицательный aCP[0] сдвигал бы delta и читал бы до начала
// WordDocument-потока
if (aCp[0] < 0 || (i > 0 && aCp[i] <= aCp[i - 1])) {
throw new ConversionException("Битые aCP в PlcPcd .doc");
}
}
int pcdBase = plcStart + (n + 1) * 4;
@@ -105,17 +112,25 @@ final class PieceTable {
fc[i] = fcw & FC_MASK;
compressed[i] = (fcw & F_COMPRESSED) != 0;
}
// cbMac (§2.5.4): «All bytes in the WordDocument stream at offset
// cbMac and greater MUST be ignored» — читаемый span куска клампится
// к min(cbMac, длина потока); кусок целиком за cbMac даёт readable=0
// (charAt вернёт 0, fcOf не меняется — свойства там всё равно нет).
long textLimit = Math.min(Math.max(cbMac, 0), wordDocument.length);
readable = new long[n];
for (int i = 0; i < n; i++) {
long start = compressed[i] ? fc[i] / 2 : fc[i];
long span = (long) (aCp[i + 1] - aCp[i]) * (compressed[i] ? 1 : 2);
if (start + span > wordDocument.length) {
throw new ConversionException("Кусок piece table .doc выходит за WordDocument");
}
readable[i] = start >= textLimit ? 0 : Math.min(span, textLimit - start);
}
}
static PieceTable read(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument) {
return new PieceTable(tableStream, fcClx, lcbClx, wordDocument);
static PieceTable read(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument,
long cbMac) {
return new PieceTable(tableStream, fcClx, lcbClx, wordDocument, cbMac);
}
/** Символ по CP (§2.4.1); {@code cp} вне [0, ccpText) не запрашивается. */
@@ -123,6 +138,9 @@ final class PieceTable {
int i = pieceOf(cp);
int delta = cp - aCp[i];
if (compressed[i]) {
if (delta >= readable[i]) {
return 0; // за cbMac (§2.5.4) — байты игнорируются
}
int b = wordDocument[(int) (fc[i] / 2) + delta] & 0xFF;
if (b >= 0x80 && b < 0xA0) {
char mapped = COMPRESSED_MAP[b - 0x80];
@@ -130,6 +148,9 @@ final class PieceTable {
}
return (char) b;
}
if (2L * (delta + 1) > readable[i]) {
return 0;
}
int off = (int) fc[i] + 2 * delta;
return (char) ((wordDocument[off] & 0xFF) | ((wordDocument[off + 1] & 0xFF) << 8));
}
@@ -13,27 +13,26 @@ import java.io.ByteArrayOutputStream;
* при istd=0), а сами свойства — с {@code sprmPFInTable}/{@code sprmPFTtp}/
* {@code sprmTDefTable}/бордюрами — лежат в PrcData в Data-потоке. Внутри
* PrcData цепочка продолжается через {@code sprmPTableProps (0x646B)}.
* Оба указателя разворачиваются <b>на позиции указателя без обрыва</b>
* текущего массива; цепочка обязана завершиться PrcData без обоих
* спец-спрмов (§2.6.2).</p>
*
* <p>Отступление от spec: §2.6.2 велит массив, содержащий PTableProps,
* «не читать дальше» — Word так и делает, потому что потребляет из PrcData
* полный TAP (включая {@code sprmTInsert}), а хвост массива — легаси-зеркало
* для Word 97/2000 (Appendix A &lt;9&gt;). Конвертер {@code sprmTInsert}
* не читает и живёт на этом зеркале: в {@code samples/ru-table-image.doc}
* единственный {@code sprmTDefTable} (сетка) стоит именно ПОСЛЕ
* {@code sprmPTableProps} в PAPX-массиве, а в PrcData его нет вовсе.
* Поэтому свойства объединяются (union), а не замещаются: без цепочки
* теряются её sprm'ы, без зеркал — сетка.</p>
* {@code sprmPHugePapx} не первым в массиве игнорируется (§2.6.2); после
* разворачивания PrcData по любому указателю дальнейшие Prl содержащего
* массива <b>не обрабатываются</b> (§2.6.2: «MUST NOT process any more
* Prl elements in the array» — одинаково для HugePapx и PTableProps);
* цепочка обязана завершиться PrcData без обоих спец-спрмов (§2.6.2).
* Хвост исходного массива за указателем — легаси-зеркало для Word
* 97/2000, не читающих sprmPTableProps (Appendix A &lt;9&gt;); по общему
* правилу оно не потребляется, кроме единственного исключения
* {@code sprmTDefTable}: конвертер строит сетку ячеек именно из
* TDefTable (§2.4.3: «SHOULD use sprmTDefTable to define table cells for
* applications that do not process sprmPTableProps»), а из PrcData
* {@code sprmTInsert} не читает — без зеркала {@code
* samples/ru-table-image.doc} терял бы таблицу целиком (Регрессия —
* DocToDocxTest#tableFixture_becomesTblWithImage).</p>
*
* <p>Снисходительность — по образцу {@link Styles}/{@link Lists}: любой
* брак (ptr за Data, битый cbGrpprl, цикл A→B→A) останавливает цепочку,
* накопленное возвращается — без {@code ConversionException}. Спец-спрмы
* из результата всегда вырезаются (потребители {@code Grpprl.scan} их всё
* равно не понимают); прочие Prl исходного массива сохраняются в исходном
* порядке (при многосprl-массиве с HugePapx — сверхспецификацией: валидный
* Word пишет HugePapx единственным Prl).</p>
* равно не понимают); не-первый HugePapx — игнор по §2.6.2.</p>
*/
final class PrcData {
@@ -99,18 +98,39 @@ final class PrcData {
/**
* Копирует Prl массива {@code buf[off..off+len)} в {@code out}:
* обычные — дословно (sprm + операнд), оба указательных — разворачивают
* целевой PrcData на позиции указателя, разбор массива продолжается
* (union зеркала и цепочки — см. javadoc класса).
* обычные — дословно (sprm + операнд). По §2.6.2 после разворачивания
* PrcData по указателю дальнейшие Prl <b>этого</b> массива
* не обрабатываются («MUST NOT process any more Prl elements in the
* array», sprmPHugePapx и sprmPTableProps), поэтому развёрнутое
* содержимое — последнее, что попало в выход из этого массива.
* {@code sprmPHugePapx} не первым в массиве — игнорируется целиком
* (§2.6.2: «if … not the first element … MUST be ignored»), массив
* читается дальше; {@code sprmPTableProps} правила первой позиции не
* имеет. Единственное исключение из стопа — {@code sprmTDefTable}
* (легаси-зеркало сетки, Appendix A &lt;9&gt;, см. javadoc класса):
* он переносится и после указателя.
*/
private static void copyPrls(byte[] buf, int off, int len, byte[] data,
ByteArrayOutputStream out, int[] hops) {
int[] index = new int[1];
boolean[] stop = new boolean[1];
Grpprl.scan(buf, off, len, (sprm, b, operandOff, operandLen) -> {
if (sprm == Grpprl.SPRM_P_HUGE_PAPX || sprm == Grpprl.SPRM_P_TABLE_PROPS) {
follow(Grpprl.operandInt(b, operandOff, operandLen), data, out, hops);
return;
if (stop[0] && sprm != Grpprl.SPRM_T_DEF_TABLE) {
return; // хвост после указателя — вне области обработки
}
if (sprm == Grpprl.SPRM_P_HUGE_PAPX) {
if (index[0] == 0) {
follow(Grpprl.operandInt(b, operandOff, operandLen),
data, out, hops);
stop[0] = true;
}
} else if (sprm == Grpprl.SPRM_P_TABLE_PROPS) {
follow(Grpprl.operandInt(b, operandOff, operandLen), data, out, hops);
stop[0] = true;
} else {
out.write(b, operandOff - 2, operandLen + 2);
}
index[0]++;
});
}
@@ -20,10 +20,10 @@ import ru.pjandro.wordpdf.ConversionException;
* покрывает весь текстовый поток), поэтому конец последней секции
* клампится к ccpText. Свойств в Sepx нет (или Sepx битый) — дефолты
* Word 97: Letter 12240×15840, поля 1440, колонтитуки
* 720 (значения §2.6.3 «By default» для sprmSXaPage/sprmSYaPage).</p>
* 720 (значения §2.6.4 «By default» для sprmSXaPage/sprmSYaPage).</p>
*
* <p>{@link Section#continuous()} — sprmSBkc секции со значением
* bkcContinuous/bkcNewColumn (§2.6.3, SBkcOperand: «the type of the section
* bkcContinuous/bkcNewColumn (§2.6.4, SBkcOperand §2.9.235: «the type of the section
* break that terminates the section»), т.е. разрыв, ЗАКАНЧИВАЮЩИЙ эту
* секцию. В OOXML {@code w:type} описывает разрыв ПЕРЕД секцией (§17.6.22),
* поэтому {@code w:type} секции i берётся из {@code continuous()} секции
@@ -40,16 +40,34 @@ final class Sections {
* финальный символ — 0x0C, §2.8.26) + геометрия из её Sepx + признак
* «разрыв, заканчивающий секцию, не начинает новую страницу» +
* ориентация (sprmSBOrientation), нумерация страниц (sprmSFPgnRestart/
* sprmSPgnStart97/sprmSNfcPgn — pgNumStart=0 «не задан», nfcPgn — MSONFC),
* колонки (sprmSCcolumns/…; colWidths/colSpacings заполнены только при
* evenlySpaced=false, индекс — номер колонки) и титульная страница
* (sprmSFTitlePage → w:titlePg, §2.6.4).
* sprmSPgnStart97/sprmSPgnStart/sprmSNfcPgn — pgNumStart=0 «не задан»,
* nfcPgn — MSONFC),
* (sprmSCcolumns/…; colWidths/colSpacings заполнены только при
* evenlySpaced=false, индекс — номер колонки), титульная страница
* (sprmSFTitlePage → w:titlePg, §2.6.4), gutter-поле (sprmSDzaGutter →
* w:gutter) и сырое значение SBkcOperand (§2.9.235 — evenPage/oddPage
* для w:type).
*/
record Section(int cpStart, int cpEnd, int pageWidth, int pageHeight,
int marginLeft, int marginRight, int marginTop, int marginBottom,
int header, int footer, boolean continuous, boolean landscape,
int header, int footer, int gutter, boolean continuous, boolean landscape,
int pgNumStart, int nfcPgn, int columnCount, boolean evenlySpaced,
int dxaColumns, int[] colWidths, int[] colSpacings, boolean titlePage) {
int dxaColumns, int[] colWidths, int[] colSpacings, boolean titlePage,
int bkc) {
/**
* ST_SectType (§17.6.22) для разрыва, ЗАКАНЧИВАЮЩЕГО эту секцию:
* bkcContinuous/bkcNewColumn → continuous, bkcEvenPage/bkcOddPage →
* evenPage/oddPage; bkcNewPage (дефолт) — атрибут не эмитится.
*/
String wTypeName() {
return switch (bkc) {
case 0, 1 -> "continuous";
case 3 -> "evenPage";
case 4 -> "oddPage";
default -> null;
};
}
}
/** Дефолты Word 97 (§2.6.3, twips). */
@@ -77,12 +95,17 @@ final class Sections {
private int marginBottom = DEFAULT_MARGIN;
private int header = DEFAULT_HEADER_FOOTER;
private int footer = DEFAULT_HEADER_FOOTER;
private int gutter;
private boolean continuous;
private boolean landscape;
private boolean titlePage;
private boolean pgnRestart;
private int pgnStart97;
private int pgnStart;
private int nfcPgn;
/** SBkcOperand (§2.9.235): 0 continuous, 1 newColumn, 2 newPage
* (дефолт), 3 evenPage, 4 oddPage. */
private int bkc = 2;
private int columnCount = 1;
private boolean evenlySpaced = true;
private int dxaColumns = -1;
@@ -91,21 +114,26 @@ final class Sections {
private void apply(int sprm, int value) {
if (sprm == Grpprl.SPRM_S_XA_PAGE) {
pageWidth = value;
pageWidth = value; // U16 [144, 31680] (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_YA_PAGE) {
pageHeight = value;
pageHeight = value; // U16 (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DXA_LEFT) {
marginLeft = value;
marginLeft = value; // XAS_nonNeg (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DXA_RIGHT) {
marginRight = value;
marginRight = value; // XAS_nonNeg (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DYA_TOP) {
marginTop = value;
// YAS знаковый (§2.9.355): плюс — минимальное поле, минус —
// фиксированное («MUST be the absolute value») — знак в OOXML
// не выражается, величина берётся по модулю
marginTop = Math.abs((short) value);
} else if (sprm == Grpprl.SPRM_S_DYA_BOTTOM) {
marginBottom = value;
marginBottom = Math.abs((short) value);
} else if (sprm == Grpprl.SPRM_S_DYA_HDR_TOP) {
header = value;
header = value; // YAS_nonNeg (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DYA_HDR_BOTTOM) {
footer = value;
footer = value; // YAS_nonNeg (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DZA_GUTTER) {
gutter = value; // U16 twips (§2.6.4), беззнаковый
} else if (sprm == Grpprl.SPRM_S_B_ORIENTATION) {
// SBOrientationOperand (§2.9.236): 0x01 portrait, 0x02 landscape
landscape = value == 2;
@@ -113,6 +141,8 @@ final class Sections {
pgnRestart = value != 0; // Bool8
} else if (sprm == Grpprl.SPRM_S_PGN_START97) {
pgnStart97 = value;
} else if (sprm == Grpprl.SPRM_S_PGN_START) {
pgnStart = value; // U32 (§2.6.4), pre-97-вариант того же
} else if (sprm == Grpprl.SPRM_S_NFC_PGN) {
nfcPgn = value; // MSONFC ([MS-OSHARED] §2.2.1.3)
} else if (sprm == Grpprl.SPRM_S_F_EVENLY_SPACED) {
@@ -130,7 +160,7 @@ final class Sections {
/** iCol(1) + dxaCol(2) — минимальная длина SDxaColWidth/Spacing-операнда. */
private static final int COL_OPERAND_LEN = 3;
/** SDxaColWidthOperand/SDxaColSpacingOperand: iCol(1)+dxaCol(2), §2.9.241/.242. */
/** SDxaColSpacingOperand/SDxaColWidthOperand: iCol(1)+dxaCol(2), §2.9.241/.242. */
private void applyCol(int sprm, byte[] buf, int off, int len) {
if (len < COL_OPERAND_LEN) {
return;
@@ -191,10 +221,12 @@ final class Sections {
}
int v = Grpprl.operandInt(buf, off, len);
g.apply(sprm, v);
// bkcContinuous=0 / bkcNewColumn=1 (§2.6.3 SBkcOperand):
// разрыв, заканчивающий секцию, не начинает страницу
if (sprm == Grpprl.SPRM_S_BKC && v <= 1) {
g.continuous = true;
// SBkcOperand (§2.9.235): 0 continuous / 1 newColumn —
// разрыв, заканчивающий секцию, не начинает страницу;
// сырое значение нужно и для w:type=evenPage/oddPage
if (sprm == Grpprl.SPRM_S_BKC) {
g.bkc = v;
g.continuous = v <= 1;
}
});
}
@@ -208,11 +240,13 @@ final class Sections {
int cpEnd = i == n - 1 ? Math.min(aCp[i + 1], ccpText) : aCp[i + 1];
list.add(new Section(aCp[i], cpEnd, g.pageWidth, g.pageHeight,
g.marginLeft, g.marginRight, g.marginTop, g.marginBottom,
g.header, g.footer, g.continuous, g.landscape,
g.pgnRestart ? Math.max(1, g.pgnStart97) : 0,
g.header, g.footer, g.gutter, g.continuous, g.landscape,
g.pgnRestart
? Math.max(1, g.pgnStart97 != 0 ? g.pgnStart97 : g.pgnStart)
: 0,
g.nfcPgn, g.columnCount, g.evenlySpaced, g.dxaColumns,
Arrays.copyOf(g.colWidths, g.columnCount),
Arrays.copyOf(g.colSpacings, g.columnCount), g.titlePage));
Arrays.copyOf(g.colSpacings, g.columnCount), g.titlePage, g.bkc));
}
sections = List.copyOf(list);
continuousEnds = cont;
@@ -221,8 +255,8 @@ final class Sections {
private static Section defaultSection(int cpStart, int cpEnd) {
return new Section(cpStart, cpEnd, DEFAULT_PAGE_WIDTH, DEFAULT_PAGE_HEIGHT,
DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN,
DEFAULT_HEADER_FOOTER, DEFAULT_HEADER_FOOTER, false,
false, 0, 0, 1, true, -1, new int[0], new int[0], false);
DEFAULT_HEADER_FOOTER, DEFAULT_HEADER_FOOTER, 0, false,
false, 0, 0, 1, true, -1, new int[0], new int[0], false, 2);
}
static Sections read(byte[] tableStream, long fcSed, long lcbSed, byte[] wordDocument,
@@ -6,15 +6,16 @@ package ru.pjandro.wordpdf.internal.doc;
*
* <p>Разбор: LPStshi (cbStshi(2) + STSHI: cstd(2) + cbSTDBaseInFile(2),
* §2.9.272/.274) → rglpstd со смещения {@code fc + 2 + cbStshi} (LPStd
* хранятся на чётных границах, §2.9.207). Каждая LPStd: cbStd(2) + Std
* хранятся на чётных границах, §2.9.135). Каждая LPStd: cbStd(2) + Std
* (cbStd байт): stdf (cbSTDBaseInFile байт: StdfBase §2.9.260 — в первых
* 4 байтах sti(12)|A–D(4)|stk(4)|istdBase(12), cupx — младший нибл байта 4)
* + xstzName (cch(2)+2·cch+терминатор(2), §2.9.348) + cupx × LPUpx
* + xstzName (cch(2)+2·cch+терминатор(2), §2.9.354) + cupx × LPUpx
* (cbUpx(2) + данные, шаг 2+cbUpx с выравниванием на чёт). Для stk=1
* (абзацный стиль) UPX[0] = UpxPapx (istd(2) + grpprlPapx), UPX[1] =
* UpxChpx (grpprlChpx целиком), §2.9.267/.308/.309; для stk=3 (символьный
* стиль) единственный UPX = UpxChpx целиком (§2.9.267) — читается в
* {@link #charChain} для sprmCIstd.</p>
* UpxChpx (grpprlChpx целиком), §2.9.338/.336; для stk=2 (символьный
* стиль) единственный UPX = UpxChpx целиком (§2.9.263 StkCharGRLPUPX) —
* читается в {@link #charChain} для sprmCIstd; stk=3 (табличный) не
* читается.</p>
*
* <p>Цепочка свойств стиля — base-first: сначала grpprl предка по
* istdBase (0x0FFF — без предка), затем собственный grpprl (шаг 8
@@ -31,11 +32,11 @@ final class Styles {
/** stk абзацного стиля (§2.9.260). */
private static final int STK_PARAGRAPH = 1;
/** stk символьного стиля (§2.9.260): UPX[0] = UpxChpx целиком. */
private static final int STK_CHARACTER = 3;
/** Индекс UpxPapx в Std абзацного стиля (§2.9.308). */
/** stk символьного стиля (§2.9.260, stk=2): UPX[0] = UpxChpx целиком. */
private static final int STK_CHARACTER = 2;
/** Индекс UpxPapx в Std абзацного стиля (§2.9.338). */
private static final int UPX_PAPX = 0;
/** Индекс UpxChpx в Std абзацного стиля (§2.9.309). */
/** Индекс UpxChpx в Std абзацного стиля (§2.9.336). */
private static final int UPX_CHPX = 1;
/** istdBase без предка (§2.9.260). */
private static final int NO_BASE = 0x0FFF;
@@ -107,7 +108,7 @@ final class Styles {
return new Style(NO_BASE, stk, new byte[0], new byte[0]);
}
int cch = CfbReader.u16(table, p);
p += 2 + 2 * cch + 2; // xstzName: cch + строка + chTerm (§2.9.348)
p += 2 + 2 * cch + 2; // xstzName: cch + строка + chTerm (§2.9.354)
byte[] papx = new byte[0];
byte[] chpx = new byte[0];
for (int i = 0; i < cupx && p + 2 <= stdEnd; i++) {
@@ -118,13 +119,13 @@ final class Styles {
}
if (stk == STK_PARAGRAPH) {
if (i == UPX_PAPX && cbUpx >= 2) {
// UpxPapx: istd(2) + grpprlPapx (§2.9.345)
// UpxPapx: istd(2) + grpprlPapx (§2.9.338)
papx = slice(table, p + 2, cbUpx - 2);
} else if (i == UPX_CHPX) {
chpx = slice(table, p, cbUpx); // UpxChpx (§2.9.343)
chpx = slice(table, p, cbUpx); // UpxChpx (§2.9.336)
}
} else if (stk == STK_CHARACTER && i == UPX_PAPX && cbUpx > 0) {
// Символьный стиль: единственный UPX = UpxChpx целиком (§2.9.267)
// Символьный стиль: единственный UPX = UpxChpx целиком (§2.9.263)
chpx = slice(table, p, cbUpx);
}
p += cbUpx;
@@ -163,7 +164,7 @@ final class Styles {
/**
* Цепочка chpx символьного стиля для sprmCIstd (§2.6.1): только стили
* stk=3, иначе пусто (§2.4.6.5 — символьный стиль применяется к рану,
* stk=2, иначе пусто (§2.4.6.5 — символьный стиль применяется к рану,
* стиль другого типа игнорируется снисходительно).
*/
byte[] charChain(int istd) {
@@ -7,17 +7,17 @@ package ru.pjandro.wordpdf.internal.doc;
* SystemIdentifier(4) CLSID(16) NumPropertySets(4) FMTID0(16) Offset0(4);
* PropertySet по Offset0 (§2.20): cbPropertySet(4) NumProperties(4) + массив
* (pid, offset), где offset свойства — <b>относительно начала PropertySet</b>
* (§2.2: «relative to the starting position of the PropertySet»), т.е. читать
* (§2.19 PropertyIdentifierAndOffset: «relative to the starting position of the PropertySet»), т.е. читать
* по {@code Offset0 + offset}; свойство по offset — VT(4) + значение. Ищем PIDSI_PAGECOUNT
* (0x0000000E, VT_I4=3) — аналог {@code <Pages>} из docProps/app.xml у .docx.
* Потока/свойства нет или оно не VT_I4 → 0 (оценка нижняя, как у docx).</p>
*/
final class SummaryInfo {
/** PIDSI_PAGECOUNT (MS-OLEPS §2.4.2). */
/** PIDSI_PAGECOUNT (MS-OLEPS §3.1.15). */
private static final int PID_PAGE_COUNT = 0x0000000E;
/** VT_I4 (MS-OLEPS §2.3.2). */
/** VT_I4 (MS-OLEPS §2.2). */
private static final int VT_I4 = 0x00000003;
/** Смещения заголовка PropertySetStream (§2.21). */
@@ -16,20 +16,20 @@ import java.util.List;
* TableBordersOperand80 (§2.9.303, cb=0x18, 6 × Brc80 по 4 байта:
* dptLineWidth + brcType + ico + флаги). Порядок Brc: top, left, bottom,
* right, horizontalInside, verticalInside → w:top/w:left/w:bottom/w:right/
* w:insideH/w:insideV (CT_TblBorders, ECMA-376 §17.4.40).</p>
* w:insideH/w:insideV (CT_TblBorders, ECMA-376 §17.4.38).</p>
*
* <p>brcType → ST_Border (§17.18.2) по таблице BrcType ([MS-DOC] §2.9.39,
* <p>brcType → ST_Border (§17.18.2) по таблице BrcType ([MS-DOC] §2.9.22,
* колонка Reference); 0x00 — элемент не эмитится, нераспознанный — single.
* w:sz = dptLineWidth (1/8 пункта, ECMA-376 §17.18.15; минимум 2; при
* w:sz = dptLineWidth (1/8 пункта, ECMA-376 §17.18.23; минимум 2; при
* brcType ≥ 0x40 ширина в целых пунктах → ×8). Цвет: Brc.cv fAuto
* (байт 3 = 0xFF) не эмитится, иначе RRGGBB; Brc80.ico — по таблице Ico
* (§2.9.171); 0 = auto, &gt; 0x10 — не эмитится.</p>
* (§2.9.119); 0 = auto, &gt; 0x10 — не эмитится.</p>
*
* <p>Горизонтальное объединение ячеек переносится сеткой <b>самой строки</b>:
* у TTP-абзаца каждой строки свой {@code sprmTDefTable} (§2.9.321), и
* автомат {@code DocxBody} по нему выдаёт {@code w:gridSpan}+{@code w:tcW}
* (сетка первой строки остаётся tblGrid). Явные поля ячеек
* ({@code sprmTCellPadding}/{@code sprmTCellPaddingDefault}, CSSA §2.9.209)
* ({@code sprmTCellPadding}/{@code sprmTCellPaddingDefault}, CSSA §2.9.45)
* переносятся {@code w:tcMar}; при их отсутствии конвейер даёт дефолт
* 108/0 — он же дефолт Word (замер). {@code sprmTDxaGapHalf} не переносится
* как поле: §2.6.3 — «not used to layout cell contents», это поправка
@@ -44,9 +44,9 @@ import java.util.List;
*/
final class Tables {
/** brcType ≥ этого порога: dptLineWidth задан в целых пунктах (§2.9.38). */
/** brcType ≥ этого порога: dptLineWidth задан в целых пунктах (§2.9.22). */
private static final int BRC_TYPE_POINT_UNITS = 0x40;
/** Минимальный w:sz границы; значения Brc80 меньше эквивалентны 2 (§2.9.37). */
/** Минимальный w:sz границы; значения Brc80 меньше эквивалентны 2 (§2.9.17). */
private static final int MIN_BORDER_SZ = 2;
/** Минимум центров в TDefTable: ncols≥1 → centers[ncols+1]≥2 (§2.9.321). */
@@ -58,7 +58,7 @@ final class Tables {
private static final int MAX_CELL_MARGIN = 31680;
/**
* Поля ячеек из одного CSSAOperand (§2.9.209): стороны grfbrc (биты
* Поля ячеек из одного CSSAOperand (§2.9.46): стороны grfbrc (биты
* top|left|bottom|right = 1|2|4|8) с шириной wWidth (dxa, ≥0) для ячеек
* ряда с индексами [itcFirst, itcLim). Default-operand (0xD634) — весь
* ряд (itcLim = {@link Integer#MAX_VALUE}).
@@ -86,15 +86,19 @@ final class Tables {
int[] centers() {
int[] c = new int[colWidths.length + 1];
c[0] = indent;
for (int i = 0; i < colWidths.length; i++) {
c[i + 1] = c[i] + colWidths[i];
int i = 1;
// foreach: индексный for по компоненту рекорда валит ForLoopCanBeForeach
// на PMD 6.55.0 (ClassCastException в VariableNameDeclaration.isArray)
for (int w : colWidths) {
c[i] = c[i - 1] + w;
i++;
}
return c;
}
}
/**
* Ico → RRGGBB ([MS-DOC] §2.9.171). Индекс = ico. 0 — auto (не эмитится).
* Ico → RRGGBB ([MS-DOC] §2.9.119). Индекс = ico. 0 — auto (не эмитится).
* В таблице спецификации строка 0x0D дублирует 0x0C (800080) — очевидная
* опечатка документа: icoRedDark в палитре Word = 800000, взято значение
* Word (иначе 0x0C и 0x0D неразличимы).
@@ -120,7 +124,7 @@ final class Tables {
};
/**
* Ico (§2.9.171) → RRGGBB; 0/auto и вне таблицы (в т.ч. 0x1F = nil у
* Ico (§2.9.119) → RRGGBB; 0/auto и вне таблицы (в т.ч. 0x1F = nil у
* Shd80) — {@code null}. Пользуется {@code DocxBody} для Shd80/
* затенений.
*/
@@ -129,7 +133,7 @@ final class Tables {
}
/**
* Имена ST_Border по brcType (§2.9.39, колонка Reference); 0 — none.
* Имена ST_Border по brcType (§2.9.22, колонка Reference); 0 — none.
* package-private хук для юнита полного покрытия таблицы.
*/
static String borderVal(int brcType) {
@@ -156,7 +160,8 @@ final class Tables {
case 0x17 -> "dashDotStroked";
case 0x18 -> "threeDEmboss";
case 0x19 -> "threeDEngrave";
case 0x1A, 0x1B -> "outset";
case 0x1A -> "outset";
case 0x1B -> "inset";
default -> "single";
};
}
@@ -230,7 +235,7 @@ final class Tables {
}
/**
* CSSAOperand (§2.9.209) полей ячеек: cb(1)=6 + itc(2, ItcFirstLim) +
* CSSAOperand (§2.9.46) полей ячеек: cb(1)=6 + itc(2, ItcFirstLim) +
* grfbrc(1, маска сторон) + ftsWidth(1) + wWidth(2 XAS_nonNeg).
* Переносится только ftsDxa (0x03) — ftsNil/percent/auto сторона не
* задают (§2.6.3: wWidth ≤ 31680); битый операнд/пустая маска — null.
@@ -283,7 +288,12 @@ final class Tables {
String[] names = {"top", "left", "bottom", "right", "insideH", "insideV"};
for (int i = 0; i < 6; i++) {
int b = off + 1 + i * 8;
// Brc (§2.9.36): cv(4: R,G,B,fAuto) + dptLineWidth(1) + brcType(1) + флаги(2)
// Brc (§2.9.16): cv(4: R,G,B,fAuto) + dptLineWidth(1) + brcType(1) + флаги(2);
// BrcMayBeNil (§2.9.20): последние 4 байта 0xFF…FF — NilBrc, границы нет
if ((buf[b + 4] & 0xFF) == 0xFF && (buf[b + 5] & 0xFF) == 0xFF
&& (buf[b + 6] & 0xFF) == 0xFF && (buf[b + 7] & 0xFF) == 0xFF) {
continue;
}
int type = buf[b + 5] & 0xFF;
if (type == 0) {
continue;
@@ -303,6 +313,11 @@ final class Tables {
String[] names = {"top", "left", "bottom", "right", "insideH", "insideV"};
for (int i = 0; i < 6; i++) {
int b = off + 1 + i * 4;
// Brc80MayBeNil (§2.9.18): все 4 байта 0xFF…FF — границы нет
if ((buf[b] & 0xFF) == 0xFF && (buf[b + 1] & 0xFF) == 0xFF
&& (buf[b + 2] & 0xFF) == 0xFF && (buf[b + 3] & 0xFF) == 0xFF) {
continue;
}
int type = buf[b + 1] & 0xFF;
if (type == 0) {
continue;
@@ -318,10 +333,10 @@ final class Tables {
int dptLineWidth, String color) {
int sz = dptLineWidth;
if (type >= BRC_TYPE_POINT_UNITS) {
sz *= 8; // ширина в целых пунктах (§2.9.38, таблица dptLineWidth)
sz *= 8; // ширина в целых пунктах (§2.9.22, таблица dptLineWidth)
}
if (sz < MIN_BORDER_SZ) {
sz = MIN_BORDER_SZ; // Brc80: значения < 2 эквивалентны 2 (§2.9.37)
sz = MIN_BORDER_SZ; // Brc80: значения < 2 эквивалентны 2 (§2.9.17)
}
xml.append("<w:").append(name).append(" w:val=\"").append(borderVal(type))
.append("\" w:sz=\"").append(sz).append('"');
@@ -1161,7 +1161,7 @@
Патч: перемещаемый текст печатается (plain-text passthrough, move-правки не
раскрашиваются: их «принятое» состояние и есть перемещённый текст);
bidi-направление — принятая деградация (complex-script в FOP-форке нет).
Руби (w:rubyBase/w:rt, §17.3.3.19/.20/.21) тут не чинится: схема docx4j
Руби (w:rubyBase/w:rt, §17.3.3.27/.24) тут не чинится: схема docx4j
не биндит эти элементы, unmarshaller выбрасывает их до XSLT — разбор
делает RubyNormalizer (правило 10) в байтах.
Регрессии — WordPdfConverterTest#movedRevision_textPrinted, #bdoDir_textPrinted. -->
@@ -7,6 +7,7 @@ import java.nio.file.Files;
import java.nio.file.Path;
import java.util.ArrayList;
import java.util.List;
import java.util.logging.Logger;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;
@@ -34,6 +35,8 @@ public final class ChartTypesDocxGenerator {
private static final String A = "http://schemas.openxmlformats.org/drawingml/2006/main";
private static final String R = "http://schemas.openxmlformats.org/officeDocument/2006/relationships";
private static final Logger LOG = Logger.getLogger(ChartTypesDocxGenerator.class.getName());
public static void main(String[] args) throws IOException {
Path out = Path.of(args[0]);
List<String> titles = List.of(
@@ -109,7 +112,7 @@ public final class ChartTypesDocxGenerator {
}
}
Files.write(out, out2.toByteArray());
System.out.println("written " + out + " " + out2.size() + " bytes");
LOG.info("written " + out + " " + out2.size() + " bytes");
}
private static String space(String title, String groupWithAxes) {
@@ -0,0 +1,191 @@
package ru.pjandro.wordpdf;
import org.apache.pdfbox.Loader;
import org.apache.pdfbox.pdmodel.PDDocument;
import org.apache.pdfbox.pdmodel.PDResources;
import org.apache.pdfbox.pdmodel.font.PDFont;
import org.apache.pdfbox.cos.COSName;
import org.junit.jupiter.api.Test;
import java.io.IOException;
import java.io.ByteArrayOutputStream;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.util.HashSet;
import java.util.Set;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;
import static org.junit.jupiter.api.Assertions.assertThrows;
import static org.junit.jupiter.api.Assertions.assertTrue;
/**
* Инвариант «шрифты только бандла» после выноса JEuclid из класса путей:
* MathML-рендер FOP (jeuclid-fop) обращался к AWT-менеджеру шрифтов и
* тащил в вывод системные гарнитуры; формулы теперь рисуются собственным
* растером из jar-шрифтов (fontbox), поэтому JEuclid в classpath и
* протёкших системных имён в PDF быть не должно ни на одном хосте (в т.ч. без
* fontconfig — CI-образ). Регрессия — удаление jeuclid, 2026-11.
*/
class FontsBundledOnlyInvariantTest {
private static final String M_NS =
"http://schemas.openxmlformats.org/officeDocument/2006/math";
private static final String W_NS =
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
/**
* JEuclid обязан отсутствовать в классе путей (exclusion в pom):
* реальные FQCN обоих артефактов форка de.rototor (сверены по jar'ам
* 3.1.14) — вымышленное имя дало бы зелёный тест и без exclusion.
*/
@Test
void jeuclidAbsentFromClasspath() {
assertThrows(ClassNotFoundException.class,
() -> Class.forName("net.sourceforge.jeuclid.MathMLParserSupport"));
assertThrows(ClassNotFoundException.class,
() -> Class.forName("net.sourceforge.jeuclid.fop.JEuclidElementMapping"));
}
/**
* Исходники main не обращаются к AWT-шрифтам: ни {@code java.awt.Font},
* ни {@code GraphicsEnvironment}, ни {@code createFont(} вне комментариев
* и строк. Любое такое обращение инициализирует AWT-менеджер шрифтов
* (fontconfig на хосте) и рвёт инвариант «только бандл» — детект по
* тексту исходников работает и на хосте с шрифтами, и в CI-контейнере
* без fontconfig.
*/
@Test
void sourcesFreeOfAwtFonts() throws IOException {
Path root = Files.isDirectory(Path.of("src/main/java"))
? Path.of("src/main/java")
: Path.of("wordpdf-core/src/main/java");
assertTrue(Files.isDirectory(root), "нет каталога исходников: " + root.toAbsolutePath());
java.util.regex.Pattern createFont =
java.util.regex.Pattern.compile("\\bcreateFont\\s*\\(");
Set<String> hits = new HashSet<>();
try (var walk = Files.walk(root)) {
for (Path p : (Iterable<Path>) walk.filter(f -> f.toString().endsWith(".java"))::iterator) {
String effective = stripCommentsAndStrings(
new String(Files.readAllBytes(p), StandardCharsets.UTF_8));
if (effective.contains("java.awt.Font")
|| effective.contains("java.awt.GraphicsEnvironment")
|| createFont.matcher(effective).find()) {
hits.add(root.relativize(p).toString());
}
}
}
assertTrue(hits.isEmpty(), "AWT-шрифты в исходниках: " + hits);
}
/** Выкидывает комментарии и строковые/символьные литералы — остаётся код. */
private static String stripCommentsAndStrings(String src) {
StringBuilder out = new StringBuilder(src.length());
int i = 0;
int n = src.length();
while (i < n) {
char c = src.charAt(i);
if (c == '/' && i + 1 < n && src.charAt(i + 1) == '/') {
while (i < n && src.charAt(i) != '\n') {
i++;
}
} else if (c == '/' && i + 1 < n && src.charAt(i + 1) == '*') {
i += 2;
while (i + 1 < n && !(src.charAt(i) == '*' && src.charAt(i + 1) == '/')) {
i++;
}
i += 2;
} else if (c == '"' || c == '\'') {
char q = c;
i++;
while (i < n && src.charAt(i) != q) {
i += src.charAt(i) == '\\' ? 2 : 1;
}
i++;
out.append(' ');
} else {
out.append(c);
i++;
}
}
return out.toString();
}
/**
* Формула Word-кегля с {@code w:rFonts w:ascii="Cambria Math"}: растр
* рисуется бандлом, в PDF нет ни «Cambria Math», ни иного имени с
* Math-маркером (AWT-цепочка недоступна на без-fontconfig хостах в
* CI — тест одинаков на любом хосте).
*/
@Test
void mathEmbeddedFonts_bundledOnly() throws IOException {
String body = "<w:p><w:r><w:t>ТЕКСТ</w:t></w:r>"
+ "<m:oMath xmlns:m=\"" + M_NS + "\">"
+ "<m:r><w:rPr><w:rFonts w:ascii=\"Cambria Math\"/></w:rPr>"
+ "<m:t>∑x²</m:t></m:r></m:oMath></w:p>";
byte[] pdf = WordPdfConverter.convert(mathDocx(body), "тест",
new ConvertOptions(false, false, false, 5, 100));
Path out = Files.createTempFile("fonts-invariant-", ".pdf");
try {
Files.write(out, pdf);
Set<String> names = embeddedFontNames(out);
for (String n : names) {
assertTrue(!n.contains("Cambria") && !n.contains("Math"),
"системный math-шрифт встроился в PDF: " + n + " ⊆ " + names);
}
} finally {
Files.deleteIfExists(out);
}
}
/** Минимальный docx с формулой (идеома модуля: ZipOutputStream из литералов). */
private static byte[] mathDocx(String bodyXml) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
putZip(zos, "[Content_Types].xml",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
+ "<Override PartName=\"/word/document.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml\"/>"
+ "</Types>");
putZip(zos, "_rels/.rels",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
+ "<Relationship Id=\"rId1\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/officeDocument\" Target=\"word/document.xml\"/>"
+ "</Relationships>");
putZip(zos, "word/document.xml",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<w:document xmlns:w=\"" + W_NS + "\"><w:body>"
+ bodyXml
+ "<w:sectPr><w:pgSz w:w=\"11906\" w:h=\"16838\"/></w:sectPr>"
+ "</w:body></w:document>");
}
return out.toByteArray();
}
private static void putZip(ZipOutputStream zos, String name, String xml)
throws IOException {
zos.putNextEntry(new ZipEntry(name));
zos.write(xml.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
}
/** Имена встроенных шрифтов PDF (дублируется намеренно: утилит нет). */
private static Set<String> embeddedFontNames(Path pdf) throws IOException {
Set<String> names = new HashSet<>();
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
for (org.apache.pdfbox.pdmodel.PDPage page : doc.getPages()) {
PDResources res = page.getResources();
for (COSName name : res.getFontNames()) {
PDFont font = res.getFont(name);
if (font != null) {
names.add(font.getName());
}
}
}
}
return names;
}
}
@@ -0,0 +1,288 @@
package ru.pjandro.wordpdf;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.FileDescriptor;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.PrintStream;
import java.lang.management.ManagementFactory;
import java.lang.management.MemoryPoolMXBean;
import java.lang.management.MemoryType;
import java.net.URISyntaxException;
import java.net.URL;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.LinkedHashMap;
import java.util.Locale;
import java.util.Map;
import java.util.TreeMap;
import java.util.stream.Stream;
import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream;
/**
* Замер памяти конвейера (НЕ тест: имя не матчается surefire-includes; запускается
* {@code ./mise.sh run mem-bench} — см. {@code membench.sh} и
* {@code docs/MEM_USAGE_UPGRADE.md}).
*
* <p>Для каждой конвертации печатает строку TSV {@code label scenario name iteration
* peakBytes usedAfterBytes}: peakBytes — сумма пиков used всех heap-пулов
* ({@link MemoryPoolMXBean}, пики сбрасываются перед конвертацией), usedAfterBytes —
* used кучи сразу после конвертации без принудительного GC (тренд накопления;
* {@code System.gc()} намеренно не вызывается). Суммарные аллокации и RSS не здесь:
* JFR-{@code jdk.ObjectAllocationSample} пишет скрипт, VmHWM/VmRSS читаются из
* {@code /proc/self/status} в конце сценария.</p>
*
* <p>Артефакт замера «до/после»: сравнение делает человек по выводам прогонов
* с разными {@code MB_LABEL}; порогов внутри харнеса нет.</p>
*/
final class MemoryBench {
/**
* Вывод харнеса в stdout напрямую через {@link FileDescriptor#out}: TSV-строки
* парсит человек/скрипт из stdout; {@code System.out} не используется (PMD
* SystemPrintln для кода репозитория запрещён, а подавления запрещены политикой).
*/
private static final PrintStream OUT = new PrintStream(
new FileOutputStream(FileDescriptor.out), true, StandardCharsets.UTF_8);
/** Лимиты входа завышены: валидатор не должен отсекать big-сценарий. */
private static final ConvertOptions OPTIONS =
new ConvertOptions(false, false, false, 1024L, 1_000_000);
/** Минимально допустимое значение циклов/повторов из аргументов. */
private static final int MIN_POSITIVE = 1;
/** Повторов body в синтетическом big-docx (детерминированный размер входа). */
private static final int BODY_REPEATS = 400;
private MemoryBench() {
}
public static void main(String[] args) throws Exception {
String label = env("MB_LABEL", "run");
int loops = 10;
int bigLoops = 5;
String scenario = "all";
String dir = null;
int i = 0;
while (i < args.length) {
String a = args[i];
if ("--loops".equals(a)) {
loops = parsePositive(args, i);
i += 2;
} else if ("--big-loops".equals(a)) {
bigLoops = parsePositive(args, i);
i += 2;
} else if ("--scenario".equals(a)) {
scenario = args[i + 1];
i += 2;
} else if ("--dir".equals(a)) {
dir = args[i + 1];
i += 2;
} else {
OUT.printf(Locale.ROOT, "# unknown arg: %s%n", a);
System.exit(2);
}
}
OUT.printf(Locale.ROOT, "# java.version %s%n",
System.getProperty("java.version"));
boolean wantSuite = "suite".equals(scenario) || "all".equals(scenario);
boolean wantBig = "big".equals(scenario) || "all".equals(scenario);
if (wantSuite) {
runConversions(label, "suite", fixtures(), loops);
}
if (wantBig) {
byte[] base = readResource("samples/ru-plain.docx");
byte[] big = bigDocx(base);
OUT.printf(Locale.ROOT, "# big size %d%n", big.length);
Map<String, byte[]> docs = new TreeMap<>();
docs.put("big", big);
runConversions(label, "big", docs, bigLoops);
}
if (dir != null) {
runConversions(label, "dir", dirDocs(Paths.get(dir)), loops);
}
}
/** Прогон {@code loops} проходов по всем документам, TSV-строка на конвертацию. */
private static void runConversions(String label, String scenario,
Map<String, byte[]> docs, int loops) {
long checksum = 0;
for (int loop = 0; loop < loops; loop++) {
for (Map.Entry<String, byte[]> doc : docs.entrySet()) {
resetPeaks();
try {
byte[] pdf = WordPdfConverter.convert(doc.getValue(), "membench", OPTIONS);
checksum += pdf.length;
} catch (ConversionException e) {
// отказ конвертации не обрывает замер — строка-комментарий в вывод
OUT.printf(Locale.ROOT, "# error %s %s: %s%n",
scenario, doc.getKey(), e.getMessage());
}
OUT.printf(Locale.ROOT, "%s\t%s\t%s\t%d\t%d\t%d%n",
label, scenario, doc.getKey(), loop, sumPeakBytes(), heapUsedBytes());
}
}
OUT.printf(Locale.ROOT, "# %s checksum-total %d%n", scenario, checksum);
printProcMem();
}
/** Фикстуры из classpath {@code ru/pjandro/wordpdf/samples} (25 файлов), по имени. */
private static TreeMap<String, byte[]> fixtures() throws IOException, URISyntaxException {
URL dir = MemoryBench.class.getClassLoader().getResource("samples");
if (dir == null) {
throw new IllegalStateException("samples/ не найден в classpath");
}
TreeMap<String, byte[]> out = new TreeMap<>();
try (Stream<Path> files = Files.list(Paths.get(dir.toURI()))) {
for (Path p : (Iterable<Path>) files.filter(MemoryBench::isDoc)::iterator) {
out.put(p.getFileName().toString(), Files.readAllBytes(p));
}
}
return out;
}
/** Все {@code *.doc}/{@code *.docx} каталога PATH (реальные документы из develop/). */
private static TreeMap<String, byte[]> dirDocs(Path dir) throws IOException {
TreeMap<String, byte[]> out = new TreeMap<>();
if (!Files.isDirectory(dir)) {
OUT.printf(Locale.ROOT, "# dir %s отсутствует — пропущен%n", dir);
return out;
}
try (Stream<Path> files = Files.list(dir)) {
for (Path p : (Iterable<Path>) files.filter(MemoryBench::isDoc)::iterator) {
out.put(p.getFileName().toString(), Files.readAllBytes(p));
}
}
return out;
}
private static boolean isDoc(Path p) {
String n = p.getFileName().toString().toLowerCase(Locale.ROOT);
return n.endsWith(".doc") || n.endsWith(".docx");
}
/**
* Синтетический большой docx: body фикстуры ru-plain.docx (между {@code <w:body>}
* и финальным {@code <w:sectPr>}) повторён {@link #BODY_REPEATS} раз, zip пересобран
* DEFLATED в том же порядке записей. Детерминированно: тот же вход — тот же размер.
*/
private static byte[] bigDocx(byte[] base) throws IOException {
Map<String, byte[]> entries = unzip(base);
String xml = new String(entries.get("word/document.xml"), StandardCharsets.UTF_8);
int bodyStart = xml.indexOf("<w:body>");
int sectIdx = xml.lastIndexOf("<w:sectPr");
if (sectIdx <= bodyStart) {
// фикстура без секции (ru-plain.docx генератором) — якорь на закрытие body
sectIdx = xml.lastIndexOf("</w:body>");
}
if (bodyStart < 0 || sectIdx <= bodyStart) {
throw new IllegalStateException("в фикстуре не найден <w:body>...<w:sectPr>");
}
String inner = xml.substring(bodyStart + "<w:body>".length(), sectIdx);
String grown = xml.substring(0, bodyStart + "<w:body>".length())
+ inner.repeat(BODY_REPEATS)
+ xml.substring(sectIdx);
entries.put("word/document.xml", grown.getBytes(StandardCharsets.UTF_8));
return rezip(entries);
}
private static Map<String, byte[]> unzip(byte[] zip) throws IOException {
Map<String, byte[]> entries = new LinkedHashMap<>();
try (ZipInputStream zin = new ZipInputStream(new ByteArrayInputStream(zip))) {
ZipEntry e;
while ((e = zin.getNextEntry()) != null) {
ByteArrayOutputStream part = new ByteArrayOutputStream();
zin.transferTo(part);
entries.put(e.getName(), part.toByteArray());
}
}
return entries;
}
private static byte[] rezip(Map<String, byte[]> entries) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
for (Map.Entry<String, byte[]> e : entries.entrySet()) {
zos.putNextEntry(new ZipEntry(e.getKey()));
zos.write(e.getValue());
zos.closeEntry();
}
}
return out.toByteArray();
}
private static byte[] readResource(String name) throws IOException {
try (InputStream in = MemoryBench.class.getClassLoader().getResourceAsStream(name)) {
if (in == null) {
throw new IllegalStateException("ресурс не найден: " + name);
}
return in.readAllBytes();
}
}
private static void resetPeaks() {
for (MemoryPoolMXBean pool : ManagementFactory.getMemoryPoolMXBeans()) {
if (pool.getType() == MemoryType.HEAP) {
try {
pool.resetPeakUsage();
} catch (UnsupportedOperationException e) {
// пул без поддержки пиков (например «Tenured» в некоторых GC) — пропускаем
continue;
}
}
}
}
private static long sumPeakBytes() {
long sum = 0;
for (MemoryPoolMXBean pool : ManagementFactory.getMemoryPoolMXBeans()) {
if (pool.getType() == MemoryType.HEAP) {
try {
sum += pool.getPeakUsage().getUsed();
} catch (UnsupportedOperationException e) {
continue;
}
}
}
return sum;
}
private static long heapUsedBytes() {
return ManagementFactory.getMemoryMXBean().getHeapMemoryUsage().getUsed();
}
/** Память ОС: высокий water mark RSS процесса; на не-Linux — n/a. */
private static void printProcMem() {
try {
for (String line : Files.readAllLines(Paths.get("/proc/self/status"))) {
if (line.startsWith("VmHWM:") || line.startsWith("VmRSS:")) {
OUT.printf(Locale.ROOT, "# %s%n", line.trim());
}
}
} catch (IOException e) {
OUT.printf(Locale.ROOT, "# VmHWM n/a%n");
}
}
private static int parsePositive(String[] args, int i) {
int value = Integer.parseInt(args[i + 1]);
if (value < MIN_POSITIVE) {
OUT.printf(Locale.ROOT, "# %s должен быть >= %d%n", args[i], MIN_POSITIVE);
System.exit(2);
}
return value;
}
private static String env(String name, String def) {
String value = System.getenv(name);
return value == null || value.isEmpty() ? def : value;
}
}
@@ -35,6 +35,7 @@ import java.math.BigInteger;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.List;
import java.util.logging.Logger;
/**
* ОДНОРАЗОВАЯ утилита: генерация готовых .docx для тестов (Apache POI).
@@ -59,6 +60,8 @@ public final class SampleDocxGenerator {
/** Путь основной части документа в zip. */
private static final String DOCUMENT_PART = "word/document.xml";
private static final Logger LOG = Logger.getLogger(SampleDocxGenerator.class.getName());
private SampleDocxGenerator() {
}
@@ -77,7 +80,7 @@ public final class SampleDocxGenerator {
tooManyPages(dir.resolve("too-many-pages.docx"));
staleCache(dir.resolve("stale-cache.docx"));
System.out.println("Готово: " + dir.toAbsolutePath());
LOG.info("Готово: " + dir.toAbsolutePath());
}
/** Русский текст, Calibri, заголовок + полужирный и курсивный run'ы. */
@@ -498,7 +501,7 @@ public final class SampleDocxGenerator {
try (FileOutputStream fos = new FileOutputStream(out.toFile())) {
doc.write(fos);
}
System.out.println(" создан: " + out.getFileName()
LOG.info(" создан: " + out.getFileName()
+ " (" + new File(out.toString()).length() + " байт)");
}
}
@@ -277,38 +277,32 @@ class WordPdfConverterTest {
}
/**
* errorOnCharts=true: находка диаграмм — {@link DrawingFoundException}
* с {@code Kind.CHARTS}, документ отвергается целиком. Error-флаг SmartArt
* errorOnCharts=true: находка диаграмм — {@link ChartsFoundException},
* документ отвергается целиком. Error-флаг SmartArt
* выключен — он конвертируется как обычно, бросок происходит на графике.
*/
@Test
void drawingErrors_errorFlagRejectsCharts() throws Exception {
ConversionException ex = assertThrows(ConversionException.class, () ->
ChartsFoundException ex = assertThrows(ChartsFoundException.class, () ->
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
new ConvertOptions(true, false, false,
5, 100)));
assertTrue(ex instanceof DrawingFoundException dfe
&& dfe.kind() == DrawingFoundException.Kind.CHARTS,
"ожидался DrawingFoundException(CHARTS), получено: " + ex);
assertTrue(ex.getMessage().contains("диаграмм"),
"сообщение должно упоминать диаграммы: " + ex.getMessage());
}
/**
* Зеркальный случай: errorOnSmartArt=true — {@code Kind.SMARTART};
* Зеркальный случай: errorOnSmartArt=true — {@link SmartArtFoundException};
* диаграммы конвертируются (их error-флаг выключен).
*/
@Test
void drawingErrors_errorFlagRejectsSmartArt() throws Exception {
ConversionException ex = assertThrows(ConversionException.class, () ->
SmartArtFoundException ex = assertThrows(SmartArtFoundException.class, () ->
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
new ConvertOptions(false, true, false,
5, 100)));
assertTrue(ex instanceof DrawingFoundException dfe
&& dfe.kind() == DrawingFoundException.Kind.SMARTART,
"ожидался DrawingFoundException(SMARTART), получено: " + ex);
assertTrue(ex.getMessage().contains("SmartArt"),
"сообщение должно упоминать SmartArt: " + ex.getMessage());
}
@@ -349,7 +343,7 @@ class WordPdfConverterTest {
}
/**
* errorOnOle=true — {@link DrawingFoundException} с {@code Kind.OLE},
* errorOnOle=true — {@link OleFoundException},
* документ отвергается. Фикстура samples/ole-embedded.docx.
*
* <p>Флаг действует только на .docx: в бинарном .doc OLE-объект —
@@ -358,14 +352,11 @@ class WordPdfConverterTest {
*/
@Test
void drawingErrors_errorFlagRejectsOle() throws Exception {
ConversionException ex = assertThrows(ConversionException.class, () ->
OleFoundException ex = assertThrows(OleFoundException.class, () ->
convertPdf(sampleBytes("ole-embedded.docx"), "ole-embedded",
new ConvertOptions(false, false, true,
5, 100)));
assertTrue(ex instanceof DrawingFoundException dfe
&& dfe.kind() == DrawingFoundException.Kind.OLE,
"ожидался DrawingFoundException(OLE), получено: " + ex);
assertTrue(ex.getMessage().contains("OLE-объект"),
"сообщение должно упоминать OLE-объекты: " + ex.getMessage());
}
@@ -500,6 +491,62 @@ class WordPdfConverterTest {
"Carlito-BoldItalic не встроен (ран с w:b+w:i должен быть): " + fonts);
}
/**
* Общая FopFactory строится из fopconf первого документа JVM, а docx4j
* декларирует в него только использованные начертания (частично или
* simulate-style) — FopFallbackFonts обязан дополнять семейства реальными
* начертаниями при каждом declare. Регрессия —
* FopFallbackFonts.declareFamily/hasRealFace (macOS-падения
* ruPlain_regularRunsUseRegularFont и strictOoxml_convertsNotRejected
* зависели от порядка документов в JVM). Здесь порядок задаётся явно:
* «ядовитый» doc (один regular-ран Carlito) замороживает фабрику с
* частичной декларацией семейства, четырёхначертательный Calibri-doc
* обязан получить все четыре Carlito-*; финальный doc без rFonts —
* кириллицу вшитым бандл-шрифтом, а не base-14 (симптом «СТРО*ИЙ» на
* macOS). Какое семейство выберет док без rFonts — решает docx4j
* (дефолт Aptos → Carlito), поэтому ассерт — «вшитый, не Helvetica»,
* а не конкретное имя. На Linux ни одна ядовитая комбинация (bold-only
* Calibri, regular-only Carlito, italic-only Calibri) этот тест не
* краснит: docx4j 17.3.2 здесь декларирует в fopconf полное семейство;
* на macOS та же последовательность была красной. Авторитетная
* регрессия полноты — FopFallbackFontsTest#declareWhenDocx4jDeclared*,
* здесь — smoke независимости вывода от порядка документов в JVM.
*/
@Test
void fopFactoryFrozenFromFirstDoc_fontsComplete() throws Exception {
resetSharedFopFactory();
String rPoison = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:i/></w:rPr>";
convertPdf(minimalDocx("<w:p><w:r>" + rPoison
+ "<w:t>ЯДОВИТЫЙКУРСИВ</w:t></w:r></w:p>"), "poison");
String rBold = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:b/></w:rPr>";
String rPlain = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/></w:rPr>";
String rItal = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:i/></w:rPr>";
String rBoldItal =
"<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:b/><w:i/></w:rPr>";
Set<String> fonts = embeddedFontNames(convertPdf(minimalDocx("<w:p>"
+ "<w:r>" + rPlain + "<w:t>ОбычныйКАЛ</w:t></w:r>"
+ "<w:r>" + rBold + "<w:t>ЖирныйКАЛ</w:t></w:r>"
+ "<w:r>" + rItal + "<w:t>КурсивКАЛ</w:t></w:r>"
+ "<w:r>" + rBoldItal + "<w:t>ЖирКурсивКАЛ</w:t></w:r></w:p>"),
"four-faces"));
for (String face : List.of("Carlito-Regular", "Carlito-Bold",
"Carlito-Italic", "Carlito-BoldItalic")) {
assertTrue(fonts.stream().anyMatch(n -> n.endsWith("+" + face)),
face + " не встроен (фабрика заморожена неполным конфигом): " + fonts);
}
Path strict = convertPdf(minimalDocx(
"<w:p><w:r><w:t>СТРОГИЙМАРКЕР таблица</w:t></w:r></w:p>"), "strict-like");
String t = norm(pdfText(strict));
assertTrue(t.contains("СТРОГИЙМАРКЕР таблица"), "артефакты в тексте: " + t);
String cyrFont = fontNameOf(strict, 'Г');
assertFalse(cyrFont.startsWith("Helvetica"),
"кириллица упала на base-14 (неполный конфиг фабрики): " + cyrFont);
assertTrue(embeddedFontNames(strict).contains(cyrFont),
"кириллица нарисована не вшитым шрифтом: " + cyrFont);
}
/**
* Regression: символы U+2000–U+2EFF (em-dash «—») docx4j
* {@code RunFontSelector} мапит на "Segoe UI Symbol", которого нет ни в
@@ -1032,7 +1079,7 @@ class WordPdfConverterTest {
/**
* w:suff="space": Word пишет после номера обычный пробел (Part 1
* §17.3.1.28), docx4j разделитель не эмитит вовсе (дамп n4.fo).
* §17.9.28), docx4j разделитель не эмитит вовсе (дамп n4.fo).
* NumberingSuffixNormalizer дописывает пробел в lvlText; FOP отдаёт
* лейбл отдельными TextPosition («1», «.», « »), поэтому проверка — по
* склеенной последовательности TP (без нормализатора было бы «1.ITEM»:
@@ -1368,19 +1415,16 @@ class WordPdfConverterTest {
/**
* Error-флаг обязан сработать и для drawing без wp:extent: детект payload
* идёт до extent-guard'а (иначе обход — DrawingFoundException(CHARTS)).
* идёт до extent-guard'а (иначе обход — ChartsFoundException).
* Регрессия — DrawingPreRenderer#replaceDrawing.
*/
@Test
void chartWithoutExtent_errorFlagRejects() throws Exception {
byte[] docx = chartDocx(0, 0, PLAIN_VALAX);
ConversionException ex = assertThrows(ConversionException.class, () ->
assertThrows(ChartsFoundException.class, () ->
convertPdf(docx, "no-extent",
new ConvertOptions(true, false, false,
5, 100)));
assertTrue(ex instanceof DrawingFoundException dfe
&& dfe.kind() == DrawingFoundException.Kind.CHARTS,
"ожидался DrawingFoundException(CHARTS), получено: " + ex);
}
/**
@@ -1559,7 +1603,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, 14); // ccpText
put32(wd, 80, 0); // ccpFtn
@@ -1613,7 +1658,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, 2); // ccpText
put32(wd, 80, 0); // ccpFtn
@@ -1710,7 +1756,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
@@ -1813,7 +1860,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
@@ -1865,7 +1913,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
@@ -1937,7 +1986,7 @@ class WordPdfConverterTest {
System.arraycopy(grpprl, 0, wd, at + 3, grpprl.length);
}
/** SttbfFfn (§2.9.147): одно семейство на ftc0=0. */
/** SttbfFfn (§2.9.286): одно семейство на ftc0=0. */
private static byte[] sttbfFfn(String family) {
byte[] fam = (family + "\0").getBytes(StandardCharsets.UTF_16LE);
byte[] t = new byte[4 + 1 + 39 + fam.length];
@@ -2121,7 +2170,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
@@ -2191,7 +2241,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, 2); // ccpText
put32(wd, 80, 0); // ccpFtn
@@ -2343,22 +2394,11 @@ class WordPdfConverterTest {
}
}
/** Доступен ли AWT-менеджер шрифтов (fontconfig) — та же проба, что в ядре. */
private static boolean awtFontsAvailable() {
try {
java.awt.GraphicsEnvironment.getLocalGraphicsEnvironment()
.getAvailableFontFamilyNames();
return true;
} catch (Throwable t) {
return false;
}
}
/**
* Скрытый текст не выводится: правило 9 (HiddenTextNormalizer) вырезает
* раны с прямым truthy vanish и с rStyle на vanish-стиль; falsy vanish
* остаётся. Word при печати/PDF-export скрытое не печатает.
* Регрессия — аудит ECMA-376 2026-11 (Part 1 §17.3.2.30).
* Регрессия — аудит ECMA-376 2026-11 (Part 1 §17.3.2.41).
*/
@Test
void hiddenText_notPrinted() throws IOException {
@@ -2379,17 +2419,40 @@ class WordPdfConverterTest {
assertTrue(t.contains("НЕТАЙНОЕ"), t);
}
/**
* Явный {@code w:vanish w:val="false"} перекрывает стилевой vanish
* (§17.7.3, §22.9.2.7): ран с перекрытием печатается, ран без — нет.
*/
@Test
void hiddenText_directVanishFalseOverridesStyle() throws IOException {
String body = "<w:p>"
+ "<w:r><w:rPr><w:rStyle w:val=\"Hidden\"/></w:rPr><w:t>СКРЫТОСТИЛЬМ</w:t></w:r>"
+ "<w:r><w:rPr><w:rStyle w:val=\"Hidden\"/><w:vanish w:val=\"false\"/></w:rPr>"
+ "<w:t>ПЕРЕКРЫТОМ</w:t></w:r></w:p>";
String styles = XML_PROLOG + "<w:styles xmlns:w=\"" + W_NS + "\">"
+ "<w:style w:type=\"character\" w:styleId=\"Hidden\"><w:name w:val=\"Hidden\"/>"
+ "<w:rPr><w:vanish/></w:rPr></w:style></w:styles>";
byte[] doc = docx("xmlns:w=\"" + W_NS + "\"", body, A4_SECT,
rels("<Relationship Id=\"rId2\" Type=\"" + REL_NS + "styles\" Target=\"styles.xml\"/>"),
"<Override PartName=\"/word/styles.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.styles+xml\"/>",
Map.of("word/styles.xml", styles));
String t = norm(pdfText(convertPdf(doc, "тест")));
assertFalse(t.contains("СКРЫТОСТИЛЬМ"), t);
assertTrue(t.contains("ПЕРЕКРЫТОМ"), t);
}
/**
* База руби печатается (правило 10, RubyNormalizer): схема docx4j не
* биндит {@code w:rubyBase}/{@code w:rt} — unmarshaller терял их до
* XSLT. Надстрочница удаляется (принятая деградация, §17.3.3.19/.20 —
* XSLT. Надстрочница удаляется (принятая деградация, §17.3.3.24/.27 —
* ruby-разметки в FOP нет) и пинится негативом.
*/
@Test
void rubyBase_textPrinted() throws IOException {
String body = "<w:p><w:r><w:t>ДО</w:t></w:r>"
+ "<w:r><w:rubyPr/><w:rubyBase><w:r><w:t>РУБИБАЗА</w:t></w:r></w:rubyBase>"
+ "<w:rt><w:r><w:t>РУБИБАШКА</w:t></w:r></w:rt></w:r>"
+ "<w:r><w:ruby><w:rubyPr/>"
+ "<w:rubyBase><w:r><w:t>РУБИБАЗА</w:t></w:r></w:rubyBase>"
+ "<w:rt><w:r><w:t>РУБИБАШКА</w:t></w:r></w:rt></w:ruby></w:r>"
+ "<w:r><w:t>ПОСЛЕ</w:t></w:r></w:p>";
String t = norm(pdfText(convertPdf(minimalDocx(body), "тест")));
assertTrue(t.contains("РУБИБАЗА"), t);
@@ -2398,7 +2461,7 @@ class WordPdfConverterTest {
}
/**
* {@code w:bdo}/{@code w:dir} (§17.3.2.4/.7): текст печатается
* {@code w:bdo}/{@code w:dir} (§17.3.2.3/§17.3.2.8): текст печатается
* (AUDIT-FIX-2 в вендорном XSLT, до патча ловил catch-all);
* bidi-направление — принятая деградация.
*/
@@ -2413,7 +2476,8 @@ class WordPdfConverterTest {
/**
* Текст перемещённых правок ({@code w:moveFrom}/{@code w:moveTo},
* §17.13.5.15/.17) печатается (AUDIT-FIX-2): до патча терялся целиком.
* §17.13.5.21–.22/§17.13.5.25–.26) печатается (AUDIT-FIX-2): до патча
* терялся целиком.
*/
@Test
void movedRevision_textPrinted() throws IOException {
@@ -2618,29 +2682,147 @@ class WordPdfConverterTest {
}
/**
* OMML-формула (§22.1): на хосте с fontconfig рисуется вектором
* (jeuclid-fop) — чернила страницы с дробью a/b заметно плотнее чернил
* того же текста без формулы (замер аудита: +150 px при 150 dpi; текст
* формулы из PDF не извлекается). Без fontconfig (контейнерный рантайм,
* arm64-хост без /etc/fonts) JEuclid недоступен: формула обязана
* деградировать в текст (MathFallbackNormalizer), а не валить конвертацию
* InternalError'ом — чернил становится больше, чем у маркера.
* Формула внутри текстового бокса ({@code w:txbxContent}): обход
* {@code DrawingPreRenderer} в drawing-нагрузку не спускается, формула
* доходит до FO, а там docx4j без JEuclid штатно фолбэкает
* {@code XsltFOFunctions.mathText} — конвертация обязана пройти, текст
* бокса напечатан, падения FOP (нет MathML-рендера) нет. Регрессия —
* удаление jeuclid без sweep'а, 2026-11.
*/
@Test
void ommlMath_drawnAsVectors() throws IOException {
String marker = "<w:p><w:r><w:t>МАТЕМАРКЕР</w:t></w:r></w:p>";
String math = marker + "<w:p><m:oMath"
+ " xmlns:m=\"http://schemas.openxmlformats.org/officeDocument/2006/math\">"
void drawingTextBoxMath_convertsViaDocx4jTextFallback() throws IOException {
String body = "<w:p><w:r><w:drawing><wp:inline distT=\"0\" distB=\"0\" distL=\"0\" distR=\"0\">"
+ "<wp:extent cx=\"1000000\" cy=\"600000\"/><wp:docPr id=\"1\" name=\"b1\"/>"
+ "<a:graphic xmlns:a=\"http://schemas.openxmlformats.org/drawingml/2006/main\">"
+ "<a:graphicData uri=\"http://schemas.openxmlformats.org/drawingml/2006/wordprocessingShape\">"
+ "<wps:wsp xmlns:wps=\"http://schemas.microsoft.com/office/word/2010/wordprocessingShape\">"
+ "<wps:spPr><a:xfrm><a:off x=\"0\" y=\"0\"/>"
+ "<a:ext cx=\"1000000\" cy=\"600000\"/></a:xfrm>"
+ "<a:prstGeom prst=\"rect\"><a:avLst/></a:prstGeom></wps:spPr>"
+ "<wps:txbx><w:txbxContent><w:p><w:r><w:t>БОКС</w:t></w:r>"
+ "<m:oMath xmlns:m=\"http://schemas.openxmlformats.org/officeDocument/2006/math\">"
+ "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:oMath></w:p>";
int plainPx = countPixels(minimalDocx(marker), false);
int mathPx = countPixels(minimalDocx(math), false);
if (awtFontsAvailable()) {
assertTrue(mathPx - plainPx >= 100, "math=" + mathPx + " plain=" + plainPx);
} else {
assertTrue(mathPx > plainPx,
"формула не деградировала в текст: math=" + mathPx + " plain=" + plainPx);
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:oMath></w:p>"
+ "</w:txbxContent></wps:txbx></wps:wsp></a:graphicData></a:graphic></wp:inline>"
+ "</w:drawing></w:r></w:p>";
byte[] doc = docx("xmlns:w=\"" + W_NS + "\""
+ " xmlns:wp=\"http://schemas.openxmlformats.org/drawingml/2006/wordprocessingDrawing\"",
body, A4_SECT, null, null, null);
String t = norm(pdfText(convertPdf(doc, "тест")));
assertTrue(t.contains("БОКС"), t);
assertTrue(t.contains("ab"),
"docx4j-фолбэк обязан напечатать конкатенацию m:t формулы: " + t);
}
/**
* OMML-формула (§22.1) рисуется собственным растером (MathModel →
* MathRenderer в DrawingPreRenderer) и заменяется картинкой: inline
* {@code m:oMath} — на месте в абзаце, блок {@code m:oMathPara} —
* центрированным абзацем. Чернила формул — растровые XObject, символа
* формул в текстовом слое нет; поведение не зависит от fontconfig
* (jeuclid/AWT-шрифты в конвейере не участвуют). Регрессия —
* замена jeuclid-ветки на собственный рендер, 2026-11.
*/
@Test
void ommlMath_drawnAsRaster() throws IOException {
String mathNs = " xmlns:m=\"http://schemas.openxmlformats.org"
+ "/officeDocument/2006/math\"";
String frac = "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f>";
String body = "<w:p><w:r><w:t>МАТЕМАРКЕР</w:t></w:r>"
+ "<m:oMath" + mathNs + ">" + frac + "</m:oMath></w:p>"
+ "<m:oMathPara" + mathNs + "><m:oMath>" + frac
+ "</m:oMath></m:oMathPara>";
Path pdf = convertPdf(minimalDocx(body), "тест");
assertEquals(2, distinctImageCount(pdf),
"обе формулы (inline и display) обязаны стать растрами");
String t = norm(pdfText(pdf));
assertTrue(t.contains("МАТЕМАРКЕР"), t);
assertFalse(t.contains("a b") || t.contains("ab"),
"формула протекла в текстовый слой: " + t);
}
/**
* Inline-формула стоит на базовой линии строки, как в Word: FOP
* роняет нижний край инлайн-картинки на базовую линию, поэтому
* {@code DrawingPreRenderer} опускает ран с картинкой через
* {@code w:rPr/w:position} на её нижний запас (descent+PAD). Замер —
* попиксельно (144 dpi): чернила знаменателя без спуска (цифры)
* обязаны кончаться на строке базовой линии текста (±2 px). Без
* компенсации формула висела на ~3 pt выше базы. Регрессия —
* собственный рендер OMML, 2026-11.
*/
@Test
void ommlMathInline_sitsOnTextBaseline() throws IOException {
String body = "<w:p><w:r><w:t>ZZZ</w:t></w:r>"
+ "<m:oMath xmlns:m=\"http://schemas.openxmlformats.org"
+ "/officeDocument/2006/math\">"
+ "<m:f><m:num><m:r><m:t>7</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>1</m:t></m:r></m:den></m:f></m:oMath>"
+ "<w:r><w:t>YYY</w:t></w:r></w:p>";
Path pdf = convertPdf(minimalDocx(body), "тест");
final double[] baseY = {Double.NaN};
final double[] zEnd = {0};
final double[] yStart = {99999};
PDFTextStripper stripper = new PDFTextStripper() {
@Override
protected void writeString(String s,
List<org.apache.pdfbox.text.TextPosition> positions) {
for (org.apache.pdfbox.text.TextPosition tp : positions) {
if ("Z".equals(tp.getUnicode())) {
baseY[0] = tp.getYDirAdj();
zEnd[0] = Math.max(zEnd[0], tp.getXDirAdj() + tp.getWidth());
} else if ("Y".equals(tp.getUnicode())) {
yStart[0] = Math.min(yStart[0], tp.getXDirAdj());
}
}
}
};
float scale = 2f;
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
stripper.setStartPage(1);
stripper.setEndPage(1);
stripper.getText(doc);
java.awt.image.BufferedImage raster =
new PDFRenderer(doc).renderImage(0, scale);
int x0 = (int) (zEnd[0] * scale) + 2;
int x1 = (int) (yStart[0] * scale) - 2;
int baselineRow = (int) Math.round(baseY[0] * scale);
int inkBottom = -1;
final int inkMask = 0xFFFFFF;
final int inkMax = 0x808080;
for (int y = 0; y < raster.getHeight(); y++) {
for (int x = x0; x < x1; x++) {
if ((raster.getRGB(x, y) & inkMask) < inkMax) {
inkBottom = y;
break;
}
}
}
assertTrue(inkBottom > 0, "чернил формулы между ZZZ и YYY нет");
assertTrue(Math.abs(inkBottom - baselineRow) <= 2,
"низ чернил формулы row=" + inkBottom
+ " против базовой строки row=" + baselineRow);
}
}
/**
* Неизвестная math-конструкция (вне {@code MathModel.SUPPORTED}):
* MathFallbackNormalizer (правило 6) срезает блок в конкатенацию
* {@code m:t} ещё до загрузки docx4j — текст выводится (кириллица —
* бандлом, GlyphCoverage видит уже расплющенный ран), растра нет.
*/
@Test
void ommlUnsupported_degradesToText() throws IOException {
String body = "<w:p><m:oMath"
+ " xmlns:m=\"http://schemas.openxmlformats.org/officeDocument/2006/math\">"
+ "<m:fooBar><m:r><m:t>ФОРМУЛАДЕГРАД</m:t></m:r></m:fooBar>"
+ "</m:oMath></w:p>";
Path pdf = convertPdf(minimalDocx(body), "тест");
String t = norm(pdfText(pdf));
assertTrue(t.contains("ФОРМУЛАДЕГРАД"), t);
assertEquals(0, distinctImageCount(pdf),
"unsupported-формула не обязана давать растр");
}
/**
@@ -2732,7 +2914,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, 14); // ccpText
put32(wd, 80, 0); // ccpFtn
@@ -2815,6 +2998,13 @@ class WordPdfConverterTest {
return (FopFactory) f.get(null);
}
/** Обнуление общей FopFactory: следующий документ строит её заново (шов теста). */
private static void resetSharedFopFactory() throws Exception {
java.lang.reflect.Field f = WordPdfConverter.class.getDeclaredField("sharedFopFactory");
f.setAccessible(true);
f.set(null, null);
}
/** Размер внутренней {@code map} SoftMapCache (package-private поле). */
private static int softMapSize(Object cacheHolder, String field) throws Exception {
java.lang.reflect.Field f = cacheHolder.getClass().getDeclaredField(field);
@@ -908,8 +908,8 @@ class WordPdfValidatorTest {
* ({@code internal.doc}) бросает {@code ConversionException}, вердикт
* «вход некорректен» выносит только валидатор, оборачивая отказ в
* {@link WordPdfValidator#checkPageCountDoc(byte[], int)}. Синтетика:
* CFB-подпись + нули — sectorShift = 0, {@code CfbReader} отказывает
* до всякого разбора WordDocument-потока.
* CFB-подпись + нули — ByteOrder = 0x0000 ≠ 0xFFFE ([MS-CFB] §2.2),
* {@code CfbReader} отказывает до всякого разбора WordDocument-потока.
*/
@Test
void checkPageCountDoc_brokenBridge_wrappedAsValidation() {
@@ -919,7 +919,7 @@ class WordPdfValidatorTest {
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.checkPageCountDoc(bytes, 100));
assertSame(ValidationException.class, ex.getClass());
assertTrue(ex.getMessage().contains("Неподдерживаемый размер сектора CFB"),
assertTrue(ex.getMessage().contains("Неизвестный Byte Order контейнера .doc"),
ex.getMessage());
}
@@ -0,0 +1,71 @@
package ru.pjandro.wordpdf.fonts;
import org.docx4j.fonts.PhysicalFont;
import org.junit.jupiter.api.Test;
import java.lang.reflect.Field;
import java.util.HashMap;
import java.util.Map;
import static org.junit.jupiter.api.Assertions.*;
/**
* Таблица алиасов шрифтов (BundledFontAliases): прямое и обратное
* имя, fallback. Состояние «бандл не инициализирован» моделируется
* сохранением и восстановлением статического реестра BundledFonts.
*
* Класс намеренно не наследует BestMatchingMapper: обращение к его
* статикам не должно сканировать реестр шрифтов (см. javadoc класса).
*/
class BundledFontAliasesTest {
/** Выполнить body в состоянии «шрифты бандла не зарегистрированы», затем восстановить. */
private static void withoutBundledInit(Runnable body) throws Exception {
Field initedField = BundledFonts.class.getDeclaredField("inited");
initedField.setAccessible(true);
// VARIANTS package-private (тот же пакет) — снимок/очистка напрямую,
// типизированно, без reflection-каста.
Map<String, Map<String, PhysicalFont>> savedVariants = new HashMap<>(BundledFonts.VARIANTS);
boolean savedInited = initedField.getBoolean(null);
BundledFonts.VARIANTS.clear();
initedField.setBoolean(null, false);
try {
body.run();
} finally {
BundledFonts.VARIANTS.clear();
BundledFonts.VARIANTS.putAll(savedVariants);
initedField.setBoolean(null, savedInited);
}
}
/** Алиас + зарегистрированное семейство -> бандл-семейство (имя в любом регистре). */
@Test
void bundledFamilyKnownAliasMapsToBundle() {
BundledFonts.init();
assertEquals("carlito", BundledFontAliases.bundledFamily("Calibri"));
assertEquals("tinos", BundledFontAliases.bundledFamily("Times New Roman"));
assertEquals("dejavu sans", BundledFontAliases.bundledFamily("DejaVu Sans"));
}
/** Имени нет в таблице алиасов -> финальный fallback. */
@Test
void bundledFamilyUnknownFallsBack() {
BundledFonts.init();
assertEquals("dejavu sans", BundledFontAliases.bundledFamily("Zzz Not A Font"));
}
/** Алиас есть, но бандл не зарегистрирован (init() не вызван) -> fallback. */
@Test
void bundledFamilyWithoutInitFallsBack() throws Exception {
withoutBundledInit(() ->
assertEquals("dejavu sans", BundledFontAliases.bundledFamily("Calibri")));
}
/** Имя бандл-семейства для w:rFonts: отображаемое имя или само семейство. */
@Test
void documentFontNameMapsDisplayNames() {
assertEquals("DejaVu Sans", BundledFontAliases.documentFontName("dejavu sans"));
assertEquals("carlito", BundledFontAliases.documentFontName("carlito"),
"семейство без отображаемого имени возвращается как есть");
}
}
@@ -1,5 +1,6 @@
package ru.pjandro.wordpdf.fonts;
import org.docx4j.Docx4jProperties;
import org.docx4j.fonts.PhysicalFont;
import org.docx4j.wml.Fonts;
import org.junit.jupiter.api.Test;
@@ -20,6 +21,22 @@ import static org.junit.jupiter.api.Assertions.*;
*/
class BundledFontMapperTest {
/**
* Гейт сканов docx4j: тот же, что {@code WordPdfConverter.<clinit>}
* (строки 85–86). Тест грузит {@code BundledFontMapper} напрямую, а
* инициализация класса-подкласса по JLS тянет {@code <clinit>}
* {@code BestMatchingMapper} — без арминга скан прошёл бы ungated.
* Package-private: PMD UnusedPrivateField не видит побочных эффектов
* инициализации, обращение к полю не нужно ни одному тесту.
*/
static final boolean ARMED = arm();
private static boolean arm() {
Docx4jProperties.setProperty("docx4j.fonts.discoverPhysicalFonts.enabled", "false");
Docx4jProperties.setProperty("docx4j.fonts.discoverJarFonts.enabled", "false");
return true;
}
/** Тело теста, кидающее checked-исключение (populateFontMappings throws Exception). */
private interface TestBody {
void run() throws Exception;
@@ -44,29 +61,6 @@ class BundledFontMapperTest {
}
}
/** Алиас + зарегистрированное семейство -> бандл-семейство (имя в любом регистре). */
@Test
void bundledFamilyKnownAliasMapsToBundle() {
BundledFonts.init();
assertEquals("carlito", BundledFontMapper.bundledFamily("Calibri"));
assertEquals("tinos", BundledFontMapper.bundledFamily("Times New Roman"));
assertEquals("dejavu sans", BundledFontMapper.bundledFamily("DejaVu Sans"));
}
/** Имени нет в таблице алиасов -> финальный fallback. */
@Test
void bundledFamilyUnknownFallsBack() {
BundledFonts.init();
assertEquals("dejavu sans", BundledFontMapper.bundledFamily("Zzz Not A Font"));
}
/** Алиас есть, но бандл не зарегистрирован (init() не вызван) -> fallback. */
@Test
void bundledFamilyWithoutInitFallsBack() throws Exception {
withoutBundledInit(() ->
assertEquals("dejavu sans", BundledFontMapper.bundledFamily("Calibri")));
}
/**
* Имя документа == SYMBOL_FONT маппится сразу (до родительского поиска),
* алиасы — на бандл, нераспознанное — в fallback DejaVu Sans.
@@ -106,11 +100,30 @@ class BundledFontMapperTest {
});
}
/** Имя бандл-семейства для w:rFonts: отображаемое имя или само семейство. */
/**
* Варианты начертаний отдаются реальным sibling-файлом бандла, а не
* результатом registry-эвристики: на macOS без override
* {@code PhysicalFonts.getBoldForm} для «Carlito Regular» уходит в
* {@code MicrosoftFontsRegistry} (Mac-имя файла {@code null}) и возвращает
* {@code null} — на этой платформе тест красный. На Linux super тоже
* находит bold, поэтому сквозная регрессия macOS — конвертерные тесты
* {@code WordPdfConverterTest#strictOoxml_convertsNotRejected} и
* {@code #ruPlain_regularRunsUseRegularFont}, а этот фиксирует контракт
* маппера.
*/
@Test
void documentFontNameMapsDisplayNames() {
assertEquals("DejaVu Sans", BundledFontMapper.documentFontName("dejavu sans"));
assertEquals("carlito", BundledFontMapper.documentFontName("carlito"),
"семейство без отображаемого имени возвращается как есть");
void variantForms_resolveBundleSibling() {
BundledFonts.init();
BundledFontMapper mapper = new BundledFontMapper();
PhysicalFont regular = BundledFonts.regular("carlito");
assertSame(BundledFonts.bold("carlito"),
mapper.getBoldForm("Carlito Regular", regular), "bold-вариант");
assertSame(BundledFonts.italic("carlito"),
mapper.getItalicForm("Carlito Regular", regular), "italic-вариант");
assertSame(BundledFonts.boldItalic("carlito"),
mapper.getBoldItalicForm("Carlito Regular", regular), "bolditalic-вариант");
assertNull(mapper.getBoldForm("Unknown", null),
"путь super без physicalFont не должен падать");
}
}
@@ -52,6 +52,13 @@ class DocxOnOffNormalizerTest {
throw new AssertionError("нет записи " + name);
}
/** w:scrollbar — ST_FrameScrollbar (§17.18.32), on/off не переписывать. */
@Test
void scrollbarVal_onOffUntouched() {
String xml = "<w:framePr><w:scrollbar w:val=\"off\"/></w:framePr>";
assertNull(DocxOnOffNormalizer.rewrite(xml));
}
@Test
void rewritesOnOffInWordParts() throws Exception {
byte[] result = DocxOnOffNormalizer.normalize(makeDocx(DOCUMENT_XML));
@@ -126,4 +126,134 @@ class FopFallbackFontsTest {
Map.class.getMethod("putAll", Map.class).invoke(variants, savedVariants);
}
}
/** Запись fopconf «как docx4j»: один триплет + embed-url. */
private static void preRegister(Fonts fonts, String familyName, String style,
String weight, String embedUrl) {
ObjectFactory factory = new ObjectFactory();
Fonts.Font font = factory.createFontsFont();
font.setEmbedUrl(embedUrl);
Fonts.Font.FontTriplet triplet = factory.createFontsFontFontTriplet();
triplet.setName(familyName);
triplet.setStyle(style);
triplet.setWeight(weight);
font.getFontTriplet().add(triplet);
fonts.getFont().add(font);
}
/** Записи fopconf, несущие указанный триплет. */
private static List<Fonts.Font> fontsWithTriplet(Fonts fonts, String familyName,
String style, String weight) {
return fonts.getFont().stream()
.filter(f -> f.getFontTriplet().stream().anyMatch(t ->
familyName.equals(t.getName()) && style.equals(t.getStyle())
&& weight.equals(t.getWeight())))
.toList();
}
/** Число записей fopconf, несущих хоть один триплет семейства. */
private static int familyEntryCount(Fonts fonts, String familyName) {
return (int) fonts.getFont().stream()
.filter(f -> f.getFontTriplet().stream()
.anyMatch(t -> familyName.equals(t.getName())))
.count();
}
/** Embed-url реального TTF варианта fallback-семейства. */
private static String variantUrl(String variant) {
return BundledFonts.font(BundledFonts.FALLBACK_FAMILY, variant)
.getEmbeddedURI().toString();
}
/**
* docx4j задекларировал только использованное начертание (regular):
* declare обязан дополнить семейство недостающими реальными начертаниями,
* не дублируя уже вшитый regular. Регрессия частичной декларации
* fopconf, из-за которой общая FopFactory первого документа JVM
* замерзала без Carlito-Bold (macOS-падение ruPlain_regularRunsUseRegularFont).
*/
@Test
void declareWhenDocx4jDeclaredRegularOnly_addsMissingVariants() {
BundledFonts.init();
String family = declaredFamilyName();
Fonts pdfFonts = new ObjectFactory().createFonts();
preRegister(pdfFonts, family, "normal", "normal",
variantUrl(BundledFonts.V_REGULAR));
FopFallbackFonts.declare(settingsWith(renderer(MIME_PDF, pdfFonts)));
assertEquals(1, fontsWithTriplet(pdfFonts, family, "normal", "normal").size(),
"regular-запись задублировалась");
assertEquals(List.of(variantUrl(BundledFonts.V_BOLD)),
fontsWithTriplet(pdfFonts, family, "normal", "bold").stream()
.map(Fonts.Font::getEmbedUrl).toList(),
"bold-начертание не дополнено реальным TTF");
assertEquals(List.of(variantUrl(BundledFonts.V_ITALIC)),
fontsWithTriplet(pdfFonts, family, "italic", "normal").stream()
.map(Fonts.Font::getEmbedUrl).toList(),
"italic-начертание не дополнено реальным TTF");
assertEquals(List.of(variantUrl(BundledFonts.V_BOLD_ITALIC)),
fontsWithTriplet(pdfFonts, family, "italic", "bold").stream()
.map(Fonts.Font::getEmbedUrl).toList(),
"bolditalic-начертание не дополнено реальным TTF");
}
/**
* docx4j задекларировал все четыре триплета на одном regular-файле
* (simulate-style): триплет есть, но лицо ненастоящее — declare обязан
* добавить реальные TTF жирных/курсивных начертаний поверх.
*/
@Test
void declareWhenDocx4jDeclaredSimulatedStyle_addsRealFaces() {
BundledFonts.init();
String family = declaredFamilyName();
Fonts pdfFonts = new ObjectFactory().createFonts();
ObjectFactory factory = new ObjectFactory();
Fonts.Font simulated = factory.createFontsFont();
simulated.setSimulateStyle(true);
simulated.setEmbedUrl(variantUrl(BundledFonts.V_REGULAR));
String[][] triplets = {
{"normal", "normal"}, {"normal", "bold"},
{"italic", "normal"}, {"italic", "bold"},
};
for (String[] t : triplets) {
Fonts.Font.FontTriplet triplet = factory.createFontsFontFontTriplet();
triplet.setName(family);
triplet.setStyle(t[0]);
triplet.setWeight(t[1]);
simulated.getFontTriplet().add(triplet);
}
pdfFonts.getFont().add(simulated);
FopFallbackFonts.declare(settingsWith(renderer(MIME_PDF, pdfFonts)));
String[][] expected = {
{"normal", "normal", variantUrl(BundledFonts.V_REGULAR)},
{"normal", "bold", variantUrl(BundledFonts.V_BOLD)},
{"italic", "normal", variantUrl(BundledFonts.V_ITALIC)},
{"italic", "bold", variantUrl(BundledFonts.V_BOLD_ITALIC)},
};
for (String[] e : expected) {
assertTrue(fontsWithTriplet(pdfFonts, family, e[0], e[1]).stream()
.anyMatch(f -> e[2].equals(f.getEmbedUrl())),
"нет реальной записи " + e[0] + "/" + e[1] + " на " + e[2]);
}
}
/** Идемпотентность полноты: второй declare не плодит дублей семейства. */
@Test
void declareTwice_noDuplicates() {
BundledFonts.init();
String family = declaredFamilyName();
Fonts pdfFonts = new ObjectFactory().createFonts();
FopFallbackFonts.declare(settingsWith(renderer(MIME_PDF, pdfFonts)));
int afterFirst = familyEntryCount(pdfFonts, family);
FopFallbackFonts.declare(settingsWith(renderer(MIME_PDF, pdfFonts)));
int afterSecond = familyEntryCount(pdfFonts, family);
assertTrue(afterFirst >= 4, "после первого declare семейство неполное");
assertEquals(afterFirst, afterSecond,
"второй declare добавил дубли записей семейства");
}
}
@@ -15,6 +15,7 @@ import java.util.zip.ZipOutputStream;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertFalse;
import static org.junit.jupiter.api.Assertions.assertNotNull;
import static org.junit.jupiter.api.Assertions.assertNotSame;
import static org.junit.jupiter.api.Assertions.assertNull;
import static org.junit.jupiter.api.Assertions.assertSame;
@@ -23,7 +24,7 @@ import static org.junit.jupiter.api.Assertions.assertTrue;
/**
* Юниты {@link HiddenTextNormalizer}: вырезание ранов с truthy
* {@code w:vanish} (прямой и стилевой по цепочке {@code w:basedOn},
* Part 1 §17.3.2.30 / §17.18.69).
* Part 1 §17.3.2.41; ST_OnOff §22.9.2.7).
*/
class HiddenTextNormalizerTest {
@@ -48,7 +49,23 @@ class HiddenTextNormalizerTest {
assertTrue(fixed.contains("ВИДИМОЕ"), fixed);
}
/** val="false" — ран остаётся (ST_OnOff §17.18.69). */
/** Явный val="false" перекрывает стилевой vanish — ран остаётся (§17.7.3). */
@Test
void directFalseOverridesStyleVanish_kept() {
String xml = para(run("<w:rStyle w:val=\"Hidden\"/><w:vanish w:val=\"false\"/>", "ЯВНО"));
assertNull(HiddenTextNormalizer.rewrite(Set.of("Hidden"), xml));
}
/** Стилевой vanish без прямого перекрытия — ран вырезан (контроль пары). */
@Test
void styleVanishWithoutDirect_removed() {
String xml = para(run("<w:rStyle w:val=\"Hidden\"/>", "СКРЫТО"));
String fixed = HiddenTextNormalizer.rewrite(Set.of("Hidden"), xml);
assertNotNull(fixed, "ран должен быть вырезан");
assertFalse(fixed.contains("СКРЫТО"), fixed);
}
/** val="false" — ран остаётся (ST_OnOff §22.9.2.7). */
@Test
void vanishValFalse_kept() {
String xml = para(run("<w:vanish w:val=\"false\"/>", "НЕТАЙНОЕ"));
@@ -4,56 +4,168 @@ import org.junit.jupiter.api.Test;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertFalse;
import static org.junit.jupiter.api.Assertions.assertNotNull;
import static org.junit.jupiter.api.Assertions.assertNull;
import static org.junit.jupiter.api.Assertions.assertTrue;
/** Юниты правила 11: OMML → текст без fontconfig (MathFallbackNormalizer). */
/**
* Юниты правила 6: unsupported-формулы OMML → текст (MathFallbackNormalizer).
* Скан namespace-aware: чужие префиксы не триггерят, unsupported-имя в
* math-namespace — срезает весь блок в конкатенацию {@code m:t}.
*/
class MathFallbackNormalizerTest {
private static final String M_NS =
"http://schemas.openxmlformats.org/officeDocument/2006/math";
private static final String W_NS =
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
private static final String ROOT = "<w:document xmlns:w=\"" + W_NS
+ "\" xmlns:m=\"" + M_NS + "\"><w:body>";
/** Unsupported-имя в math-namespace — блок целиком становится раном. */
@Test
void flatten_inlineMath_becomesRunWithText() {
String xml = "<w:p><w:r><w:t>ДО</w:t></w:r><m:oMath xmlns:m=\"" + M_NS + "\">"
+ "<m:r><m:t>x</m:t></m:r><m:sSup><m:e><m:r><m:t>y</m:t></m:r></m:e>"
+ "<m:sup><m:r><m:t>2</m:t></m:r></m:sup></m:sSup></m:oMath>"
+ "<w:r><w:t>ПОСЛЕ</w:t></w:r></w:p>";
assertEquals("<w:p><w:r><w:t>ДО</w:t></w:r>"
+ "<w:r><w:t xml:space=\"preserve\">xy2</w:t></w:r>"
+ "<w:r><w:t>ПОСЛЕ</w:t></w:r></w:p>",
MathFallbackNormalizer.flatten(xml));
void unsupportedMathTag_flattensToText() {
String xml = ROOT + "<w:p><m:oMath><m:fooBar/>"
+ "<m:r><m:t>a/b</m:t></m:r></m:oMath></w:p></w:body></w:document>";
String out = MathFallbackNormalizer.rewrite(xml);
assertEquals(ROOT + "<w:p><w:r><w:t xml:space=\"preserve\">a/b</w:t></w:r>"
+ "</w:p></w:body></w:document>", out);
}
/**
* Боевой XML начинается с {@code <?xml ...?>}: карта root-ных xmlns
* обязана браться с фактического корневого элемента, а {@code w:rPr}/
* {@code w:rFonts} внутри math-рана — чужой namespace, не unsupported.
* Иначе пустая карта консервативно срезала бы каждую Word-формулу.
*/
@Test
void flatten_mathPara_removedBeforeInline() {
String xml = "<w:p><m:oMathPara xmlns:m=\"" + M_NS + "\"><m:oMath>"
+ "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f>"
+ "</m:oMath></m:oMathPara></w:p>";
String out = MathFallbackNormalizer.flatten(xml);
assertEquals("<w:p><w:r><w:t xml:space=\"preserve\">ab</w:t></w:r></w:p>", out);
assertFalse(out.contains("m:oMath"), out);
void xmlPrologueAndWmlRPrInMath_unchanged() {
String xml = "<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<w:document xmlns:w=\"" + W_NS + "\" xmlns:m=\"" + M_NS + "\">"
+ "<w:body><w:p><m:oMath><m:r><w:rPr><w:rFonts w:ascii=\"Cambria\"/>"
+ "<w:sz w:val=\"22\"/></w:rPr><m:t>a</m:t></m:r></m:oMath></w:p>"
+ "</w:body></w:document>";
assertNull(MathFallbackNormalizer.rewrite(xml));
}
/** Поддерживаемая конструкция (дробь) — массив не меняется (null). */
@Test
void flatten_selfClosingMath_removed() {
assertEquals("ДОПОСЛЕ",
MathFallbackNormalizer.flatten("ДО<m:oMath/>ПОСЛЕ"));
void supportedMath_unchanged() {
String xml = ROOT + "<w:p><m:oMath><m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:oMath></w:p>"
+ "</w:body></w:document>";
assertNull(MathFallbackNormalizer.rewrite(xml));
}
/** Неизвестный тег ЧУЖОГО namespace внутри формулы — не unsupported. */
@Test
void flatten_emptyMath_removed() {
assertEquals("ДОПОСЛЕ",
MathFallbackNormalizer.flatten("ДО<m:oMath></m:oMath>ПОСЛЕ"));
void foreignNamespaceIgnored() {
String xml = ROOT + "<w:p><m:oMath><w:someWmlForeign/><m:r><m:t>x</m:t></m:r>"
+ "</m:oMath></w:p></w:body></w:document>";
assertNull(MathFallbackNormalizer.rewrite(xml));
}
/** {@code m:oMathPara} с unsupported внутри — срезается весь блок, каркас сбалансирован. */
@Test
void flatten_noMath_returnsNull() {
assertNull(MathFallbackNormalizer.flatten("<w:r><w:t>ТЕКСТ</w:t></w:r>"));
void mathParaBlockReplacedWhole() {
String xml = ROOT + "<m:oMathPara><m:oMath><m:nope/><m:r><m:t>X</m:t></m:r>"
+ "</m:oMath></m:oMathPara>";
String out = MathFallbackNormalizer.rewrite(xml);
assertEquals(ROOT + "<w:r><w:t xml:space=\"preserve\">X</w:t></w:r>", out);
assertFalse(out.contains("oMath"), "каркас формулы остался: " + out);
}
/** Самозакрывающийся пустой блок формул — supported, без изменений. */
@Test
void rewrite_noMath_returnsNullWithoutProbe() {
assertNull(MathFallbackNormalizer.rewrite("<w:r><w:t>ТЕКСТ</w:t></w:r>"));
void selfClosingEmpty_unchanged() {
String xml = ROOT + "<m:oMathPara/><w:p><m:oMath/></w:p></w:body></w:document>";
assertNull(MathFallbackNormalizer.rewrite(xml));
}
/** Inline-формула перед unsupported-пара — блок inline не «склеивается» с парой. */
@Test
void inlineAndParaBlocksIndependent() {
String xml = ROOT + "<w:p><m:oMath><m:r><m:t>OK</m:t></m:r></m:oMath></w:p>"
+ "<m:oMathPara><m:oMath><m:bad/></m:oMath></m:oMathPara>";
String out = MathFallbackNormalizer.rewrite(xml);
assertTrue(out.contains("<m:oMath><m:r><m:t>OK</m:t></m:r></m:oMath>"),
"supported inline-формула не должна была меняться: " + out);
assertFalse(out.contains("m:bad"), out);
assertFalse(out.contains("oMathPara"), out);
}
/** Без объявленных xmlns вообще — консервативно: unknown имя режет блок. */
@Test
void noNamespaceMap_conservativeFlatten() {
String xml = "ДО<m:oMath><m:weird/></m:oMath>ПОСЛЕ";
String out = MathFallbackNormalizer.rewrite(xml);
assertEquals("ДОПОСЛЕ", out, "пустая формула удаляется без следа");
}
/** Формул нет / формула без префикса math — {@code null} (тот же массив). */
@Test
void noMathBlocks_null() {
assertNull(MathFallbackNormalizer.rewrite(
"<w:r xmlns:w=\"" + W_NS + "\"><w:t>ТЕКСТ</w:t></w:r>"));
assertNull(MathFallbackNormalizer.rewrite("<doc><oMath/>мусор</doc>"));
}
/** Переопределение {@code xmlns:m} на чужой URI внутри блока — не формула. */
@Test
void blockLocalNamespaceOverride_skipped() {
String xml = ROOT + "<w:p><q:oMath xmlns:q=\"urn:custom\">"
+ "<q:whatever/><q:t>x</q:t></q:oMath></w:p></w:body></w:document>";
assertNull(MathFallbackNormalizer.rewrite(xml));
}
/**
* Битый каркас (незакрытый тег, нет закрывающего {@code </m:oMath...>})
* — скан останавливается без изменений: чинять XML — дело валидатора.
*/
@Test
void brokenFrames_stopScan() {
assertNull(MathFallbackNormalizer.rewrite(ROOT + "<w:p><m:oMath"));
assertNull(MathFallbackNormalizer.rewrite(
ROOT + "<w:p><m:oMath><m:fooBar/></w:p></w:body></w:document>"));
assertNull(MathFallbackNormalizer.rewrite(
ROOT + "<m:oMathPara><m:oMath><m:bad/>"));
}
/** tagEnd кавычки-осведомлён: {@code >}/кавычки внутри значения атрибута тег не заканчивают. */
@Test
void quoteAwareTagEnd_flattens() {
String out = MathFallbackNormalizer.rewrite(ROOT
+ "<w:p><m:oMath><m:bad m:val=\"a>'b\"/>"
+ "<m:r><m:t>Q</m:t></m:r></m:oMath></w:p></w:body></w:document>");
assertNotNull(out, "символ > в кавычках ошибочно закончил тег");
assertTrue(out.contains(">Q<") && !out.contains("m:bad"), out);
}
/**
* Незакрытые пролог-объявления (PI/комментарий/DOCTYPE) — карта xmlns
* пустая, консервативный срез (как в {@link #noNamespaceMap_conservativeFlatten});
* закрытые варианты — обычный путь.
*/
@Test
void unterminatedPrologues_conservativeFlatten() {
assertTrue(MathFallbackNormalizer.rewrite(
"<?xml<m:oMath><m:bad/><m:r><m:t>Т</m:t></m:r></m:oMath>")
.contains(">Т<"), "блок не срезан");
assertTrue(MathFallbackNormalizer.rewrite(
"<!-- p<m:oMath><m:bad/><m:r><m:t>ТК</m:t></m:r></m:oMath>")
.contains(">ТК<"), "блок не срезан");
assertTrue(MathFallbackNormalizer.rewrite(
"<!D<m:oMath><m:bad/><m:r><m:t>ТЕ</m:t></m:r></m:oMath>")
.contains(">ТЕ<"), "блок не срезан");
assertTrue(MathFallbackNormalizer.rewrite(
"<!-- c --><!D d><m:oMath><m:bad/><m:r><m:t>Ы</m:t></m:r></m:oMath>")
.contains(">Ы<"), "блок не срезан");
}
/** Пробелы перед {@code />} самозакрывающегося блока — габарит-петля не сбивает self-closing. */
@Test
void whitespaceBeforeSelfClosing_unchanged() {
assertNull(MathFallbackNormalizer.rewrite(
ROOT + "<w:p><m:oMath /></w:p></w:body></w:document>"));
}
}
@@ -1,7 +1,7 @@
package ru.pjandro.wordpdf.internal;
import org.junit.jupiter.api.Test;
import ru.pjandro.wordpdf.DrawingFoundException;
import ru.pjandro.wordpdf.OleFoundException;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
@@ -197,10 +197,9 @@ class OleObjectNormalizerTest {
}
@Test
void errorOnOleThrowsDrawingFound() throws Exception {
DrawingFoundException ex = assertThrows(DrawingFoundException.class,
void errorOnOleThrowsOleFound() throws Exception {
assertThrows(OleFoundException.class,
() -> OleObjectNormalizer.normalize(referencedDocx(), true));
assertEquals(DrawingFoundException.Kind.OLE, ex.kind());
}
@Test
@@ -668,9 +667,8 @@ class OleObjectNormalizerTest {
m.put("word/document.xml",
utf8("x".repeat(8188) + "<w:object>" + "</w:object>"));
DrawingFoundException ex = assertThrows(DrawingFoundException.class,
assertThrows(OleFoundException.class,
() -> OleObjectNormalizer.normalize(zip(m), true));
assertEquals(DrawingFoundException.Kind.OLE, ex.kind());
}
/** errorOnOle и только w:object-разметка (без bin-части) — документ отвергается. */
@@ -683,9 +681,8 @@ class OleObjectNormalizerTest {
m.put("word/_rels/document.xml.rels", utf8(DOCRELS_OLE_AND_IMAGE));
m.put("word/media/fallback.png", PNG);
DrawingFoundException ex = assertThrows(DrawingFoundException.class,
assertThrows(OleFoundException.class,
() -> OleObjectNormalizer.normalize(zip(m), true));
assertEquals(DrawingFoundException.Kind.OLE, ex.kind());
}
/** doc из переданных блоков w:object (все ссылаются на rId1/rId2 из DOCRELS_OLE_AND_IMAGE). */
@@ -17,9 +17,9 @@ import static org.junit.jupiter.api.Assertions.assertSame;
import static org.junit.jupiter.api.Assertions.assertTrue;
/**
* Юниты правила 10: разворот {@code w:rubyBase}/{@code w:rubyBaseText},
* вырезание {@code w:rt}/{@code w:rubyPr}/{@code w:rubyAlign}
* (Part 1 §17.3.3.18/.19/.20/.21).
* Юниты правила 10: разворот {@code w:rubyBase}, снятие обёртки
* {@code w:ruby}, вырезание {@code w:rt}/{@code w:rubyPr}/{@code w:rubyAlign}
* (Part 1 §17.3.3.24–.28).
*/
class RubyNormalizerTest {
@@ -35,11 +35,15 @@ class RubyNormalizerTest {
assertEquals("<w:r><w:t>Б</w:t></w:r>", RubyNormalizer.rewrite(xml));
}
/** Схемно-валидная разметка: обёртка {@code w:ruby} снимается, база разворачивается. */
@Test
void rubyBaseText_unwrapped() {
String xml = "<w:rubyBase><w:rubyBaseText><w:r><w:t>Т</w:t></w:r></w:rubyBaseText>"
+ "</w:rubyBase>";
assertEquals("<w:r><w:t>Т</w:t></w:r>", RubyNormalizer.rewrite(xml));
void validRuby_wrapperStripped() {
String xml = "<w:r><w:ruby><w:rubyPr/><w:rt><w:r><w:t>А</w:t></w:r></w:rt>"
+ "<w:rubyBase><w:r><w:t>Б</w:t></w:r></w:rubyBase></w:ruby></w:r>";
String out = RubyNormalizer.rewrite(xml);
assertFalse(out.contains("<w:ruby"), out);
assertFalse(out.contains("А"), out);
assertEquals("<w:r><w:r><w:t>Б</w:t></w:r></w:r>", out);
}
@Test
@@ -263,7 +263,7 @@ class StrictOoxmlNormalizerTest {
}
/**
* w:pgNumType/@w:start — старт нумерации страниц (Part 1 §17.13.7),
* w:pgNumType/@w:start — старт нумерации страниц (Part 1 §17.6.12),
* одинаков в strict и transitional — атрибутому renaming не подлежит
* (раньше превращался в w:left, и сброс нумерации терялся — регрессия
* WordPdfConverterTest#docClassD_pageNumberRestartLowerRoman).
@@ -317,7 +317,8 @@ class StrictOoxmlNormalizerTest {
assertTrue(r.contains("<w:jc w:val=\"left\"/>"), r);
}
/** А w:tab val="start" правится всегда: STTabJc docx4j 17.3.2 — только left/right. */
/** А w:tab val="start" правится всегда: enum STTabJc docx4j 17.3.2 — без
* start/end (спека ST_TabJc §17.18.84 их содержит, JAXB-enum не принимает). */
@Test
void tabStartRenamedTransitional() {
String r = StrictOoxmlNormalizer.rewrite(
@@ -283,26 +283,43 @@ class SymbolFontNormalizerTest {
* слот без маппинга — элемент удаляется, соседний текст сохраняется. */
@Test
void unresolvableSymElementDropped() {
// без w:char — элемент невалиден, удаляется
String noChar = SymbolFontNormalizer.rewrite(
"<w:r><w:t>a</w:t><w:sym w:font=\"Symbol\"/></w:r>");
assertNotNull(noChar);
assertFalse(noChar.contains("<w:sym"), "неразрешимый w:sym остался: " + noChar);
assertFalse(noChar.contains("<w:sym"), "w:sym без w:char остался: " + noChar);
assertTrue(noChar.contains("<w:t>a</w:t>"), "текст потерян: " + noChar);
// валидный w:sym без шрифта/мапа — сохраняется verbatim (§17.3.3.30)
String noFontNoMap = SymbolFontNormalizer.rewrite(
"<w:r><w:t>a</w:t><w:sym w:char=\"F0A9\"/></w:r>");
assertNotNull(noFontNoMap);
assertFalse(noFontNoMap.contains("<w:sym"), "w:sym без шрифта остался: " + noFontNoMap);
String asciiChar = SymbolFontNormalizer.rewrite(
"<w:r><w:t>a</w:t><w:sym w:font=\"Symbol\" w:char=\"0041\"/></w:r>");
assertNotNull(asciiChar);
assertFalse(asciiChar.contains("<w:sym"), "w:sym с кодом вне PUA остался: " + asciiChar);
assertTrue(noFontNoMap.contains("<w:sym w:char=\"F0A9\"/>"),
"валидный w:sym удалён: " + noFontNoMap);
// слот 0 таблицы (нет соответствия) — тоже сохраняется
String unmappedChar = SymbolFontNormalizer.rewrite(
"<w:r><w:t>a</w:t><w:sym w:font=\"Symbol\" w:char=\"F000\"/></w:r>");
assertNotNull(unmappedChar);
assertFalse(unmappedChar.contains("<w:sym"), "w:sym без маппинга остался: " + unmappedChar);
assertTrue(unmappedChar.contains("<w:sym"),
"w:sym без маппинга удалён: " + unmappedChar);
// прямой код ≤0xFF — маппится по той же cmap (§17.3.3.30)
String asciiChar = SymbolFontNormalizer.rewrite(
"<w:r><w:t>a</w:t><w:sym w:font=\"Symbol\" w:char=\"0041\"/></w:r>");
assertNotNull(asciiChar);
assertFalse(asciiChar.contains("<w:sym"), "w:sym с прямым кодом не заменён: " + asciiChar);
}
/** Прямой код w:sym="0041" в Symbol = слот 65 cmap = U+0391 (Word-семантика). */
@Test
void directCode_mappedLikeWord() {
String out = SymbolFontNormalizer.rewrite(
"<w:r><w:sym w:font=\"Symbol\" w:char=\"0041\"/></w:r>");
assertNotNull(out);
assertTrue(out.contains("\u0391"), "нет Α (U+0391): " + out);
assertTrue(out.contains("DejaVu Sans"), out);
assertFalse(out.contains("<w:sym"), out);
}
/** w:sym не самозакрывающийся — под regex не попадает, ран не трогаем. */
@@ -52,6 +52,40 @@ class TableIndentNormalizerTest {
assertFalse(fixed.contains("<w:jc"), "jc удалён: " + fixed);
}
/** Парный (не самозакрывающийся) tblInd — свёртка пропускается целиком. */
@Test
void pairedIndent_foldSkipped() {
String xml = doc(table("<w:jc w:val=\"center\"/>"
+ "<w:tblInd w:w=\"720\" w:type=\"dxa\"></w:tblInd>", GRID_6000));
assertNull(TableIndentNormalizer.rewrite(xml),
"парный tblInd: вставка дала бы дубль (maxOccurs=1) — не трогаем");
}
/** tblInd без w:type — по умолчанию dxa (§17.4.87): (9922−6000)/2+720 = 2681. */
@Test
void centerWithIndentNoType_treatedAsDxa() {
String xml = doc(table("<w:jc w:val=\"center\"/>"
+ "<w:tblInd w:w=\"720\"/>", GRID_6000));
String fixed = TableIndentNormalizer.rewrite(xml);
assertTrue(fixed != null && fixed.contains("<w:tblInd w:w=\"2681\""), String.valueOf(fixed));
}
/** Явный w:type="pct" — величина сдвига неизвестна, свёртку пропускаем. */
@Test
void indentExplicitPctType_skipped() {
String xml = doc(table("<w:jc w:val=\"center\"/>"
+ "<w:tblInd w:w=\"720\" w:type=\"pct\"/>", GRID_6000));
assertNull(TableIndentNormalizer.rewrite(xml));
}
/** tblInd без w:w — величина неизвестна, свёртку пропускаем. */
@Test
void indentWithoutWidth_skipped() {
String xml = doc(table("<w:jc w:val=\"center\"/>"
+ "<w:tblInd w:type=\"dxa\"/>", GRID_6000));
assertNull(TableIndentNormalizer.rewrite(xml));
}
/** right + tblInd 720: (9922−6000)+720 = 4642. */
@Test
void rightWithIndent_rewritten() {
@@ -256,16 +290,6 @@ class TableIndentNormalizerTest {
"собственная полоса 9922, не внешний band: " + fixed);
}
/** strict-pgMar (w:start/w:end) — band считается, а не берётся из дефолтов. */
@Test
void bandOf_strictStartEndFields() {
String xml = "<w:document xmlns:w=\"http://purl.oclc.org/ooxml/wordprocessingml/main\">"
+ "<w:body><w:sectPr><w:pgSz w:w=\"11906\" w:h=\"16838\"/>"
+ "<w:pgMar w:top=\"1134\" w:end=\"850\" w:bottom=\"1134\" w:start=\"1134\"/>"
+ "</w:sectPr></w:body></w:document>";
assertEquals(9922, TableIndentNormalizer.bandOf(xml));
}
/** bandOf: несколько body-level sectPr — полоса неоднозначна (−1). */
@Test
void bandOf_ambiguous_returnsMinusOne() {
@@ -0,0 +1,540 @@
package ru.pjandro.wordpdf.internal.chart;
import jakarta.xml.bind.JAXBElement;
import org.docx4j.math.CTOMath;
import org.docx4j.openpackaging.packages.WordprocessingMLPackage;
import org.junit.jupiter.api.Test;
import ru.pjandro.wordpdf.fonts.BundledFonts;
import ru.pjandro.wordpdf.fonts.GlyphFont;
import javax.xml.namespace.QName;
import java.awt.Color;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.List;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertNotNull;
import static org.junit.jupiter.api.Assertions.assertNull;
import static org.junit.jupiter.api.Assertions.assertThrows;
import static org.junit.jupiter.api.Assertions.assertTrue;
/**
* Разбор OMML в боксы и растеризация (MathModel/MathRenderer) на
* синтетическом docx (ZipOutputStream из литеральных XML — идеома модуля)
* и синтетических JAXB-элементах.
*/
class MathModelTest {
private static final String M_NS =
"http://schemas.openxmlformats.org/officeDocument/2006/math";
private static final String W_NS =
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
/** Дробь a/b внутри inline-формулы. */
private static final String FRAC = "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f>";
// ------------------------------------------------------------------
// Метрики и растер дроби
// ------------------------------------------------------------------
/** Дробь: ненулевые метрики; растер — с чернилами и минимумом габарита. */
@Test
void fraction_measuresAndRenders() throws IOException {
CTOMath math = firstMath(mathDocx("<w:p><m:oMath xmlns:m=\"" + M_NS + "\">"
+ FRAC + "</m:oMath></w:p>"));
MathModel.Box box = MathModel.build(math, false);
assertTrue(box.width > 0, "нулевая ширина дроби");
assertTrue(box.ascent > 0, "нулевой подъём дроби");
assertTrue(box.descent > 0, "нулевой спуск дроби");
MathRenderer.MathImage img = MathRenderer.render(box);
assertNotNull(img.image(), "пустой растр при неразрешённой дроби");
assertTrue(img.widthPt() >= MathRenderer.MIN_WIDTH_PT, "ширина ниже минимума");
assertTrue(img.heightPt() >= MathRenderer.MIN_HEIGHT_PT, "высота ниже минимума");
assertTrue(hasInk(img.image()), "растр дроби без единого непрозрачного пикселя");
}
/** Конкатенация {@code m:t} (контракт деградации): num+den без разделителя. */
@Test
void mathText_collectsNestedRuns() throws IOException {
CTOMath math = firstMath(mathDocx("<w:p><m:oMath xmlns:m=\"" + M_NS + "\">"
+ FRAC + "</m:oMath></w:p>"));
assertEquals("ab", MathModel.mathText(math));
}
/** Пустая формула: {@code image == null}, габариты нулевые (вызывающий удалит блок). */
@Test
void emptyMath_rendersNullImage() throws IOException {
CTOMath math = firstMath(mathDocx("<w:p><m:oMath xmlns:m=\"" + M_NS + "\">"
+ "</m:oMath></w:p>"));
MathRenderer.MathImage img = MathRenderer.render(MathModel.build(math, false));
assertNull(img.image(), "пустая формула не обязана рисоваться");
assertEquals(0, img.widthPt(), 0.0001);
assertEquals(0, img.heightPt(), 0.0001);
}
/** Надстрочный индекс добавляет ширину и не режет верх базы (подъём ≥ базы). */
@Test
void superscript_addsScriptWidth() throws IOException {
CTOMath math = firstMath(mathDocx("<w:p><m:oMath xmlns:m=\"" + M_NS + "\">"
+ "<m:sSup><m:e><m:r><m:t>x</m:t></m:r></m:e>"
+ "<m:sup><m:r><m:t>2</m:t></m:r></m:sup></m:sSup></m:oMath></w:p>"));
MathModel.Box sup = MathModel.build(math, false);
GlyphFont plain = GlyphFont.of(BundledFonts.FALLBACK_FAMILY, BundledFonts.V_REGULAR);
MathModel.Box run = new MathModel.RunBox("x", plain,
MathModel.DEFAULT_SIZE_PT, Color.BLACK);
assertTrue(sup.width > run.width,
"индекс не добавил ширины: " + sup.width + " <= " + run.width);
assertTrue(sup.ascent >= run.ascent,
"индекс срезал верх базы: " + sup.ascent + " < " + run.ascent);
}
/**
* Канва растра обязана вмещать пределы (undOvr-пределы nary и стопку
* sPre) целиком: метрики бокса равны габариту paint, поэтому чернила
* не касаются верхней/нижней границы канвы (PAD-отступ снаружи).
* До пересчёта метрик ascent/descent NaryBox/PreScriptBox не учитывали
* полную высоту пределов — чернила резались по краю канвы (тот же
* зелёный «есть чернила», но подрезанный растер). Регрессия — 2026-11.
*/
@Test
void limits_notClippedByCanvas() throws IOException {
String nary = "<m:nary><m:naryPr><m:chr m:val=\"∑\"/>"
+ "<m:limLoc m:val=\"undOvr\"/></m:naryPr>"
+ "<m:sub><m:r><m:t>abc</m:t></m:r></m:sub>"
+ "<m:sup><m:r><m:t>def</m:t></m:r></m:sup>"
+ "<m:e><m:r><m:t>x</m:t></m:r></m:e></m:nary>";
String pre = "<m:sPre><m:e><m:r><m:t>B</m:t></m:r></m:e>"
+ "<m:sub><m:r><m:t>i+j</m:t></m:r></m:sub>"
+ "<m:sup><m:r><m:t>m-n</m:t></m:r></m:sup></m:sPre>";
for (String xmlBody : new String[] {nary, pre}) {
CTOMath math = firstMath(mathDocx("<w:p><m:oMath xmlns:m=\"" + M_NS + "\">"
+ xmlBody + "</m:oMath></w:p>"));
MathRenderer.MathImage img = MathRenderer.render(MathModel.build(math, false));
assertNotNull(img.image(), "пустой растр");
java.awt.image.BufferedImage raster = img.image();
int h = raster.getHeight();
assertTrue(!rowInk(raster, 0) && !rowInk(raster, 1)
&& !rowInk(raster, h - 1) && !rowInk(raster, h - 2),
"чернила пределов обрезаны краем канвы (h=" + h + ")");
}
}
/** Есть ли непрозрачный пиксель в строке растра. */
private static boolean rowInk(java.awt.image.BufferedImage img, int y) {
for (int x = 0; x < img.getWidth(); x++) {
if ((img.getRGB(x, y) >>> 24) != 0) {
return true;
}
}
return false;
}
/**
* Свойства конструкций (§22.1.2): нестандартные значения идут теми же
* ветками диспетчера, что и документ-образец — bot-позиции bar/groupChr,
* произвольные m:chr, пустой m:chr, show=on у phantom, явный тип дроби,
* begChr/endChr/sepChr разделителя (в т.ч. разделитель между аргументами),
* degHide радикала, chr/limLoc=subSup у nary, rPr ранa (m:sty, w:sz,
* w:color валидный/битый, w:rFonts, m:t без значения), limLow с пустым
* lim, малый разделитель без масштабирования скобок.
*/
@Test
void propertyVariants_render() throws IOException {
assertRendered("<m:bar><m:barPr><m:pos m:val=\"bot\"/></m:barPr>"
+ "<m:e><m:r><m:t>x</m:t></m:r></m:e></m:bar>");
assertRendered("<m:acc><m:accPr><m:chr m:val=\"~\"/></m:accPr>"
+ "<m:e><m:r><m:t>y</m:t></m:r></m:e></m:acc>");
assertRendered("<m:groupChr><m:groupChrPr><m:chr m:val=\"⏝\"/>"
+ "<m:pos m:val=\"bot\"/></m:groupChrPr>"
+ "<m:e><m:r><m:t>abc</m:t></m:r></m:e></m:groupChr>");
assertRendered("<m:groupChr><m:groupChrPr><m:chr m:val=\"\"/></m:groupChrPr>"
+ "<m:e><m:r><m:t>de</m:t></m:r></m:e></m:groupChr>");
assertRendered("<m:groupChr><m:groupChrPr><m:chr m:val=\"&#xE123;\"/></m:groupChrPr>"
+ "<m:e><m:r><m:t>fg</m:t></m:r></m:e></m:groupChr>");
assertRendered("<m:phant><m:phantPr><m:show m:val=\"on\"/></m:phantPr>"
+ "<m:e><m:r><m:t>z</m:t></m:r></m:e></m:phant>");
assertRendered("<m:f><m:fPr><m:type m:val=\"bar\"/></m:fPr>"
+ "<m:num><m:r><m:t>a</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f>");
assertRendered("<m:d><m:dPr><m:begChr m:val=\"[\"/><m:endChr m:val=\"]\"/>"
+ "<m:sepChr m:val=\";\"/></m:dPr>"
+ "<m:e><m:r><m:t>a</m:t></m:r></m:e>"
+ "<m:e><m:r><m:t>b</m:t></m:r></m:e></m:d>");
assertRendered("<m:d><m:e><m:r><m:t>q</m:t></m:r></m:e></m:d>");
assertRendered("<m:d><m:e><m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:e></m:d>");
assertRendered("<m:rad><m:radPr><m:degHide m:val=\"on\"/></m:radPr><m:deg/>"
+ "<m:e><m:r><m:t>x</m:t></m:r></m:e></m:rad>");
assertRendered("<m:nary><m:naryPr><m:chr m:val=\"∮\"/>"
+ "<m:limLoc m:val=\"subSup\"/></m:naryPr>"
+ "<m:sub><m:r><m:t>0</m:t></m:r></m:sub>"
+ "<m:sup><m:r><m:t>1</m:t></m:r></m:sup>"
+ "<m:e><m:r><m:t>f</m:t></m:r></m:e></m:nary>");
assertRendered("<m:limLow><m:lim/><m:e><m:r><m:t>u</m:t></m:r></m:e></m:limLow>");
assertRendered("<m:limLow><m:lim><m:r><m:t>n→∞</m:t></m:r></m:lim>"
+ "<m:e><m:r><m:t>a</m:t></m:r></m:e></m:limLow>");
assertRendered("<m:r><m:rPr><m:sty m:val=\"p\"/></m:rPr>"
+ "<w:rPr><w:sz w:val=\"20\"/><w:color w:val=\"#FF0000\"/>"
+ "<w:rFonts w:ascii=\"Arial\"/></w:rPr>"
+ "<m:t>Q</m:t></m:r>");
assertRendered("<m:r><w:rPr><w:color w:val=\"#GG\"/></w:rPr>"
+ "<m:t>R</m:t></m:r>");
assertRendered("<m:r><w:rPr><w:color w:val=\"#GGHHII\"/></w:rPr>"
+ "<m:t>R2</m:t></m:r>");
assertRendered("<m:r><m:t></m:t></m:r><m:r><m:t>S</m:t></m:r>");
// val-пустые свойства — дефолтные цепочки (атрибут без m:val/w:val)
assertRendered("<m:acc><m:accPr><m:chr/></m:accPr>"
+ "<m:e><m:r><m:t>x</m:t></m:r></m:e></m:acc>");
assertRendered("<m:groupChr><m:groupChrPr><m:chr/><m:pos/></m:groupChrPr>"
+ "<m:e><m:r><m:t>yz</m:t></m:r></m:e></m:groupChr>");
assertRendered("<m:bar><m:barPr><m:pos/></m:barPr>"
+ "<m:e><m:r><m:t>u</m:t></m:r></m:e></m:bar>");
assertRendered("<m:nary><m:naryPr><m:chr/><m:limLoc/></m:naryPr>"
+ "<m:sub><m:r><m:t>0</m:t></m:r></m:sub><m:sup/>"
+ "<m:e><m:r><m:t>g</m:t></m:r></m:e></m:nary>");
assertRendered("<m:d><m:dPr><m:begChr/><m:endChr/><m:sepChr/></m:dPr>"
+ "<m:e><m:r><m:t>a</m:t></m:r></m:e>"
+ "<m:e><m:r><m:t>b</m:t></m:r></m:e></m:d>");
assertRendered("<m:f><m:fPr><m:type/></m:fPr>"
+ "<m:num><m:r><m:t>a</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f>");
assertRendered("<m:r><w:rPr><w:sz/><w:color/></w:rPr>"
+ "<m:t>Z</m:t></m:r>");
assertRendered("<m:r><w:rPr><w:rFonts w:ascii=\"\"/></w:rPr>"
+ "<m:t>W</m:t></m:r>");
assertRendered("<m:rad><m:deg/><m:e><m:r><m:t>x</m:t></m:r></m:e></m:rad>");
}
/** {@code w:br} внутри math-рана — unsupported (деградация в текст, не PD-падение). */
@Test
void brInMathRun_unsupported() throws IOException {
CTOMath math = firstMath(mathDocx("<w:p><m:oMath xmlns:m=\"" + M_NS + "\">"
+ "<m:r><w:br/><m:t>x</m:t></m:r></m:oMath></w:p>"));
assertThrows(MathUnsupportedException.class, () -> MathModel.build(math, false));
}
// ------------------------------------------------------------------
// Unsupported и безопасная сеть
// ------------------------------------------------------------------
/** Неизвестный math-элемент — {@link MathUnsupportedException} (не падение PDF). */
@Test
void unsupportedElement_throws() {
CTOMath math = new CTOMath();
math.getEGOMathElements().add(new JAXBElement<>(
new QName(M_NS, "fooBar"), String.class, "any"));
MathUnsupportedException e = assertThrows(MathUnsupportedException.class,
() -> MathModel.build(math, false));
assertTrue(e.getMessage().contains("fooBar"), e.getMessage());
}
// ------------------------------------------------------------------
// Охват всех поддерживаемых конструкций (метки веток диспетчера)
// ------------------------------------------------------------------
/** Конструкция разобрана и отрисована (с чернилами), ширина ненулевая. */
private static void assertRendered(String inlineMath) throws IOException {
CTOMath math = firstMath(mathDocx("<w:p><m:oMath xmlns:m=\"" + M_NS + "\">"
+ inlineMath + "</m:oMath></w:p>"));
MathModel.Box box = MathModel.build(math, false);
MathRenderer.MathImage img = MathRenderer.render(box);
assertNotNull(img.image(), "нет растера: " + inlineMath);
assertTrue(hasInk(img.image()), "растр без чернил: " + inlineMath);
}
/** Скобки: свой набор символов, разнеситель, пустые скобки, рост под контентом. */
@Test
void delimiters_bracketsSeparatorsGrowth() throws IOException {
assertRendered("<m:d><m:dPr><m:begChr m:val=\"[\"/><m:endChr m:val=\"]\"/>"
+ "<m:sepChr m:val=\"/\"/></m:dPr>"
+ "<m:e><m:r><m:t>a</m:t></m:r></m:e>"
+ "<m:e><m:r><m:t>b</m:t></m:r></m:e></m:d>");
assertRendered("<m:d><m:dPr><m:begChr m:val=\"\"/><m:endChr m:val=\"\"/></m:dPr>"
+ "<m:e><m:r><m:t>x</m:t></m:r></m:e></m:d>");
// высокая дробь внутри — глиф скобки растягивается (k > 1)
assertRendered("<m:d><m:e>" + FRAC + "</m:e></m:d>");
}
/** Радикал: со степенью, без степени (degHide), под корнем — дробь (растяжение). */
@Test
void radicals_degreeDegHideTallContent() throws IOException {
assertRendered("<m:rad><m:deg><m:r><m:t>3</m:t></m:r></m:deg>"
+ "<m:e><m:r><m:t>x</m:t></m:r></m:e></m:rad>");
assertRendered("<m:rad><m:radPr><m:degHide m:val=\"on\"/></m:radPr><m:deg/>"
+ "<m:e>" + FRAC + "</m:e></m:rad>");
}
/** N-арный оператор: пределы над/под, subSup-форма, subHide/supHide, свой символ. */
@Test
void nary_limitsFormsHidingChar() throws IOException {
assertRendered("<m:nary><m:naryPr><m:chr m:val=\"∫\"/>"
+ "<m:limLoc m:val=\"undOvr\"/><m:subHide m:val=\"on\"/></m:naryPr>"
+ "<m:sub/><m:sup><m:r><m:t>∞</m:t></m:r></m:sup>"
+ "<m:e><m:r><m:t>f</m:t></m:r></m:e></m:nary>");
assertRendered("<m:nary><m:naryPr><m:limLoc m:val=\"subSup\"/></m:naryPr>"
+ "<m:sub><m:r><m:t>i</m:t></m:r></m:sub>"
+ "<m:sup><m:r><m:t>n</m:t></m:r></m:sup>"
+ "<m:e><m:r><m:t>a</m:t></m:r></m:e></m:nary>");
assertRendered("<m:nary><m:naryPr><m:supHide m:val=\"on\"/></m:naryPr>"
+ "<m:sub><m:r><m:t>1</m:t></m:r></m:sub><m:sup/>"
+ "<m:e><m:r><m:t>u</m:t></m:r></m:e></m:nary>");
}
/** Функция и пределы limLow/limUpp. */
@Test
void funcAndLimits_render() throws IOException {
assertRendered("<m:func><m:fName><m:r><m:rPr><m:sty m:val=\"p\"/></m:rPr>"
+ "<m:t>sin</m:t></m:r></m:fName>"
+ "<m:e><m:r><m:t>x</m:t></m:r></m:e></m:func>");
assertRendered("<m:limLow><m:e><m:r><m:rPr><m:sty m:val=\"p\"/></m:rPr>"
+ "<m:t>lim</m:t></m:r></m:e>"
+ "<m:lim><m:r><m:t>x→0</m:t></m:r></m:lim></m:limLow>");
assertRendered("<m:limUpp><m:e><m:r><m:rPr><m:sty m:val=\"p\"/></m:rPr>"
+ "<m:t>max</m:t></m:r></m:e>"
+ "<m:lim><m:r><m:t>S</m:t></m:r></m:lim></m:limUpp>");
}
/** Черта сверху/снизу, акцент (символ по умолчанию и явный). */
@Test
void barAndAccent_render() throws IOException {
assertRendered("<m:bar><m:e><m:r><m:t>x</m:t></m:r></m:e></m:bar>");
assertRendered("<m:bar><m:barPr><m:pos m:val=\"bot\"/></m:barPr>"
+ "<m:e><m:r><m:t>y</m:t></m:r></m:e></m:bar>");
assertRendered("<m:acc><m:e><m:r><m:t>a</m:t></m:r></m:e></m:acc>");
assertRendered("<m:acc><m:accPr><m:chr m:val=\"~\"/></m:accPr>"
+ "<m:e><m:r><m:t>b</m:t></m:r></m:e></m:acc>");
}
/** Групповая скобка: низ/верх, дефолтный ⏞ и глиф вне бандла (fits=false). */
@Test
void groupChr_positionsAndGlyphFallback() throws IOException {
assertRendered("<m:groupChr><m:groupChrPr><m:chr m:val=\"_\"/>"
+ "<m:pos m:val=\"bot\"/></m:groupChrPr>"
+ "<m:e><m:r><m:t>abc</m:t></m:r></m:e></m:groupChr>");
assertRendered("<m:groupChr><m:groupChrPr><m:chr m:val=\"﹏\"/></m:groupChrPr>"
+ "<m:e><m:r><m:t>def</m:t></m:r></m:e></m:groupChr>");
assertRendered("<m:groupChr><m:e><m:r><m:t>ghi</m:t></m:r></m:e></m:groupChr>");
}
/** Матрица (сетка), пустая матрица, eqArr. */
@Test
void matrixAndEqArr_render() throws IOException {
CTOMath matrix = firstMath(mathDocx("<w:p><m:oMath xmlns:m=\"" + M_NS + "\">"
+ "<m:m><m:mr><m:e><m:r><m:t>1</m:t></m:r></m:e>"
+ "<m:e><m:r><m:t>2</m:t></m:r></m:e></m:mr>"
+ "<m:mr><m:e><m:r><m:t>3</m:t></m:r></m:e>"
+ "<m:e><m:r><m:t>4</m:t></m:r></m:e></m:mr></m:m></m:oMath></w:p>"));
MathModel.Box grid = MathModel.build(matrix, false);
MathRenderer.MathImage img = MathRenderer.render(grid);
assertTrue(grid.width > 0 && hasInk(img.image()), "матрица не отрисована");
CTOMath emptyMatrix = firstMath(mathDocx("<w:p><m:oMath xmlns:m=\"" + M_NS + "\">"
+ "<m:m/></m:oMath></w:p>"));
assertEquals(0, MathModel.build(emptyMatrix, false).width, 0.0001,
"пустая матрица обязана иметь нулевую ширину");
assertRendered("<m:eqArr><m:e><m:r><m:t>a</m:t></m:r></m:e>"
+ "<m:e><m:r><m:t>b</m:t></m:r></m:e></m:eqArr>");
}
/** m:box: контент боксируется без рамки. */
@Test
void box_rendersContent() throws IOException {
assertRendered("<m:box><m:e><m:r><m:t>bb</m:t></m:r></m:e></m:box>");
}
/** m:phant: невидим, но место занимает; {@code show=on} — обычный контент. */
@Test
void phantom_invisibleSpacingShowVisible() throws IOException {
CTOMath phant = firstMath(mathDocx("<w:p><m:oMath xmlns:m=\"" + M_NS + "\">"
+ "<m:r><m:t>x</m:t></m:r>"
+ "<m:phant><m:e><m:r><m:t>WWWWWWWWWW</m:t></m:r></m:e></m:phant>"
+ "</m:oMath></w:p>"));
MathModel.Box with = MathModel.build(phant, false);
CTOMath bare = firstMath(mathDocx("<w:p><m:oMath xmlns:m=\"" + M_NS + "\">"
+ "<m:r><m:t>x</m:t></m:r></m:oMath></w:p>"));
MathModel.Box without = MathModel.build(bare, false);
assertTrue(with.width > without.width,
"phant не занял место: " + with.width + " <= " + without.width);
MathRenderer.MathImage img = MathRenderer.render(with);
assertNotNull(img.image(), "phant не обязан падать");
CTOMath shown = firstMath(mathDocx("<w:p><m:oMath xmlns:m=\"" + M_NS + "\">"
+ "<m:phant><m:phantPr><m:show m:val=\"on\"/></m:phantPr>"
+ "<m:e><m:r><m:t>WWWWWWWWWW</m:t></m:r></m:e></m:phant></m:oMath></w:p>"));
assertTrue(hasInk(MathRenderer.render(MathModel.build(shown, false)).image()),
"show=on обязан рисовать содержимое");
}
/** Типы дроби: bar явный, skw/lin/noBar — через слэш. */
@Test
void fractionTypes_render() throws IOException {
for (String type : List.of("bar", "skw", "lin", "noBar")) {
assertRendered("<m:f><m:fPr><m:type m:val=\"" + type + "\"/></m:fPr>"
+ "<m:num><m:r><m:t>n</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>d</m:t></m:r></m:den></m:f>");
}
}
/** display-режим: дефолт дроби — bar, дефолт nary — пределы над/под. */
@Test
void displayMode_defaultsBarFractionAndNaryLimits() throws IOException {
CTOMath math = firstMath(mathDocx("<w:p><m:oMath xmlns:m=\"" + M_NS + "\">"
+ FRAC + "<m:nary><m:sub><m:r><m:t>1</m:t></m:r></m:sub><m:sup/>"
+ "<m:e><m:r><m:t>a</m:t></m:r></m:e></m:nary></m:oMath></w:p>"));
MathModel.Box box = MathModel.build(math, true);
assertTrue(box.width > 0 && box.ascent > 0 && box.descent > 0);
assertTrue(hasInk(MathRenderer.render(box).image()), "display-формула без чернил");
}
/** sPre / sSubSup / sSub. */
@Test
void scriptForms_render() throws IOException {
assertRendered("<m:sPre><m:e><m:r><m:t>B</m:t></m:r></m:e>"
+ "<m:sub><m:r><m:t>i</m:t></m:r></m:sub>"
+ "<m:sup><m:r><m:t>n</m:t></m:r></m:sup></m:sPre>");
assertRendered("<m:sSubSup><m:e><m:r><m:t>x</m:t></m:r></m:e>"
+ "<m:sub><m:r><m:t>i</m:t></m:r></m:sub>"
+ "<m:sup><m:r><m:t>2</m:t></m:r></m:sup></m:sSubSup>");
assertRendered("<m:sSub><m:e><m:r><m:t>y</m:t></m:r></m:e>"
+ "<m:sub><m:r><m:t>j</m:t></m:r></m:sub></m:sSub>");
}
/** Начертания и оформление рана: sty=b/i/bi, цвет, кегль, переменная-кириллица. */
@Test
void runStyles_render() throws IOException {
assertRendered("<m:r><m:rPr><m:sty m:val=\"b\"/></m:rPr>"
+ "<m:t>B</m:t></m:r>");
assertRendered("<m:r><m:rPr><m:sty m:val=\"i\"/></m:rPr>"
+ "<m:t>i</m:t></m:r>");
assertRendered("<m:r><m:rPr><m:sty m:val=\"bi\"/></m:rPr>"
+ "<w:rPr xmlns:w=\"" + W_NS + "\"><w:sz w:val=\"32\"/>"
+ "<w:color w:val=\"FF0000\"/></w:rPr>"
+ "<m:t>Q</m:t></m:r>");
assertRendered("<m:r><m:t>абв</m:t></m:r>");
}
/** Перенос внутри math-рана — unsupported (текстовая деградация на интеграции). */
@Test
void runWithBreak_unsupported() throws IOException {
CTOMath math = firstMath(mathDocx("<w:p><m:oMath xmlns:m=\"" + M_NS + "\">"
+ "<m:r><m:t>a</m:t><w:br xmlns:w=\"" + W_NS + "\"/><m:t>b</m:t></m:r>"
+ "</m:oMath></w:p>"));
assertThrows(MathUnsupportedException.class, () -> MathModel.build(math, false));
}
/** Контент-узел не JAXBElement — unsupported (защита диспетчера). */
@Test
void rawObjectContent_unsupported() {
CTOMath math = new CTOMath();
math.getEGOMathElements().add("не узел");
assertThrows(MathUnsupportedException.class, () -> MathModel.build(math, false));
}
/**
* Текст извлекается из произвольного каркаса (в т.ч. неизвестных узлов):
* docx4j при unmarshal неизвестный m:*-элемент теряет, поэтому «сеть»
* проверяется синтетическим деревом — та же форма, что оставляет
* байтовый скан перед flatten.
*/
@Test
void unsupportedElement_textStillCollects() {
CTOMath math = new CTOMath();
org.docx4j.math.CTText t = new org.docx4j.math.CTText();
t.setValue("СЕТЬ");
math.getEGOMathElements().add(new JAXBElement<>(
new QName(M_NS, "fooBar"), Object.class, t));
assertEquals("СЕТЬ", MathModel.mathText(math));
}
// ------------------------------------------------------------------
// Каркас
// ------------------------------------------------------------------
/** docx с телом, содержащим формулу; оMath ищется в дереве после загрузки. */
private static byte[] mathDocx(String bodyXml) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
putZip(zos, "[Content_Types].xml",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
+ "<Override PartName=\"/word/document.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml\"/>"
+ "</Types>");
putZip(zos, "_rels/.rels",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
+ "<Relationship Id=\"rId1\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/officeDocument\" Target=\"word/document.xml\"/>"
+ "</Relationships>");
putZip(zos, "word/document.xml",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<w:document xmlns:w=\"" + W_NS + "\"><w:body>"
+ bodyXml
+ "<w:sectPr><w:pgSz w:w=\"11906\" w:h=\"16838\"/></w:sectPr>"
+ "</w:body></w:document>");
}
return out.toByteArray();
}
private static void putZip(ZipOutputStream zos, String name, String xml)
throws IOException {
zos.putNextEntry(new ZipEntry(name));
zos.write(xml.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
}
/** Первый {@code m:oMath} дерева документа (формулы лежат в content-списках). */
private static CTOMath firstMath(byte[] docx) throws IOException {
try {
WordprocessingMLPackage pkg =
WordprocessingMLPackage.load(new ByteArrayInputStream(docx));
CTOMath found = findMath(
pkg.getMainDocumentPart().getJaxbElement().getBody().getContent());
assertNotNull(found, "oMath не найден в дереве docx4j");
return found;
} catch (org.docx4j.openpackaging.exceptions.Docx4JException e) {
throw new IOException(e);
}
}
private static CTOMath findMath(List<?> content) {
for (Object o : content) {
Object v = o instanceof JAXBElement<?> el ? el.getValue() : o;
if (v instanceof CTOMath m) {
return m;
}
if (v instanceof org.docx4j.wml.Body b) {
CTOMath m = findMath(b.getContent());
if (m != null) {
return m;
}
}
if (v instanceof org.docx4j.wml.P p) {
CTOMath m = findMath(p.getContent());
if (m != null) {
return m;
}
}
}
return null;
}
/** Есть ли в ARGB-растре непрозрачный пиксель. */
private static boolean hasInk(java.awt.image.BufferedImage img) {
for (int y = 0; y < img.getHeight(); y++) {
for (int x = 0; x < img.getWidth(); x++) {
if ((img.getRGB(x, y) >>> 24) > 0) {
return true;
}
}
}
return false;
}
}
@@ -47,6 +47,10 @@ class PresetGeometryTest {
private static final int DEPTH_BLOCK = 2;
private static final int DEPTH_SECTION = 3;
private static final String GUIDE_ELEMENT = "gd";
private static final String PATH_LIST_SECTION = "pathLst";
private static final String POINT_ELEMENT = "pt";
@Test
void tableMatchesEcmaXml() throws Exception {
Map<String, PresetGeometry.Preset> fromXml = parseEcmaXml();
@@ -196,14 +200,14 @@ class PresetGeometryTest {
case "avLst", "gdLst", "pathLst" -> ln;
default -> null;
};
} else if (block != null && "gd".equals(ln) && section != null) {
} else if (block != null && GUIDE_ELEMENT.equals(ln) && section != null) {
String entry = r.getAttributeValue(null, "name") + " "
+ r.getAttributeValue(null, "fmla");
switch (section) {
case "avLst" -> av.add(entry);
default -> gd.add(entry);
}
} else if (block != null && "pathLst".equals(section)) {
} else if (block != null && PATH_LIST_SECTION.equals(section)) {
switch (ln) {
case "moveTo", "lnTo" -> {
String[] pt = readPt(r);
@@ -241,7 +245,7 @@ class PresetGeometryTest {
private static String[] readPt(XMLStreamReader r) throws Exception {
while (r.hasNext()) {
if (r.next() == XMLStreamConstants.START_ELEMENT
&& "pt".equals(r.getLocalName())) {
&& POINT_ELEMENT.equals(r.getLocalName())) {
String[] attrs = {
r.getAttributeValue(null, "x"),
r.getAttributeValue(null, "y"),
@@ -249,7 +253,7 @@ class PresetGeometryTest {
boolean closed = false;
while (!closed) {
closed = r.next() == XMLStreamConstants.END_ELEMENT
&& "pt".equals(r.getLocalName());
&& POINT_ELEMENT.equals(r.getLocalName());
}
return attrs;
}
@@ -43,7 +43,7 @@ class CfbReaderTest {
// mini stream + MiniFAT
ByteArrayOutputStream mini = new ByteArrayOutputStream();
int[] miniHead = new int[small.size()];
int[] miniFat = new int[64];
int[] miniFat = new int[128]; // один сектор MiniFAT: до 128 mini-секторов
for (int i = 0; i < miniFat.length; i++) {
miniFat[i] = (int) FREE;
}
@@ -62,16 +62,21 @@ class CfbReaderTest {
miniSects += n;
}
boolean hasMini = !small.isEmpty();
// mini stream занимает ceil(size/512) FAT-секторов — root-цепочка
int rootSects = hasMini ? Math.max(1, (mini.size() + SECTOR - 1) / SECTOR) : 0;
int miniStart = hasMini ? 3 : -1;
int bigStart = hasMini ? 3 + miniSects : 2;
int[] fat = new int[128];
int bigStart = hasMini ? 3 + rootSects : 2;
int[] fat = new int[Math.max(128, bigStart)];
for (int i = 0; i < fat.length; i++) {
fat[i] = (int) FREE;
}
fat[0] = (int) FATSECT;
fat[1] = (int) END;
if (hasMini) {
fat[2] = (int) END;
fat[2] = (int) END; // один сектор MiniFAT
for (int k = 0; k < rootSects; k++) {
fat[miniStart + k] = k == rootSects - 1 ? (int) END : miniStart + k + 1;
}
}
int next = bigStart;
int[] bigHead = new int[big.size()];
@@ -89,6 +94,7 @@ class CfbReaderTest {
byte[] file = new byte[SECTOR * (1 + sectorTotal)];
// заголовок (§2.2)
System.arraycopy(CfbReader.SIGNATURE, 0, file, 0, 8);
put16(file, 0x1C, 0xFFFE); // byteOrder (MUST, §2.2)
put16(file, 0x1E, 9); // sectorShift
put16(file, 0x20, 6); // miniSectorShift
put32(file, 0x30, 1); // firstDir
@@ -110,12 +116,9 @@ class CfbReaderTest {
for (int i = 0; i < specs.length; i++) {
Spec s = specs[i];
boolean smallOne = s.data().length < 4096;
int idx = -1;
for (int k = 0; k < (smallOne ? small : big).size(); k++) {
if ((smallOne ? small : big).get(k) == s) {
idx = k;
}
}
// Spec — record с byte[]: equals сравнивает массив по ссылке, indexOf
// находит ровно тот же экземпляр, что добавлялся в small/big.
int idx = (smallOne ? small : big).indexOf(s);
dirEntry(file, 1, 1 + i, s.name(), 2,
smallOne ? miniHead[idx] : bigHead[idx], s.data().length);
}
@@ -185,12 +188,44 @@ class CfbReaderTest {
() -> CfbReader.readStreams(badSector));
assertSame(ConversionException.class, ex.getClass());
byte[] badMini = build();
put16(badMini, 0x20, 17); // mini shift за потолком
put16(badMini, 0x20, 17); // mini shift ≠ 6 (§2.2 MUST)
ex = assertThrows(ConversionException.class,
() -> CfbReader.readStreams(badMini));
assertSame(ConversionException.class, ex.getClass());
}
/**
* MUST-поля заголовка ([MS-CFB] §2.2): ByteOrder 0xFFFE, Mini Sector
* Shift 6, Mini Stream Cutoff 0x1000 — неравенство даёт отказ вместо
* разбора мусора.
*/
@Test
void mustHeaderFields_rejected() {
byte[] badOrder = build();
put16(badOrder, 0x1C, 0x00FF);
assertThrows(ConversionException.class, () -> CfbReader.readStreams(badOrder));
byte[] badMini5 = build();
put16(badMini5, 0x20, 5); // раньше проходил («под потолком 16»)
assertThrows(ConversionException.class, () -> CfbReader.readStreams(badMini5));
byte[] badCutoff = build();
put32(badCutoff, 0x38, 512);
assertThrows(ConversionException.class, () -> CfbReader.readStreams(badCutoff));
}
/**
* Бюджет аллокаций учитывает только big-потоки: данные всех mini-потоков
* физически лежат внутри rootSize (§2.1/§2.4 — mini stream), двойной
* учёт мини-контейнера раньше отвергал валидный контейнер из одних
* мелких потоков («Суммарный размер потоков … больше лимита»).
*/
@Test
void allMiniStreams_notFalseRejected() {
byte[] f = build(new Spec("A", new byte[4000]), new Spec("B", new byte[4000]));
Map<String, byte[]> streams = CfbReader.readStreams(f);
assertEquals(4000, streams.get("A").length);
assertEquals(4000, streams.get("B").length);
}
/**
* OOM-атака .doc: объявленный размер root-потока (mini stream) больше
* контейнера — отказ ДО аллокации (первая строка readChain —
@@ -263,6 +298,15 @@ class CfbReaderTest {
assertSame(ConversionException.class, ex.getClass());
}
@Test
void difatSectorFarBeyondFile_rejected() {
byte[] file = build(new Spec("WordDocument", "abc".getBytes()));
put32(file, 0x4C, 0x400000); // (0x400000+1)·512 > Integer.MAX_VALUE
ConversionException ex = assertThrows(ConversionException.class,
() -> CfbReader.readStreams(file));
assertTrue(ex.getMessage().contains("за концом файла"), ex.getMessage());
}
@Test
void difatTooManyFatSectors_rejected() {
byte[] file = build();
@@ -307,6 +351,7 @@ class CfbReaderTest {
ConversionException ex = assertThrows(ConversionException.class,
() -> CfbReader.readStreams(file));
assertSame(ConversionException.class, ex.getClass());
assertTrue(ex.getMessage().contains("за концом FAT"), ex.getMessage());
}
@Test
@@ -385,6 +430,7 @@ class CfbReaderTest {
ConversionException ex = assertThrows(ConversionException.class,
() -> CfbReader.readStreams(file));
assertSame(ConversionException.class, ex.getClass());
assertTrue(ex.getMessage().contains("за концом FAT"), ex.getMessage());
}
private static void put16(byte[] b, int off, int v) {
@@ -62,6 +62,17 @@ class ChpxIndexTest {
ex = assertThrows(ConversionException.class,
() -> ChpxIndex.read(t, 0, t.length + 1, wd)); // за таблицей
assertSame(ConversionException.class, ex.getClass());
ex = assertThrows(ConversionException.class,
() -> ChpxIndex.read(t, -4, 12, wd)); // отрицательный fcBte
assertSame(ConversionException.class, ex.getClass());
}
/** fc раньше первого диапазона — свойства не найдены, граница = fcLimit. */
@Test
void fcBeforeFirstRange_defaults() {
ChpxIndex idx = ChpxIndex.read(table(2), 0, 12, wordDocument(5, 3, GRPRL));
assertArrayEquals(new byte[0], idx.grpprlFor(1024));
assertEquals(999, idx.rangeEnd(1024, 999));
}
@Test
@@ -95,9 +106,12 @@ class ChpxIndexTest {
+ "WordPdfConverterTest#docClassD_landscapeHiddenDelCaps)");
byte[] cbZero = wordDocument(5, 0, GRPRL);
assertArrayEquals(new byte[0],
ChpxIndex.read(table(2), 0, 12, cbZero).grpprlFor(2048),
ChpxIndex cbZeroIdx = ChpxIndex.read(table(2), 0, 12, cbZero);
assertArrayEquals(new byte[0], cbZeroIdx.grpprlFor(2048),
"cb=0 — свойств нет");
assertEquals(2100, cbZeroIdx.rangeEnd(2048, Long.MAX_VALUE >>> 1),
"Chpx с cb=0 (§2.9.33 «there is no Chpx») — граница диапазона "
+ "валидна и сохраняется");
}
@Test
@@ -58,7 +58,8 @@ class DocToDocxFormattingTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9); // fWhichTblStm → 1Table
put16(wd, 62, 4); // cslw
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length); // cbMac
put32(wd, 76, TEXT.length()); // ccpText
put16(wd, 152, 98); // cbRgFcLcb
@@ -377,7 +378,7 @@ class DocToDocxFormattingTest {
}
private static byte[] cfb(boolean use1Table, boolean withTable) throws IOException {
POIFSFileSystem fs = new POIFSFileSystem();
try (POIFSFileSystem fs = new POIFSFileSystem()) {
byte[] wd = wordDocument();
if (!use1Table) {
wd[11] &= ~0x02; // fWhichTblStm (бит 9 u16) → 0Table
@@ -390,9 +391,103 @@ class DocToDocxFormattingTest {
fs.getRoot().createDocument("Data", new ByteArrayInputStream(new byte[64]));
ByteArrayOutputStream out = new ByteArrayOutputStream();
fs.writeFilesystem(out);
fs.close();
return out.toByteArray();
}
}
/**
* WordDocument для двухbucket'ного PlcBtePapx (§2.8.6): страница 3 —
* только p1..p8 (rgfc кончается на 2138 = начало p9), p9 «jc80» — на
* странице 5 (rgfc [2138, 2148), тот же grpprl 80-отступов); границы
* bucket'ов [2048, 2140) + [2140, 2148) — aFc[1] внутри p9. Пары Fib и
* раскладка 1Table сдвинуты ({@link #tableStreamTwoBuckets()}).
*/
private static byte[] wordDocumentTwoBuckets() {
byte[] wd = java.util.Arrays.copyOf(wordDocument(), 3072); // pn=5 свободен
put32(wd, 64, wd.length); // cbMac
pair(wd, 1, 190, STSH.length);
pair(wd, 13, 32, 20); // PlcfBtePapx: 2 bucket'а
pair(wd, 15, 52, 110); // SttbfFfn (+8)
pair(wd, 33, 168, 21); // Clx (+8)
// страница 3: обрезаем p9 — cpara=8, rgfc[8]=2138 остаётся концом,
// массив BxPap сдвигается на (8+1)*4
wd[3 * 512 + 511] = 8;
int[] bx8 = {87, 94, 0, 103, 106, 112, 117, 186};
for (int i = 0; i < bx8.length; i++) {
wd[3 * 512 + 36 + i * 13] = (byte) bx8[i];
}
// страница 5: p9 [2138, 2148) с grpprl 80-отступов (как p9 на стр.3)
int page = 5 * 512;
put32(wd, page, 2138);
put32(wd, page + 4, 2148);
wd[page + 8] = 40; // rgbx[0].bOffset
wd[page + 511] = 1; // cpara
papxEntry(wd, page, 40, 0,
concat(prl(0x2403, 4), prl2(0x840F, 600), prl2(0x8411, -240)));
return wd;
}
/** 1Table для {@link #wordDocumentTwoBuckets()}: PlcBtePapx из 2 bucket'ов. */
private static byte[] tableStreamTwoBuckets() {
byte[] t = new byte[190 + STSH.length];
put32(t, 0, 0);
put32(t, 4, TEXT.length());
put32(t, 20, TEXT_FC);
put32(t, 24, TEXT_FC + 100);
put32(t, 28, 2);
// PlcfBtePapx @32: bucket'ы [2048,2140)→pn3, [2140,2148)→pn5
put32(t, 32, 2048);
put32(t, 36, 2140);
put32(t, 40, 2148);
put32(t, 44, 3);
put32(t, 48, 5);
// SttbfFfn @52: Arial, T&imes (вторая запись: 56+1+cch₁=108)
t[52] = 2;
t[56] = 51;
byte[] arial = "Arial\0".getBytes(StandardCharsets.UTF_16LE);
System.arraycopy(arial, 0, t, 96, arial.length);
t[108] = 53;
byte[] times = "T&imes\0".getBytes(StandardCharsets.UTF_16LE);
System.arraycopy(times, 0, t, 148, times.length);
// Clx @168: Pcdt, один несжатый кусок
t[168] = 0x02;
put32(t, 169, 16);
put32(t, 173, 0);
put32(t, 177, TEXT.length());
put32(t, 183, TEXT_FC);
System.arraycopy(STSH, 0, t, 190, STSH.length);
return t;
}
private static byte[] cfbTwoBuckets() throws IOException {
try (POIFSFileSystem fs = new POIFSFileSystem()) {
fs.getRoot().createDocument("WordDocument",
new ByteArrayInputStream(wordDocumentTwoBuckets()));
fs.getRoot().createDocument("1Table",
new ByteArrayInputStream(tableStreamTwoBuckets()));
fs.getRoot().createDocument("Data", new ByteArrayInputStream(new byte[64]));
ByteArrayOutputStream out = new ByteArrayOutputStream();
fs.writeFilesystem(out);
return out.toByteArray();
}
}
/**
* Регрессия 2.5: граница bucket'а PlcBtePapx внутри абзаца p9 — предыдущая
* PapxFkp-страница кончается раньше первого FC p9, следующая начинается
* позже. По §2.8.6/§2.4.6.1 свойства абзаца определяются его ПОСЛЕДНИМ
* символом (маркером) — PAPX p9 находится: jc80→both и w:left=600 на месте.
*/
@Test
void papxBucketBoundary_insideParagraph_propsKept() throws IOException {
String xml = documentXml(cfbTwoBuckets());
int at = xml.indexOf(">jc80<");
assertTrue(at > 0, "абзац jc80 на месте: " + xml);
String p = xml.substring(xml.lastIndexOf("<w:p>", at), at);
assertTrue(p.contains("<w:jc w:val=\"both\"/>"),
"PAPX p9 из второго bucket'а не потерян: " + p);
assertTrue(p.contains("w:left=\"600\""), "w:ind не потерян: " + p);
}
private static String documentXml(byte[] doc) throws IOException {
return partXml(doc, DOCUMENT_XML);
@@ -428,7 +523,8 @@ class DocToDocxFormattingTest {
assertTrue(xml.contains("<w:szCs w:val=\"24\"/>"), xml);
assertTrue(xml.contains("<w:color w:val=\"FF0000\"/>"), xml);
assertTrue(xml.contains("w:ascii=\"Arial\" w:hAnsi=\"Arial\""), xml);
assertTrue(xml.contains("w:cs=\"T&amp;imes\""), "escapeAttr имени шрифта: " + xml);
assertTrue(xml.contains("w:eastAsia=\"T&amp;imes\""),
"ftc1 → w:eastAsia, escapeAttr имени шрифта: " + xml);
assertTrue(xml.contains("Bold&amp;&lt;&gt;"), "escape текста: " + xml);
}
@@ -586,7 +682,8 @@ class DocToDocxFormattingTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, 4); // ccpText
put32(wd, 80, 0); // ccpFtn
@@ -601,7 +698,9 @@ class DocToDocxFormattingTest {
System.arraycopy(t, 0, wd, TEXT_FC, t.length);
// PapxFkp pn=3: p1 istd=11 (без Prl), footer-абзац istd=10
int page = 3 * 512;
int[] rgfc = {TEXT_FC, TEXT_FC + 2, TEXT_FC + 26, TEXT_FC + 28,
// rgfc — началА абзацев (возрастающие границы -блоков, §2.9.174):
// «one\r» [0,4), -блок [4,13), «ft\r» [13,16), guard [16,18)
int[] rgfc = {TEXT_FC, TEXT_FC + 8, TEXT_FC + 26, TEXT_FC + 32,
TEXT_FC + 2 * text.length()};
for (int i = 0; i < rgfc.length; i++) {
put32(wd, page + i * 4, rgfc[i]);
@@ -688,7 +787,8 @@ class DocToDocxFormattingTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
@@ -779,7 +879,8 @@ class DocToDocxFormattingTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
@@ -896,7 +997,8 @@ class DocToDocxFormattingTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
@@ -988,7 +1090,8 @@ class DocToDocxFormattingTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
@@ -1205,7 +1308,8 @@ class DocToDocxFormattingTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, 6); // ccpText
put32(wd, 80, 0); // ccpFtn
@@ -1344,7 +1448,8 @@ class DocToDocxFormattingTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, 4); // ccpText
put16(wd, 152, 98);
@@ -1401,7 +1506,8 @@ class DocToDocxFormattingTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, 2); // ccpText
put32(wd, 80, 0); // ccpFtn
@@ -1487,7 +1593,8 @@ class DocToDocxFormattingTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9); // fWhichTblStm → 1Table
put16(wd, 62, 4); // cslw
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length); // cbMac
put32(wd, 76, text.length()); // ccpText
put16(wd, 152, 98); // cbRgFcLcb
@@ -1701,7 +1808,8 @@ class DocToDocxFormattingTest {
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4); // cslw (FibHeader guard)
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
@@ -1813,9 +1921,12 @@ class DocToDocxFormattingTest {
assertFalse(xml.contains("Hide"), "скрытый текст утёк в вывод: " + xml);
assertTrue(xml.contains(">CAPS<"), "sprmCFCaps → верхний регистр: " + xml);
assertTrue(xml.contains(">LOW<"), "sprmCFSmallCaps → верхний регистр: " + xml);
assertTrue(xml.contains("<w:del><w:r><w:delText xml:space=\"preserve\">Del</w:delText>"
+ "</w:r></w:del>"), "sprmCFRMarkDel: " + xml);
assertTrue(xml.contains("<w:ins><w:r><w:t xml:space=\"preserve\">Ins</w:t>"
assertTrue(xml.contains("<w:del w:id=\"1\" w:author=\"\"><w:r>"
+ "<w:delText xml:space=\"preserve\">Del</w:delText>"
+ "</w:r></w:del>"),
"sprmCFRMarkDel, CT_TrackChange w:id+w:author обязательны: " + xml);
assertTrue(xml.contains("<w:ins w:id=\"2\" w:author=\"\"><w:r>"
+ "<w:t xml:space=\"preserve\">Ins</w:t>"
+ "</w:r></w:ins>"), "sprmCFRMarkIns: " + xml);
}
@@ -1907,7 +2018,7 @@ class DocToDocxFormattingTest {
assertFalse(xml.contains("<w:vAlign"), "top и out-of-range не эмитятся: " + xml);
}
/** CSSAOperand (§2.9.209) как Prl: cb=6 + itc(2) + grfbrc + fts + wWidth(2). */
/** CSSAOperand (§2.9.46) как Prl: cb=6 + itc(2) + grfbrc + fts + wWidth(2). */
private static byte[] cssaOp(int sprm, int itcFirst, int itcLim, int grfbrc,
int fts, int wWidth) {
return new byte[] {(byte) (sprm & 0xFF), (byte) (sprm >>> 8), 6,
@@ -1915,7 +2026,7 @@ class DocToDocxFormattingTest {
(byte) wWidth, (byte) (wWidth >>> 8)};
}
/** SHDOperand (§2.9.177): cb=10 + cvFore(4) + cvBack(4) + ipat(2), COLORREF R-first. */
/** SHDOperand (§2.9.249): cb=10 + cvFore(4) + cvBack(4) + ipat(2), COLORREF R-first. */
private static byte[] shd10(int sprm, int[] fore, int[] back, int ipat) {
byte[] op = new byte[3 + 10];
op[0] = (byte) (sprm & 0xFF);
@@ -1994,13 +2105,13 @@ class DocToDocxFormattingTest {
}
/**
* sprmCIstd: chpx-цепочка символьного стиля (stk=3) между стилевой
* sprmCIstd: chpx-цепочка символьного стиля (stk=2) между стилевой
* papx-цепочкой и прямыми CHPX; прямые перекрывают стиль (last-wins).
*/
@Test
void charStyle_viaIstd_mergesUnderDirect() throws IOException {
// стиль istd=10 (stk=3): синий + underline; ран: istd + прямой cv=red
byte[] style = std(65, 3, 0x0FFF, 1, null,
// стиль istd=10 (stk=2): синий + underline; ран: istd + прямой cv=red
byte[] style = std(65, 2, 0x0FFF, 1, null,
concat(new byte[] {0x70, 0x68, 0, 0, (byte) 0xFF, 0}, prl(0x2A3E, 1)));
byte[] stsh = new byte[2 + 18 + 10 * 2 + 2 + style.length];
put16(stsh, 0, 18); // cbStshi
@@ -2023,6 +2134,41 @@ class DocToDocxFormattingTest {
assertFalse(xml.contains("<w:color w:val=\"0000FF\""), xml);
}
/**
* §2.6.1: при применении sprmCIstd прямое форматирование сбрасывается
* к результату стиля абзаца, значения preserv-list (здесь — highlight)
* сохраняются; Prl после sprmCIstd применяются поверх стиля.
*/
@Test
void charStyleIstd_resetsDirectKeepsPreserveList() throws IOException {
// стиль istd=10 (stk=2): underline
byte[] style = std(65, 2, 0x0FFF, 1, null, prl(0x2A3E, 1));
byte[] stsh = new byte[2 + 18 + 10 * 2 + 2 + style.length];
put16(stsh, 0, 18); // cbStshi
put16(stsh, 2, 11); // cstd
put16(stsh, 4, 0x0A); // cbSTDBaseInFile
int p = 20;
for (int i = 0; i < 10; i++) {
put16(stsh, p, 0);
p += 2;
}
lpstd(stsh, p, style);
String xml = documentXml(craftDoc("Rst\r", null, null,
List.of(new ChpxRun(0, concat(
prl(0x0835, 1), // bold до CIstd — сбрасывается
prl(0x2A0C, 7), // highlight (U8) — preserv-list
prl2(0x4A30, 10), // sprmCIstd
prl(0x0836, 1)))), // italic после — действует
List.of(new PapxRun(0, null)), stsh));
assertFalse(xml.contains("<w:b/>"),
"прямой bold до sprmCIstd обязан быть сброшен: " + xml);
assertTrue(xml.contains("<w:highlight w:val=\"yellow\"/>"),
"highlight из preserv-list потерян: " + xml);
assertTrue(xml.contains("<w:i/>"), "italic после sprmCIstd потерян: " + xml);
assertTrue(xml.contains("<w:u w:val=\"single\"/>"),
"underline из символьного стиля потерян: " + xml);
}
/**
* sprmTCellPaddingDefault/…CellPadding → w:tcMar ячеек: Default — весь
* ряд, диапазонный — свои ячейки; порядок детей CT_TcMar top→left (§17.4.66).
@@ -22,7 +22,8 @@ class FibHeaderTest {
put16(wd, 0, 0xA5EC); // wIdent
put16(wd, 2, 0x00C1); // nFib = Word 97
put16(wd, 10, flags); // grpprl FIB
put16(wd, 62, 4); // cslw
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 76, 10); // ccpText
put32(wd, 152, 98); // cbRgFcLcb
return wd;
@@ -37,6 +38,21 @@ class FibHeaderTest {
assertFalse(f0.use1Table());
}
/** WordDocument ровно 154 байта: cbRgFcLcb — u16@152 (§2.5.1), u32 читал бы за массив. */
@Test
void blobEndAtBoundary_rejectedNotCrash() {
byte[] wd = new byte[154];
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 32, 14);
put16(wd, 62, 22);
put32(wd, 76, 10);
ConversionException ex = assertThrows(ConversionException.class,
() -> FibHeader.read(wd));
assertSame(ConversionException.class, ex.getClass());
}
@Test
void tooShort_rejected() {
ConversionException ex = assertThrows(ConversionException.class,
@@ -83,6 +99,28 @@ class FibHeaderTest {
assertTrue(ex.getMessage().contains("Обрезанный FIB"), ex.getMessage());
}
/** §2.5.1 Fib: csw «MUST be 0x000E» — любое другое значение = отказ. */
@Test
void badCsw_rejected() {
byte[] wd = fib(1 << 9);
put16(wd, 32, 15);
assertThrows(ConversionException.class, () -> FibHeader.read(wd));
}
/**
* Старый FIB короче 98 пар: пары с индексом ≥ cbRgFcLcb отсутствуют
* (fc=0/lcb=0), а не читают за blob — списки просто «нет».
*/
@Test
void shortPairBlob_absentPairsZero() {
byte[] wd = fib(1 << 9);
put32(wd, 152, 34); // CLX — последняя объявленная пара (индекс 33)
FibHeader f = FibHeader.read(wd);
assertEquals(0, f.fcPlfLst());
assertEquals(0, f.lcbPlfLst());
assertEquals(0, f.fcPlfLfo());
}
@Test
void negativeCcpText_rejected() {
byte[] wd = fib(1 << 9);

Some files were not shown because too many files have changed in this diff Show More