Compare commits

...

31 Commits

Author SHA1 Message Date
Pjandro ae7c8b755a docs: обновить AGENTS.md по итогам обхода репозитория
PR checks / web (pull_request) Successful in 9s
PR checks / java (pull_request) Successful in 3m23s
Main: tests, deploy, autotests / java (push) Successful in 11s
PR checks / macos-sim (pull_request) Successful in 6m45s
Main: tests, deploy, autotests / web (push) Successful in 11s
Main: tests, deploy, autotests / images-web (push) Successful in 16s
Main: tests, deploy, autotests / images-app (push) Successful in 4m22s
Main: tests, deploy, autotests / deploy (push) Successful in 1m55s
Main: tests, deploy, autotests / autotests (push) Successful in 20s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- internal/doc: 18 top-level классов; CHART_MEDIA_URI_PREFIX принадлежит DrawingPreRenderer
- required-контексты защиты main — java/web (GITEA-vars.md); macos-sim — PR-only, не гейт
- счётчики тестов 63 класса / 1005 (core 957); javadoc normalizers врёт про позицию MathFallback
- .env fail-closed для prod-like стенда; app-run; jeuclid/commons-logging exclusions;
  -Djacoco.skip=true; OLE-плейсхолдер; VITE_BASE-bake в images-web; Hamcrest inline-квалификация
2026-11-21 04:53:42 +03:00
Pjandro fca253b9f5 ci: job macos-sim — тесты под эмуляцией macOS (-Dos.name) на PR
PR checks / web (pull_request) Successful in 10s
PR checks / macos-sim (pull_request) Successful in 1m12s
Main: tests, deploy, autotests / web (push) Successful in 9s
Main: tests, deploy, autotests / images-web (push) Successful in 11s
Main: tests, deploy, autotests / java (push) Successful in 46s
PR checks / java (pull_request) Successful in 5m12s
Main: tests, deploy, autotests / images-app (push) Successful in 23s
Main: tests, deploy, autotests / deploy (push) Successful in 1m58s
Main: tests, deploy, autotests / autotests (push) Successful in 1m16s
Main: tests, deploy, autotests / rollback (push) Has been skipped
Containerfile.test получает ARG SUREFIRE_OS_NAME (пусто — прежнее
поведение), pr.yml — job macos-sim: тот же mvn clean verify с
-Dos.name='Mac OS X' (docx4j PhysicalFonts читает os.name и уходит в
MicrosoftFontsRegistry). Регрессия strictOoxml ловится до мержа.
Документация: AGENTS.md, docs/agent/ci-cd.md.
2026-11-21 03:43:44 +03:00
Pjandro e308db47da fix(fonts): реальные начертания бандла в getBoldForm/getItalicForm/getBoldItalicForm
PR checks / web (pull_request) Successful in 9s
PR checks / java (pull_request) Successful in 3m57s
Main: tests, deploy, autotests / web (push) Successful in 8s
Main: tests, deploy, autotests / java (push) Successful in 1m16s
Main: tests, deploy, autotests / images-web (push) Successful in 1m22s
Main: tests, deploy, autotests / images-app (push) Successful in 20s
Main: tests, deploy, autotests / deploy (push) Successful in 2m8s
Main: tests, deploy, autotests / autotests (push) Successful in 14s
Main: tests, deploy, autotests / rollback (push) Has been skipped
На macOS PhysicalFonts.getBoldForm для имён бандл-шрифтов ('Tinos Regular',
'Carlito Regular', ...) уходит в MicrosoftFontsRegistry, где у этих записей
Mac-имя файла null, и возвращает null; docx4j строит simulate-style fopconf
(все начертания на regular-TTF), FOP теряет реальные Bold/Italic — метрики и
кернинг ломают переносы (strictOoxml: 'таблица' -> 'таблиц а').

BundledFontMapper переопределяет три variant-form метода: семейство опознаётся
по embeddedURI regular-варианта, начертание берётся реальным из бандла; вне
бандла / без init() — родительская логика без изменений.

Тест: BundledFontMapperTest#variantForms_resolveBundleSibling (красный на macOS
без override); регрессии: WordPdfConverterTest#strictOoxml_convertsNotRejected,
#ruPlain_regularRunsUseRegularFont (проверены под -Dos.name='Mac OS X').
docs/agent/pipeline.md: абзац о macOS-ветке.
2026-11-21 03:06:39 +03:00
Pjandro f3ff218686 feat(core): собственный рендер OMML→PNG и полный FOP-конфиг шрифтов
PR checks / web (pull_request) Successful in 9s
PR checks / java (pull_request) Successful in 5m26s
Main: tests, deploy, autotests / web (push) Successful in 9s
Main: tests, deploy, autotests / images-web (push) Successful in 23s
Main: tests, deploy, autotests / java (push) Successful in 1m30s
Main: tests, deploy, autotests / images-app (push) Successful in 49s
Main: tests, deploy, autotests / deploy (push) Successful in 2m13s
Main: tests, deploy, autotests / autotests (push) Successful in 17s
Main: tests, deploy, autotests / rollback (push) Has been skipped
Замена JEuclid/AWT-ветки формул на детерминированный растер только
бандл-шрифтами jar (без fontconfig); FOP-конфиг дополняется всеми
бандл-начертаниями при каждом declare — иначе общая FopFactory
замораживает fopconf первого документа и теряет глифы.

MathModel/MathRenderer: OMML (§22.1) → дерево боксов → PNG 300 dpi
(только GlyphFont/fontbox, без java.awt.Font); метрики боксов равны
габариту paint (пределы nary/sPre не обрезаются канвой). Unsupported
конструкция или переполнение бюджета — текстовая деградация (m:t).
Inline-картинка опускается раном w:rPr/w:position на базовую линию
строки (FOP ставит инлайн-графику нижним краем на базу; AUDIT-FIX
baseline-shift). Байтовое правило 6 MathFallbackNormalizer (перед
GlyphCoverage) срезает unsupported-формулы до загрузки docx4j; формула
в wps:txbx уходит в docx4j-фолбэк mathText.

JEuclid исключён из pom (de.rototor jeuclid-core/jeuclid-fop); порядок
zip-правил сдвинут (MathFallback → 6). Порядок сканов шрифтов закрыт
гейтом FontsBundledOnlyInvariantTest + BundledFontAliases (единый
алиас-реестр вместо рефлексивных мутаций реестра).

Счётчики: 63 класса / 1004 теста (core 57/956, app 6/48); JaCoCo
BRANCH core 0.8518. Доки: pipeline/render-limitations/repo-map/
testing/doc-bridge/MEM_USAGE_UPGRADE синхронизированы.
2026-11-20 23:51:40 +03:00
Pjandro 202e4ca97e fix(fonts): FopFallbackFonts дополняет семейства реальными начертаниями
- declareFamily: family-level skip удалён; каждое начертание дописывается,
  если в конфиге нет записи с реальным TTF этого начертания (hasRealFace);
- общая FopFactory замораживает fopconf первого документа JVM, а docx4j
  декларирует только использованные начертания (частично/simulate-style) —
  на macOS это роняло ruPlain_regularRunsUseRegularFont (Carlito-Bold не
  встраивался) и strictOoxml_convertsNotRejected (кириллица на base-14);
- регрессии: FopFallbackFontsTest#declareWhenDocx4jDeclaredRegularOnly_addsMissingVariants,
  #declareWhenDocx4jDeclaredSimulatedStyle_addsRealFaces, #declareTwice_noDuplicates,
  WordPdfConverterTest#fopFactoryFrozenFromFirstDoc_fontsComplete (order-smoke).
2026-11-20 22:10:11 +03:00
Pjandro fa45b7a8be docs: обновить AGENTS.md по итогам аудита репозитория
PR checks / web (pull_request) Successful in 19s
PR checks / java (pull_request) Successful in 2m59s
Main: tests, deploy, autotests / web (push) Successful in 8s
Main: tests, deploy, autotests / java (push) Successful in 39s
Main: tests, deploy, autotests / images-app (push) Successful in 31s
Main: tests, deploy, autotests / images-web (push) Successful in 1m16s
Main: tests, deploy, autotests / deploy (push) Successful in 2m1s
Main: tests, deploy, autotests / autotests (push) Successful in 1m46s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- счётчики тестов 60 классов / 962 теста (core 54/914, app 6/48) вместо устаревших 59/898;
- internal/doc: 17 top-level классов + вложенный DocxBody;
- ValidationException бросает также convert() при options == null;
- открытые префиксы ApiKeyFilter: /actuator/ со слэшем + dot-segment гейт;
- деградация chart: wp:extent вне диапазона оставляет объект + warn;
- детализация шага 4 (4.25/4.5) и finally-очистки конвейера;
- добавлены: mem-bench, file-size-threshold=2MB, ловушка WORDPDF_API_KEY из .env mise,
  прод-вход pjandro.ru/pdf-converter/, лицензии шрифтов OFL/Bitstream-Vera/Noto,
  PMD-движок 6.55.0 как default плагина, явный выключенный TS-strict.
2026-11-20 21:06:52 +03:00
Pjandro 1c8f6e1516 docs: MEM_USAGE_UPGRADE.md — аудит памяти конвейера
PR checks / web (pull_request) Successful in 48s
PR checks / java (pull_request) Successful in 1m19s
Main: tests, deploy, autotests / java (push) Successful in 3m11s
Main: tests, deploy, autotests / web (push) Successful in 1m29s
Main: tests, deploy, autotests / images-app (push) Successful in 2m21s
Main: tests, deploy, autotests / images-web (push) Successful in 2m43s
Main: tests, deploy, autotests / deploy (push) Successful in 1m52s
Main: tests, deploy, autotests / autotests (push) Successful in 58s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- Методология харнеса (peak/used/GC-лог/JFR/VmHWM) и его ограничения;
- baseline suite×20+big, профиль аллокаций: доли приложения ≤0,44%, остальное — JAXB/XSLT/FOP;
- кандидаты A–E с замерными гейтами: все отклонены (A — измерением, B/C/E — долей ниже гейта);
- матрица флагов f1–f5: рекомендация проду -Xmx768m/G1 + mem_limit 1g вместо 2G/3G.
2026-11-17 05:46:10 +03:00
Pjandro 9d4661be3f test: MemoryBench начисто проходит PMD-гейт
- SystemPrintln: вывод харнеса через PrintStream(FileDescriptor.out) вместо System.out;
- AvoidLiteralsInIfCondition: условия сценариев вынесены в булевы локальные переменные;
- membench.sh: заметка про смену GC (нужен и -XX:-UseG1GC, иначе старт падает).
Полный ./mise.sh run verify после правки зелёный: core 914 + app 48, PMD/JaCoCo без нарушений.
2026-11-17 05:46:10 +03:00
Pjandro 67f8636b0c core,test: mem-bench харнес замера памяти (MemoryBench + membench.sh + mise task) 2026-11-17 05:08:54 +03:00
Pjandro 08c68305be docs: актуализация AGENTS.md по свежей сверке с кодом
PR checks / web (pull_request) Successful in 42s
Main: tests, deploy, autotests / web (push) Successful in 45s
PR checks / java (pull_request) Successful in 1m36s
Main: tests, deploy, autotests / images-web (push) Successful in 33s
Main: tests, deploy, autotests / java (push) Successful in 2m59s
Main: tests, deploy, autotests / images-app (push) Successful in 6m29s
Main: tests, deploy, autotests / deploy (push) Successful in 2m35s
Main: tests, deploy, autotests / autotests (push) Successful in 52s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- convert — только 3-аргументная сигнатура; App.tsx в components/; 11 zip-правил + OleObjectNormalizer как 12-й байтовый
- REST: открытые префиксы ApiKeyFilter, тело {"error": …}, карта 404/405/415 в repo-map
- расхождение compose (prod-like гасит springdoc, CI-прод держит swagger открытым); VITE_BASE в образе; подсети resolver; WORDPDF_SAMPLES_DIR; ручные фикстуры не перезаписывать
2026-11-17 04:14:23 +03:00
Pjandro f7304094ec fix: int-оверфлоу requireInFile и закрытие веток гейта JaCoCo
PR checks / web (pull_request) Successful in 43s
PR checks / java (pull_request) Successful in 2m47s
Main: tests, deploy, autotests / web (push) Successful in 41s
Main: tests, deploy, autotests / java (push) Successful in 3m37s
Main: tests, deploy, autotests / images-app (push) Successful in 48s
Main: tests, deploy, autotests / images-web (push) Successful in 38s
Main: tests, deploy, autotests / deploy (push) Successful in 2m0s
Main: tests, deploy, autotests / autotests (push) Successful in 47s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- requireInFile: (long) offset + len > fileLen — offset+len того же класса оверфлоу, что sectorOffset (DIFAT-сектор близ MAX_INT обходил проверку)
- CfbReader.chain: единая капка sect >= min(fat.length, sectorTotal) (меньше незакрытых исходов веток, контракт прежний), регрессии в javadoc
- CfbReaderTest#difatSectorFarBeyondFile_rejected — ветка sectorOffset (фat>MAX_INT при DIFAT[0]=0x400000)
- PieceTableTest#negativeStartCp_rejected: aCP[0] — все 4 байта 0xFF (один байт давал 255 и попадал в ветку монотонности, а не отрицательного CP)
2026-11-16 03:17:55 +03:00
Pjandro e6a8b86583 fix: замечания ревью — crash-гарды моста и сверка цитат MS-DOC
PR checks / web (pull_request) Successful in 44s
PR checks / java (pull_request) Failing after 1m22s
- CfbReader: цепочка FAT — сектор за sectorTotal → ConversionException «за концом FAT» (раньше FAT[>127] уходил за массив: ArrayIndexOutOfBounds на битом CFB)
- FibHeader: cbRgFcLcb — u16 по §2.5.1 (читался u32 → AIOOBE на FIB длиной 154 байта); csw/cslw MUST — цитата §2.5.1 Fib
- PieceTable: aCP[0] < 0 и endCp <= startCp → ConversionException (отрицательный aCP читал бы WordDocument до начала; отрицательный span ронял new String)
- Таблица nFib→cbRgFcLcb — ссыка на [MS-OSHARED] §2.1.1 Table 2
- Цитаты секций MS-DOC по ToC ms-doc-full.md: CSSAOperand §2.9.46, SHDOperand §2.9.249 (Shd §2.9.247, Ipat §2.9.121, Shd80 §2.9.248), Ico §2.9.119, SttbfFfn §2.9.286, Brc/BrcType §2.9.16/.22, PapxFkp §2.9.174 — в Grpprl/Tables/Sections/FibHeader, тестах моста, doc-bridge.md
- Регрессы: FibHeaderTest#blobEndAtBoundary_rejectedNotCrash, PieceTableTest#negativeStartCp_rejected, CfbReaderTest пин «за концом FAT»
2026-11-16 03:06:31 +03:00
Pjandro d44eac683a fix: PMD-чистые константы MUST-полей CFB и ветки покрытия гейта JaCoCo
PR checks / web (pull_request) Successful in 37s
PR checks / java (pull_request) Successful in 2m40s
- CfbReader: MiniStreamCutoff в именованную константу (§2.2) — гейт PMD AvoidLiteralsInIfCondition;
- GrpprlTest: полная таблица Kul→ST_Underline (§2.9.127, все 18 case);
- TableIndentNormalizerTest: явный w:type=pct и tblInd без w:w — пропуск свёртки;
- ChpxIndexTest/PapxIndexTest: отрицательный fcBte, fc раньше первого диапазона,
  вырожденный rgfc (§2.4.6.1) — ветки отказных гвардов.
2026-11-16 00:54:59 +03:00
Pjandro aaad5d2bb0 fix: устранение расхождений кода со спецификациями и синхронизация доков
PR checks / web (pull_request) Successful in 42s
PR checks / java (pull_request) Failing after 2m53s
- docx-нормализаторы: tblInd без w:type = dxa (§17.4.87); явный vanish=false перекрывает стиль (§17.3.2.70);
  RubyNormalizer снимает обёртку w:ruby и удаляет rubyBaseText; DocxOnOffNormalizer не трогает w:scrollbar;
  SymbolFontNormalizer читает прямые коды w:sym
- мост .doc: borderVal 0x1B→inset; STK_CHARACTER=2 (§2.4.6.5); grpprl toggle + знаковые XAS; ChpxIndex cb=0;
  PapxIndex cpara + ключ по последнему символу; sprmCIstd reset+preserve; Sections YAS/bkc/pgnStart/gutter/nfc;
  NPE-гард Lists; BrcMayBeNil = нет границы; emission (w:id, слоты шрифтов, Kul, ISS, header-картинки);
  OfficeArt 0x46B/TIFF/DIB/второй UID + warn EMF/WMF/PICT; PrcData стоп-обработка; CfbReader бюджет +
  MUST-поля заголовка (§2.2); FibHeader csw/cslw + cbRgFcLcb; PieceTable aCP-дубли + cbMac
- мёртвый код: девять неиспользуемых STEP-констант, недостижимая ветка pgMar
- javadoc: исправлены номера секций ECMA-376/MS-DOC/MS-CFB/MS-ODRAW в нормализаторах, chart-пакете, мосту
- доки: pipeline.md, repo-map.md, doc-bridge.md, render-limitations.md, AGENTS.md синхронизированы с кодом
2026-11-16 00:43:43 +03:00
Pjandro 334e6a9006 docs: перегенерировать AGENTS.md по структуре Repository Guidelines
PR checks / web (pull_request) Successful in 1m14s
PR checks / java (pull_request) Successful in 3m1s
Main: tests, deploy, autotests / web (push) Successful in 1m10s
Main: tests, deploy, autotests / images-web (push) Successful in 41s
Main: tests, deploy, autotests / java (push) Successful in 7m19s
Main: tests, deploy, autotests / images-app (push) Failing after 48s
Main: tests, deploy, autotests / deploy (push) Has been skipped
Main: tests, deploy, autotests / autotests (push) Has been skipped
Main: tests, deploy, autotests / rollback (push) Has been skipped
- синтез четырёх scout-обходов: core src, тесты, конфигурация/сборка, скрипты/документация
- 8 разделов: Overview, Architecture & Data Flow (пайплайн 0–7, инварианты), Key Directories,
  Development Commands, Conventions, Important Files, Runtime/Tooling, Testing & QA
- сохранены критические инварианты, ловушки (test-jar/-am, @Value-дефолты, idiom загрузки фикстур) и ссылки-роутеры на docs/agent
2026-11-15 01:28:22 +03:00
Pjandro 72cc717056 PMD: откат на движок 6.55.0 (maven-pmd-plugin 3.21.2), закрытый набор из 26 правил; нарушения починены кодом
PR checks / web (pull_request) Successful in 39s
PR checks / java (pull_request) Successful in 3m4s
Main: tests, deploy, autotests / java (push) Successful in 9s
Main: tests, deploy, autotests / web (push) Successful in 43s
Main: tests, deploy, autotests / images-app (push) Successful in 1m13s
Main: tests, deploy, autotests / images-web (push) Successful in 30s
Main: tests, deploy, autotests / deploy (push) Successful in 1m35s
Main: tests, deploy, autotests / autotests (push) Successful in 45s
Main: tests, deploy, autotests / rollback (push) Has been skipped
2026-11-13 02:11:51 +03:00
Pjandro 0b2dda8caa PMD: слияние новых правил (bestpractices/design/errorprone/multithreading) + правка нарушений без подавлений
PR checks / web (pull_request) Successful in 1m9s
PR checks / java (pull_request) Successful in 1m17s
Main: tests, deploy, autotests / web (push) Successful in 34s
Main: tests, deploy, autotests / images-web (push) Successful in 38s
Main: tests, deploy, autotests / java (push) Successful in 2m36s
Main: tests, deploy, autotests / images-app (push) Successful in 42s
Main: tests, deploy, autotests / deploy (push) Successful in 2m7s
Main: tests, deploy, autotests / autotests (push) Successful in 45s
Main: tests, deploy, autotests / rollback (push) Has been skipped
2026-11-13 01:24:25 +03:00
Pjandro d8eda0a2e4 Ядро: раздельные исключения ChartsFoundException/SmartArtFoundException/OleFoundException
PR checks / web (pull_request) Successful in 42s
PR checks / java (pull_request) Successful in 2m41s
Main: tests, deploy, autotests / web (push) Successful in 41s
Main: tests, deploy, autotests / images-web (push) Failing after 23s
Main: tests, deploy, autotests / java (push) Successful in 1m22s
Main: tests, deploy, autotests / images-app (push) Failing after 2m32s
Main: tests, deploy, autotests / deploy (push) Has been skipped
Main: tests, deploy, autotests / autotests (push) Has been skipped
Main: tests, deploy, autotests / rollback (push) Has been skipped
DrawingFoundException с enum Kind удалён: каждый error-флаг бросает свой
тип-наследник ConversionException с фиксированным сообщением. App-слой
сохраняет один DrawingRejectedException (422) — маппинг по типу в
ConversionService.doConvert, тексты ответа не изменились (контракт с
фронтом). Обновлены тесты и документация.
2026-11-13 00:59:07 +03:00
Pjandro e9abcd38c8 CI: единственный прогон тестов в контейнере без fontconfig
PR checks / web (pull_request) Successful in 40s
PR checks / java (pull_request) Successful in 1m16s
Main: tests, deploy, autotests / java (push) Successful in 38s
Main: tests, deploy, autotests / web (push) Successful in 41s
Main: tests, deploy, autotests / images-web (push) Successful in 35s
Main: tests, deploy, autotests / images-app (push) Successful in 47s
Main: tests, deploy, autotests / deploy (push) Successful in 1m59s
Main: tests, deploy, autotests / autotests (push) Successful in 44s
Main: tests, deploy, autotests / rollback (push) Has been skipped
Хостовые Setup JDK/Maven/кеш~/.m2 и mvn на раннере убраны: полный
mvn clean verify (тесты + PMD + JaCoCo) исполняется только в образе
Containerfile.test (без libfontconfig и /etc/fonts). Отчёты JaCoCo
извлекаются из образа docker create/cp (отсутствие отчёта — пустая
сводка, не падение). mise verify остаётся сырым mvn без docker/podman.
2026-11-10 01:09:13 +03:00
Pjandro 5631c9e0c0 OMML без fontconfig: текстовая деградация формул вместо InternalError
PR checks / web (pull_request) Successful in 41s
PR checks / java (pull_request) Successful in 3m12s
На хостах без fontconfig (arm64 без /etc/fonts) jeuclid-fop при первой
OMML-формуле падает InternalError: Fontconfig head is null — проба
MathMlSupport фиксирует недоступность AWT-шрифтов один раз на JVM,
MathFallbackNormalizer (правило 11, после Ruby) заменяет m:oMath/
m:oMathPara ранами с конкатенацией m:t (как docx4j mathText). С
fontconfig поведение не меняется (вектор).

Контейнер Containerfile.test (maven:3.9-temurin-17 без fontconfig с
JVM-гейтом) прогоняет mvn clean verify по этой ветке всегда: задача
mise verify-nofontconfig и шаг CI в pr.yml/main.yml.
2026-11-10 00:10:35 +03:00
Pjandro 13ca7425a3 refactor(core): сужение уровней доступа — internal-нормализаторы, CfbReader и служебные методы валидатора в package-private
PR checks / web (pull_request) Successful in 33s
PR checks / java (pull_request) Successful in 1m16s
Main: tests, deploy, autotests / web (push) Successful in 30s
Main: tests, deploy, autotests / java (push) Successful in 1m18s
Main: tests, deploy, autotests / images-web (push) Successful in 37s
Main: tests, deploy, autotests / images-app (push) Successful in 42s
Main: tests, deploy, autotests / deploy (push) Successful in 1m58s
Main: tests, deploy, autotests / autotests (push) Successful in 40s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- WordPdfValidator: isBinaryDoc/checkPageCount/checkPageCountDoc → package-private
  (наружу остаются checkInput/validate/maxImagePixels)
- CfbReader: класс и readStreams → package-private (все вызывающие в internal/doc)
- 9 STEP-нормализаторов + RubyNormalizer: класс, STEP и normalize → package-private;
  DocxRewritePipeline.normalize → package-private (STEP остаётся публичным)
- javadoc BundledFontMapper: {@link GlyphCoverageNormalizer} → {@code}
- контракты видимости синхронизированы: AGENTS.md, repo-map.md, doc-bridge.md, README.md
2026-11-08 20:34:43 +00:00
Pjandro af5d09e001 refactor(core,app): WordPdfSettings упразднён — лимиты входа обязательны в ConvertOptions, пороги производные, REST-параметры maxMb/maxPages
PR checks / web (pull_request) Successful in 33s
PR checks / java (pull_request) Successful in 1m18s
- WordPdfSettings удалён; ConvertOptions.defaults() удалён; 2-аргументный
  convert и безлимитные оверлоды валидатора сняты (options == null → 400)
- производные пороги (распаковка total/XML, пиксели растра, zip-записи)
  считаются из maxMb/maxPages формулами в WordPdfConverter/WordPdfValidator
- мост: DocToDocx.convert(+maxMb) → OfficeArt.read(+maxPixels)
- REST: свойства wordpdf.max-mb/max-pages — дефолт эндпоинта (литералы
  @Value 5/100), параметры запроса maxMb/maxPages переопределяют в обе
  стороны (≤ 0 → 400); верхний потолок отсутствует (решение пользователя)
- HTTP-контексты тестов пиныт wordpdf.api-key= (mise подмешивает .env)
- доки/README/autotests-формулировки синхронизированы
2026-11-08 20:16:52 +00:00
Pjandro 8a8e8a9f84 fix(core): бюджет распаковки docx — параметром валидатора из maxMb/maxPages
PR checks / web (pull_request) Successful in 33s
PR checks / java (pull_request) Successful in 1m20s
checkDocxContainer получает бюджеты параметром; validate считает их из
ConvertOptions.maxMb()/maxPages(): clamp(maxMb×10MiB + maxPages×64KiB, 16MiB,
MAX_DECOMPRESSED_MB) и clamp(maxMb×4MiB + maxPages×32KiB, 4MiB,
MAX_DECOMPRESSED_XML_MB) (коэффициенты/полы — package-private константы
WordPdfConverter, compile-time инлайн — WordPdfValidator по-прежнему без
зависимости от docx4j). Константы WordPdfSettings — жёсткие крышки (публичный
API, защита JAXB DOM). Сообщения печатают вычисленный бюджет. Тесты: пол
(16 МБ при maxMb=1), масштабирование и крышка (64 МБ при maxMb=10); доки
синхронизированы.
2026-11-08 19:13:38 +00:00
Pjandro 41b4f89e74 docs: синхронизация AGENTS/repo-map с аудиторскими фиксами
PR checks / web (pull_request) Successful in 38s
PR checks / java (pull_request) Successful in 1m27s
2026-11-08 16:41:06 +00:00
Pjandro 8b16d64059 fix(infra): безусловная нормализация X-Forwarded-For/Proto/Host на шлюзах; CSP+заголовки безопасности в образ SPA 2026-11-08 16:41:06 +00:00
Pjandro 638e28c653 fix(app): полный validate внутри воркера (до очереди — только размер); 500 без деталей ядра в теле 2026-11-08 16:41:06 +00:00
Pjandro d8353aab61 fix(core): OOM-гейты входа (CFB root/потоки/miniFAT, DIB, растр, дубликаты zip, XML-бюджет), бюджет chart-PNG, монитор WordPdfConverter.class в BundledFonts, restrictToBundled в finally, whitelist схем URL 2026-11-08 16:41:06 +00:00
Pjandro 8d2fa3dad9 fix(core): синхронизация чтения реестра начертаний BundledFonts.font
PR checks / web (pull_request) Successful in 38s
PR checks / java (pull_request) Successful in 1m20s
Main: tests, deploy, autotests / web (push) Successful in 36s
Main: tests, deploy, autotests / images-web (push) Successful in 35s
Main: tests, deploy, autotests / java (push) Successful in 1m25s
Main: tests, deploy, autotests / images-app (push) Successful in 41s
Main: tests, deploy, autotests / deploy (push) Successful in 1m42s
Main: tests, deploy, autotests / autotests (push) Successful in 44s
Main: tests, deploy, autotests / rollback (push) Has been skipped
Аудит потокобезопасности ядра: font()/regular()/... читали VARIANTS
(HashMap, пишется в init() под монитором BundledFonts.class) без
замка — публичный API гонял с init(). font() стал synchronized
(делегаты regular/bold/italic/boldItalic идут через него). Контракты
зафиксированы javadoc: restrictToBundled() рядом с идущей
конвертацией — только под монитором WordPdfConverter.class;
потокобезопасность GlyphFont (монитор of(), volatile cmap, внутренние
замки fontbox lockReadtable). Инвариант — AGENTS.md. Тест
concurrentFontApi_callsAllSucceed — 4 потока × 50 итераций font-API.

Регрессия — BundledFontsTest#concurrentFontApi_callsAllSucceed.
2026-11-08 14:36:15 +00:00
Pjandro 2116ec43a4 fix(core): сериализация конвертаций монитором класса WordPdfConverter
PR checks / web (pull_request) Successful in 35s
PR checks / java (pull_request) Successful in 1m19s
Публичный convert() теперь безопасен из нескольких потоков: секция после
валидации (мост .doc + convertToStream) выполняется под монитором класса —
общая FopFactory (per-render disableFontCache, имиджевые кеши) и её сброс в
finally больше не могут пересечься с параллельным рендером. warmup()
синхронизирован тем же монитором (реентельно). WordPdfValidator остаётся
до монитора: stateless, вызывается параллельно HTTP-потоками.
Регрессия — WordPdfConverterTest#concurrentConversions_twoThreadsBothSucceed.
Комментарии ConversionService/AGENTS/repo-map приведены к новому контракту.
2026-11-08 14:22:56 +00:00
Pjandro bc98a12421 perf(core): общая FopFactory на JVM со сбросом имиджевых кешей
PR checks / web (pull_request) Successful in 39s
PR checks / java (pull_request) Successful in 1m31s
Переиспользование FopFactory между конвертациями раньше запрещалось:
форк FOP копит на фабрике image-кеши (xmlgraphics-commons ImageCache:
imageInfos/images и ImageObjectCacheImpl), ключи записей — временные
файлы file:/tmp/<uuid>… с уникальным на конвертацию именем, попадания
не бывает никогда, а soft-ссылки не освобождаются при свободной куче
(2 ГБ фиксированная): после 30 конвертаций ~1,5 ГБ живых byte[]
против 17 МБ, рост live-кучи, Full GC.

Теперь фабрика одна на JVM, а каждая конвертация в finally вызывает
resetSharedImageCaches() — публичные clearCache() у ImageCache и
ImageObjectCacheImpl. Разбор шрифтов форка (GPOS, ~140k объектов)
теперь один раз на JVM. Замер после фикса: 16,8 МБ живых byte[],
heap used 89 МБ после 30 конвертаций, Full GC от нагрузки — 0.

Регрессии — WordPdfConverterTest#fopFactorySharedAcrossConversions,
#sharedImageCaches_clearedAfterConversion.
2026-11-08 14:06:23 +00:00
Pjandro 8061a2fbe7 perf(core): срез декода растра, стримовый OLE-детект; heap -Xms2g -Xmx2g
PR checks / web (pull_request) Successful in 48s
PR checks / java (pull_request) Successful in 1m44s
ChartImageHandler: для не-JPEG без кропа с ppi <= threshold (или без
размера в макете) PictureCompression.compress всегда возвращает null,
но сначала декодирует полный растр ImageIO — решение принимается по
26 байтам заголовка (PNG/GIF/BMP), растр не декодируется вовсе; JPEG
остаётся на штатном пути CR-029 (перекодировка «для размера» сохранена).

OleObjectNormalizer: детект <w:object — потоковым поиском окном 8 KiB
с перекрытием, без readAllBytes()+new String на каждую word/*.xml.

Heap: ENTRYPOINT -Xms2g -Xmx2g (вместо -XX:MaxRAMPercentage=70),
mem_limit 2g -> 3g (compose.yml, compose.dev.yml, прод-heredoc
main.yml) — фиксированный heap + запас под metaspace/native.

Отменённая ветка: переиспользование общей FopFactory между прогонами
копит шрифтовые данные форка FOP на каждый render (замер 2026-11:
после 30 конвертаций ~1,4 ГБ живых byte[] против 17 МБ при
per-conversion сборке, рост live-кучи, Full GC) — фабрика остаётся
per-conversion, инвариант зафиксирован комментарием.

GC-замер (java -jar, -Xms2g -Xmx2g, 30 конвертаций фикстур): young
5 против 7 на main, паузы 12,2 мс против 18,7 мс, Full GC нет на обоих.

Тесты: ChartImageHandlerTest +5 (PNG/GIF/BMP/JPEG/выше порога),
OleObjectNormalizerTest +1 (маркер через границу окна).
2026-11-08 13:17:34 +00:00
130 changed files with 7784 additions and 1516 deletions
+32 -23
View File
@@ -20,28 +20,29 @@ jobs:
exit 1 exit 1
} }
- name: Setup JDK 17 - name: Build and test without fontconfig (PMD+JaCoCo included)
uses: actions/setup-java@v5
with:
java-version: '17'
distribution: 'temurin'
- name: Cache Maven repository
uses: actions/cache@v4
with:
path: ~/.m2/repository
key: maven-${{ hashFiles('pom.xml', 'wordpdf-core/pom.xml', 'wordpdf-app/pom.xml') }}
restore-keys: maven-
- name: Setup Maven 3.9.16
run: |
curl -fsSL https://dlcdn.apache.org/maven/maven-3/3.9.16/binaries/apache-maven-3.9.16-bin.tar.gz | tar xz -C /opt
echo "/opt/apache-maven-3.9.16/bin" >> "$GITHUB_PATH"
- name: Build and test (PMD gate included)
env: env:
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }} MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
run: mvn -B -s .ci/maven-settings.xml clean verify run: |
DOCKER_BUILDKIT=0 docker build \
-f Containerfile.test \
--build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \
-t wordpdf-verify:ci \
.
- name: Extract JaCoCo reports
if: always()
run: |
id=$(docker create wordpdf-verify:ci 2>/dev/null) || {
echo "образ не собран — сводка покрытия будет пустой"
exit 0
}
mkdir -p wordpdf-core/target/site/jacoco wordpdf-app/target/site/jacoco
docker cp "$id:/build/wordpdf-core/target/site/jacoco/jacoco.xml" \
wordpdf-core/target/site/jacoco/jacoco.xml || true
docker cp "$id:/build/wordpdf-app/target/site/jacoco/jacoco.xml" \
wordpdf-app/target/site/jacoco/jacoco.xml || true
docker rm "$id" >/dev/null
- name: Coverage summary - name: Coverage summary
if: always() if: always()
@@ -262,9 +263,9 @@ jobs:
# не крушит стек бесконечным crash-loop. Синтаксис on-failure:N podman # не крушит стек бесконечным crash-loop. Синтаксис on-failure:N podman
# переваривает и применяет (проверено: maxtries=N, после исчерпания exited). # переваривает и применяет (проверено: maxtries=N, после исчерпания exited).
restart: on-failure:5 restart: on-failure:5
# heap вписан в лимит (-XX:MaxRAMPercentage=70 в ENTRYPOINT образа); # фиксированный heap -Xms2g -Xmx2g в ENTRYPOINT образа, лимит 3g —
# паритет с repo compose.yml # запас под metaspace/потоки/native; паритет с repo compose.yml
mem_limit: 2g mem_limit: 3g
# healthcheck дублируется в compose, а не только в Containerfile: podman # healthcheck дублируется в compose, а не только в Containerfile: podman
# выгружает образы в OCI, где HEALTHCHECK теряется, а gateway в depends_on # выгружает образы в OCI, где HEALTHCHECK теряется, а gateway в depends_on
# ждал бы healthy вечно. wget, не curl: alpine-jre образ curl не содержит. # ждал бы healthy вечно. wget, не curl: alpine-jre образ curl не содержит.
@@ -329,6 +330,14 @@ jobs:
resolver 10.112.0.1 valid=10s ipv6=off; resolver 10.112.0.1 valid=10s ipv6=off;
set \$upstream_app http://app:8080; set \$upstream_app http://app:8080;
set \$upstream_web http://web:80; set \$upstream_web http://web:80;
# X-Forwarded-* переписываются безусловно: клиент не должен иметь
# возможности подсунуть бэкенду подставной "реальный IP/схема/хост"
# (Spring ForwardedHeaderFilter доверяет этим заголовкам).
# X-Forwarded-Prefix не трогаем: его проставляет внешний nginx,
# на нём держится корректный base у swagger-ui за прокси.
proxy_set_header X-Forwarded-For \$remote_addr;
proxy_set_header X-Forwarded-Proto \$scheme;
proxy_set_header X-Forwarded-Host \$host;
location /api/ { location /api/ {
# в proxy_pass нет path-части, поэтому URI передаётся как есть # в proxy_pass нет path-части, поэтому URI передаётся как есть
proxy_pass \$upstream_app; proxy_pass \$upstream_app;
+46 -20
View File
@@ -19,28 +19,29 @@ jobs:
exit 1 exit 1
} }
- name: Setup JDK 17 - name: Build and test without fontconfig (PMD+JaCoCo included)
uses: actions/setup-java@v5
with:
java-version: '17'
distribution: 'temurin'
- name: Cache Maven repository
uses: actions/cache@v4
with:
path: ~/.m2/repository
key: maven-${{ hashFiles('pom.xml', 'wordpdf-core/pom.xml', 'wordpdf-app/pom.xml') }}
restore-keys: maven-
- name: Setup Maven 3.9.16
run: |
curl -fsSL https://dlcdn.apache.org/maven/maven-3/3.9.16/binaries/apache-maven-3.9.16-bin.tar.gz | tar xz -C /opt
echo "/opt/apache-maven-3.9.16/bin" >> "$GITHUB_PATH"
- name: Build and test (PMD gate included)
env: env:
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }} MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
run: mvn -B -s .ci/maven-settings.xml clean verify run: |
DOCKER_BUILDKIT=0 docker build \
-f Containerfile.test \
--build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \
-t wordpdf-verify:ci \
.
- name: Extract JaCoCo reports
if: always()
run: |
id=$(docker create wordpdf-verify:ci 2>/dev/null) || {
echo "образ не собран — сводка покрытия будет пустой"
exit 0
}
mkdir -p wordpdf-core/target/site/jacoco wordpdf-app/target/site/jacoco
docker cp "$id:/build/wordpdf-core/target/site/jacoco/jacoco.xml" \
wordpdf-core/target/site/jacoco/jacoco.xml || true
docker cp "$id:/build/wordpdf-app/target/site/jacoco/jacoco.xml" \
wordpdf-app/target/site/jacoco/jacoco.xml || true
docker rm "$id" >/dev/null
- name: Coverage summary - name: Coverage summary
if: always() if: always()
@@ -103,6 +104,31 @@ jobs:
f"{base}/{existing}" if existing else base, {"body": body}) f"{base}/{existing}" if existing else base, {"body": body})
PY PY
macos-sim:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v5
- name: Check maven mirror var
env:
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
run: |
[ -n "$MAVEN_MIRROR_URL" ] || {
echo "Задайте Actions Variable MAVEN_MIRROR_URL — см. GITEA-vars.md" >&2
exit 1
}
- name: Tests under macOS emulation (-Dos.name)
env:
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
run: |
DOCKER_BUILDKIT=0 docker build \
-f Containerfile.test \
--build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \
--build-arg "SUREFIRE_OS_NAME=Mac OS X" \
-t wordpdf-verify:macos-sim \
.
web: web:
runs-on: ubuntu-latest runs-on: ubuntu-latest
steps: steps:
+101 -100
View File
@@ -1,128 +1,129 @@
# Repository Guidelines # Repository Guidelines
> Роутер: правила, инварианты и команды — здесь; глубокие детали — `docs/agent/*.md`, нормативные форматы — `docs/standards/` (ссылка с номером секции обязательна), пользовательская документация — `README.md`. > Роутер: правила, инварианты и команды — здесь; глубокие детали — `docs/agent/*.md` (pipeline, doc-bridge, chart, testing, ci-cd, repo-map, render-limitations — каждый авторитетен наравне с этим файлом), нормативные форматы — `docs/standards/` (навигатор — `docs/standards/README.md`, ссылка на спецификацию — с номером секции).
## Project Overview ## Project Overview
Конвертер `.docx`/`.doc` → `.pdf` на чистом Java: docx4j 17.3.2 → XSL-FO → форк Apache FOP, без LibreOffice/Aspose. Бинарный `.doc` (Word 97-2003) переносится мостом MS-DOC/MS-CFB (`internal/doc`) в in-memory `.docx` и идёт тем же конвейером. Java 17, только Maven. Конвертер `.docx`/`.doc` → `.pdf` на чистом Java: docx4j 17.3.2 → XSL-FO → форк Apache FOP (`org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 — транзитив от `docx4j-export-fo`), без LibreOffice/Aspose. Бинарный `.doc` (Word 97-2003) переносится мостом MS-DOC/MS-CFB (`internal/doc`) в in-memory `.docx` и идёт тем же конвейером. Maven-мультимодуль `ru.pjandro:java-word-pdf:1.0.0`: `wordpdf-core` (библиотека), `wordpdf-app` (REST на Spring Boot 4.1.1); вне Maven-реактора — SPA `wordpdf-web` (React 19.2 + TS ~6.0 + Vite 8.3 + oxlint + Tailwind v4.3, npm; strict-режим TS намеренно не включён — сборка не strict-гейт) и pytest-автотесты `prod-autotests/`. Java 17, только Maven.
| Модуль | Содержимое | ## Architecture & Data Flow
Единственный вход стека — gateway-контейнер nginx (`:9010` prod-like `compose.yml`, `:9011` dev `compose.dev.yml`), **не** 8080. Реальный прод-стек (`docker-compose.yml` + прод `nginx.conf`) рендерит CI-job `deploy` — копий на хосте/в репо не заводить. Наружный прод-вход — `https://pjandro.ru/pdf-converter/` (образ web собирается с `VITE_BASE=/pdf-converter/` — bake в job `images-web`, не в compose).
**Пайплайн** `WordPdfConverter.convert(byte[] docxBytes, String title, ConvertOptions)` → `convertToStream` (публичная сигнатура единственная, 2-аргументной перегрузки **нет**); порядок шагов фиксирован:
0. `DependencyGuard.check()` (commons-compress ≥ 1.25.0 API-проба);
1. шрифты: `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` — строго в этом порядке, до `load()`;
2. нормализаторы (`DocxRewritePipeline.STEP` + лямбда `OleObjectNormalizer`) → `WordprocessingMLPackage.load`;
3. `setFontMapper`; 3.5 `DrawingPreRenderer.run` (chart/SmartArt/OMML-формулы → PNG; error-флаги бросаются здесь) — **обязателен до `FOSettings`**, иначе FOP молча теряет диаграммы;
4. `FOSettings` + `ChartImageHandler` + `FopFallbackFonts.declare`; 4.25 `LayoutPostRenderer.register`; 4.5 `setCustomXsltTemplates(VendoredXslt.TEMPLATES)`;
5. общая `FopFactory` (DCL на мониторе `WordPdfConverter.class`);
6. `Docx4J.toFO(…, FLAG_EXPORT_PREFER_XSL)` — последним;
7. `finally`: сброс temp-шрифтов (`FontTablePart.deleteEmbeddedFontTempFiles()`), `resetSharedImageCaches()` (иначе ~1,5 ГБ за 30 конвертаций), `restrictToBundled()` (иначе встроенные в предыдущий docx шрифты травят реестр).
`WordPdfValidator.validate` вызывается в `convert()` **до** монитора (параллельно); при `options == null` бросает `ValidationException` сам `convert()`. Вход роутируется по сигнатуре: `PK\x03\x04` → docx; `D0 CF 11 E0 A1 B1 1A E1` (CFB) → `DocToDocx.convert`. Для `.doc` страницы считаются по сырым байтам. Пороги валидатора в `WordPdfConverter` объявлены compile-time literals (javac инлайнит, static-блок конвертера не дёргается).
**Слои ядра** (`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`):
- публичный API: `WordPdfConverter`, `WordPdfValidator`, `ConvertOptions` (record `errorOnCharts/errorOnSmartArt/errorOnOle/maxMb/maxPages` — порядок полей фиксирован), `ConversionException` + `ValidationException` + `Charts/SmartArt/OleFoundException`; `warmup()` — идемпотентный прогрев (никогда не бросает), решает вызывающий;
- `internal/`: контракт нормализатора — `byte[] normalize(byte[])`, нечего менять → **тот же массив** (`assertSame`); правила 1–11 идут одним zip-проходом `DocxRewritePipeline.STEP` в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby (порядок в javadoc `WordPdfConverter.normalizers` устарел — не доверять), `OleObjectNormalizer` — 12-й, отдельным байтовым проходом (не zip); неизменённые записи копируются raw-сжатыми байтами; наружу только `DocxNormalizer`, `DocxRewritePipeline.STEP`, `OleObjectNormalizer`, `FopFallbackFonts`, `LayoutPostRenderer`, `DependencyGuard`;
- `internal/doc`: мост `.doc`→`.docx`, 18 top-level классов (17 package-private + `DocToDocx`) + вложенный `DocxBody`, наружу только `DocToDocx.convert/countPages`; любая бита/шифрованный/Word 6-95 входов → `ConversionException`; раскладки — `docs/agent/doc-bridge.md`;
- `internal/chart`: Java2D → PNG (`ChartRenderer.DPI = 300`, `MAX_PIXELS` 4096² — `fitDpi` понижает dpi; `MAX_POINTS` 100 000, бюджет chart/math-PNG на документ 128 MiB); формулы OMML — собственный растер `MathModel` (разбор §22.1 в дерево боксов, `SUPPORTED` — единый список конструкций) + `MathRenderer` (без AWT/JEuclid, только бандл через `GlyphFont`); модель **деградации**: битая chart-часть/превышение бюджета → объект удалён + warn; неподдерживаемая/битая формула → **текст** (конкатенация `m:t`) + warn; `wp:extent` вне диапазона/ноль → объект **остаётся** + warn (FOP молча потеряет); `OutOfMemoryError` — не деградация, а `ConversionException` (500);
- `fonts/GlyphFont`: метрика/глифы через fontbox напрямую, **без** `java.awt.Font` (fontconfig хосту не нужен).
**Concurrency-инвариант**: `PhysicalFonts` — глобальный мутируемый реестр → все конвертации сериализованы монитором `WordPdfConverter.class` (convert, warmup, DCL-фабрика, мутации `BundledFonts`, `BundledFonts.font()`). Приложение дополнительно держит однопоточный `ThreadPoolExecutor` (очередь 16 → 503, `wordpdf.convert-timeout=2m` → 504), головой очереди стоит `warmup()`; `WordPdfValidator.checkInput` выполняется синхронно до очереди.
**REST** (`wordpdf-app`, всё package-private кроме `WordPdfApplication`): `POST /api/v1/convert` (multipart `file` + `errorOnCharts/errorOnSmartArt/errorOnOle`, `maxMb/maxPages` переопределяют серверный дефолт в обе стороны, ≤ 0 → 400; `file.getBytes()` — только после проверки размера; имя файла из `Content-Disposition`, UTF-8 + `.pdf`). Коды: 400 валидация/битые параметры, 401 `ApiKeyFilter` (`X-API-Key` ↔ `wordpdf.api-key`, пусто = выключено, сравнение `MessageDigest.isEqual`; открытые префиксы `/actuator/` (со слэшем!), `/swagger-ui`, `/v3/api-docs`; dot-segment (`..`, `%2e`) заставляет требовать ключ даже на открытых; Advice фильтров не видит — 401 пишет сам), 413 multipart, **422** отказ по графике (`DrawingRejectedException`, фиксированные тексты CHARTS/SMART_ART/OLE — контракт с фронтом), 500 `ConversionFailedException` (текст ядра только в лог, наружу фиксированный), 503 переполнение очереди, 504 timeout; тело ошибки — `{"error": …}` (`record ApiError`). Полная карта, включая 404/405/415, — `docs/agent/repo-map.md`. На `.doc` error-флаги не срабатывают (OLE-вложения — U+0001, мост деградирует в картинки); при снятом флаге `.docx`-OLE теряет data-части, **но сохраняет плейсхолдер-картинку**.
**SPA** (`wordpdf-web/src`): вся сеть — единственная точка `api.ts` (ровно 2 `fetch`: `convertDocx`, `probeApiKey()` — 401=required / иначе open; ключ в localStorage `wordpdf.api.key`, при 401 стирается; имя файла из `Content-Disposition filename*=utf-8''`); единственный источник состояния — `useState` в `components/App.tsx` (+ `useRef` для `AbortController`/blob-URL), store-библиотек нет; лимиты на клиенте не задаются — только сервер.
### Критические инварианты (нарушение = битый вывод, не исключение)
- Static-блок `WordPdfConverter`: `docx4j.convert.out.fo.gsubFeatures=false` (иначе `WordLayoutFixups` отказывает всем фиксам → FOP падает), `docx4j.fonts.discoverPhysicalFonts.enabled=false`, `discoverJarFonts.enabled=false` — не удалять.
- Единственный XSL-FO-стилист — вендорный `wordpdf-core/src/main/resources/xslt/docx2fo.xslt` (копия из docx4j-export-fo 17.3.2 + AUDIT-FIX-патчи); обновление docx4j = ручной перенос патчей; дрейф-гейт `vendoredXsltTracksJarCopy`; команда ре-вендоринга — `docs/agent/repo-map.md`.
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF; в app исключён (logback). Fontbox логируется commons-logging — единственный мост `jcl-over-slf4j`; `commons-logging` исключён из pdfbox/fontbox в dependencyManagement.
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 (транзитив от `docx4j-export-fo`, в pom не пинится); `jeuclid-fop`/`jeuclid-core` исключены из `docx4j-export-fo` в core-pom (тянут AWT/fontconfig); расхождения с upstream-доками FOP нормальны; `lineRule=auto` не «чинить».
- Chart-media префикс `/word/media/chart-*` — константа `DrawingPreRenderer.CHART_MEDIA_URI_PREFIX` (package-private), пакетный контракт с `ChartImageHandler` (отключение пересжатия); переименование молча вернёт мыльный ресемпл.
- Стоп-лист «не чинить» (до любой попытки починить расхождение с Word — `docs/agent/render-limitations.md`): `jc="distribute"`, `suff="tab"`/`lvlJc`, кернинг, `framePr`, `REF`/`SEQ`/`TOC`-кэш, руби-надстрочница, `ptab`, U+2188/U+218A (GPL-шрифты не добавляем).
## Key Directories
|Каталог|Назначение|
|---|---| |---|---|
| `wordpdf-core` | библиотека: 62 Java-файла (7 — публичный API, 16 `internal/`, 18 `internal/doc/`, 18 `internal/chart/`, 3 `fonts/`) | |`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API + `internal/` (нормализаторы) + `internal/doc/` (мост) + `internal/chart/` (рендер) + `fonts/`|
| `wordpdf-app` | REST API на Spring Boot 4.1.1: 11 классов, единственный `public` — `WordPdfApplication` | |`wordpdf-core/src/main/resources/`|`fonts/` (30 TTF + лицензии OFL/Bitstream-Vera/Noto), `xslt/docx2fo.xslt`, `slf4j-simple.properties`|
| `wordpdf-web` | SPA (React 19 + TS + Vite + Tailwind), вне Maven-реактора, отдельный образ | |`wordpdf-core/src/test/resources/samples/`|фикстуры: 13 `.docx` + 12 `.doc` (закоммичены, билдятся в test-jar для app; у app своего `src/test/resources` **нет**)|
|`wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/`|REST-слой (11 классов)|
|`wordpdf-web/src/`|SPA: `api.ts` (вся сеть), `components/` (`App.tsx` — состояние, `ApiKeyGate`, `DropZone`, `PdfPreview`, `StatusMessage`, `Logo`)|
|`prod-autotests/`|pytest-проверки живого стенда (31: 4 открытые + 27 `needs_key`)|
|`docs/agent/` · `docs/standards/`|справочники поведения · закоммиченные спецификации (ECMA-376, MS-DOC/CFB/ODRAW…, навигатор — `docs/standards/README.md`)|
|`gateway/nginx.conf`|прод-like шлюз (`client_max_body_size 100m`, таймауты 300 с, `resolver` привязан literal-ом к шлюзу сети)|
|`develop/`|вне git (gitignored): эталоны Word — **не фикстуры**, в тесты/jar не подключать|
Единственный вход стека — gateway-контейнер nginx (`:9010` prod-like `compose.yml`, `:9011` dev `compose.dev.yml`), **не** 8080. Авторитетны этот файл, `docs/agent/` и код. Полный путеводитель по каталогам, ключевым файлам и командам — `docs/agent/repo-map.md`. ## Development Commands
## Пайплайн `WordPdfConverter.convert(byte[], String[, ConvertOptions])` Бутстрап: `sh bootstrap.sh` (Windows: `powershell -ExecutionPolicy Bypass -File .\bootstrap.ps1`) — project-local mise 2026.10.19 в `./.mise/` + `mise install` + `npm ci` web; дальше всё через `./mise.sh` / `.\mise.ps1` (тонкие exec-обёртки; инструменты — в `~/.local/share/mise`).
Порядок шагов 0–7 фиксирован (`convertToStream`), местами менять нельзя. Вход роутируется по сигнатуре: `PK\x03\x04` → docx-путь; `D0 CF 11 E0 A1 B1 1A E1` (CFB, MS-CFB §2.2) → `DocToDocx.convert` → in-memory `.docx` → тот же конвейер (предикат — `WordPdfValidator.isBinaryDoc`). Валидация — **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись zip/CFB → контейнер → страницы); для `.doc` — `checkPageCountDoc` по сырым байтам.
Порядок: шрифты (`BundledFontMapper` → `BundledFonts.init` → `restrictToBundled`) и правила 1–10 (`DocxRewritePipeline.STEP`) + `OleObjectNormalizer` — до `WordprocessingMLPackage.load`; `FOSettings`/`FopFallbackFonts`/`LayoutPostRenderer` — до `setCustomXsltTemplates(VendoredXslt.TEMPLATES)`; `Docx4J.toFO(…, FLAG_EXPORT_PREFER_XSL)` — последним; `finally` → `deleteEmbeddedFontTempFiles()`. Полная таблица шагов и подсчёт страниц — `docs/agent/pipeline.md`.
## Нормализаторы (`internal/DocxNormalizer`)
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame`). Порядок фиксирован: Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby. Правила 1–10 применяет `DocxRewritePipeline.STEP` одним zip-проходом (неизменённые записи копируются raw-сжатыми байтами); `OleObjectNormalizer` (правило 11) — лямбдой в `WordPdfConverter.normalizers()`. `STEP` выставляют 9 из 10 rewrite-нормализаторов (нет у `RubyNormalizer`), у `OleObjectNormalizer` её нет. Правила 1–11, guard'ы, номера секций и инвариант `mc-preprocessor.xslt` (собственный рерайт strict-URI ломать нельзя) — `docs/agent/pipeline.md`.
## Мост `.doc` → `.docx` (`internal/doc`)
18 классов, 16 package-private; наружу — `DocToDocx` (`convert`/`countPages`) и `CfbReader`. Общий разбор — `DocFile`: CFB → потоки WordDocument / 0Table|1Table / Data + FIB + piece table. Новых runtime-зависимостей нет (POI/POIFS — test-scope). Источники: [MS-DOC] (`docs/standards/doc/`), [MS-CFB]/[MS-OLEPS]/[MS-ODRAW] (`docs/standards/binary/`). Байтовые раскладки по классам — `docs/agent/doc-bridge.md`.
## REST API (`wordpdf-app`, всё package-private кроме `WordPdfApplication`)
`POST /api/v1/convert`: multipart-поле `file` (`.docx`/`.doc`) + query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолты — `WordPdfSettings.ERROR_ON_*`). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`; имя — `ConversionService.safeBaseName`. Тело ошибки — `{"error": …}`. Error-флаги на `.doc` **не срабатывают** (BLIP-плейсхолдеры → картинки). `ApiExceptionHandler` не видит ошибок фильтров — 401 пишет сам `ApiKeyFilter`.
- **Коды**: 400 — `ValidationException`/`BadRequestException`/битые параметры; 401 — `ApiKeyFilter`; 404/405/415 — путь/метод/content-type; 413 — multipart; **422** — `DrawingRejectedException` (core-`DrawingFoundException`, `Kind {CHARTS, SMARTART, OLE}`); 500/503/504 — `ConversionFailedException`/`ConversionRejectedException`/`ConversionTimeoutException`. Полная карта — `docs/agent/repo-map.md`.
- **Текст 422** — контракт с фронтом: «Конвертация отменена: в документе найдены диаграммы/найден SmartArt/найдены OLE-объекты».
- **Ключ**: `X-API-Key` ↔ `wordpdf.api-key` (пустое = выключено); без ключа открыты только `OPEN_PREFIXES` (`/actuator/`, `/swagger-ui`, `/v3/api-docs`), пути с точечными сегментами — никогда.
- **Очередь и лимиты**: конвертации сериализованы однопоточным `ThreadPoolExecutor` (`QUEUE_CAPACITY = 16`, переполнение → 503) — ядро не потокобезопасно; головой очереди на старте стоит `warmup()`. Лимиты входа — только конфигурация сервера (`wordpdf.max-mb`/`max-pages`, дефолты из `WordPdfSettings`; ≤ 0 → `IllegalStateException`; параметрами запроса не переопределяются).
- **SPA**: вся сеть в `wordpdf-web/src/api.ts`; ключ в `localStorage` (`wordpdf.api.key`); `ApiKeyGate` — только если `probeApiKey()` подтвердил требование ключа (признак открытого сервера — **405**); base — `VITE_BASE`; DropZone `.docx,.doc`.
## Chart/SmartArt-движок (`internal/chart`, 18 классов)
Нормативный источник — ECMA-376 (`docs/standards/ooxml/`: графики §21.2, diagram-разметка §21.4, пресет-геометрия Annex D, XSD); поведение Word — `ms-oi29500.md`, `ms-odrawxml.md`. Калибровки (камера, `PIE_DEPTH`) меняются только с пиксельными тестами; невалидная фикстура правится, не код.
Java2D → PNG: `ChartRenderer.DPI = 300`, потолок `MAX_PIXELS = 16_777_216` (`fitDpi`); лимиты `ChartSpec.MAX_POINTS = 100_000`, `ChartRenderer.MAX_TICKS = 1000`, `DrawingPreRenderer.MAX_EXTENT_EMU = 22_000_000` — деградация «объект как есть / удалён + warn», не OOM. Chart-PNG вставляются media-частями вручную (`addChartMedia`, `/word/media/chart-*`, без `createImagePart`); `ChartImageHandler` отключает «Compress Pictures» (CR-029) только для них. Пейнтеры, `autoTitleDeleted`, Combo, обходы JAXB — `docs/agent/chart.md`.
## Критические инварианты (нарушение = битый вывод, не исключение)
- `docx4j.convert.out.fo.gsubFeatures=false` — static-блок `WordPdfConverter`; иначе FO невалиден → `WordLayoutFixups` молча отказывает всем фиксам → FOP падает на `docx4j-baseline`.
- `docx4j.fonts.discoverPhysicalFonts.enabled=false` и `discoverJarFonts.enabled=false` — static-блок: иначе `BestMatchingMapper` сканирует системные шрифты и jar'ы classpath'а, а `restrictToBundled()` всё найденное выбрасывает (~100–140 мс впустую на JVM). `discoverJarFonts("fonts-symbol")` свойством не гейтится — символ-шрифт регистрируется и снимается restrict'ом как раньше.
- Единственный XSL-FO-стилист — вендорный `xslt/docx2fo.xslt` (копия из docx4j-export-fo 17.3.2 + два AUDIT-FIX-патча: `w:rPr/w:position` → `baseline-shift`, Part 1 §17.3.2.24; AUDIT-FIX-2 — `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir`, иначе их ловит catch-all `match="*"` и текст теряется). Дрейф-гейт `vendoredXsltTracksJarCopy`: вне AUDIT-FIX-регионов копия побайтно равна стилю из jar'а. `setCustomXsltTemplates` принимает предкомпилированный `Templates`.
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`); приложение исключает его — логи ведёт logback.
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 (транзитив от `docx4j-export-fo`, в pom не пинится; пакеты `org.apache.fop.*`). `FopFallbackFonts` берёт `w:renderer` с mime `application/pdf`, иначе первый со шрифтами.
- `BundledFonts.init()` идемпотентен и `synchronized`, распаковывает TTF в `wordpdf-fonts-*` (`deleteOnExit`); `dropNonBundled()` чистит `PhysicalFonts` от всего, что вне бандла.
- `PhysicalFonts` — глобальный и мутируемый → ядро не потокобезопасно; приложение сериализует конвертации одним воркером; `warmup()` идёт тем же потоком.
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; правила StAX-подсчёта — `docs/agent/pipeline.md`.
- Не чинить: `jc="distribute"`, `suff="tab"`/`lvlJc`, метрика «single», кернинг, `framePr`, `REF`/`SEQ`/`TOC`-кэш, руби-надстрочница, U+2188/U+218A — доказательства в `docs/agent/render-limitations.md`.
- Комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.2 (описанное поведение верно).
## Шрифты (30 TTF + 3 лицензии, SIL OFL, `wordpdf-core/src/main/resources/fonts/`)
9 семейств: 7 × 4 начертания (Carlito/Caladea/Arimo/Tinos/Cousine/DejaVu Sans/DejaVu Serif) + Noto Naskh Arabic / Noto Sans Armenian (только regular). `BundledFontMapper.ALIASES`: Calibri→Carlito, Calibri Light→Carlito, Cambria→Caladea, Arial→Arimo, Times New Roman→Tinos, Courier New→Cousine; **self-map** всех бандл-семейств, включая Noto; fallback — DejaVu Sans; виртуальный `SYMBOL_FONT` «Segoe UI Symbol» (U+2000–U+2EFF) → fallback до основного цикла. Новый шрифт = файл + запись в `BundledFonts.ENTRIES` (синхрон проверяет `BundledFontsTest`). `GlyphFont` читает TTF напрямую с classpath через fontbox, **без** `java.awt.Font` (нужен fontconfig на хосте). Публичный API и детали — `docs/agent/repo-map.md`.
## Команды
Бутстрап: `sh bootstrap.sh` (Windows: `powershell -ExecutionPolicy Bypass -File .\bootstrap.ps1`) — project-local mise в `./.mise/`, дальше — `./mise.sh` / `.\mise.ps1`.
```bash ```bash
./mise.sh run verify # = mvn clean verify: тесты + PMD + JaCoCo (гейт перед push) ./mise.sh run verify # = mvn clean verify: тесты + PMD + JaCoCo (гейт перед push)
mvn clean verify # то же; mvnw НЕТ — только системный Maven ./mise.sh run verify-nofontconfig # тот же verify в контейнерах без fontconfig (как CI)
mvn -pl wordpdf-core test -Dtest=WordPdfConverterTest#pageNumbers_recomputedNotCached # один тест mvn test -Djacoco.skip=true # работает: пустой <argLine> по умолчанию в корневом pom
mvn -pl wordpdf-app -am test -Dtest=ConvertControllerTest#convertSample_returnsPdf # -am: core test-jar mvn -pl wordpdf-core test -Dtest=WordPdfConverterTest#pageNumbers_recomputedNotCached
mvn -pl wordpdf-app -am package # исполняемый jar бэкенда mvn -pl wordpdf-app -am test -Dtest=ConvertControllerTest#convertSample_returnsPdf # -am обязателен: core test-jar
java -jar wordpdf-app/target/wordpdf-app-1.0.0.jar # :8080, ключ выключен ./mise.sh run app-package && ./mise.sh run app-run # jar :8080, ключ выключен
curl -F "file=@doc.docx" http://localhost:8080/api/v1/convert -o doc.pdf curl -F "file=@doc.docx" http://localhost:8080/api/v1/convert -o doc.pdf
./mise.sh run web-install|web-build|web-lint|web-dev # npm ci | tsc -b && vite build | oxlint | vite :5173 ./mise.sh run web-install|web-build|web-lint|web-dev # npm ci | tsc -b && vite build | oxlint | vite :5173
./mise.sh run mem-bench # membench.sh + core MemoryBench (MB_LABEL, --scenario suite|big|all, --dir develop/)
podman-compose -f compose.dev.yml up -d --build --force-recreate # dev-стенд :9011, без ключа podman-compose -f compose.dev.yml up -d --build --force-recreate # dev-стенд :9011, без ключа
./mise.sh run prod-tests # прод-автотесты в prod-autotests/ podman-compose up -d --build # prod-like стенд :9010 — fail-closed: нужен .env с WORDPDF_API_KEY (шаблон .env.example)
./mise.sh run prod-tests # pytest; обязателен WORDPDF_BASE_URL
python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources/samples/*.docx # XSD (lxml) python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources/samples/*.docx # XSD (lxml)
``` ```
Задачи mise (8): `verify`, `app-package`, `app-run`, `web-install`, `web-build`, `web-lint`, `web-dev`, `prod-tests`. - «Запусти тестовый сервер» (термин пользователя) = dev-стенд выше, **не** `java -jar`; вход — `http://<LAN-IP>:9011` (`hostname -I`); гейт готовности — контейнеры healthy (`podman-compose -f compose.dev.yml ps`) + корень SPA 200; `--force-recreate` обязателен.
- `mvn test` PMD и проверки JaCoCo **не** запускает (оба на `verify`; сам агент JaCoCo подключается и на `test` — execution `prepare-agent` на `initialize`); `mvn -pl wordpdf-app` без `-am` падает (зависимость от core test-jar).
**«Запусти тестовый сервер» (термин пользователя)** = полный dev-стенд, НЕ `java -jar`: `podman-compose -f compose.dev.yml up -d --build --force-recreate`, вход `http://<LAN-IP хоста>:9011` без API-ключа; гейт — контейнеры healthy + корень SPA отвечает 200. `--force-recreate` обязателен: без него контейнеры остаются на старом образе. - Деплой — push в `main` → Gitea Actions (детали — `docs/agent/ci-cd.md`); **перед деплоем/перезапуском прочитать `/home/pjandro/prod/java-word-pdf/DEPLOY.md`** (вне репо); ручных скриптов нет.
Пересоздание фикстур и перевендоривание стилиста — `docs/agent/repo-map.md`. Деплой: **прод** — на пользовательском LAN-сервере; **перед деплоем/перезапуском прочитать `/home/pjandro/prod/java-word-pdf/DEPLOY.md`**; пуск — push в `main` или Run workflow, ручных скриптов нет (детали — `docs/agent/ci-cd.md`).
## Code Conventions & Common Patterns ## Code Conventions & Common Patterns
- Классы `final`, приватный конструктор, только `static` (stateless, DI нет; конфигурация — `Docx4jProperties` + classpath-ресурсы). Исключения — экземпляры по природе: `BundledFontMapper`, `DrawMlColor`, Spring-компоненты `wordpdf-app`. - Классы `final`, приватный конструктор, только `static` (stateless, DI в ядре нет). Исключения-экземпляры: `BundledFontMapper`, Spring-компоненты app. В `internal/**` классы package-private; `public` — только вызываемые извне пакета, контракт не расширять.
- В `internal/**` классы `public` (иначе родительский пакет не вызвал бы), но публичные члены наружу ограничены: `normalize`/`STEP`/`declare`/`run`/`check`/`register`; `rewrite`-хуки — package-private. В `wordpdf-app` всё package-private кроме `WordPdfApplication`; в `internal/doc` публичны только `DocToDocx` и `CfbReader`. - Ошибки публичного API — только `ConversionException extends RuntimeException`; `ValidationException` не оборачивать; в chart — деградация вместо падения; текст 500 наружу фиксированный (сообщения ядра логируются, не отдаются).
- Нормализаторы — единый контракт `internal/DocxNormalizer` + константа `STEP`; порядок цепочки — см. «Нормализаторы», правятся только `word/*.xml`. - Javadoc на русском: «зачем» со ссылкой на секцию спецификации (§17.3.2.24, [MS-DOC] §2.6.1…) + что сломается без шага + регрессия в формате `Регрессия — WordPdfConverterTest#имя, фикстура samples/….docx` (по этой строке грепом восстанавливаются пары «нормализатор-тест ↔ тест-в-конвейере»).
- Ошибки публичного API — только `ConversionException extends RuntimeException` (unchecked); внутренние исключения оборачиваются на границе. В chart — деградация вместо падения. `ValidationException` — собственность `WordPdfValidator`; не оборачивать в общий `ConversionException`. - Логирование по пакетам: `java.util.logging` — корневой пакет и `internal/` (`WordPdfConverter`, `OleObjectNormalizer`, `DocToDocx`); SLF4J — `internal/chart` (`ChartRenderer`, `DrawingPreRenderer`) и `wordpdf-app`; остальное молчит.
- DI в `wordpdf-app` — конструкторная инъекция Spring; состояние сервисов `private final`. SPA: единственный источник состояния — `useState` в `App.tsx`, вся сеть — в `api.ts`. - Модели — `record` (`ConvertOptions`, `BundledFonts.Entry`, `MathRenderer.MathImage`, `ApiError`); константы UPPER_SNAKE с javadoc-обоснованием числа; holder-идиомы для ленивой инициализации (`VendoredXslt.TEMPLATES`); DCL+caches (`sharedFopFactory`, `GlyphFont.CACHE`); compile-time literals там, где важен инлайн (`WordPdfConverter` ↔ `WordPdfValidator`).
- Javadoc на русском, объясняет «почему» и ссылается на регрессию и фикстуру (формат: `Регрессия — WordPdfConverterTest#имя, фикстура samples/….docx`). - Шрифты: новый шрифт = файл в `resources/fonts/` + запись в `BundledFonts.ENTRIES` (синхрон проверяет `BundledFontsTest`); алиасы — `BundledFontAliases.ALIASES` (Calibri→Carlito, Cambria→Caladea, Arial→Arimo, Times New Roman→Tinos, Courier New→Cousine, …; вынесено из `BundledFontMapper`, чтобы обращение к статикам не инициировало ungated-скан `BestMatchingMapper.<clinit>`), fallback — DejaVu Sans.
- Константы UPPER_SNAKE с эталонными значениями (`PIE_DEPTH`, `MAX_PAGES`); начертания `V_REGULAR/V_BOLD/V_ITALIC/V_BOLD_ITALIC`; модели — `record`; размеры в chart — в пунктах, растр × `DPI/72`. - PMD (`pmd-ruleset.xml`, execution `pmd-check` на `verify`, `includeTests=true`, валит любой приоритет): правила не перенастраивать, подавления (`@SuppressWarnings("PMD…")`, `// NOPMD`) запрещены — нарушения чинятся кодом.
- Логирование: `java.util.logging.Logger` в корневом пакете и `internal/`, SLF4J — в `internal/chart` и `wordpdf-app`. - Git: origin `git.pjandro.ru:pjandro/java-word-pdf`; защищённые `main`/`master`/`dev`; все правки — через PR в дефолтную ветку; push — только после `./mise.sh run verify`. Прод-координаты и креды в репо не попадают (Gitea Variables/Secrets — `GITEA-vars.md`; прод-ключ — только Gitea Secret; локальный `.env` gitignored, только для prod-like стенда).
- Тестовые методы: регрессионные — `объект_условие` через underscore (`ruPlain_cyrillicAndStyles`), юниты — camelCase (`pageFieldBecomesFldSimple`); оба стиля разрешает PMD-паттерн `junit5TestPattern` (`^[a-z][a-zA-Z0-9]*(_[a-zA-Z0-9]+)*$`).
- PMD (`pmd-ruleset.xml`, execution `pmd-check` на `verify` в обоих модулях, `includeTests=true`, валится нарушение любой приоритетности): полные исключения категории, кастомное XPath-правило `LiteralFirstInEquals` и настройки — в самом ruleset.
## Runtime & Tooling ## Important Files
- Java 17 + Maven (обязательны; wrapper `mvnw` НЕТ); UTF-8; только Maven — никаких Gradle/Ant. Инструменты (Java/Maven/Node/Python) ставит project-local mise (бинарь в `.mise/`, вне системы), версии пинятся в корневом `mise.toml`; ежедневный запуск — `./mise.sh`. |Файл|Что держать в голове|
- Версии зависимостей — только в корневом `pom.xml` (properties + dependencyManagement), новые — latest stable; закреплённый список — `docs/agent/repo-map.md`. Maven-зависимости — через Nexus `maven-central`: локально `~/.m2/settings.xml` (файл вне репо), CI/Containerfile — `.ci/maven-settings.xml` + `MAVEN_MIRROR_URL`. |---|---|
- Фронт: Node из engines vite/oxlint, `npm ci` с закоммиченным `package-lock.json`, TS `strict` нигде не включён. Контейнеры (podman/buildah): `FROM` только FQDN, хостовые прокси-переменные обнулять на самой команде (`RUN`/`HEALTHCHECK`), `DOCKER_BUILDKIT=0` обязателен, fontconfig рантайму не нужен (глифы — fontbox). |`pom.xml` (корень)|единственное место версий (properties + dependencyManagement): docx4j 17.3.2, commons-compress 1.28.0, slf4j 2.0.20, Boot 4.1.1 BOM, springdoc 3.1.1, JUnit 6.1.3, PDFBox/fontbox 3.0.8, POI 5.5.1 (test), JaCoCo 0.8.15, PMD-плагин 3.21.2; там же плагины: compiler 3.16.0, surefire 3.6.0 (`-Djava.awt.headless=true`), jar 3.5.1; пустой `<argLine/>` — ради `-Djacoco.skip=true`|
- Локальная проверка одна: `mvn clean verify` (тесты + PMD + JaCoCo). Форматтеров и checkstyle для Java нет; статический линтер — PMD. Исполняемый jar проверять только `java -jar`; нюанс `BundledFontsTest` (`file:`-протокол classpath) — `docs/agent/repo-map.md`. |`wordpdf-core/src/main/java/.../WordPdfConverter.java`|весь конвейер, static-блок sysprops, пороги-константы, монитор сериализации|
- Git: origin `git.pjandro.ru:pjandro/java-word-pdf`; защищённые ветки — `main`, `master`, `dev`. Все правки — через PR в дефолтную ветку; push — завершающим шагом задачи, только после `./mise.sh run verify`. |`wordpdf-app/src/main/resources/application.properties`|multipart 100MB/100MB (зеркалит nginx `client_max_body_size`) + `file-size-threshold=2MB` (сброс больших частей на диск — защита от OOM), `convert-timeout=2m`, `api-key=` (пусто = auth off), `forward-headers-strategy=framework`; `wordpdf.max-mb`/`max-pages` здесь **не объявлять намеренно** — пустое значение затенит `@Value`-дефолты 5/100 (≤ 0 на старте → `IllegalStateException`)|
- Прод-координаты и креды в коммитимые файлы **не попадают** (ни IP, ни хостов, ни пользователей, ни ключей): стенд — Gitea Actions Variables, креды — Secrets; workflow-файлы ссылаются только на `${{ vars.* }}`/`${{ secrets.* }}` (список — `GITEA-vars.md`). Локальный `.env` (gitignored) — только для `compose.yml`. |`wordpdf-core/pom.xml` / `wordpdf-app/pom.xml`|execution `test-jar`; BRANCH-гейт 0.85 (только core); exclusions: jeuclid (core), `slf4j-simple` (app); Boot-4 имена: `spring-boot-starter-webmvc` (не `-web`), отдельный `spring-boot-webmvc-test`; `repackage` привязан явно|
|`Containerfile` / `Containerfile.test` / `compose*.yml` / `gateway/nginx.conf`|прод-образ (heap 2G, mem_limit 3G, wget-healthcheck, FQDN FROM, non-root 10001, обнуление прокси на команде) / CI-гейт без fontconfig (Debian-база — alpine amd64-only; `SUREFIRE_OS_NAME` для macos-sim) / стенды :9010–:9011 / шлюз. Нюанс: repo `compose.yml` (prod-like) гасит springdoc env-ами и требует `.env`-ключ, а реальный прод из CI-рендера держит swagger открытым (`test_swagger_ui_open_without_key`) — не путать|
|`.gitea/workflows/pr.yml`, `main.yml`, `.ci/maven-settings.xml`|CI: jobs `java`/`web` в обоих — идентичные шаги, в `pr.yml` дополнительно `macos-sim` (те же тесты с `--build-arg SUREFIRE_OS_NAME="Mac OS X"`, только на PR, не required-гейт); `main.yml`: `images-* → deploy → autotests (+ rollback при failure)`; Maven в CI живёт в контейнере `maven:3.9-eclipse-temurin-17`; зеркало `${env.MAVEN_MIRROR_URL}`, `mirrorOf="*"`|
|`wordpdf-web/src/api.ts`, `vite.config.ts`|вся сеть SPA; `base` — только через env `VITE_BASE` (в прод-образ запекается `--build-arg VITE_BASE=/pdf-converter/` в job `images-web`)|
|`mise.toml`, `GITEA-vars.md`|пины инструментов и все таски / полный список Secrets+Variables CI и настройка branch protection|
## CI/CD (Gitea Actions) ## Runtime/Tooling Preferences
`pr.yml` (`PR checks`): job `java` (`mvn -B -s .ci/maven-settings.xml clean verify` через Nexus) + coverage-сводка и комментарий в PR, job `web` (`npm ci` → build → lint). `main.yml`: `java`/`web` → `images-app`/`images-web` (build+push в Nexus, теги `prod` + `sha-<7>`) → `deploy` (SSH, рендер прод-конфигов, гейты healthy) → `autotests` → `rollback` при провале. Нарратив — `docs/agent/ci-cd.md`. - Java 17 temurin + Maven 3.9.16 + Node 24 + Python 3.15 — пинины в `mise.toml`, всё через project-local mise (`./.mise/bin/mise`, вне системы); `mvnw` **нет** (`.mvn/` — пустой) — только Maven из mise. UTF-8.
- Только Maven (никаких Gradle/Ant). Версии зависимостей/плагинов — только в корневом `pom.xml`; FOP-форк отдельно не пинить; `commons-compress` не завышать (привязан к docx4j 17.3.2); `<repositories>` в pom не добавлять (зеркало — через settings).
Защита ветки `main`: required-контексты — **`PR checks / java (pull_request)`**, **`PR checks / web (pull_request)`** (deploy/autotests в список не включать — на PR не бегут). Смена лимитов стенда = правка Variables, PR не нужен. - Веб: только npm (`package-lock.json` закоммичен; никаких pnpm/yarn); линтер — oxlint (не eslint).
- Контейнеры: podman/buildah; `FROM` только FQDN; хостовые прокси-переменные обнулять на самой команде в `RUN`/`HEALTHCHECK`; `DOCKER_BUILDKIT=0` (CI); healthcheck через wget, не curl; fontconfig рантайму не нужен (глифы — fontbox); alpine-теги maven/temurin amd64-only — тестовый образ на Debian-базе.
- Сеть: наружу публикуется только gateway (9010/9011); 8080/80 наружу не выставлять; подсети compose зафиксированы (nginx `resolver` привязан literal-ом к шлюзу сети — 10.113.0.1 стенды / 10.112.0.1 прод).
- Прод-стек (`docker-compose.yml`, `nginx.conf`) рендерится job'ом `deploy` из Variables — копий на хосте/в репо не заводить; required-контексты защиты `main` (по `GITEA-vars.md`) — буквально `PR checks / java (pull_request)`, `PR checks / web (pull_request)`; `macos-sim`, deploy/autotests — не required.
## Testing & QA ## Testing & QA
- Гейты: PMD `maven-pmd-plugin` 3.28.0 (`includeTests=true`) и JaCoCo `0.8.15` (`jacoco:check` на `verify`) — LINE `0.90` (оба модуля), BRANCH `0.85` (только core); отчёт `report` раньше `check` (`target/site/jacoco/`). Механика — `docs/agent/repo-map.md`. Плотность покрытия держат тесты, а не заглушки. - Гейты на `verify`: PMD (движок 6.55.0 — default внутри maven-pmd-plugin 3.21.2, отдельно в pom не пинится; осознанный откат — ruleset использует удалённые в PMD 7 `*MustUseBraces`; подавлений в коде нет и быть не должно) + JaCoCo: LINE ≥ 0.90 оба модуля, BRANCH ≥ 0.85 только core; при провале отчёт уже в `target/site/jacoco/` (`report` привязан до `check`). CI-эквивалент — `./mise.sh run verify-nofontconfig`.
- Стек: JUnit 6 (`org.junit.jupiter`), только `Assertions` — Mockito/AssertJ не использовать; в app-тестах допустим inline-Hamcrest `containsString` в `andExpect`; тестовые классы package-private, зеркалят main-пакеты. Счётчики — `docs/agent/testing.md`. - Стек: JUnit 6 (`org.junit.jupiter`), **только `Assertions`** — Mockito/AssertJ запрещены и в pom их нет; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` (полностью квалифицирован, без импортов) в `andExpect`; app не объявляет junit сам — только через `spring-boot-starter-test`. Тестовые классы package-private, зеркалят main-пакеты; только `@Test` (исключения: два `@BeforeAll` прогрева шрифтов и `@AfterEach drainWorker` в `ConversionTimeoutTest`); ни `@Nested`, ни `@ParameterizedTest`, ни `@Disabled`, ни `assertAll`.
- **PDF сравнивается текстом, не растеризацией**: PDFBox 3, `PDFTextStripper`; негативные маркеры — `.notdef` (`#`) и `Helvetica`; текст нормализуется по пробелам (`norm`). Пиксельные проверки — только в юнитах chart-пейнтеров (допуски `assertRatio` < 0.06 / < 0.10). Детали — `docs/agent/repo-map.md`. - Именование: регрессионные — `объект_условие` (`pageNumbers_recomputedNotCached`), юниты — camelCase (`pageFieldBecomesFldSimple`).
- Регрессивная конвенция: фикс = нормализатор/рендерер + юнит + конвертер-тест; в javadoc фикса — ссылка «Регрессия — Test#имя, фикстура samples/…». Пары `XxxNormalizerTest`↔`тест-в-конвейере` воспроизводятся грепом по этим ссылкам; исключения — `docs/agent/testing.md`. - **PDF сравнивается текстом**: PDFBox 3 `PDFTextStripper` (`norm` схлопывает пробелы; негативные маркеры — `#`/`.notdef` и `Helvetica`; приём `fontNameOf` — имя шрифта символа, живёт только в `WordPdfConverterTest`). Пиксели — только юниты chart-пейнтеров (`assertRatio` < 0.06 / < 0.10, эталонные числа Word-рендеров 300 dpi захардкожены). Тестовых утилит нет — хелперы намеренно дублируются в классах. Сообщения ассертов — по-русски с наблюдаемым значением; литерал слева (`"%PDF".equals(…)`).
- Фикстуры — только закоммиченные `samples/*.docx` (13) + `samples/*.doc` (12), в тестах не генерировать; контракт нормализаторов «нечего менять → тот же массив» (`assertSame`) + неприкосновенность частей вне `word/*.xml`. - Фикстуры — только закоммиченные `samples/*.docx`/`*.doc`, в тестах не генерировать; XSD-невалидная фикстура правится, не код. Синтетика в памяти разрешена: docx — `ZipOutputStream` из литеральных XML, `.doc` — крафт `POIFSFileSystem`. Пересоздание — одноразовые `SampleDocxGenerator`/`ChartTypesDocxGenerator` (POI test-scope, команда — `docs/agent/repo-map.md`); `charts-smartart.docx` и `ole-embedded.docx` сделаны руками — **никогда не перезаписывать** (все 12 `.doc` — эталоны заказчика, не вывод генераторов).
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); четыре набора свойств = четыре контекста (отдельные классы, не `@Nested`); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring. Core-юниты Spring **не поднимают**; app-тесты проверяют только HTTP-код/заголовки/текст ошибки. Детали — `docs/agent/testing.md`. - Идиома загрузки (ловушка): **core** — classloader без ведущего слэша (`getResourceAsStream("samples/…")`); **app** — class-relative со слэшем (`"/samples/…"`, ресурсы из core test-jar).
- Жизненный цикл: только `@Test`; исключения — два `@BeforeAll` (прогрев шрифтов) и `@AfterEach drainWorker` в `ConversionTimeoutTest`. Ни `@Nested`, ни `@ParameterizedTest`, ни `@Disabled`, ни `assertAll`. - App-тесты: 4 набора свойств = 4 Spring-контекста (`ConvertControllerTest` пинует пустой `wordpdf.api-key=`; `ApiKeyFilterTest`; `ConvertLimitsTest`; `ConversionTimeoutTest`); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring; проверяют только HTTP-код/заголовки/текст ошибки; core-юниты Spring не поднимают. Ловушка: mise инжектирует корневой `.env` в окружение задач — ambient `WORDPDF_API_KEY` взорвёт 401 все MockMvc-тесты, если ключ не запинен свойствами контекста.
- Идиомы загрузки фикстур: **core** — classloader без ведущего слэша, **app** — class-relative со слэшем (core test-jar). Синтетика: docx — `ZipOutputStream`, `.doc` — крафт `POIFSFileSystem`. - Регрессивная конвенция: фикс = нормализатор/рендерер + юнит + конвертер-тест + javadoc-ссылка. Счётчики (2026-11): 63 класса / 1005 тестов (core 57/957, app 6/48); детали — `docs/agent/testing.md`.
- Сообщения ассертов — по-русски и с наблюдаемым значением; сравнение строк литерал-слева (`"%PDF".equals(...)`, PMD `LiteralFirstInEquals`); контракт идентичности — `assertSame`/`assertNotSame`. Общих test-util-классов нет: хелперы (`norm`, `pdfText`, `assertRatio`) намеренно продублированы. - Прод-автотесты: pytest 9.1.1 + requests 2.34.2 (timeout `(10,180)` — больше серверных 2m), конфигурация **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY` факультативен → `needs_key`-декоратор `skipif` (немаркированный marker — маркеры не регистрируются) даёт SKIP, `WORDPDF_MAX_MB`/`MAX_PAGES` — ожидаемые лимиты стенда 5/100, `WORDPDF_SAMPLES_DIR` — путь к фикстурам); запуск `./mise.sh run prod-tests` либо job `autotests` в CI.
- Прод-автотесты: pytest + requests; под маркером `needs_key` без ключа SKIP; конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен).
- `mvn test` **не** запускает PMD и JaCoCo-гейты (оба на `verify`) — «зелёное» состояние проверяется `mvn clean verify`. `mvn -pl wordpdf-app` без `-am` падает: app зависит от core test-jar.
+1 -1
View File
@@ -37,5 +37,5 @@ USER app
EXPOSE 8080 EXPOSE 8080
HEALTHCHECK --interval=10s --timeout=3s --start-period=10s --retries=5 \ HEALTHCHECK --interval=10s --timeout=3s --start-period=10s --retries=5 \
CMD HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= wget -qO /dev/null http://127.0.0.1:8080/actuator/health || exit 1 CMD HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= wget -qO /dev/null http://127.0.0.1:8080/actuator/health || exit 1
ENTRYPOINT ["java", "-Djava.awt.headless=true", "-XX:MaxRAMPercentage=70", "-jar", "/app/app.jar"] ENTRYPOINT ["java", "-Djava.awt.headless=true", "-Xms2g", "-Xmx2g", "-jar", "/app/app.jar"]
+60
View File
@@ -0,0 +1,60 @@
# Тестовый образ «без fontconfig»: единственный полный прогон mvn clean verify
# (тесты + PMD + JaCoCo) там, где AWT-менеджер шрифтов недоступен (нет
# libfontconfig и /etc/fonts). В CI хостовый mvn не запускается вовсе — набор
# тестов никогда не исполняется на хосте с fontconfig. Локально сырой
# `mvn clean verify` (mise-задача verify) — хост-гейт без docker/podman.
# База — maven:3.9-eclipse-temurin-17, а не alpine: alpine-теги maven/temurin
# публикуются только под amd64, на arm64-хосте образ не собрать.
FROM docker.io/library/maven:3.9-eclipse-temurin-17
WORKDIR /build
# Удаляем fontconfig и системные шрифты; проверяем, что удалить удалось.
RUN set -eux; \
rm -rf /etc/fonts /usr/share/fonts /var/cache/fontconfig; \
find /usr/lib /lib -name 'libfontconfig.so*' -delete 2>/dev/null || true; \
if [ -e /etc/fonts ] || find /usr/lib /lib -name 'libfontconfig.so*' | grep -q .; then \
echo 'fontconfig остался в тестовом образе' >&2; exit 1; fi
# Жёсткий гейт: проба ядра (та же, что в MathMlSupport) обязана падать.
RUN set -eux; mkdir -p /tmp/probe; \
printf '%s\n' \
'public class Probe {' \
' public static void main(String[] a) {' \
' try {' \
' java.awt.GraphicsEnvironment.getLocalGraphicsEnvironment()' \
' .getAvailableFontFamilyNames();' \
' System.exit(0);' \
' } catch (Throwable t) {' \
' System.exit(1);' \
' }' \
' }' \
'}' > /tmp/probe/Probe.java; \
javac -d /tmp/probe /tmp/probe/Probe.java; \
if java -Djava.awt.headless=true -cp /tmp/probe Probe; then \
echo 'AWT-шрифты доступны: fontconfig не удалён' >&2; exit 1; fi; \
echo 'fontconfig отсутствует: AWT-шрифты недоступны (ожидаемо)'; \
rm -rf /tmp/probe
# Зеркало Nexus (в CI приходит --build-arg MAVEN_MIRROR_URL из Gitea Variable).
ARG MAVEN_MIRROR_URL=
ENV MAVEN_MIRROR_URL=${MAVEN_MIRROR_URL}
COPY .ci/maven-settings.xml /tmp/ci-maven-settings.xml
RUN if [ -n "$MAVEN_MIRROR_URL" ]; then mkdir -p /root/.m2 && cp /tmp/ci-maven-settings.xml /root/.m2/settings.xml; fi
COPY pom.xml .
COPY wordpdf-core/pom.xml wordpdf-core/
COPY wordpdf-app/pom.xml wordpdf-app/
RUN HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= mvn -B -q dependency:go-offline
COPY . .
# Эмуляция чужой ОС в fork-нутом surefire-JVM: пусто (дефолт) — прежнее
# поведение (одна команда mvn, байт-в-байт как раньше); job `macos-sim` передаёт
# "Mac OS X" (docx4j PhysicalFonts читает os.name и уходит в
# MicrosoftFontsRegistry.getMsFonts()).
# Флаг на команде mvn попадает и в саму Maven-JVM: в Linux-JDK нет
# jdk/net/MacOSXSocketOptions, и первая же сетевая загрузка (surefire-провайдер,
# optional-зависимости, PMD-скин — всё, что НЕ закрыто dependency:go-offline)
# упала бы AssertionError на создании сокета. Поэтому при непустом флаге первым
# проходит полный verify БЕЗ флага — он догревает локальный репозиторий до нуля
# загрузок, и второй verify с флагом уже не открывает сокетов вовсе. Пустой флаг
# = один verify, прежний путь.
ARG SUREFIRE_OS_NAME=
RUN echo "SUREFIRE_OS_NAME=[${SUREFIRE_OS_NAME}]" && \
HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= \
sh -c '[ -z "$SUREFIRE_OS_NAME" ] || mvn -B -q clean verify || exit 1; \
exec mvn -B clean verify ${SUREFIRE_OS_NAME:+-Dos.name="$SUREFIRE_OS_NAME"}'
+12 -9
View File
@@ -35,10 +35,10 @@ java-word-pdf/
|Класс|Назначение| |Класс|Назначение|
|---|---| |---|---|
|`ru.pjandro.wordpdf.WordPdfConverter`|публичный API: `convert(byte[], String[, ConvertOptions])` — .docx/.doc по сигнатуре байтов, байты PDF на выходе; `warmup()` — прогрев ядра| |`ru.pjandro.wordpdf.WordPdfConverter`|публичный API: `convert(byte[], String, ConvertOptions)` — .docx/.doc по сигнатуре байтов, байты PDF на выходе; `warmup()` — прогрев ядра|
|`ru.pjandro.wordpdf.WordPdfValidator`|валидация входа и lightweight-оценка страниц без рендера (`checkInput`/`checkPageCount`/`checkPageCountDoc`/`isBinaryDoc`/`validate`)| |`ru.pjandro.wordpdf.WordPdfValidator`|валидация входа и lightweight-оценка страниц без рендера (`checkInput`/`validate`; подсчёт страниц — внутренний метод)|
|`ru.pjandro.wordpdf.ConvertOptions`|опции конвертации (record `errorOnCharts, errorOnSmartArt, errorOnOle, maxMb, maxPages`; `ConvertOptions.defaults()`)| |`ru.pjandro.wordpdf.ConvertOptions`|опции конвертации (record `errorOnCharts, errorOnSmartArt, errorOnOle, maxMb, maxPages`); дефолтов в ядре нет — значения задаёт вызывающий|
|`ru.pjandro.wordpdf.ConversionException`|ошибки конвертации; подтипы `ValidationException` (некорректный вход) и `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`)| |`ru.pjandro.wordpdf.ConversionException`|ошибки конвертации; подтипы `ValidationException` (некорректный вход) и `ChartsFoundException`/`SmartArtFoundException`/`OleFoundException` (по error-флагам)|
|`ru.pjandro.wordpdf.fonts.BundledFonts`|выгрузка TTF из jar и регистрация в docx4j| |`ru.pjandro.wordpdf.fonts.BundledFonts`|выгрузка TTF из jar и регистрация в docx4j|
|`ru.pjandro.wordpdf.fonts.BundledFontMapper`|маппинг имён шрифтов документа → TTF| |`ru.pjandro.wordpdf.fonts.BundledFontMapper`|маппинг имён шрифтов документа → TTF|
|`ru.pjandro.wordpdf.internal.DocxRewritePipeline`|правила 1–10 нормализации XML-частей одним zip-проходом (+ `OleObjectNormalizer`, правило 11)| |`ru.pjandro.wordpdf.internal.DocxRewritePipeline`|правила 1–10 нормализации XML-частей одним zip-проходом (+ `OleObjectNormalizer`, правило 11)|
@@ -76,6 +76,7 @@ powershell -ExecutionPolicy Bypass -File .\bootstrap.ps1 # Windows
|Задача|Содержание| |Задача|Содержание|
|---|---| |---|---|
|`verify`|`mvn clean verify` — тесты + PMD + JaCoCo| |`verify`|`mvn clean verify` — тесты + PMD + JaCoCo|
|`verify-nofontconfig`|`mvn clean verify` в контейнере без fontconfig (гейт CI; требует podman/docker)|
|`app-package`|исполняемый jar бэкенда| |`app-package`|исполняемый jar бэкенда|
|`app-run`|бэкенд на :8080, ключ выключен (после `app-package`)| |`app-run`|бэкенд на :8080, ключ выключен (после `app-package`)|
|`web-install`|`npm ci` в `wordpdf-web`| |`web-install`|`npm ci` в `wordpdf-web`|
@@ -128,14 +129,16 @@ dev-стенд). Без ключа открыты `/actuator/`, `/swagger-ui`, `
конвертацию с 422. Диаграммы/SmartArt конвертируются в растры всегда; OLE-объекты конвертацию с 422. Диаграммы/SmartArt конвертируются в растры всегда; OLE-объекты
при `errorOnOle=false` тихо удаляются. при `errorOnOle=false` тихо удаляются.
**Лимиты входа** задаёт только конфигурация сервера: `wordpdf.max-mb`/`wordpdf.max-pages` **Лимиты входа**: свойства `wordpdf.max-mb`/`wordpdf.max-pages`
(env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`, дефолты 5 МБ / 100 страниц); параметрами (env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`, дефолты 5 МБ / 100 страниц) —
запроса не переопределяются. дефолт эндпоинта; query/form-параметры `maxMb`/`maxPages` переопределяют его
в обе стороны (значения ≤ 0 → 400). Остальные пороги (распаковка архива,
XML-части, площади растров, число записей zip) выводятся из лимитов входа.
|Код|Смысл| |Код|Смысл|
|---|---| |---|---|
|200|PDF в теле ответа| |200|PDF в теле ответа|
|400|некорректный вход (пустой / расширение не .docx/.doc / содержимое не zip и не CFB / зашифрованный .doc / больше `wordpdf.max-mb` / больше `wordpdf.max-pages` страниц), отсутствующая часть `file`, некорректное значение error-флага| |400|некорректный вход (пустой / расширение не .docx/.doc / содержимое не zip и не CFB / зашифрованный .doc / больше лимита размера (`maxMb` или `wordpdf.max-mb`) / больше лимита страниц (`maxPages` или `wordpdf.max-pages`) / `maxMb`≤0 / `maxPages`≤0), отсутствующая часть `file`, некорректное значение error-флага|
|401|нет или неверен `X-API-Key`| |401|нет или неверен `X-API-Key`|
|404|неизвестный путь (в т.ч. `/v3/api-docs` при выключенном springdoc)| |404|неизвестный путь (в т.ч. `/v3/api-docs` при выключенном springdoc)|
|405|не-POST| |405|не-POST|
@@ -344,7 +347,7 @@ API (`wordpdf-app`) проверяется `MockMvc`-сквозняками (`Co
## CI/CD и деплой ## CI/CD и деплой
- Pull request → Gitea Actions (`pr.yml`): Java — `mvn clean verify` + сводка покрытия комментарием в PR; Web — `npm ci`, build, lint. - Pull request → Gitea Actions (`pr.yml`): Java — единственный `mvn clean verify` в контейнере без fontconfig + сводка покрытия комментарием в PR; Web — `npm ci`, build, lint.
- Push в `main` → `main.yml`: тесты → сборка и push образов `wordpdf-app`/`wordpdf-web` в реестр → deploy (job рендерит прод-конфиги, `podman-compose pull && up -d --force-recreate`, health-гейты, автооткат при провале) → prod-автотесты против живого стенда. - Push в `main` → `main.yml`: тесты → сборка и push образов `wordpdf-app`/`wordpdf-web` в реестр → deploy (job рендерит прод-конфиги, `podman-compose pull && up -d --force-recreate`, health-гейты, автооткат при провале) → prod-автотесты против живого стенда.
- Координаты прод-сервера и креды вне репозитория — Gitea Actions Variables/Secrets (настройка: `GITEA-vars.md`). Наружный вход стенда — путь `/pdf-converter/` за пользовательским nginx. - Координаты прод-сервера и креды вне репозитория — Gitea Actions Variables/Secrets (настройка: `GITEA-vars.md`). Наружный вход стенда — путь `/pdf-converter/` за пользовательским nginx.
- Локальный прогон prod-автотестов (задача `prod-tests`: `pip install` - Локальный прогон prod-автотестов (задача `prod-tests`: `pip install`
+3 -2
View File
@@ -15,8 +15,9 @@ services:
app: app:
build: . build: .
restart: unless-stopped restart: unless-stopped
# Паритет с compose.yml: heap вписан в лимит (-XX:MaxRAMPercentage=70). # Паритет с compose.yml: фиксированный heap -Xms2g -Xmx2g в ENTRYPOINT,
mem_limit: 2g # лимит 3g — запас под metaspace/потоки/native.
mem_limit: 3g
# Дублирует HEALTHCHECK из Containerfile: podman выгружает образы в OCI, # Дублирует HEALTHCHECK из Containerfile: podman выгружает образы в OCI,
# где поля healthcheck нет — без явного healthcheck depends_on # где поля healthcheck нет — без явного healthcheck depends_on
# service_healthy ждал бы healthy вечно. Прокси обнуляем на команде. # service_healthy ждал бы healthy вечно. Прокси обнуляем на команде.
+4 -3
View File
@@ -7,9 +7,10 @@ services:
app: app:
build: . build: .
restart: unless-stopped restart: unless-stopped
# Heap вписываем в лимит контейнера (-XX:MaxRAMPercentage=70 в ENTRYPOINT); # Фиксированный heap -Xms2g -Xmx2g в ENTRYPOINT образа; лимит 3g — запас
# вход 16×5 МБ очередь + FOP-рендер в 2 ГБ помещаются. # под metaspace/потоки/native. Вход 16×5 МБ + FOP-рендер в 2 ГБ heap
mem_limit: 2g # помещаются.
mem_limit: 3g
# Дублирует HEALTHCHECK из Containerfile: podman выгружает образы в OCI, # Дублирует HEALTHCHECK из Containerfile: podman выгружает образы в OCI,
# где поля healthcheck нет — без явного healthcheck depends_on # где поля healthcheck нет — без явного healthcheck depends_on
# service_healthy ждал бы healthy вечно. Прокси обнуляем на команде. # service_healthy ждал бы healthy вечно. Прокси обнуляем на команде.
+190
View File
@@ -0,0 +1,190 @@
# Потребление памяти при конвертации doc/docx → pdf: аудит и результаты апгрейда (2026-11)
Харнес: `MemoryBench` (`wordpdf-core/src/test/java/ru/pjandro/wordpdf/MemoryBench.java`, test-scope) +
`membench.sh` + `./mise.sh run mem-bench`. Числа ниже получены на них; методология и ограничения — §1.
## 1. Методология измерения
JVM: temurin 17.0.21, флаги харнеса `-Xms64m -Xmx2g -XX:+UseG1GC -XX:+HeapDumpOnOutOfMemoryError`
+ JFR `settings=profile` + `-Xlog:gc*=info,gc+heap=debug`. Машина — рабочая станция (amd64), не прод-контейнер.
Метрики на конвертацию (TSV-строки вывода харнеса):
|Метрика|Как снята|Смысл|
|---|---|---|
|`peak`|`MemoryPoolMXBean.getPeakUsage()` по хип-пулам с `reset()` перед каждой конвертацией|высокая вода кучи за конвертацию (включает невозвращённый мусор young-поколения — это мера запроса памяти, не live-сета)|
|`used`|сумма `getUsage().getUsed()` сразу после конвертации|куча «как есть» до ближайшего GC|
|`allocated-estimate`|GC-лог: выметенный Eden + humongous между паузами|честная оценка аллокаций (JFR-веса для этого не годятся — см. ограничения)|
|`max-live-after-gc`|GC-лог: максимум `M->M(after)` по паузам|живая куча после GC (включает конвертацию, идущую в момент паузы)|
|`VmHWM`|`/proc/self/status`|пик резидентной памяти процесса (куча + Metaspace + стеки + JFR-буферы)|
|`top-frames`/`app-sites`|агрегация `jdk.ObjectAllocationSample` из JFR|профиль аллокаций (относительная доля; веса — оценка сэмплера)|
Сценарии: `suite` — все 25 фикстур `samples/` (13 `.docx` + 12 `.doc`) циклами; `big` — синтетический
документ: `document.xml` фикстуры `ru-plain.docx` с повтором секции ×400 (≈1,6 МБ XML после
распаковки, ≈6000 строк контента, PDF ≈50 КБ/конвертация — много контента при малом in-put,
именно он и нагружает конвейер, а не байты входа).
Ограничения (важно для повторного прочтения чисел):
- **шум ±30% на фикстуру** между прогонами (старт нового JVM на сценарий, G1 растягивает young по
ходу прогона); сравнимы только суммарные/медианные агрегаты одного метода на одном железе;
- `peak` включает мусор: документ с большим churn даёт большой peak при малом live-сете;
- веса JFR `ObjectAllocationSample` (profile, period=20ms) — оценка сэмплера; абсолют — только GC-лог;
- фикстуры малы (вход ≤182 КБ, PDF в среднем 385 КБ): кандидаты, экономящие единицы мегабайт,
на них неотличимы от шума — это учитывалось в гейтах (§4).
Воспроизведение: `MB_LABEL=run ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-run.txt`;
матрица флагов — через env `MB_JAVA_OPTS` (флаги идут после дефолтных и переопределяют их).
## 2. Baseline (до правок)
`MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20` (JVM 17.0.21, пик 2026-11-17):
|Фикстура|n|peak p50, МБ|peak max, МБ|used avg, МБ|
|---|---|---|---|---|
|chart-types.docx|20|641|934|398|
|charts-smartart.doc|20|457|630|321|
|charts-smartart.docx|20|471|751|299|
|doc-formats.doc|20|261|783|326|
|en-plain.doc|20|302|819|273|
|en-plain.docx|20|278|855|298|
|exotic-glyphs.doc|20|328|907|325|
|exotic-glyphs.docx|20|312|950|287|
|ole-embedded.doc|20|298|540|238|
|ole-embedded.docx|20|269|574|222|
|page-numbers.doc|20|234|598|257|
|page-numbers.docx|20|272|558|266|
|ru-en-mixed.doc|20|300|453|293|
|ru-en-mixed.docx|20|344|528|298|
|ru-plain.doc|20|344|572|256|
|ru-plain.docx|20|281|455|274|
|ru-table-image.doc|20|331|462|267|
|ru-table-image.docx|20|299|522|263|
|ru-times.doc|20|275|561|275|
|ru-times.docx|20|251|580|256|
|stale-cache.doc|20|307|511|264|
|stale-cache.docx|20|323|525|269|
|symbol-bullets.docx|20|335|459|310|
|too-many-pages.doc|20|405|599|265|
|too-many-pages.docx|20|327|724|288|
|big (синтетика ×400)|5|924|976|360|
Итоги прогона: `allocated-estimate=36069MB` (≈71 МБ churn на конвертацию при медианном peak 300 МБ),
`max-live-after-gc=504MB`, паузы 536 шт./4815 мс; `VmHWM` процесса: 1,34 ГБ после suite-части,
1,56 ГБ после big-части (`-Xmx2g` доступен, куча растягивается под churn).
Главный вывод baseline: **память уходит не в копии документа, а в churn конвейера**. Вход 2,6–182 КБ
при peak 224–641 МБ — отношение долей порядка сотен. Профиль аллокаций (JFR, alloc-total —
оценка сэмплера 26,3 МБ взвешенных):
- доли приложения в топ-кадрах: `DocxRewritePipeline.normalize` — 0,44%, `WordPdfConverter.convert` —
0,36%, `GlyphFont.draw` — 0,10%; все остальные кадры `ru.pjandro.*` — ниже 0,1% (гейты §4);
- остальное — библиотеки: JAXB-андмаршалинг docx4j через DOM (`DOMScanner.visit/scan`,
`SAXOutput.getQName`, `NamespaceContextImpl.put`, `SAX2DOMEx.startElement`, `ClassFactory.create0`),
Xalan/XSLT, FOP (таблицы OpenType: `OTFAdvancedTypographicTableReader`, `OpenFont.readHorizontalMetrics`),
commons-io `IOUtils.byteArray`, `Arrays.copyOf`, `Throwable.fillInStackTrace` (docx4j использует
исключения как control flow — «Package field null» и т.п.);
- ~~JEuclid (`Parser.parseStreamSourceAsOdf`) — OMML-формулы на хосте с fontconfig (в CI/контейнере
иначе: MathFallback)~~ — **удалён из класса путей** (2026-11): jeuclid исключён exclusion'ом из
`docx4j-export-fo`, формулы рисует собственный `MathRenderer` (PNG, только бандл-шрифты);
`MathFallbackNormalizer` теперь деградирует в текст только конструкции вне `MathModel.SUPPORTED`.
## 3. Что нашли при чтении кода (архитектурные находки)
1. **FO материалзуется как `String`.** Форк `FORendererApacheFOP.convert(FODocumentHandler,
FOConverterContext, String)` (javap docx4j-export-fo 17.3.2) принимает весь выход XSLT одной
строкой UTF-16: для FO-документа это ≈2 байта/символ и FO в разы больше исходного XML.
Убрать можно только правкой форка (`templates.transform` стримом в FOP-парсер) — вне рамок
репозитория; фиделити-риск высокий. Дорожная карта.
2. **`disableFontCache()` в форке вызывается безусловно в 3 местах** (javap `FORendererApacheFOP`:
`FontManager.disableFontCache`), один участок защищён `Fop.isUseCache()` из fop.xconf
(по умолчанию кеш выключен) → таблицы шрифтов перечитываются на каждый рендер (видно в топ-кадрах).
Потенциальный рычаг (churn+CPU), но включение кеша влияет на сабзеттинг/метрики — только с
фиделити-прогоном, в форк/конфиг. Дорожная карта.
3. **`WordprocessingMLPackage` в docx4j 17.3.2 не имеет `close()`/`dispose()`** (javap пакета
`openpackaging.packages`/`parts` — только `setJaxbElement`/`unmarshal`): «освободить пакет явно»
API не даёт; пакет — локальная переменная `convertToStream` и умирает вместе со стеком.
4. **Валидатор делает два полных стриминговых прохода** по байтам входа (`checkPageCount` +
`checkDocxContainer`/`validate`): CPU, память O(8 КБ буферов) — на peak не влияет (§4, гейт E).
5. **Мост `.doc` уже отпускает потоки** (`releaseStreams`), но `DocxWriter.write` держит одновременно
`bodyXml`+`parts`+`hyperlinks` до `toByteArray()`; на фикстурах доля моста в аллокациях <0,15% —
не рычаг при текущих документах (§4, гейт C).
## 4. Кандидаты оптимизаций и гейты
Гейт: кандидат остаётся, только если после правки suite-сумма peak или big-peak улучшились ≥3%
(для «всегдашнего» A — плюс отсутствие регрессии); для B/C/E — плюс доля ≥5% в app-sites JFR.
Прогоны «до/после» — идентичной методикой, один и тот же компьютер, подряд.
|Кандидат|Доля в аллокациях (гейт 5%)|Замер после (гейт 3%)|Итог|
|---|---|---|---|
|A. Чанковый буфер PDF вместо `ByteArrayOutputStream`|—|`allocated` +0,7% (шум), сумма peak **+7,2% (хуже)**|отклонён, откачен|
|B. Needle-гейт декода в `DocxRewritePipeline`|`normalize` 0,44%|—|отклонён до правки|
|C. Ранний отпуск `bodyXml`/`parts`/`hyperlinks` в `DocxWriter.write`|кадров моста в топ-15 нет (<0,15%)|—|отклонён до правки|
|D. Явный release пакета docx4j|API отсутствует (§3.3)|—|нереализуем|
|E. Один проход валидатора|кадров валидатора в топ-15 нет (<0,1%)|—|отклонён до правки (плюс риск порядка ошибок — контракт 400-кодов)|
**Почему A отклонён измерением, хотя «в теории» экономит.** Реализация (`PdfOutputChunks`,
чанки вместо удваивающегося `byte[]`) протестирована на эквивалентность байтов и прогнана полным
бенчем (25 фикстур ×20 + big ×5, тот же метод):
- PDF фикстур в среднем 385 КБ: для них `PdfOutputChunks` с фиксированным чанком выделяет больше,
чем рост `ByteArrayOutputStream` от `Math.max(1<<16, docxBytes.length)` — сумма peak выросла на 7,2%;
- микробенч на 24 МБ (одноразовый `PeakProof`, куча 2г): peak 76 МБ у чанков против 61 МБ у BAOS —
чанк 1 МиБ на G1 humongous (регион 1 МиБ → 2 региона на чанк, отсюда ×2), чанк 256 КиБ уходит в
young и при подсчёте `peak` платит растянутым Eden; live-минимум чанков (P+P против 2–3P у BAOS)
выигрывает только на PDF десятки мегабайт, каких в фикстурах нет;
- вердикт гейта: не улучшено → откачен, конвейер остался на `ByteArrayOutputStream`.
**Итог по правкам ядра: ни один кандидат не прошёл гейт.** Это не «нечего улучшать», а «у текущих
документов память тратят библиотеки» (JAXB-via-DOM, XSLT, FOP-шрифты — §2; JEuclid больше
не потребитель — исключён из зависимостей): точечными
правками репозитория их не сократить, а правки библиотек/форка (FO-стриминг, font cache) —
отдельные задачи с фиделити-гейтом. Практический рычаг «потреблять меньше» прямо сейчас — размеры
кучи и GC (§5).
## 5. Матрица флагов JVM (итог: что ставить в прод)
Один и тот же прогон (`--scenario all --loops 5 --big-loops 2`), меняются только флаги
(`MB_JAVA_OPTS` поверх дефолта харнеса; для смены GC нужен и `-XX:-UseG1GC` — иначе старт падает
с «Multiple garbage collectors selected»). ВМ не кончалась ни на одном наборе, OOM'а нет нигде,
включая big-сценарий:
|Набор|VmHWM suite, МБ|VmHWM +big, МБ|max-live, МБ|Паузы (шт/мс)|Вывод|
|---|---|---|---|---|---|
|f1 — G1, `-Xmx2g` (дефолт харнеса; прод-Containerfile как раз `2G`/`mem_limit 3G`)|931|1337|575|159 / 1724|работает, но куча ×2,6 к реальной потребности|
|f2 — G1, `-Xmx768m`|802|902|451|183 / 1865|**рекомендуемый**: RSS ≤0,9 ГБ с JFR-буферами, запас к max-live 1,7×|
|f3 — G1, `-Xmx512m`|818|843|416|199 / 1877|работает, но max-live 416 из 512 — малый запас на chart-тяжёлые документы|
|f4 — Serial, `-Xmx512m`|748|748|482|126 / 4453|работает; паузы ×2,6 против G1|
|f5 — Serial, `-Xmx384m`|628|634|359|150 / 5803|максимальная плотность (RSS 0,63 ГБ); паузы ×3,4, max-live 359 из 384 — впритык|
`allocated-estimate` у Serial-прогонов — 0: awk-агрегатор GC-лога понимает G1-формат (регионы),
для Serial аллокации считаются по другому шаблону — на вывод матрицы не влияет.
Рекомендация прод-стеку (рендерится job'ом `deploy` из Gitea Variables — менять их, не репо):
1. Heap: `-Xmx768m` (f2) вместо `2G`; `mem_limit` — `1g` вместо `3G`. FopFactory/XSLT-кеш перманентны,
их размер от кучи не зависит; 451 МБ max-live — это ~3 конвертации chart-тяжёлых документов в полёте
(а конвертации сериализованы монитором — реально одна).
2. G1 оставить (~13 мс пауз на конвертацию против ~40 мс у Serial; при конвертациях 1–4 с это не
критично, но G1 при 768m ещё и ровнее ведёт humongous-аллокации растров чартов).
3. Плотность выше f2 (Serial 384m) достижима, но запас <7% к max-live на 384m — для прод-вариабельности
документов неприемлемо.
## 6. Итог апгрейда
- Ядро не изменено: ни один кандидат (A–E, §4) не прошёл замерный гейт; экономия памяти на текущих
документах лежит не в коде репозитория, а внутри JAXB/XSLT/FOP (§2–3). Правки форка
(FO-стриминг, font cache) — зафиксированные дорожные пункты с фиделити-гейтом.
- Практический эффект «потреблять меньше» — профиль кучи: `2G/3G → 768m/1g` (в ~3 раза меньше
резидентной памяти на стенде) без потери проходимости всех сценариев, включая big.
- Инфраструктура измерений осталась в репо: `MemoryBench` + `membench.sh` + `./mise.sh run mem-bench`
— любой следующий раунд начинается с baseline за 10 минут.
## 7. Как читать этот документ дальше
- Перепроверить числа: §1 (команды) — прогон ~10 мин, артефакты в `target/` и `wordpdf-core/target/membench-*.jfr`.
- Перед новым «починить память»: сначала топ-кадры собственного прогона — доли приложения ≤0,4% означают,
что чинить нужно библиотеки, а не `WordPdfConverter`.
- Стоп-лист § «не чинить» из `docs/agent/render-limitations.md` остаётся в силе: экономия памяти
не должна менять выход PDF (фиделити-тесты — единственный арбитр).
+1 -1
View File
@@ -4,7 +4,7 @@
Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр × `DPI/72`, размеры в пунктах, EMU→pt `cx/12700.0`). Потолок растра `ChartRenderer.MAX_PIXELS = 16_777_216` (4096², 64 МБ ARGB): при превышении `fitDpi` uniform-но понижает эффективный dpi (геометрия в пунктах и безразмерные пропорции не меняются; 24″-график: 208 МБ → 64 МБ, dpi 300 → ≈171); `SmartArtRenderer` использует тот же `DPI`/`fitDpi`. `ChartSpec.parse` (`enum Type`: PIE, PIE3D, DOUGHNUT, BAR, BAR_HORIZONTAL, LINE, AREA, SURFACE3D, AREA3D, BAR3D, LINE3D, RADAR, SCATTER, BUBBLE, STOCK, OF_PIE, SURFACE, UNSUPPORTED). `c:autoTitleDeleted` (§21.2.2.7, `val` опущен — default true) применяется только при отсутствии `c:title` (MS-OI29500 §2.1.1431(a)) — явный заголовок показывается при любом флаге; при отсутствии `c:title` и `val=0` рисуется автозаголовок. Пустой/пробельный `c:title` (или `val=0` без `c:title`) — автозаголовок Office (MS-OI29500 §2.1.1561(a)): одиночный ряд с именем → имя ряда (любой тип графика), иначе `ChartSpec.AUTO_TITLE = "Название диаграммы"`; несколько абзацев `a:p` склеиваются `'\n'` (жёсткий перенос в `DrawMlText`). Регрессии — `ChartSpecTest#emptyTitleSingleSeriesBar_usesSeriesName`, `#deletedTitleWithText_stillShown`, `#deletedTitleValOmitted_stillShown`, `#multiSeriesDoughnut_placeholderNotSeriesName`, `#multiParagraphTitle_joinedWithNewlines`. Палитра `accent1..6` темы; легенда по умолчанию снизу; `overlay` (§21.2.2.132) рисуется поверх области построения, место не резервирует. Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр × `DPI/72`, размеры в пунктах, EMU→pt `cx/12700.0`). Потолок растра `ChartRenderer.MAX_PIXELS = 16_777_216` (4096², 64 МБ ARGB): при превышении `fitDpi` uniform-но понижает эффективный dpi (геометрия в пунктах и безразмерные пропорции не меняются; 24″-график: 208 МБ → 64 МБ, dpi 300 → ≈171); `SmartArtRenderer` использует тот же `DPI`/`fitDpi`. `ChartSpec.parse` (`enum Type`: PIE, PIE3D, DOUGHNUT, BAR, BAR_HORIZONTAL, LINE, AREA, SURFACE3D, AREA3D, BAR3D, LINE3D, RADAR, SCATTER, BUBBLE, STOCK, OF_PIE, SURFACE, UNSUPPORTED). `c:autoTitleDeleted` (§21.2.2.7, `val` опущен — default true) применяется только при отсутствии `c:title` (MS-OI29500 §2.1.1431(a)) — явный заголовок показывается при любом флаге; при отсутствии `c:title` и `val=0` рисуется автозаголовок. Пустой/пробельный `c:title` (или `val=0` без `c:title`) — автозаголовок Office (MS-OI29500 §2.1.1561(a)): одиночный ряд с именем → имя ряда (любой тип графика), иначе `ChartSpec.AUTO_TITLE = "Название диаграммы"`; несколько абзацев `a:p` склеиваются `'\n'` (жёсткий перенос в `DrawMlText`). Регрессии — `ChartSpecTest#emptyTitleSingleSeriesBar_usesSeriesName`, `#deletedTitleWithText_stillShown`, `#deletedTitleValOmitted_stillShown`, `#multiSeriesDoughnut_placeholderNotSeriesName`, `#multiParagraphTitle_joinedWithNewlines`. Палитра `accent1..6` темы; легенда по умолчанию снизу; `overlay` (§21.2.2.132) рисуется поверх области построения, место не резервирует.
Пейнтеры: `CartesianPainter` (2-D line/bar/area; `c:grouping` stacked/percentStacked §21.2.2.76 — ряд рисуется накопленной суммой через `ChartRenderer.stackedCumulative`), `PiePainter` (`PIE_DEPTH = 0.22`, `PIE_FIT = 0.865`), `Surface3dPainter` (камера — регрессия `cameraMatchesWordReference`: `DEPTH_RATIO = 0.705`, `HEIGHT_RATIO = 0.664`, `GUTTER_LEFT/RIGHT = 0.1485`, `GUTTER_TOP = 0.116`, `GUTTER_BOTTOM = 0.146`, свет `LIGHT_X/Y/Z = 0.83/0.48/0.28`; `c:rAngAx=true` приоритетнее `c:perspective` (MS-OI29500 §2.1.1516(b)); `c:wireframe` §21.2.2.205 — только каркас), `ScatterPainter` (радиус пузыря sqrt при `c:sizeRepresents="area"` §21.2.2.128), `RadarPainter` (спицы от 12 часов), `StockPainter` (upDownBars обводятся контуром, дефолт чёрный 0.75pt), `OfPiePainter` (MS-OI29500 §2.1.1507(a), §2.1.1545(a)), `Surface2dPainter` (контурная карта §21.2.2.204, marching squares, изолинии по `c:bandFmts` §21.2.2.13/.14), `Cartesian3dPainter` (bar3D/line3D/area3D §21.2.2.19/.101/.122, `c:shape` §21.2.3.44), `SmartArtRenderer` (кэш `word/diagrams/drawing1.xml` через relationship `…/office/2007/relationships/diagramDrawing`; формы — `PresetGeometry` из `a:prstGeom`, семь пресетов дословно из `presetShapeDefinitions.xml`; оператор `?:` = «if x > 0 then y else z» (ISO/IEC 29500-1, **не** x != 0); углы в Arc2D — со знаком минус; текст — `DrawMlText`, шрифты через `BundledFontMapper.bundledFamily`; autofit только `normAutofit` §21.1.2.1.2/.3; `dgm:prSet/@phldrT` не рисуется). Пейнтеры: `CartesianPainter` (2-D line/bar/area; `c:grouping` stacked/percentStacked §21.2.2.76 — ряд рисуется накопленной суммой через `ChartRenderer.stackedCumulative`), `PiePainter` (`PIE_DEPTH = 0.22`, `PIE_FIT = 0.865`), `Surface3dPainter` (камера — регрессия `cameraMatchesWordReference`: `DEPTH_RATIO = 0.705`, `HEIGHT_RATIO = 0.664`, `GUTTER_LEFT/RIGHT = 0.1485`, `GUTTER_TOP = 0.116`, `GUTTER_BOTTOM = 0.146`, свет `LIGHT_X/Y/Z = 0.83/0.48/0.28`; `c:rAngAx=true` приоритетнее `c:perspective` (MS-OI29500 §2.1.1516(b)); `c:wireframe` §21.2.2.205 — только каркас), `ScatterPainter` (радиус пузыря sqrt при `c:sizeRepresents="area"` §21.2.2.128), `RadarPainter` (спицы от 12 часов), `StockPainter` (upDownBars обводятся контуром, дефолт чёрный 0.75pt), `OfPiePainter` (MS-OI29500 §2.1.1507(a), §2.1.1545(a)), `Surface2dPainter` (контурная карта §21.2.2.204, marching squares, изолинии по `c:bandFmts` §21.2.2.13/.14), `Cartesian3dPainter` (bar3D/line3D/area3D §21.2.2.19/.101/.122, `c:shape` §21.2.3.44), `SmartArtRenderer` (кэш `word/diagrams/drawing1.xml` через relationship `…/office/2007/relationships/diagramDrawing`; формы — `PresetGeometry` из `a:prstGeom`, семь пресетов дословно из `presetShapeDefinitions.xml`; оператор `?:` = «if x > 0 then y else z» (ISO/IEC 29500-1, **не** x != 0); углы в Arc2D — со знаком минус; текст — `DrawMlText`, шрифты через `BundledFontAliases.bundledFamily`; autofit только `normAutofit` §21.1.2.1.2/.3; `dgm:prSet/@phldrT` не рисуется).
Защитные лимиты против враждебного chart-XML: `ChartSpec.MAX_POINTS = 100_000` (`c:pt/@idx` §21.2.2.150/.151, `c:ptCount` §21.2.2.152 — ST_UnsignedInt без верхней границы; отказ `IllegalArgumentException` **до** предвыделения списка), `ChartRenderer.MAX_TICKS = 1000` (шаг ≤ 0/NaN/слишком мелкий в `axisBounds` заменяется `niceUnit` 1/2/5·10ⁿ), `DrawingPreRenderer.MAX_EXTENT_EMU = 22_000_000` (≈24″; при `cx/cy` вне капа объект **оставляется как есть** + warn, картинка не рендерится — регрессия `hugeExtentChart_removedNotOom`). Бросок перехватывает catch в `DrawingPreRenderer.renderChart` → штатная деградация «объект удалён + warn». Обход `pkg.getParts()` — только по **снимку** списка (вставка media-частей `addChartMedia→addPart→loadPart` мутирует реестр → CME); rels частей — `part.getRelationshipsPart()`, **не** `getOwningRelationshipPart()`; обход XML обязан раскрывать `JAXBElement`. Защитные лимиты против враждебного chart-XML: `ChartSpec.MAX_POINTS = 100_000` (`c:pt/@idx` §21.2.2.150/.151, `c:ptCount` §21.2.2.152 — ST_UnsignedInt без верхней границы; отказ `IllegalArgumentException` **до** предвыделения списка), `ChartRenderer.MAX_TICKS = 1000` (шаг ≤ 0/NaN/слишком мелкий в `axisBounds` заменяется `niceUnit` 1/2/5·10ⁿ), `DrawingPreRenderer.MAX_EXTENT_EMU = 22_000_000` (≈24″; при `cx/cy` вне капа объект **оставляется как есть** + warn, картинка не рендерится — регрессия `hugeExtentChart_removedNotOom`). Бросок перехватывает catch в `DrawingPreRenderer.renderChart` → штатная деградация «объект удалён + warn». Обход `pkg.getParts()` — только по **снимку** списка (вставка media-частей `addChartMedia→addPart→loadPart` мутирует реестр → CME); rels частей — `part.getRelationshipsPart()`, **не** `getOwningRelationshipPart()`; обход XML обязан раскрывать `JAXBElement`.
+1 -1
View File
@@ -6,7 +6,7 @@
### Job'ы workflow'ов ### Job'ы workflow'ов
Два workflow. `.gitea/workflows/pr.yml` — `PR checks` (`pull_request` + `workflow_dispatch`): job `java` (temurin 17, кеш `~/.m2`, Maven 3.9.16 с dlcdn, `mvn -B -s .ci/maven-settings.xml clean verify` через зеркало Nexus `maven-central` (fail-closed проверка Variable `MAVEN_MIRROR_URL` первым шагом)) → `Coverage summary` (разбор `target/site/jacoco/jacoco.xml` python-сниппетом в step summary) → `Comment coverage on PR` (тот же текст комментарием; создаётся один раз, повторные push обновляют по маркеру `<!-- jacoco-coverage -->`; `continue-on-error`). job `web` (кеш `~/.npm`, `npm ci` → `build` → `lint`; `setup-node` **нет** — нода берётся с раннера). Два workflow. `.gitea/workflows/pr.yml` — `PR checks` (`pull_request` + `workflow_dispatch`): job `java` (fail-closed проверка Variable `MAVEN_MIRROR_URL` первым шагом → единственный прогон `mvn -B clean verify` внутри образа `Containerfile.test` — без fontconfig, набор тестов никогда не исполняется на хосте с fontconfig; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером podman, BuildKit-сессий нет; зеркало Nexus приходит `--build-arg` → извлечение двух `jacoco.xml` из образа `wordpdf-verify:ci` шагами `docker create`/`docker cp || true` — при непрошедшей сборке пустая сводка, тесты не затронуты) → `Coverage summary` (разбор извлечённого `target/site/jacoco/jacoco.xml` python-сниппетом в step summary) → `Comment coverage on PR` (тот же текст комментарием; создаётся один раз, повторные push обновляют по маркеру `<!-- jacoco-coverage -->`; `continue-on-error`). job `macos-sim` — тот же образ `Containerfile.test`, собранный с `--build-arg SUREFIRE_OS_NAME="Mac OS X"` (эмуляция macOS: единственный хост-зависимый код — docx4j `PhysicalFonts`, читающий `os.name`; внутри образа набор исполняется дважды — сначала `verify` без флага догревает локальный репозиторий до нуля загрузок, затем `verify` с флагом, т.к. Linux-JVM с `os.name=Mac OS X` падает AssertionError на первом же сетевом сокете; шагов JaCoCo/комментария нет — дублировали бы `java`), в `main.yml` отсутствует намеренно. job `web` (кеш `~/.npm`, `npm ci` → `build` → `lint`; `setup-node` **нет** — нода берётся с раннера).
`.gitea/workflows/main.yml` — `Main: tests, deploy, autotests` (`push` в `main` + `workflow_dispatch`): те же `java`/`web` (байт-байт дубль — workflow-файлы самодостаточны, reusable-workflow не вводить) → `images-app`/`images-web` (build+push каждого Containerfile в Nexus-реестр `${{ vars.REGISTRY }}`, теги `prod` + immovable `sha-<7 символов GITHUB_SHA>`; app печётся с `--build-arg MAVEN_MIRROR_URL=…` (зеркало Nexus в Containerfile); web печётся с `--build-arg VITE_BASE=/pdf-converter/`; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером podman, BuildKit-сессий нет; креды — вручную пишется `~/.docker/config.json`) → `deploy` (SSH на прод: рендер конфигов heredoc'ами в workspace раннера — appleboy/ssh-action непригоден, ломает heredoc; валидация PyYAML; прод-стек — подсеть `10.112.0.0/24` gw `10.112.0.1` (в репо-`compose.yml` — `10.113.0.0/24`, стенды разные), gateway биндится на `127.0.0.1:9010` + `$DEPLOY_HOST:9010`, `nginx.conf` — с `resolver 10.112.0.1`; сохранение `.rollback.env`; `login/pull/timeout 90 podman-compose up -d --force-recreate app web`; гейты healthy и image; gateway пересоздаётся последним; health-check) → `autotests` (venv + `prod-autotests/` против прода) → `rollback` (`if: failure()` — перерендер/перезалив прод-файлов тем же шагом, retag прежних image ID на `:prod`, `--force-recreate app web`, пересоздание gateway). `.gitea/workflows/main.yml` — `Main: tests, deploy, autotests` (`push` в `main` + `workflow_dispatch`): те же `java`/`web` (байт-байт дубль — workflow-файлы самодостаточны, reusable-workflow не вводить) → `images-app`/`images-web` (build+push каждого Containerfile в Nexus-реестр `${{ vars.REGISTRY }}`, теги `prod` + immovable `sha-<7 символов GITHUB_SHA>`; app печётся с `--build-arg MAVEN_MIRROR_URL=…` (зеркало Nexus в Containerfile); web печётся с `--build-arg VITE_BASE=/pdf-converter/`; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером podman, BuildKit-сессий нет; креды — вручную пишется `~/.docker/config.json`) → `deploy` (SSH на прод: рендер конфигов heredoc'ами в workspace раннера — appleboy/ssh-action непригоден, ломает heredoc; валидация PyYAML; прод-стек — подсеть `10.112.0.0/24` gw `10.112.0.1` (в репо-`compose.yml` — `10.113.0.0/24`, стенды разные), gateway биндится на `127.0.0.1:9010` + `$DEPLOY_HOST:9010`, `nginx.conf` — с `resolver 10.112.0.1`; сохранение `.rollback.env`; `login/pull/timeout 90 podman-compose up -d --force-recreate app web`; гейты healthy и image; gateway пересоздаётся последним; health-check) → `autotests` (venv + `prod-autotests/` против прода) → `rollback` (`if: failure()` — перерендер/перезалив прод-файлов тем же шагом, retag прежних image ID на `:prod`, `--force-recreate app web`, пересоздание gateway).
File diff suppressed because one or more lines are too long
+16 -13
View File
@@ -6,40 +6,43 @@
|---|---|---| |---|---|---|
| 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j | | 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j |
| 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера (static `BestMatchingMapper`) регистрирует в `PhysicalFonts` только symbol-шрифты из `docx4j-export-fo-fonts-symbol` (сканы системы и jar'ов отключены в static-блоке `WordPdfConverter` гейт-свойствами — всё найденное всё равно выбрасывает `restrictToBundled()`); `init()` вызывает `dropNonBundled()` **до** регистрации бандла, `restrictToBundled()` оставляет реестр = бандл + встроенные в docx. Порядок `init()` после конструктора — инвариант: `addPhysicalFont` не перезаписывает занятый ключ (иначе системный Calibri ломает em-dash-fallback) | | 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера (static `BestMatchingMapper`) регистрирует в `PhysicalFonts` только symbol-шрифты из `docx4j-export-fo-fonts-symbol` (сканы системы и jar'ов отключены в static-блоке `WordPdfConverter` гейт-свойствами — всё найденное всё равно выбрасывает `restrictToBundled()`); `init()` вызывает `dropNonBundled()` **до** регистрации бандла, `restrictToBundled()` оставляет реестр = бандл + встроенные в docx. Порядок `init()` после конструктора — инвариант: `addPhysicalFont` не перезаписывает занятый ключ (иначе системный Calibri ломает em-dash-fallback) |
|2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–10 — раздел «Нормализаторы: контракт и правила 1–11» в этом файле) + условная OLE-вычистка (правило 11)| |2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–11 — раздел «Нормализаторы: контракт и правила 1–12» в этом файле) + условная OLE-вычистка (правило 12)|
| 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF | | 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF |
| 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет) | | 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds`/`m:oMath` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет); формулы — собственный растер `MathModel`/`MathRenderer` (только бандл-шрифты, без AWT/JEuclid), inline-картинка опускается ран-`w:rPr/w:position` на свой нижний запас (FOP ставит инлайн-графику нижним краем на базу строки; регрессия — WordPdfConverterTest#ommlMathInline_sitsOnTextBaseline), неподдерживаемая конструкция — текстовая деградация + warn; budget chart/math-PNG общий |
| 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные | | 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные. Конфиг обязан быть **полным при каждом `declare`**: docx4j декларирует из `fontsInUse` только использованные начертания (или simulate-style на regular-файле), а общая `FopFactory` замораживает fopconf **первого** документа JVM — `declareFamily`+`hasRealFace` дополняют каждое семейство недостающими реальными начертаниями (регрессия — `fopFactoryFrozenFromFirstDoc_fontsComplete`) |
| 4.25 | `LayoutPostRenderer.register(foSettings)` | Кастомный `FORenderer`: post-FO padding-компенсация таблиц (`start-indent` += `padding-left` первой ячейки), внутри — штатный `FORendererApacheFOP` | | 4.25 | `LayoutPostRenderer.register(foSettings)` | Кастомный `FORenderer`: post-FO padding-компенсация таблиц (`start-indent` += `padding-left` первой ячейки), внутри — штатный `FORendererApacheFOP` |
| 4.5 | `foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES)` | Стилист — вендорный `xslt/docx2fo.xslt` (копия docx4j-export-fo + AUDIT-FIX-патчи: `w:rPr/w:position`→`baseline-shift` и AUDIT-FIX-2 `moveFrom`/`moveTo`/`bdo`/`dir`); `Templates` компилируется один раз — `getTemplates` кастит значение в `Templates` | | 4.5 | `foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES)` | Стилист — вендорный `xslt/docx2fo.xslt` (копия docx4j-export-fo + AUDIT-FIX-патчи: `w:rPr/w:position`→`baseline-shift` и AUDIT-FIX-2 `moveFrom`/`moveTo`/`bdo`/`dir`); `Templates` компилируется один раз — `getTemplates` кастит значение в `Templates` |
| 5 | `FORendererApacheFOP.getFopFactoryBuilder` + `getFOUserAgent` | Непустой `title` → заголовок PDF | | 5 | `FORendererApacheFOP.getFopFactoryBuilder` + `getFOUserAgent` | Непустой `title` → заголовок PDF |
| 6 | `Docx4J.toFO(foSettings, os, FLAG_EXPORT_PREFER_XSL)` | XSL-FO → PDF | | 6 | `Docx4J.toFO(foSettings, os, FLAG_EXPORT_PREFER_XSL)` | XSL-FO → PDF |
| 7 | `finally` → `getFontTablePart().deleteEmbeddedFontTempFiles()` | В docx4j 17.x `OpcPackage.close()` нет — пакет в памяти | | 7 | `finally` → `getFontTablePart().deleteEmbeddedFontTempFiles()` | В docx4j 17.x `OpcPackage.close()` нет — пакет в памяти |
`BundledFontMapper` переопределяет `getBoldForm`/`getItalicForm`/`getBoldItalicForm`: на macOS `PhysicalFonts.getBoldForm` для имён `Tinos Regular`/`Carlito Regular`/… уходит в `MicrosoftFontsRegistry` и возвращает `null` (у записей нет Mac-имени файла), из-за чего docx4j строил simulate-style fopconf — FOP терял реальные начертания и кернинг (регрессии `strictOoxml_convertsNotRejected`, `ruPlain_regularRunsUseRegularFont`). Override находит реальный вариант по `embeddedURI` regular-варианта.
### `warmup()` — прогрев ядра (шаги 0–7 на минимальном docx) ### `warmup()` — прогрев ядра (шаги 0–7 на минимальном docx)
Первая конвертация после старта JVM стоит 1,3–1,7 с (JAXB/XSLT/FOP/классы; замер 2026-11), её платил первый запрос после деплоя. Публичный `WordPdfConverter.warmup()` прогоняет шаги 0–7 на минимальном docx, собранном в байтах (три zip-части константами, фикстуры не задействованы; алиас Calibri→Carlito греет маппер и embed-подмножество), и греет Java2D/PNG-энкодер (`warmRaster()` — растер + `GlyphFont.draw` + `ImageIO.write`), иначе первый чартный документ платит ещё ~200 мс. Идемпотентен (`volatile warmedUp`, метод `synchronized`), никогда не бросает (провал — warn в JUL), артефакты отбрасываются; вызывать на потоке, сериализующем конвертации. Ядро само себя не зовёт: `wordpdf-app` ставит warmup головой очереди воркеров в конструкторе `ConversionService`. Прогретый первый конверт ru-plain.docx HTTP-запросом: 0,13 с против 1,74 с (A/B на одной машине, сборки ветки и `main`). Первая конвертация после старта JVM стоит 1,3–1,7 с (JAXB/XSLT/FOP/классы; замер 2026-11), её платил первый запрос после деплоя. Публичный `WordPdfConverter.warmup()` прогоняет шаги 0–7 на минимальном docx, собранном в байтах (три zip-части константами, фикстуры не задействованы; алиас Calibri→Carlito греет маппер и embed-подмножество), и греет Java2D/PNG-энкодер (`warmRaster()` — растер + `GlyphFont.draw` + `ImageIO.write`), иначе первый чартный документ платит ещё ~200 мс. Идемпотентен (`volatile warmedUp`, метод `synchronized`), никогда не бросает (провал — warn в JUL), артефакты отбрасываются; вызывать на потоке, сериализующем конвертации. Ядро само себя не зовёт: `wordpdf-app` ставит warmup головой очереди воркеров в конструкторе `ConversionService`. Прогретый первый конверт ru-plain.docx HTTP-запросом: 0,13 с против 1,74 с (A/B на одной машине, сборки ветки и `main`).
### Валидация входа и подсчёт страниц ### Валидация входа и подсчёт страниц
Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + явные разрывы)`; явные — 0x0C в основном тексте + `sprmPFPageBreakBefore` из PAPX. Тот же метод — вход приложения. Скан выполняется ровно один раз по сырому входу, до аллокаций docx4j: правила 1–10 число учитываемых разрывов не увеличивают (правило 9 способно только убрать разрыв внутри скрытого рана — счёт по сырому входу остаётся верхней оценкой лимита). Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + разрывы 0x0C − непрерывные межсекционные (sprmSBkc 0/1) + sprmPFPageBreakBefore)` (код — `DocFile.countPages`). Тот же метод — вход приложения. Скан выполняется ровно один раз по сырому входу, до аллокаций docx4j: правила 1–11 число учитываемых разрывов не увеличивают (правило 10 способно только убрать разрыв внутри скрытого рана — счёт по сырому входу остаётся верхней оценкой лимита).
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `w:sectPr` в body + `w:br type="page"` + `pageBreakBefore` (включая таблицы и `w:sdt`). Единственный путь — lightweight (StAX по zip, secure-ридер без DTD/external entities; `WordPdfValidator` не зависит от docx4j): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитуках — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy `val`: `null|true|1|on`). На не-zip молчит — подпись проверяет вызывающий. `checkPageCount` — один стриминговый проход `ZipInputStream` без буферизации частей (хелпер `noClose` глушит `close()` сканеров): потребление O(одной части) вместо O(суммы XML-частей). - Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `w:sectPr` в body + `w:br type="page"` + `pageBreakBefore` (включая таблицы и `w:sdt`). Единственный путь — lightweight (StAX по zip, secure-ридер без DTD/external entities; `WordPdfValidator` не зависит от docx4j): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитуках — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy `val`: `null|true|1|on`). На не-zip молчит — подпись проверяет вызывающий. `checkPageCount` — один стриминговый проход `ZipInputStream` без буферизации частей (хелпер `noClose` глушит `close()` сканеров): потребление O(одной части) вместо O(суммы XML-частей).
### Нормализаторы: контракт и правила 1–11 (детали) ### Нормализаторы: контракт и правила 1–12 (детали)
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Десять rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby; константу `STEP` (`public static final DocxNormalizer`) выставляют девять из десяти (нет только у `RubyNormalizer` — он цепочный, подключается внутри пайплайна), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`. Правила 1–10 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 9; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` десяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим: Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Одиннадцать rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby; константу `STEP` (`public static final DocxNormalizer`) несёт только `DocxRewritePipeline` (собирает рерайты сам), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`, а вместо `normalize(byte[])` у него `normalize(byte[], boolean)`. Правила 1–11 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 10; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` десяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим:
1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174a — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.7 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`). 1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174 — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.4 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`).
2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается. 2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается.
3. `SymbolFontNormalizer` — PUA U+F000–U+F0FF (Symbol/Wingdings/Webdings) → Unicode + DejaVu Sans; переписывает `<w:sym>`, правит `w:lvl` в numbering.xml; 5 карт по 256 слотов (таблица `SymbolMapper` из docx4j 17.x). 3. `SymbolFontNormalizer` — PUA U+F000–U+F0FF (Symbol/Wingdings/Webdings) → Unicode + DejaVu Sans; переписывает `<w:sym>`, правит `w:lvl` в numbering.xml; 5 карт по 256 слотов (таблица `SymbolMapper` из docx4j 17.x).
4. `FieldNormalizer` — `fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple` (кэш страниц в PDF не попадает); вложенные/битые поля пропускаются. 4. `FieldNormalizer` — `fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple` (кэш страниц в PDF не попадает); вложенные/битые поля пропускаются.
5. `InvisibleCharNormalizer` — вырезает из `w:t` U+0085, U+2028, U+2029, U+200E/200F, U+202A–202E, U+2060, U+FEFF (FOP делает из них переносы/пустые строки, Arimo/Tinos рисуют боксы). U+00A0/U+00AD/U+200B–U+200D **не** трогает. 5. `InvisibleCharNormalizer` — вырезает из `w:t` U+0085, U+2028, U+2029, U+200E/200F, U+202A–202E, U+2060, U+FEFF (FOP делает из них переносы/пустые строки, Arimo/Tinos рисуют боксы). U+00A0/U+00AD/U+200B–U+200D **не** трогает.
6. `GlyphCoverageNormalizer` — режет раны по покрытию глифов и пишет семейство в `w:rFonts`, иначе FOP рисует «#». Покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, **не** docx4j `GlyphCheck` (плодит INFO-лог; `java.awt.Font` требовал fontconfig на хосте). Для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (`dejavu serif`, `tinos`, `caladea`), затем в sans. 6. `MathFallbackNormalizer` — байтовый скан OMML-формул (§22.1) до загрузки пакета: формулы с конструкциями вне `MathModel.SUPPORTED` (или structurally битые) деградируют в текст — `m:oMathPara`/`m:oMath` → обычные раны с конкатенацией `m:t` (как в штатном фолбэке docx4j `XsltFOFunctions.mathText`); поддерживаемые части не трогаются (`rewrite` → `null`, тот же массив) — их рисует собственный `MathRenderer` на шаге 3.5. Позиция **до GlyphCoverage** обязательна: деградировавшие раны с математическими символами (U+1D400+) обязаны пройти резку по покрытию, иначе FOP рисует «#». `m:oMathPara` содержит `m:oMath`, поэтому блок para заменяется первым. Регрессия — WordPdfConverterTest#ommlMathUnsupported_flattenedToText, юниты — MathFallbackNormalizerTest.
7. `TableIndentNormalizer` — свёртка `w:tblPr/w:jc` (center/right) с любым (в т.ч. отсутствующим/нулевым) `w:tblInd` в абсолютный `w:tblInd` с удалением `w:jc` (Word: tblInd — сдвиг от поля после центрирования, MS-OI29500 §2.1.155; docx4j при jc≠left игнорирует tblInd буквально — Part 1 §17.4.50, а центрированию пишет абсолютный start-indent **без** вычета cellMar, поверх которого padding-компенсация правила LayoutPostRenderer уводит текст на +padding — свёртка обязательна и при X=0): center → (W−T)/2+X, right → (W−T)+X, W — полоса набора (pgSz − pgMar left/right в transitional и `w:start`/`w:end` в strict; дефолты 11906/1440 — измеренное поведение docx4j, не ECMA-1800), T — Σ gridCol; пропускает несколько body-level `sectPr`, не-dxa `tblInd`, `tblPr` с `tblCellSpacing` без `tblInd` (нет корректной позиции вставки по CT_TblPrBase), `tblW pct`, нецелые gridCol. Кроме `rewrite`/`STEP` (document.xml, полоса из собственного sectPr) есть `rewritePart(part, xml, band)` — `word/headerN.xml`/`footerN.xml` с полосой из document.xml (в частях колонтитуков своего sectPr нет) и `bandOf(documentXml)` — экстрактор полосы (−1 — полосы нет). Регрессия — WordPdfConverterTest#tableIndentCentered_shiftedLikeWord, #headerTableIndent_centeredInHeader, #tableCenteredNoIndent_shiftedLikeWord. 7. `GlyphCoverageNormalizer` — режет раны по покрытию глифов и пишет семейство в `w:rFonts`, иначе FOP рисует «#». Покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, **не** docx4j `GlyphCheck` (плодит INFO-лог; `java.awt.Font` требовал fontconfig на хосте). Для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (`dejavu serif`, `tinos`, `caladea`), затем в sans.
8. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; Part 1 §17.3.1.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace. 8. `TableIndentNormalizer` — свёртка `w:tblPr/w:jc` (center/right) с любым (в т.ч. отсутствующим/нулевым) `w:tblInd` в абсолютный `w:tblInd` с удалением `w:jc` (Word: tblInd — сдвиг от поля после центрирования, MS-OI29500 §2.1.155; docx4j при jc≠left игнорирует tblInd буквально — аудит раскладки ECMA-376, матрица B3, а центрированию пишет абсолютный start-indent **без** вычета cellMar, поверх которого padding-компенсация правила LayoutPostRenderer уводит текст на +padding — свёртка обязательна и при X=0): center → (W−T)/2+X, right → (W−T)+X, W — полоса набора (pgSz − pgMar left/right; у CT_PageMar полей `w:start`/`w:end` нет, полоса берётся из сырого document.xml до правила 1; дефолты 11906/1440 — измеренное поведение docx4j, ECMA дефолтов не фиксирует §17.6.11/.13), T — Σ gridCol; пропускает несколько body-level `sectPr`, `tblInd` с явным `w:type` ≠ dxa (опущенный type — dxa, §17.4.87), `tblPr` с `tblCellSpacing` без `tblInd` (нет корректной позиции вставки по CT_TblPrBase), `tblW pct`, нецелые gridCol. Кроме `rewrite` (document.xml, полоса из собственного sectPr) есть `rewritePart(part, xml, band)` — `word/headerN.xml`/`footerN.xml` с полосой из document.xml (в частях колонтитуков своего sectPr нет) и `bandOf(documentXml)` — экстрактор полосы (−1 — полосы нет). Регрессия — WordPdfConverterTest#tableIndentCentered_shiftedLikeWord, #headerTableIndent_centeredInHeader, #tableCenteredNoIndent_shiftedLikeWord.
9. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.30): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, юниты — HiddenTextNormalizerTest. 9. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; ST_LevelSuffix Part 1 §17.9.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace.
10. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.18/.19/.20/.21): `w:rubyBase`/`w:rubyBaseText` разворачиваются в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.2 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest. 10. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.41): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true; явный `false/0/off` в ране **перекрывает** vanish-стиль) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, #hiddenText_directFalseOverridesVanishStyle, юниты — HiddenTextNormalizerTest.
11. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `<w:object`; не-zip/нет центрального каталога → входной массив — прежняя снисходительность), переупаковка — только при находке. Детект OLE-бинарников — по `[Content_Types].xml`: тип `…oleObject` **или** ложный `+xml`-тип у `.bin` (XML в bin не бывает; `printerSettings` не трогается). Удаляются вместе с rels-ссылками (по типу, включая `TargetMode=External`) и Override удалённых частей. Элементы `<w:object>` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `DrawingFoundException(OLE)`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет. 11. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.24–.28): снимается обёртка `w:ruby` (схемно-валидная транзишнл-разметка `w:r`→`w:ruby`→rubyPr/rt/rubyBase иначе достаёт catch-all-шаблону XSLT, и база теряется молча), `w:rubyBase` разворачивается в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.2 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest.
12. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `<w:object`; не-zip/нет центрального каталога → входной массив — прежняя снисходительность), переупаковка — только при находке. Детект OLE-бинарников — по `[Content_Types].xml`: тип `…oleObject` **или** ложный `+xml`-тип у `.bin` (XML в bin не бывает; `printerSettings` не трогается). Удаляются вместе с rels-ссылками (по типу, включая `TargetMode=External`) и Override удалённых частей. Элементы `<w:object>` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `OleFoundException`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет.
`mc-preprocessor.xslt` docx4j (в jar `docx4j-core`) перебивает strict-namespace'ы в transitional и конвертит `pt` в twips/half-points, но ветку перевода процентов в тысячные для namespace'ных атрибутов содержит с закомментированным `<xsl:value-of select="$cleanValue * 1000"/>` (для атрибутов без namespace — она активна), а `w:start`/`w:end` в `w:left`/`w:right` не маппит вовсе. Поэтому собственный рерайт URI ломать нельзя — он сломал бы pt-конверсию preprocessor'а (FOP получил бы «10pt»). `mc-preprocessor.xslt` docx4j (в jar `docx4j-core`) перебивает strict-namespace'ы в transitional и конвертит `pt` в twips/half-points, но ветку перевода процентов в тысячные для namespace'ных атрибутов содержит с закомментированным `<xsl:value-of select="$cleanValue * 1000"/>` (для атрибутов без namespace — она активна), а `w:start`/`w:end` в `w:left`/`w:right` не маппит вовсе. Поэтому собственный рерайт URI ломать нельзя — он сломал бы pt-конверсию preprocessor'а (FOP получил бы «10pt»).
+2 -2
View File
@@ -4,6 +4,6 @@
- Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно). - Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно).
- Аудит раскладки по ECMA-376 Part 1 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается, свойства `text-align-last` в форке нет (в docx4j-fo-renderer отсутствуют классы TextAlign*); `w:suff="tab"` и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab; suff=space чинит правило 8, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер: advance A→V = A→A — Carlito 6.369pt, DejaVu Sans 7.524pt@11pt): 22 TTF — GPOS-only, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19; при отсутствии `w:kern` Office не кернит — MS-OI29500 §21.1.2.3.9a) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 7), `w:suff="space"` (правило 8). - Аудит раскладки по ECMA-376 Part 1 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается, свойства `text-align-last` в форке нет (в docx4j-fo-renderer отсутствуют классы TextAlign*); `w:suff="tab"` и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab; suff=space чинит правило 9, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер: advance A→V = A→A — Carlito 6.369pt, DejaVu Sans 7.524pt@11pt): 22 TTF — GPOS-only, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19: кернинг применяется, только когда элемент задан; при отсутствии `w:kern` не кернит; MS-OI29500 §2.1.83 уточняет лишь диапазон `w:val`) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 8), `w:suff="space"` (правило 9).
- Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.13.1.35), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23), OMML-формулы рисуются вектором jeuclid-fop (§22.1 — текст из PDF не извлекается, пинь пикселями), фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 9); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 10 + AUDIT-FIX-2). Остаток (не чиним): `w:framePr` игнорируется — текст печатается в общем потоке, геометрия фрейма теряется (ни XSLT, ни `createBlockForPPr` не читают); `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 10 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура). - Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.10.6), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23; формула внутри текстового бокса до растера не доходит — обход drawing-нагрузку не спускается и уходит в docx4j-фолбэк `mathText`, конкатенация `m:t`; регрессия — WordPdfConverterTest#drawingTextBoxMath_convertsViaDocx4jTextFallback), OMML-формулы (§22.1) рисует собственный растер `MathModel`/`MathRenderer` — PNG 300 dpi, только бандл-шрифты jar, без AWT/JEuclid (текст из PDF не извлекается, пинь пикселями); неподдерживаемая конструкция или превышение бюджета — текстовая деградация (конкатенация `m:t`, `MathFallbackNormalizer`, правило 6) + warn, inline-формула выравнивается по базовой линии текста (мат-ось Word — принятая деградация), `m:oMathPara` — отдельный центрированный абзац (left/right по `m:jc`, indentLeft→left); фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 10); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 11 + AUDIT-FIX-2). Остаток (не чиним): `w:framePr` игнорируется — текст печатается в общем потоке, геометрия фрейма теряется (ни XSLT, ни `createBlockForPPr` не читают); `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 11 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура).
+17 -16
View File
@@ -4,18 +4,19 @@
| Путь | Назначение | | Путь | Назначение |
|---|---| |---|---|
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String[,ConvertOptions])`), `WordPdfValidator` (`checkInput`/`checkPageCount`/`validate` — без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`), `WordPdfSettings` (`MAX_INPUT_MB=5`, `MAX_PAGES=100`, защитные `MAX_DECOMPRESSED_MB=200`/`MAX_ZIP_ENTRIES=8192`, `ERROR_ON_*=false`), `ConvertOptions` (record) | | `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String,ConvertOptions)`), `WordPdfValidator` (`checkInput`/`validate` наружу; `checkPageCount`/`checkPageCountDoc`/`isBinaryDoc` — package-private, всё без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `ChartsFoundException`/`SmartArtFoundException`/`OleFoundException` (по error-флагам), `ConvertOptions` (record; дефолтов в ядре нет). Пороги защиты — производные от лимитов входа: `WordPdfValidator.maxDecompressedBytes`/`maxDecompressedXmlBytes` (`max(MIN_*×MiB, maxMb×10/4MiB + maxPages×64/32KiB)`, крышек нет), `maxZipEntries` (`max(2048, maxMb×512 + maxPages×32)`), `maxImagePixels` (`maxMb×5_000_000`); коэффициенты и полы — package-private литералы `WordPdfConverter` (`DECOMPRESS_*`, `MIN_DECOMPRESSED_*`, `IMAGE_PIXELS_PER_MAX_MB`, `ZIP_ENTRIES_*`, javac их инлайнит — валидатор не инициализирует конвертер) |
| `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontMapper` (алиасы, self-map, `DISPLAY_NAMES`, `bundledFamily`), `GlyphFont` (глиф-движок fontbox) | | `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontAliases` (алиасы, `DISPLAY_NAMES`, `bundledFamily` — без наследования, статика безопасна до гейта), `BundledFontMapper` (экземпляр-маппер docx4j), `GlyphFont` (глиф-движок fontbox) |
| `…/wordpdf/internal/` | 11 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–10, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы `public` (иначе родительский пакет не вызвал бы), публичные члены наружу только `normalize`/`STEP`/`declare`/`DependencyGuard.check`/`LayoutPostRenderer.register`; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `DrawingFoundException(OLE)` | | `…/wordpdf/internal/` | 12 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–11, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы package-private; `public` — `DocxNormalizer`, `DocxRewritePipeline` (наружу только `STEP`, `normalize` package-private), `OleObjectNormalizer`, `FopFallbackFonts` (`declare`), `LayoutPostRenderer` (`register`), `DependencyGuard` (`check`), остальные нормализаторы полностью package-private; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `OleFoundException` |
| `…/wordpdf/internal/doc/` | Мост `.doc` → `.docx`: 18 классов (детали — `docs/agent/doc-bridge.md`) — `CfbReader`, `FibHeader`, `PieceTable`, `Grpprl`, `ChpxIndex`, `PapxIndex`, `Styles`, `Tables`, `Lists`, `Sections`, `FontTable`, `SummaryInfo`, `Headers`, `OfficeArt`, `PrcData`, `DocFile`, `DocxWriter`, `DocToDocx` (публичные `convert`/`countPages`; вложенный `DocxBody` — рендер текста и табличного автомата в XML) | | `…/wordpdf/internal/doc/` | Мост `.doc` → `.docx`: 18 классов (детали — `docs/agent/doc-bridge.md`) — `CfbReader`, `FibHeader`, `PieceTable`, `Grpprl`, `ChpxIndex`, `PapxIndex`, `Styles`, `Tables`, `Lists`, `Sections`, `FontTable`, `SummaryInfo`, `Headers`, `OfficeArt`, `PrcData`, `DocFile`, `DocxWriter`, `DocToDocx` (публичные `convert`/`countPages`; вложенный `DocxBody` — рендер текста и табличного автомата в XML) |
| `…/wordpdf/internal/chart/` |18 классов Java2D-рендера диаграмм/SmartArt в PNG (public: `DrawingPreRenderer.run` и `ChartImageHandler` — второй инстанцируется из `WordPdfConverter`)| | `…/wordpdf/internal/chart/` |21 классов Java2D-рендера диаграмм/SmartArt/OMML-формул в PNG (`MathModel`/`MathRenderer`/`MathUnsupportedException` — формулы); public: `DrawingPreRenderer.run` и `ChartImageHandler` — второй инстанцируется из `WordPdfConverter`|
| `wordpdf-core/src/main/resources/fonts/` | 30 TTF + 3 лицензии — бинарные фикстуры, часть jar | | `wordpdf-core/src/main/resources/fonts/` | 30 TTF + 3 лицензии — бинарные фикстуры, часть jar |
| `wordpdf-core/src/main/resources/xslt/` | `docx2fo.xslt` — вендорный XSL-FO-стилист (копия docx4j-export-fo + AUDIT-FIX-патчи), часть jar | | `wordpdf-core/src/main/resources/xslt/` | `docx2fo.xslt` — вендорный XSL-FO-стилист (копия docx4j-export-fo + AUDIT-FIX-патчи), часть jar |
| `wordpdf-core/src/test/resources/samples/` | 25 закоммиченных фикстур: 13 `.docx` + 12 `.doc` (11 эталонов заказчика из `develop/doc/` с теми же базовыми именами + `doc-formats.doc`); `.docx` проходят `docs/standards/docx/validate-fixtures.py`, `.doc` — бинарные, XSD к ним неприменим | | `wordpdf-core/src/test/resources/samples/` | 25 закоммиченных фикстур: 13 `.docx` + 12 `.doc` (11 эталонов заказчика из `develop/doc/` с теми же базовыми именами + `doc-formats.doc`); `.docx` проходят `docs/standards/docx/validate-fixtures.py`, `.doc` — бинарные, XSD к ним неприменим |
| `wordpdf-core/src/test/resources/geom/` | `presetShapeDefinitions.xml` — копия приложения ECMA-376, синхрон таблицы `PresetGeometry` (только в тестах, в jar не попадает) | | `wordpdf-core/src/test/resources/geom/` | `presetShapeDefinitions.xml` — копия приложения ECMA-376, синхрон таблицы `PresetGeometry` (только в тестах, в jar не попадает) |
| `wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/` | REST API (11 классов): `WordPdfApplication` (единственный public), `ConvertController`, `ConversionService` (очередь), `ApiExceptionHandler`, `ApiKeyFilter`, `OpenApiConfig` (`@SecurityScheme` X-API-Key) + 5 классов исключений (`BadRequest`, `DrawingRejected`, `ConversionFailed`, `ConversionRejected`, `ConversionTimeout`) | | `wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/` | REST API (11 классов): `WordPdfApplication` (единственный public), `ConvertController`, `ConversionService` (очередь), `ApiExceptionHandler`, `ApiKeyFilter`, `OpenApiConfig` (`@SecurityScheme` X-API-Key) + 5 классов исключений (`BadRequest`, `DrawingRejected`, `ConversionFailed`, `ConversionRejected`, `ConversionTimeout`) |
| `wordpdf-web/src/` | SPA: `api.ts` (вся сеть), `components/` (App, ApiKeyGate, PdfPreview, StatusMessage, DropZone, Logo) | | `wordpdf-web/src/` | SPA: `api.ts` (вся сеть), `components/` (App, ApiKeyGate, PdfPreview, StatusMessage, DropZone, Logo) |
| корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf` | Образ бэкенда (multi-stage `maven:3.9-eclipse-temurin-17` → `eclipse-temurin:17-jre-alpine`, non-root uid 10001, `-XX:MaxRAMPercentage=70`, HEALTHCHECK — busybox `wget`); compose app+web+gateway (`mem_limit: 2g` app, подсеть `10.113.0.0/24` gw `10.113.0.1`, `x-podman.name_separator_compat`); прод-compose не в репо — его рендерит job `deploy`; в репо-`compose.yml` springdoc выключен env (`SPRINGDOC_API_DOCS_ENABLED=false`, `SPRINGDOC_SWAGGER_UI_ENABLED=false`), в `compose.dev.yml` springdoc-переменных нет вовсе — включён по умолчанию (не отключается). `wordpdf-web/Containerfile` — `node:24-alpine` → `nginx:alpine`, `ARG VITE_BASE=/` (прод-CI печёт `/pdf-converter/`); репозиторный `wordpdf-web/nginx.conf` в образ **не** копируется (SPA одностраничная, без клиентского роутинга — SPA-fallback не нужен) | | `wordpdf-web/nginx.conf` | В образ SPA (`Containerfile` COPY в `/etc/nginx/conf.d/default.conf` — переопределение default-сервера, отдельного монтирования нет): `try_files` SPA-fallback + `add_header ... always` (езжают и на 4xx/5xx): CSP `default-src 'self'; script-src 'self'; style-src 'self' 'unsafe-inline'` (inline-стили React); `img-src`/`frame-src` + blob: (PDF-предпросмотр в iframe); `connect-src 'self'`; `object-src 'none'` + `nosniff`, XFO DENY (не мешает blob-iframe), Referrer-Policy no-referrer |
| корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf` | Образ бэкенда (multi-stage `maven:3.9-eclipse-temurin-17` → `eclipse-temurin:17-jre-alpine`, non-root uid 10001, фиксированный heap `-Xms2g -Xmx2g`, HEALTHCHECK — busybox `wget`); compose app+web+gateway (`mem_limit: 3g` app, подсеть `10.113.0.0/24` gw `10.113.0.1`, `x-podman.name_separator_compat`); прод-compose не в репо — его рендерит job `deploy`; в репо-`compose.yml` springdoc выключен env (`SPRINGDOC_API_DOCS_ENABLED=false`, `SPRINGDOC_SWAGGER_UI_ENABLED=false`), в `compose.dev.yml` springdoc-переменных нет вовсе — включён по умолчанию (не отключается). `wordpdf-web/Containerfile` — `node:24-alpine` → `nginx:alpine`, `ARG VITE_BASE=/` (прод-CI печёт `/pdf-converter/`); `wordpdf-web/nginx.conf` копируется в образ (см. строку выше) |
| `.env.example` | Шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES` (пустое значение ломает binding long/int). Проду `.env` не нужен — ключ и лимиты подаёт job `deploy` из Gitea Secrets/Variables | | `.env.example` | Шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES` (пустое значение ломает binding long/int). Проду `.env` не нужен — ключ и лимиты подаёт job `deploy` из Gitea Secrets/Variables |
| `.gitea/workflows/` | Gitea Actions: `pr.yml` (`PR checks`), `main.yml` (тесты + coverage-сводка и комментарий в PR → `images-app`/`images-web` (build+push в Nexus) → deploy (рендер прод-конфигов + pull) → autotests → rollback) | | `.gitea/workflows/` | Gitea Actions: `pr.yml` (`PR checks`), `main.yml` (тесты + coverage-сводка и комментарий в PR → `images-app`/`images-web` (build+push в Nexus) → deploy (рендер прод-конфигов + pull) → autotests → rollback) |
| `GITEA-vars.md` | Инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений | | `GITEA-vars.md` | Инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений |
@@ -28,16 +29,16 @@
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java` — точка входа библиотеки + static-блок `gsubFeatures` + `normalizers(options)` (порядок цепочки). - `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java` — точка входа библиотеки + static-блок `gsubFeatures` + `normalizers(options)` (порядок цепочки).
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java` — валидация входа и lightweight-подсчёт страниц (StAX, без docx4j). - `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java` — валидация входа и lightweight-подсчёт страниц (StAX, без docx4j).
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfSettings.java` — все дефолты ядра (`MAX_INPUT_MB = 5`, `MAX_PAGES = 100`, `ERROR_ON_* = false`); рантайм-конфигурации в ядре нет. - Дефолтов лимитов в ядре нет (`WordPdfSettings` упразднён): лимиты входа всегда приходят с вызовом через `ConvertOptions`, производные пороги считает `WordPdfValidator.max*` (см. таблицу выше).
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java` — замена диаграмм/SmartArt на PNG; владеет `MAX_EXTENT_EMU` и деградацией при падении рендера. - `wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java` — замена диаграмм/SmartArt/OMML-формул на PNG; владеет `MAX_EXTENT_EMU` и деградацией при падении рендера (формула — текст вместо удаления).
- `wordpdf-app/src/main/resources/application.properties` — multipart 100MB (`max-file-size`/`max-request-size` + `file-size-threshold=2MB` — части крупнее 2 МБ на диск, не в память; в тон gateway `client_max_body_size 100m`), `wordpdf.convert-timeout=2m`, пустой `wordpdf.api-key`, `server.forward-headers-strategy=framework` (префикс прод-прокси для springdoc) + `springdoc.swagger-ui.persist-authorization=true`; `wordpdf.max-mb`/`max-pages` здесь намеренно нет. - `wordpdf-app/src/main/resources/application.properties` — multipart 100MB (`max-file-size`/`max-request-size` + `file-size-threshold=2MB` — части крупнее 2 МБ на диск, не в память; в тон gateway `client_max_body_size 100m`), `wordpdf.convert-timeout=2m`, пустой `wordpdf.api-key`, `server.forward-headers-strategy=framework` (префикс прод-прокси для springdoc) + `springdoc.swagger-ui.persist-authorization=true`; `wordpdf.max-mb`/`max-pages` здесь намеренно нет.
- `wordpdf-app/pom.xml` — `spring-boot-maven-plugin` с **явной** execution `repackage` (в 4.1.1 сам не связывается, jar останется тонким); `slf4j-simple` исключён; `spring-boot-starter-webmvc` (Boot 4: переименован из starter-web) + `spring-boot-starter-actuator` (нужен HEALTHCHECK контейнера `/actuator/health`); тест-зависимости: `spring-boot-webmvc-test` (в Boot 4 автоконфиг MockMvc вынесен из starter-test), test-jar core. - `wordpdf-app/pom.xml` — `spring-boot-maven-plugin` с **явной** execution `repackage` (в 4.1.1 сам не связывается, jar останется тонким); `slf4j-simple` исключён; `spring-boot-starter-webmvc` (Boot 4: переименован из starter-web) + `spring-boot-starter-actuator` (нужен HEALTHCHECK контейнера `/actuator/health`); тест-зависимости: `spring-boot-webmvc-test` (в Boot 4 автоконфиг MockMvc вынесен из starter-test), test-jar core.
- `wordpdf-core/pom.xml` — `maven-jar-plugin` execution `test-jar` (публикует фикстуры для app); JaCoCo execution `check` переопределён (LINE 0.90 + BRANCH 0.85). - `wordpdf-core/pom.xml` — `maven-jar-plugin` execution `test-jar` (публикует фикстуры для app); JaCoCo execution `check` переопределён (LINE 0.90 + BRANCH 0.85).
- Корневой `pom.xml` — все версии зависимостей (в модулях версии не объявлять): docx4j `17.3.2`, commons-compress `1.28.0`, slf4j `2.0.20`, JUnit `6.1.3`, PDFBox/fontbox `3.0.8` (`fontbox` — compile в core: глиф-движок `GlyphFont`; `pdfbox` — test в обоих модулях; commons-logging исключён, мост — `jcl-over-slf4j`), POI `5.5.1` (test), Spring Boot `4.1.1` (BOM-import), springdoc `3.1.1`; pluginManagement: compiler `3.16.0`, surefire `3.6.0` с `-Djava.awt.headless=true`, jar `3.5.1`, PMD `3.28.0`, JaCoCo `0.8.15`; пустой дефолт `<argLine>` (для `-Djacoco.skip=true`). - Корневой `pom.xml` — все версии зависимостей (в модулях версии не объявлять): docx4j `17.3.2`, commons-compress `1.28.0`, slf4j `2.0.20`, JUnit `6.1.3`, PDFBox/fontbox `3.0.8` (`fontbox` — compile в core: глиф-движок `GlyphFont`; `pdfbox` — test в обоих модулях; commons-logging исключён, мост — `jcl-over-slf4j`), POI `5.5.1` (test), Spring Boot `4.1.1` (BOM-import), springdoc `3.1.1`; pluginManagement: compiler `3.16.0`, surefire `3.6.0` с `-Djava.awt.headless=true`, jar `3.5.1`, PMD `3.21.2` (движок PMD `6.55.0`), JaCoCo `0.8.15`; пустой дефолт `<argLine>` (для `-Djacoco.skip=true`).
- `pmd-ruleset.xml` — ruleset PMD (см. Code Conventions). - `pmd-ruleset.xml` — ruleset PMD (см. Code Conventions).
- `.ci/maven-settings.xml` — Maven-зеркало Nexus с URL из `${env.MAVEN_MIRROR_URL}` (общий файл CI-job'ов `java` и Containerfile; координаты стенда в репо не хранятся — Variable/build-arg). - `.ci/maven-settings.xml` — Maven-зеркало Nexus с URL из `${env.MAVEN_MIRROR_URL}` (общий файл CI-job'ов `java` и Containerfile; координаты стенда в репо не хранятся — Variable/build-arg).
- `wordpdf-core/src/main/resources/slf4j-simple.properties` — без него предупреждение лезет в PDF. - `wordpdf-core/src/main/resources/slf4j-simple.properties` — без него предупреждение лезет в PDF.
- `gateway/nginx.conf` — единственный вход: `/api/`, `/swagger-ui`, `/v3/api-docs`, `/actuator` → `app:8080`, остальное → `web:80`; `client_max_body_size 100m` (без директивы upload режется HTML-413 шлюза вместо JSON-ошибки API); `proxy_read_timeout`/`proxy_send_timeout 300s` (дефолтные 60s рвут 2-минутные конвертации 504 раньше app-ного 504); `resolver 10.113.0.1` + `proxy_pass` через переменные (статический `proxy_pass` резолвит имя один раз при старте — gateway, поднявшийся раньше app, получал бы 502 до перезапуска). - `gateway/nginx.conf` — единственный вход: `/api/`, `/swagger-ui`, `/v3/api-docs`, `/actuator` → `app:8080`, остальное → `web:80`; `client_max_body_size 100m` (без директивы upload режется HTML-413 шлюза вместо JSON-ошибки API); `proxy_read_timeout`/`proxy_send_timeout 300s` (дефолтные 60s рвут 2-минутные конвертации 504 раньше app-ного 504); `resolver 10.113.0.1` + `proxy_pass` через переменные (статический `proxy_pass` резолвит имя один раз при старте — gateway, поднявшийся раньше app, получал бы 502 до перезапуска); `X-Forwarded-For`/`-Proto`/`-Host` переписываются безусловно (`$remote_addr`/`$scheme`/`$host` — клиент не подставляет доверяемые Spring заголовки; `X-Forwarded-Prefix` проходит как есть — на нём base swagger-ui за внешним прокси). Тот же набор в прод-ренвере job `deploy` (`main.yml`, heredoc `NGINX`).
- `wordpdf-core/src/test/java/ru/pjandro/wordpdf/SampleDocxGenerator.java` — main()-утилита пересоздания фикстур; `ChartTypesDocxGenerator.java` — генератор `chart-types.docx`. - `wordpdf-core/src/test/java/ru/pjandro/wordpdf/SampleDocxGenerator.java` — main()-утилита пересоздания фикстур; `ChartTypesDocxGenerator.java` — генератор `chart-types.docx`.
- `wordpdf-web/vite.local.config.ts` — легаси-одноразовщик (прокси `/api` → :8091), в `tsconfig.node.json` не включён; кандидат на удаление, не тиражировать паттерн. Корневые `javac.*.args` — мусор пробной компиляции (gitignored), тоже кандидат на удаление. - `wordpdf-web/vite.local.config.ts` — легаси-одноразовщик (прокси `/api` → :8091), в `tsconfig.node.json` не включён; кандидат на удаление, не тиражировать паттерн. Корневые `javac.*.args` — мусор пробной компиляции (gitignored), тоже кандидат на удаление.
@@ -79,7 +80,7 @@ unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-expo
## REST API (детали bullet'ов) ## REST API (детали bullet'ов)
Единственный эндпоинт `POST /api/v1/convert`: multipart-поле `file` + факультативные query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолт каждого — `WordPdfSettings.ERROR_ON_*`). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка `.docx`/`.doc`-расширения — в `ConvertController` (ошибочный текст 400 — контракт с фронтом); `ConversionService.safeBaseName` — единый источник имени для файла, заголовка ответа и PDF-title (срезает оба расширения; разрешены `[\p{L}\p{N} ._-]`, пустое → `document`). Error-флаги диаграмм/SmartArt/OLE на `.doc` не срабатывают (BLIP-плейсхолдеры → картинки, см. «Мост») — описано в `@Operation`. Единственный эндпоинт `POST /api/v1/convert`: multipart-поле `file` + факультативные query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолт каждого — `false`) и `maxMb`/`maxPages` (лимиты входа, см. «Лимиты входа» ниже). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка `.docx`/`.doc`-расширения — в `ConvertController` (ошибочный текст 400 — контракт с фронтом); `ConversionService.safeBaseName` — единый источник имени для файла, заголовка ответа и PDF-title (срезает оба расширения; разрешены `[\p{L}\p{N} ._-]`, пустое → `document`). Error-флаги диаграмм/SmartArt/OLE на `.doc` не срабатывают (BLIP-плейсхолдеры → картинки, см. «Мост») — описано в `@Operation`.
Полная карта ответов: Полная карта ответов:
@@ -95,8 +96,8 @@ unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-expo
| 504 | `ConversionTimeoutException` | | 504 | `ConversionTimeoutException` |
- **Ключ доступа**: `ApiKeyFilter` сверяет заголовок `X-API-Key` (`ApiKeyFilter.HEADER`) со свойством `wordpdf.api-key` (env `WORDPDF_API_KEY`, сравнение `MessageDigest.isEqual`). Пустое свойство = аутентификация выключена (dev `java -jar`, тесты). Без ключа открыты `OPEN_PREFIXES` = `/actuator/`, `/swagger-ui`, `/v3/api-docs` — матч по пути **без** forwarded-contextPath (`getRequestURI()` минус `getContextPath()`; иначе под `X-Forwarded-Prefix` HEALTHCHECK получил бы 401). Пути с точечными сегментами (`..`/`%2e`) открытыми не считаются никогда. - **Ключ доступа**: `ApiKeyFilter` сверяет заголовок `X-API-Key` (`ApiKeyFilter.HEADER`) со свойством `wordpdf.api-key` (env `WORDPDF_API_KEY`, сравнение `MessageDigest.isEqual`). Пустое свойство = аутентификация выключена (dev `java -jar`, тесты). Без ключа открыты `OPEN_PREFIXES` = `/actuator/`, `/swagger-ui`, `/v3/api-docs` — матч по пути **без** forwarded-contextPath (`getRequestURI()` минус `getContextPath()`; иначе под `X-Forwarded-Prefix` HEALTHCHECK получил бы 401). Пути с точечными сегментами (`..`/`%2e`) открытыми не считаются никогда.
- **Очередь**: конвертации сериализованы однопоточным `ThreadPoolExecutor` (`ConversionService.QUEUE_CAPACITY = 16`, переполнение → 503): ядро мутирует глобальный реестр `PhysicalFonts` и **не потокобезопасно**. Головой очереди конструктор ставит `WordPdfConverter.warmup()` — прогрев ядра минимальным in-code docx + растром (~1,5–2,5 с, Future никто не забирает, warmup не бросает): первый реальный запрос после деплоя — за прогретым ядром (замер 2026-11: 0,13 с против 1,74 с на `main`), запросы периода прогрева ждут в очереди штатно. `future.cancel(true)` при таймауте не останавливает FOP мгновенно — осознанный компромисс. - **Очередь**: конвертации сериализованы однопоточным `ThreadPoolExecutor` (`ConversionService.QUEUE_CAPACITY = 16`, переполнение → 503): ядро мутирует глобальный реестр `PhysicalFonts` и **сериализует конвертации монитором класса `WordPdfConverter.class`**; однопоточность воркера — ради 503/timeout. Головой очереди конструктор ставит `WordPdfConverter.warmup()` — прогрев ядра минимальным in-code docx + растром (~1,5–2,5 с, Future никто не забирает, warmup не бросает): первый реальный запрос после деплоя — за прогретым ядром (замер 2026-11: 0,13 с против 1,74 с на `main`), запросы периода прогрева ждут в очереди штатно. `future.cancel(true)` при таймауте не останавливает FOP мгновенно — осознанный компромисс.
- **Лимиты входа** задаёт только конфигурация сервера: `wordpdf.max-mb`/`wordpdf.max-pages` (env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`), `@Value` в `ConvertController` с дефолтом-SpEL из `WordPdfSettings` (5 МБ / 100); значение ≤ 0 → `IllegalStateException` на старте; параметрами запроса не переопределяются. Ключи в `application.properties` **не объявлены** — пустое значение затенит SpEL-дефолт. - **Лимиты входа**: `wordpdf.max-mb`/`wordpdf.max-pages` (env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`) — дефолт эндпоинта, `@Value` в `ConvertController` с литеральными дефолтами 5/100; значение свойства ≤ 0 → `IllegalStateException` на старте. Параметры запроса `maxMb`/`maxPages` переопределяют дефолт в обе стороны (значения ≤ 0 → 400), верхнего серверного потолка нет — пороги распаковки/записей/растров растут вместе с ними. Ключи в `application.properties` **не объявлены** — пустое значение затенит дефолт `@Value`.
- **SPA**: вся сеть в `wordpdf-web/src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), при 401 очищается, экран `ApiKeyGate` (`UnauthorizedError` — наследник `ApiError`, проверяется раньше); гейт показывается только когда `probeApiKey()` (GET /api/v1/convert → 401) подтвердил требование ключа. Запросы на `${import.meta.env.BASE_URL}api/...` (vite `base` из `VITE_BASE`, дефолт `/`) — CORS не нужен (dev: vite-proxy → :8080; prod: nginx под префиксом `/pdf-converter/`). Три переключателя error-флагов в форме («Диаграммы», «SmartArt», «OLE-объекты», дефолт — все выключены). DropZone принимает `.docx,.doc` (`accept` + текст зоны). - **SPA**: вся сеть в `wordpdf-web/src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), при 401 очищается, экран `ApiKeyGate` (`UnauthorizedError` — наследник `ApiError`, проверяется раньше); гейт показывается только когда `probeApiKey()` (GET /api/v1/convert → 401) подтвердил требование ключа. Запросы на `${import.meta.env.BASE_URL}api/...` (vite `base` из `VITE_BASE`, дефолт `/`) — CORS не нужен (dev: vite-proxy → :8080; prod: nginx под префиксом `/pdf-converter/`). Три переключателя error-флагов в форме («Диаграммы», «SmartArt», «OLE-объекты», дефолт — все выключены). DropZone принимает `.docx,.doc` (`accept` + текст зоны).
@@ -104,11 +105,11 @@ unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-expo
- **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` (пер-странично `setStartPage/setEndPage`), override `processTextPosition` для шрифта конкретного символа (`fontNameOf`), обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`) и счётчик картинок (`imageCount`/`distinctImageCount` — SMask игнорируется). Негативные маркеры: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`); в `tableImage_tableAndImage` — полное удаление пробелов (docx4j переносит слова в auto-fit таблицах). - **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` (пер-странично `setStartPage/setEndPage`), override `processTextPosition` для шрифта конкретного символа (`fontNameOf`), обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`) и счётчик картинок (`imageCount`/`distinctImageCount` — SMask игнорируется). Негативные маркеры: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`); в `tableImage_tableAndImage` — полное удаление пробелов (docx4j переносит слова в auto-fit таблицах).
PMD: `failurePriority` в плагине не задан — на практике `verify` валит нарушение любой приоритетности; перечень исключённых правил в AGENTS.md не дублируется — единственный источник `pmd-ruleset.xml`. PMD: `failurePriority` в плагине не задан — на практике `verify` валит нарушение любой приоритетности; закрытый список правил — единственный источник `pmd-ruleset.xml` (в AGENTS.md не дублируется). Четыре правила `*MustUseBraces` деприкейтед в 6.55.0 — предупреждения «Discontinue using…» в логе verify ожидаемы.
- Нормализаторы — единый контракт `internal/DocxNormalizer` + константа `STEP`; цепочка `WordPdfConverter.normalizers()` = `DocxRewritePipeline.STEP` (правила 1–10 одним zip-проходом) + лямбда `OleObjectNormalizer`; нечего менять → **тот же массив**; package-private хук `static String rewrite(String xml)` для юнит-тестов (возвращает `null` при отсутствии изменений; есть у 10 из 11 — у многочастного `OleObjectNormalizer` нет); у `StrictOoxmlNormalizer` есть также `rewritePart(entryName, xml)`, у `TableIndentNormalizer` — `rewritePart(name, xml, band)` (per-part-логика, хуки пайплайна); правятся только части `word/*.xml`. - Нормализаторы — единый контракт `internal/DocxNormalizer`; константа `STEP` только у `DocxRewritePipeline` (сам собирает цепочку); цепочка `WordPdfConverter.normalizers()` = `DocxRewritePipeline.STEP` (правила 1–11 одним zip-проходом) + лямбда `OleObjectNormalizer`; нечего менять → **тот же массив**; package-private хук `static String rewrite(String xml)` для юнит-тестов (возвращает `null` при отсутствии изменений; есть у 11 из 12 — у многочастного `OleObjectNormalizer` нет); у `StrictOoxmlNormalizer` есть также `rewritePart(entryName, xml)`, у `TableIndentNormalizer` — `rewritePart(name, xml, band)` (per-part-логика, хуки пайплайна); правятся только части `word/*.xml`.
- Классы в `internal` — `public` (иначе родительский пакет не вызвал бы), но публичные члены наружу только `normalize`/`STEP`/`declare`/`DrawingPreRenderer.run`/`DependencyGuard.check` (`rewrite`, карты — package-private); в `wordpdf-app` всё package-private кроме `WordPdfApplication`. - Классы в `internal` — package-private; `public` только контракт наружу: `DocxNormalizer`, `DocxRewritePipeline`(+`STEP`), `OleObjectNormalizer`, `FopFallbackFonts`(+`declare`), `LayoutPostRenderer`(+`register`), `DependencyGuard`(+`check`) и `DrawingPreRenderer`(+`run`); `rewrite`-хуки и карты — package-private; в `wordpdf-app` всё package-private кроме `WordPdfApplication`.
- Гейт JaCoCo `0.8.15`: `jacoco:check` (правило BUNDLE, LINE COVEREDRATIO `0.90` — обоих модулей; в `wordpdf-core/pom.xml` execution `check` переопределён и добавляет BRANCH COVEREDRATIO `0.85` — только для core) на `verify`; агент подключается в surefire через `argLine` = `@{argLine} -Djava.awt.headless=true` (свойство `argLine` в корневом pom по умолчанию пусто и перезаписывается `prepare-agent` — `mvn test -Djacoco.skip=true` без агента работоспособно); `report` и `check` оба на `verify`, report раньше — при провале порога отчёт уже на диске; отчёты `target/site/jacoco/` (html+xml, xml нужен CI-сводке). Плотность покрытия держат тесты, а не заглушки: промахи в основном недостижимые IOException/catch-ветки (`GlyphFont`, `BundledFonts`) и защитные ветви сканеров нормализаторов/валидатора. - Гейт JaCoCo `0.8.15`: `jacoco:check` (правило BUNDLE, LINE COVEREDRATIO `0.90` — обоих модулей; в `wordpdf-core/pom.xml` execution `check` переопределён и добавляет BRANCH COVEREDRATIO `0.85` — только для core) на `verify`; агент подключается в surefire через `argLine` = `@{argLine} -Djava.awt.headless=true` (свойство `argLine` в корневом pom по умолчанию пусто и перезаписывается `prepare-agent` — `mvn test -Djacoco.skip=true` без агента работоспособно); `report` и `check` оба на `verify`, report раньше — при провале порога отчёт уже на диске; отчёты `target/site/jacoco/` (html+xml, xml нужен CI-сводке). Плотность покрытия держат тесты, а не заглушки: промахи в основном недостижимые IOException/catch-ветки (`GlyphFont`, `BundledFonts`) и защитные ветви сканеров нормализаторов/валидатора.
- Счётчики тестов и описание блока аудита .docx 2026-11 — `docs/agent/testing.md`. JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true`; только `Assertions` (Mockito/AssertJ не использовать; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`), тестовые классы package-private, зеркалят main-пакеты; только `@Test` + два `@BeforeAll` (warm-up шрифтов в `GlyphCoverageNormalizerTest` и `BundledFonts.init()` в `BundledFontsTest`) + `@AfterEach drainWorker` в `ConversionTimeoutTest` (дренировать отменённый FOP-рендер до следующего класса — гонка глобального `PhysicalFonts`). - Счётчики тестов и описание блока аудита .docx 2026-11 — `docs/agent/testing.md`. JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true`; только `Assertions` (Mockito/AssertJ не использовать; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`), тестовые классы package-private, зеркалят main-пакеты; только `@Test` + два `@BeforeAll` (warm-up шрифтов в `GlyphCoverageNormalizerTest` и `BundledFonts.init()` в `BundledFontsTest`) + `@AfterEach drainWorker` в `ConversionTimeoutTest` (дренировать отменённый FOP-рендер до следующего класса — гонка глобального `PhysicalFonts`).
@@ -120,4 +121,4 @@ PMD: `failurePriority` в плагине не задан — на практик
## Шрифты (детали) ## Шрифты (детали)
`DISPLAY_NAMES` — обратный маппинг lowercase→отображаемое имя для `documentFontName` (пишет `GlyphCoverageNormalizer` в `w:rFonts`). `BundledFontMapper.bundledFamily` — public-хук «имя шрифта из docx → бандл-семейство или fallback» (пользуется chart-движком). `GlyphFont` — глиф-движок на fontbox (метрики + растеризация глифов для chart-движка и покрытия глифов); читает TTF **напрямую из classpath** `fonts/<file>` (не из temp-каталога `BundledFonts`), кэш по `family/variant`, `of()` возвращает `null` для неизвестного семейства; `java.awt.Font` из рантайм-пути убран, AWT остаётся только как геометрия Graphics2D. `DISPLAY_NAMES` — обратный маппинг lowercase→отображаемое имя для `documentFontName` (пишет `GlyphCoverageNormalizer` в `w:rFonts`). `BundledFontAliases.bundledFamily` — public-хук «имя шрифта из docx → бандл-семейство или fallback» (пользуется chart/math-движком и покрытием); вынесен из `BundledFontMapper`, чтобы обращение к статике не тянуло `BestMatchingMapper.<clinit>` (скан classpath вне гейта свойств `docx4j.fonts.discover*`, которые выставляет `WordPdfConverter.<clinit>`). `GlyphFont` — глиф-движок на fontbox (метрики + растеризация глифов для chart-движка и покрытия глифов); читает TTF **напрямую из classpath** `fonts/<file>` (не из temp-каталога `BundledFonts`), кэш по `family/variant`, `of()` возвращает `null` для неизвестного семейства; `java.awt.Font` из рантайм-пути убран, AWT остаётся только как геометрия Graphics2D.
+3 -3
View File
@@ -2,7 +2,7 @@
### Счётчики (2026-11) ### Счётчики (2026-11)
- 59 тестовых классов / 898 тестов: core 53/849 (`internal/doc/` 17/225, `internal/chart/` 17/271, `WordPdfConverterTest` 77), app 6/49 (ConvertController 23, ApiKeyFilter 8, ConversionService 5, ApiExceptionHandler 5, ConvertLimits 5, ConversionTimeout 3). Обновлять при изменении набора. - 63 тестовых классов / 1004 теста: core 57/956 (`internal/doc/` 17/256, `internal/chart/` 18/301, `WordPdfConverterTest` 87), app 6/48 (ConvertController 26, ApiKeyFilter 8, ConversionService 5, ApiExceptionHandler 5, ConvertLimits 3, ConversionTimeout 1). Обновлять при изменении набора.
### Пиксели, метрики шрифтов, стенд без fontconfig ### Пиксели, метрики шрифтов, стенд без fontconfig
@@ -20,7 +20,7 @@
- Юниты моста (`internal/doc/`): `CfbReaderTest` строит крафтовый CFB-байтстрим (сектор 512/mini 64: FAT/DIFAT/miniFAT/directory руками) и бьёт все guard-ветки (циклы FAT/DIFAT/MiniFAT, ссылки за файл, обрезанные потоки, root без mini stream, мусор в directory); `SummaryInfoTest` — крафтовый PropertySetStream (пинит **относительность offset от начала PropertySet**, реальные фикстуры её не различают); `PieceTableTest`/`ChpxIndexTest`/`PapxIndexTest` (в т.ч. `istdFor`: istd из UpxPapx, пустой grpprl ≠ null, bOffset=0 → дефолтные свойства при сохранённой границе)/`SectionsTest`/`FibHeaderTest` (пара fcStshf)/`GrpprlTest` (в т.ч. спец-длины: двухбайтовый cb у sprmTDefTable при operand >255 Б, у 0xC60D cb=0xFF — обрыв, у 0xC615 cb=0xFF — длина по формуле §2.9.182 (`scan_pChgTabsSentinel_lengthByFormula`))/`FontTableTest`/`HeadersTest`/`OfficeArtTest`/`PrcDataTest` — byte[]-конструкции in memory (`PrcDataTest`: разворачивание huge-PAPX/PTableProps на позиции указателя, union цепочки с легаси-зеркалом, guard'ы — cb-капа 0x3FA2, ptr за Data, цикл A→B→A); `StylesTest` — крафтовый STSH (LPStd/LPUpx): цепочка base→derived, цикл → пустая таблица, чужой stk/битый STSH нисходительны; `TablesTest` — крафтовый TAP: сетка TDefTable (XAS со знаком), границы Brc (cv fAuto) и Brc80 (ico, приоритет 0xD613), выравнивание sprmTJc/sprmTJc90 (u16, приоритет современного, 0 → null), деградация при битом TDefTable; `ListsTest` — крафтовые PlfLst/PlfLfo байтстримом (счёт LVL по fSimpleList 1/9, плейсхолдеры xst → `%{n+1}` и литеральный `%` → `%%`, MSONFC→ST_NumberFormat вкл. экзотика→decimal, ixchFollow→`w:suff`, grpprl уровня → `w:ind`/`w:rFonts`, LFOLVL fStartAt/fFormatting, обрыв LVL-массива, lsid без LSTF, нулевые lcb); `DocToDocxFormattingTest` — полный синтетический .doc через POIFS (крафтовые FIB/Clx/FKP-страницы: полные CHPX/PAPX-свойства, STSH-цепочка с переопределением и победой direct, spacing/tabs, таблица TTP+TDefTable+Brc с деградацией строки без сетки и многострочной ячейкой, колонтитук со стилевым jc, табы колонтитука из стиля sprmPChgTabs (`styleTabsChg_reachesFooterPart`/`styleTabsChgDel_removesStop`: прямой del с rgdxaClose вырезает stop стиля), таблица в odd footer со sprmTJc (`footerTable_jcCenterEmitted`: guard-¶ отдельным абзацем после строки, как в реальных Plcfhdd), знаки, поле в основном тексте, picLocation=0, 0Table, отсутствие табличного потока, списки: `listParagraphs_getNumPrAndNumberingPart` (sprmPIlfo/sprmPIlvl в PAPX → `w:numPr` + `word/numbering.xml` c `w:num`/Override/rels), `listCancelledByDirectZero_noNumPr` (ilfo стиля, перекрытый прямым 0), `ilvlSkipValue_noNumPr` (ilvl=0x0C), `missingListTables_degradeToPlain` (нулевые FIB-пары 73/74 — ни numbering-части, ни numPr)). Doc-регрессии конвертера — общие assert-хелперы docx-пар: `assertCyrillicAndStyles`/`assertPageNumbers`/`assertTableImage`/`assertOleObjectsRemoved`/`assertDrawingsBecomeImages`/`assertTooManyPages`/`assertExoticGlyphs` вызываются с `ru-plain.doc`/`page-numbers.doc`/`ru-table-image.doc`/`ole-embedded.doc`/`charts-smartart.doc`/`too-many-pages.doc`/`exotic-glyphs.doc` (тесты-пары называются по docx-имени, внутри зовут оба формата); `WordPdfValidatorTest#checkPageCountDoc_*` + `ConvertControllerTest` (`.doc` upload, `nonDocxFilename_rejected`). - Юниты моста (`internal/doc/`): `CfbReaderTest` строит крафтовый CFB-байтстрим (сектор 512/mini 64: FAT/DIFAT/miniFAT/directory руками) и бьёт все guard-ветки (циклы FAT/DIFAT/MiniFAT, ссылки за файл, обрезанные потоки, root без mini stream, мусор в directory); `SummaryInfoTest` — крафтовый PropertySetStream (пинит **относительность offset от начала PropertySet**, реальные фикстуры её не различают); `PieceTableTest`/`ChpxIndexTest`/`PapxIndexTest` (в т.ч. `istdFor`: istd из UpxPapx, пустой grpprl ≠ null, bOffset=0 → дефолтные свойства при сохранённой границе)/`SectionsTest`/`FibHeaderTest` (пара fcStshf)/`GrpprlTest` (в т.ч. спец-длины: двухбайтовый cb у sprmTDefTable при operand >255 Б, у 0xC60D cb=0xFF — обрыв, у 0xC615 cb=0xFF — длина по формуле §2.9.182 (`scan_pChgTabsSentinel_lengthByFormula`))/`FontTableTest`/`HeadersTest`/`OfficeArtTest`/`PrcDataTest` — byte[]-конструкции in memory (`PrcDataTest`: разворачивание huge-PAPX/PTableProps на позиции указателя, union цепочки с легаси-зеркалом, guard'ы — cb-капа 0x3FA2, ptr за Data, цикл A→B→A); `StylesTest` — крафтовый STSH (LPStd/LPUpx): цепочка base→derived, цикл → пустая таблица, чужой stk/битый STSH нисходительны; `TablesTest` — крафтовый TAP: сетка TDefTable (XAS со знаком), границы Brc (cv fAuto) и Brc80 (ico, приоритет 0xD613), выравнивание sprmTJc/sprmTJc90 (u16, приоритет современного, 0 → null), деградация при битом TDefTable; `ListsTest` — крафтовые PlfLst/PlfLfo байтстримом (счёт LVL по fSimpleList 1/9, плейсхолдеры xst → `%{n+1}` и литеральный `%` → `%%`, MSONFC→ST_NumberFormat вкл. экзотика→decimal, ixchFollow→`w:suff`, grpprl уровня → `w:ind`/`w:rFonts`, LFOLVL fStartAt/fFormatting, обрыв LVL-массива, lsid без LSTF, нулевые lcb); `DocToDocxFormattingTest` — полный синтетический .doc через POIFS (крафтовые FIB/Clx/FKP-страницы: полные CHPX/PAPX-свойства, STSH-цепочка с переопределением и победой direct, spacing/tabs, таблица TTP+TDefTable+Brc с деградацией строки без сетки и многострочной ячейкой, колонтитук со стилевым jc, табы колонтитука из стиля sprmPChgTabs (`styleTabsChg_reachesFooterPart`/`styleTabsChgDel_removesStop`: прямой del с rgdxaClose вырезает stop стиля), таблица в odd footer со sprmTJc (`footerTable_jcCenterEmitted`: guard-¶ отдельным абзацем после строки, как в реальных Plcfhdd), знаки, поле в основном тексте, picLocation=0, 0Table, отсутствие табличного потока, списки: `listParagraphs_getNumPrAndNumberingPart` (sprmPIlfo/sprmPIlvl в PAPX → `w:numPr` + `word/numbering.xml` c `w:num`/Override/rels), `listCancelledByDirectZero_noNumPr` (ilfo стиля, перекрытый прямым 0), `ilvlSkipValue_noNumPr` (ilvl=0x0C), `missingListTables_degradeToPlain` (нулевые FIB-пары 73/74 — ни numbering-части, ни numPr)). Doc-регрессии конвертера — общие assert-хелперы docx-пар: `assertCyrillicAndStyles`/`assertPageNumbers`/`assertTableImage`/`assertOleObjectsRemoved`/`assertDrawingsBecomeImages`/`assertTooManyPages`/`assertExoticGlyphs` вызываются с `ru-plain.doc`/`page-numbers.doc`/`ru-table-image.doc`/`ole-embedded.doc`/`charts-smartart.doc`/`too-many-pages.doc`/`exotic-glyphs.doc` (тесты-пары называются по docx-имени, внутри зовут оба формата); `WordPdfValidatorTest#checkPageCountDoc_*` + `ConvertControllerTest` (`.doc` upload, `nonDocxFilename_rejected`).
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); четыре контекста — `ConvertControllerTest` (пустой ключ), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` max-mb/max-pages), `ConversionTimeoutTest` (`@TestPropertySource` convert-timeout=1ms) — четыре разных набора свойств = четыре кэшированных контекста (отдельные классы, не `@Nested`: `@Nested` + `@TestPropertySource` не даёт отдельного контекста); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring-контекста (прямые юниты). - App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); четыре контекста — `ConvertControllerTest` (пин `wordpdf.api-key=` — HTTP-контексты явно пиныт пустой ключ: mise подмешивает корневой `.env` в окружение тасок, ambient `WORDPDF_API_KEY` иначе дал бы 401 во всех MockMvc-тестах), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` max-mb/max-pages), `ConversionTimeoutTest` (`@TestPropertySource` convert-timeout=1ms) — четыре разных набора свойств = четыре кэшированных контекста (отдельные классы, не `@Nested`: `@Nested` + `@TestPropertySource` не даёт отдельного контекста); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring-контекста (прямые юниты).
- UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn). Прод-автотесты (pytest 9.1.1 + requests 2.34.2, 31 проверка — 27 под маркером `needs_key` (SKIP без ключа; включая `.doc`-фикстуры обоих путей — растры/OLE и границы страниц), 4 открытых: health/SPA-root/swagger/spec; env-конфиг, `mise exec -- python -m pytest -q .` из `prod-autotests/`) гоняются CI после deploy против живого прода. - UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn). Прод-автотесты (pytest 9.1.1 + requests 2.34.2, 31 проверка — 27 под маркером `needs_key` (SKIP без ключа; включая `.doc`-фикстуры обоих путей — растры/OLE и границы страниц), 4 открытых: health/SPA-root/swagger/spec; env-конфиг, `mise exec -- python -m pytest -q .` из `prod-autotests/`) гоняются CI после deploy против живого прода.
@@ -31,5 +31,5 @@
- `lineRuleAuto_wordSingleLinePitch` — пинит метрический шаг «single» (13.4277pt) от псевдофиксов раскладки; `carlitoAutoBlock_untouched` — блок без явного `w:line` не трогается. - `lineRuleAuto_wordSingleLinePitch` — пинит метрический шаг «single» (13.4277pt) от псевдофиксов раскладки; `carlitoAutoBlock_untouched` — блок без явного `w:line` не трогается.
- `vendoredXsltTracksJarCopy` — дрейф-гейт: вне AUDIT-FIX-регионов вендорный `docx2fo.xslt` обязан быть побайтно равен стилисту из jar'а docx4j-export-fo (при апгрейде docx4j — перевендорить и перенести патчи). - `vendoredXsltTracksJarCopy` — дрейф-гейт: вне AUDIT-FIX-регионов вендорный `docx2fo.xslt` обязан быть побайтно равен стилисту из jar'а docx4j-export-fo (при апгрейде docx4j — перевендорить и перенести патчи).
- Крафт POIFS (закоммиченных фикстур нет, крафт продублирован в `WordPdfConverterTest`): `ListsTest`+`DocToDocxFormattingTest#list*`↔`docLists_numberingAndBulletsRendered` (синтетический .doc со списками → PDF: `1.` `2.` `a)` `b)` `•`, ни одного `#`; фикстур со списками нет — крафт POIFS продублирован в `WordPdfConverterTest`), `PrcDataTest`+`DocToDocxFormattingTest#hugePapxRowMark_closesRowWithGridFromPrcData` (TTP-абзац с grpprl в PrcData Data-потока → `w:tbl`/`w:tr`/сетка из цепочки; фикстуры нет — `docTest.doc` заказчика не коммитим, крафт POIFS продублирован), `SectionsTest`+`HeadersTest`+`DocToDocxFormattingTest#twoSections*/sectionBreakInTable*`↔`docMultiSection_perSectionHeaders` (двухсекционный .doc → PDF: стр. 1 — ШАПКА-1+ПОДВАЛ-1, стр. 2 — ШАПКА-2 + унаследованный ПОДВАЛ-1, ни одной `#`; крафт POIFS продублирован в `WordPdfConverterTest`), `ChpxIndexTest#zeroOffset_defaultPropsBoundaryKept`+`DocToDocxFormattingTest#runFlags_*/keepNextKeepLines_*/sectLandscapePgNumCols_*/sectUnevenCols_*/cellVertAlign_*/drawnObject_*`+`SectionsTest#orientationPgNumColumns_applied/unevenColumns_perIndexWidths/restartWithoutStart_clampsToOne`+`TablesTest#vertAlign_*`↔`WordPdfConverterTest#docClassD_landscapeHiddenDelCaps/#docClassD_pageNumberRestartLowerRoman/#docClassD_twoColumnsBreak/#docClassD_drawnObjectBecomesImage` (закрытие пробелов класса D: vanish-фильтр/правки/caps/position/keep, landscape+pgNumType, колонки+column break, vAlign, 0x08→inline-картинка; фикстур нет — крафт POIFS продублирован в обоих тестовых классах). - Крафт POIFS (закоммиченных фикстур нет, крафт продублирован в `WordPdfConverterTest`): `ListsTest`+`DocToDocxFormattingTest#list*`↔`docLists_numberingAndBulletsRendered` (синтетический .doc со списками → PDF: `1.` `2.` `a)` `b)` `•`, ни одного `#`; фикстур со списками нет — крафт POIFS продублирован в `WordPdfConverterTest`), `PrcDataTest`+`DocToDocxFormattingTest#hugePapxRowMark_closesRowWithGridFromPrcData` (TTP-абзац с grpprl в PrcData Data-потока → `w:tbl`/`w:tr`/сетка из цепочки; фикстуры нет — `docTest.doc` заказчика не коммитим, крафт POIFS продублирован), `SectionsTest`+`HeadersTest`+`DocToDocxFormattingTest#twoSections*/sectionBreakInTable*`↔`docMultiSection_perSectionHeaders` (двухсекционный .doc → PDF: стр. 1 — ШАПКА-1+ПОДВАЛ-1, стр. 2 — ШАПКА-2 + унаследованный ПОДВАЛ-1, ни одной `#`; крафт POIFS продублирован в `WordPdfConverterTest`), `ChpxIndexTest#zeroOffset_defaultPropsBoundaryKept`+`DocToDocxFormattingTest#runFlags_*/keepNextKeepLines_*/sectLandscapePgNumCols_*/sectUnevenCols_*/cellVertAlign_*/drawnObject_*`+`SectionsTest#orientationPgNumColumns_applied/unevenColumns_perIndexWidths/restartWithoutStart_clampsToOne`+`TablesTest#vertAlign_*`↔`WordPdfConverterTest#docClassD_landscapeHiddenDelCaps/#docClassD_pageNumberRestartLowerRoman/#docClassD_twoColumnsBreak/#docClassD_drawnObjectBecomesImage` (закрытие пробелов класса D: vanish-фильтр/правки/caps/position/keep, landscape+pgNumType, колонки+column break, vAlign, 0x08→inline-картинка; фикстур нет — крафт POIFS продублирован в обоих тестовых классах).
- Синтетика через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`: AUDIT-FIX-2↔`movedRevision_textPrinted`/`bdoDir_textPrinted` (фикстур нет — синтетический docx через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`); пиннинг аудита .docx↔`footnote_rendersAtPageBottom`, `endnote_rendersAtDocumentEnd`, `docxHyperlink_uriAnnotation`, `pageRefField_liveNotCached` (кэш 9001/7777 заменён живым номером), `dateField_notStaleCache` (кэш 01.02.2003 заменён текущей датой), `titlePg_firstPageHeader`, `vMergeCell_spansRows`, `sdtContent_rendered`, `drawingTextBox_textPrinted`, `ommlMath_drawnAsVectors` (пиксели: +150 тёмных px@150dpi сверх текста), `highlightAndShading_backgroundDrawn` (жёлтые px >0 против baseline 0), аудит [MS-DOC] моста 2026-11: `GrpprlTest#tInsertOperand_skippedBySpra`/`tInsertOperand_truncated_aborts` (sprmTInsert — 4 байта, хвост TAP не рассинхронизирован), `TablesTest#cellPadding_*` + `DocToDocxFormattingTest#cellMargins_becomeTcMar` ↔ `WordPdfConverterTest#tableTcMar_textInsetLikeWord` (CSSA→w:tcMar, пайплайн красит поля ячейки как tblCellMar — текст на margin+padding), `StylesTest#characterStyle_stk3_chainViaCharChain`/`charChain_nonCharacterStk_empty` + `DocToDocxFormattingTest#charStyle_viaIstd_mergesUnderDirect` (sprmCIstd: символьная chpx-цепочка между стилевой и прямыми, direct wins), `DocToDocxFormattingTest#runHighlightAndShading_inRPr`/`runShadingPattern_degradesToBackFill`/`paraShd_inPPrBeforeJc` ↔ `docHighlightAndShading_yellowPixels` (Ico→ST_HighlightColor; w:shd в форме FOP val="clear"+fill; паттерн→cvBack), `SectionsTest#titlePage_flagFromSepx` + `DocToDocxFormattingTest#titlePage_emittedAfterCols` ↔ `docTitlePage_firstHeaderOnlyFirstPage` (sprmSFTitlePage + first-слоты Plcfhdd → headerReference type="first", первая страница — только first-шапка).. - Синтетика через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`: AUDIT-FIX-2↔`movedRevision_textPrinted`/`bdoDir_textPrinted` (фикстур нет — синтетический docx через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`); пиннинг аудита .docx↔`footnote_rendersAtPageBottom`, `endnote_rendersAtDocumentEnd`, `docxHyperlink_uriAnnotation`, `pageRefField_liveNotCached` (кэш 9001/7777 заменён живым номером), `dateField_notStaleCache` (кэш 01.02.2003 заменён текущей датой), `titlePg_firstPageHeader`, `vMergeCell_spansRows`, `sdtContent_rendered`, `drawingTextBox_textPrinted`, `ommlMath_renderedAsPng` (пиксели: +150 тёмных px@150dpi сверх текста, текст формулы не извлекается), `ommlMathUnsupported_flattenedToText`, `highlightAndShading_backgroundDrawn` (жёлтые px >0 против baseline 0), аудит [MS-DOC] моста 2026-11: `GrpprlTest#tInsertOperand_skippedBySpra`/`tInsertOperand_truncated_aborts` (sprmTInsert — 4 байта, хвост TAP не рассинхронизирован), `TablesTest#cellPadding_*` + `DocToDocxFormattingTest#cellMargins_becomeTcMar` ↔ `WordPdfConverterTest#tableTcMar_textInsetLikeWord` (CSSA→w:tcMar, пайплайн красит поля ячейки как tblCellMar — текст на margin+padding), `StylesTest#characterStyle_stk3_chainViaCharChain`/`charChain_nonCharacterStk_empty` + `DocToDocxFormattingTest#charStyle_viaIstd_mergesUnderDirect` (sprmCIstd: символьная chpx-цепочка между стилевой и прямыми, direct wins), `DocToDocxFormattingTest#runHighlightAndShading_inRPr`/`runShadingPattern_degradesToBackFill`/`paraShd_inPPrBeforeJc` ↔ `docHighlightAndShading_yellowPixels` (Ico→ST_HighlightColor; w:shd в форме FOP val="clear"+fill; паттерн→cvBack), `SectionsTest#titlePage_flagFromSepx` + `DocToDocxFormattingTest#titlePage_emittedAfterCols` ↔ `docTitlePage_firstHeaderOnlyFirstPage` (sprmSFTitlePage + first-слоты Plcfhdd → headerReference type="first", первая страница — только first-шапка)..
- App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed`, `corruptNotAZip_rejected`, `plainZipNotDocx_rejected`, `junkInsideValidZip_conversionError` (500 на валидном .docx-контейнере с мусором), `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `drawingsAlwaysRendered`, `cyrillicAndPathInFilename_sanitizedResponseName`, `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey`, `dotSegmentOpenPrefix_rejected`, `errorFlagNotBoolean_rejected`, `methodNotSupportedReturns405`/`badContentTypeReturns415`. - App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed`, `corruptNotAZip_rejected`, `plainZipNotDocx_rejected`, `junkInsideValidZip_conversionError` (500 на валидном .docx-контейнере с мусором), `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `drawingsAlwaysRendered`, `cyrillicAndPathInFilename_sanitizedResponseName`, `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey`, `dotSegmentOpenPrefix_rejected`, `errorFlagNotBoolean_rejected`, `methodNotSupportedReturns405`/`badContentTypeReturns415`.
+10
View File
@@ -16,6 +16,16 @@ server {
set $upstream_app http://app:8080; set $upstream_app http://app:8080;
set $upstream_web http://web:80; set $upstream_web http://web:80;
# X-Forwarded-* переписываются безусловно: клиент не должен иметь возможности
# подсунуть бэкенду подставной "реальный IP/схема/хост" (Spring
# ForwardedHeaderFilter доверяет этим заголовкам; прямое попадание на
# 9010 мимо внешнего reverse-proxy — штатный случай стенда).
# X-Forwarded-Prefix не трогаем: его проставляет внешний nginx, на нём
# держится корректный base у swagger-ui за прокси.
proxy_set_header X-Forwarded-For $remote_addr;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-Host $host;
location /api/ { location /api/ {
# в proxy_pass нет path-части, поэтому URI передаётся как есть # в proxy_pass нет path-части, поэтому URI передаётся как есть
proxy_pass $upstream_app; proxy_pass $upstream_app;
Executable
+128
View File
@@ -0,0 +1,128 @@
#!/bin/sh
# Замер памяти конвейера конвертации: пики кучи на конвертацию (TSV из MemoryBench)
# + топ аллокаций по JFR (jdk.ObjectAllocationSample). Методика и числа —
# docs/MEM_USAGE_UPGRADE.md.
#
# Вход: env MB_LABEL — метка прогона (before/after/f1…, файл JFR per-label);
# env MB_JAVA_OPTS — доп. флаги JVM ПОСЛЕ дефолтных (переопределение Xmx/GC
# для матрицы флагов; при -Xmx меньше дефолтного дефолт просто заменяется;
# для смены GC нужен и выключатель дефолта: "-XX:-UseG1GC -XX:+UseSerialGC",
# иначе JVM падает на старте с "Multiple garbage collectors selected");
# аргументы проходят в MemoryBench: --scenario suite|big|all|, --loops N,
# --big-loops N, --dir PATH (реальные документы, напр. develop/).
#
# Пример: MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-before.txt
set -eu
cd "$(dirname "$0")"
LABEL=${MB_LABEL:-run}
mvn -q -pl wordpdf-core test-compile
CPFILE=$PWD/wordpdf-core/target/cp.txt
if [ ! -f "$CPFILE" ] || [ wordpdf-core/pom.xml -nt "$CPFILE" ]; then
mvn -q -pl wordpdf-core org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
-Dmdep.outputFile="$CPFILE" -Dmdep.includeScope=test
fi
JFR=$PWD/wordpdf-core/target/membench-$LABEL.jfr
GCLOG=$PWD/wordpdf-core/target/membench-$LABEL.gc.log
ERRLOG=$PWD/wordpdf-core/target/membench-$LABEL.err
printf '# git %s\n' "$(git rev-parse HEAD)"
printf '# date %s\n' "$(date -u +%FT%TZ)"
printf '# MB_JAVA_OPTS=%s\n' "${MB_JAVA_OPTS:-}"
# MB_JAVA_OPTS без кавычек — намеренно: несколько флагов одним словом пользователя.
# shellcheck disable=SC2086
java -Xms64m -Xmx2g -XX:+UseG1GC -Djava.awt.headless=true \
-Xlog:gc*=info,gc+heap=debug:file=$GCLOG \
${MB_JAVA_OPTS:-} \
-XX:StartFlightRecording=filename=$JFR,settings=profile,maxsize=0,loglevel=error \
-cp "wordpdf-core/target/classes:wordpdf-core/target/test-classes:$(cat "$CPFILE")" \
ru.pjandro.wordpdf.MemoryBench "$@" 2>"$ERRLOG"
# --- аллокации по GC-логу (абсолютная оценка) -----------------------------------
# allocated ≈ выметенный Eden + выметенные humongous-области (G1); max-live —
# максимум heap после пауз (тренд накопления); паузы — число/сумма.
# awk — портативный (mawk/gawk): без 3-аргументного match().
echo
awk '
/Region Size:/ {
for (i = 1; i <= NF; i++) { if ($i ~ /^[0-9]+M$/) { tok = $i; sub(/M$/, "", tok); rs = tok + 0 } }
}
/Eden regions:/ {
for (i = 1; i <= NF; i++) {
if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); eden += (a[1] - a[2]) * rs }
}
}
/Humongous regions:/ {
for (i = 1; i <= NF; i++) {
if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); hum += (a[1] - a[2]) * rs }
}
}
/Pause (Young|Full)/ && /M->/ {
pauses++
tail = $NF; if (tail ~ /[0-9]ms$/) { sub(/ms$/, "", tail); ptime += tail }
for (i = 1; i <= NF; i++) {
if ($i ~ /^[0-9]+M->[0-9]+M/) {
v = $i; sub(/\(.*/, "", v); split(v, m, "->")
if (m[2] + 0 > maxlive) { maxlive = m[2] + 0 }
}
}
}
END {
printf "gc-summary allocated-estimate=%dMB max-live-after-gc=%dMB pauses=%d pause-total=%dms\n",
eden + hum, maxlive, pauses, ptime
}
' "$GCLOG"
# --- агрегация аллокаций из JFR -------------------------------------------------
TOPF=$(mktemp); APPF=$(mktemp)
trap 'rm -f "$TOPF" "$APPF"' EXIT
jfr print --events jdk.ObjectAllocationSample "$JFR" | awk \
-v TOPF="$TOPF" -v APPF="$APPF" '
function framekey(line, k) {
k = line
sub(/^[ \t]+/, "", k)
sub(/ line: [0-9]+$/, "", k)
return k
}
function cls(key, c) {
c = key
sub(/ ?\(.*$/, "", c)
sub(/^[^ ]*\//, "", c)
return c
}
/^ *weight = / { w = $3 + 0 }
/^ *stackTrace = \[/ { instk = 1; nf = 0; next }
instk == 1 && /^ *\]/ {
instk = 0
if (nf == 0) { next }
top = fr[1]
app = ""
for (i = 1; i <= nf; i++) {
c = cls(fr[i])
if (c !~ /^(java|javax|jdk|sun|com\.sun|org\.apache|org\.docx4j|org\.springframework|org\.springdoc|org\.w3c|org\.xml|net\.sf|org\.slf4j|ch\.qos)/) {
app = fr[i]
break
}
}
wsum[top] += w
if (app != "") { asum[app] += w }
next
}
instk == 1 { nf++; fr[nf] = framekey($0) }
END {
for (k in wsum) { print wsum[k] "\t" k > TOPF }
for (k in asum) { print asum[k] "\t" k > APPF }
}
'
echo
printf '===== top-frames: суммарный вес аллокаций, байт (JFR profile, оценка) — label %s =====\n' "$LABEL"
sort -rn "$TOPF" | head -15
printf '===== alloc-total: %s байт\n' "$(awk '{s+=$1} END {printf "%.0f", s}' "$TOPF")"
echo
printf '===== app-sites: аллокации с первым кадром из приложения (attribution) =====\n'
sort -rn "$APPF" | head -15
+8
View File
@@ -14,6 +14,14 @@ _.python.venv = { path = "prod-autotests/.venv", create = true }
description = "mvn clean verify — полный гейт перед push (тесты + PMD + JaCoCo)" description = "mvn clean verify — полный гейт перед push (тесты + PMD + JaCoCo)"
run = "mvn clean verify" run = "mvn clean verify"
[tasks.verify-nofontconfig]
description = "mvn clean verify в контейнере без fontconfig (гейт, которым живёт CI; verify — хост-гейт без контейнера)"
run = "podman build -f Containerfile.test ."
[tasks.mem-bench]
description = "Замер памяти конвейера: TSV пиков кучи + топ аллокаций JFR (docs/MEM_USAGE_UPGRADE.md)"
run = "sh membench.sh"
[tasks.app-package] [tasks.app-package]
description = "Исполняемый jar бэкенда" description = "Исполняемый jar бэкенда"
run = "mvn -pl wordpdf-app -am package" run = "mvn -pl wordpdf-app -am package"
+30 -70
View File
@@ -2,76 +2,36 @@
<ruleset name="WordPDF code style" xmlns="http://pmd.sourceforge.net/ruleset/2.0.0" <ruleset name="WordPDF code style" xmlns="http://pmd.sourceforge.net/ruleset/2.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://pmd.sourceforge.net/ruleset/2.0.0 https://pmd.sourceforge.io/ruleset_2_0_0.xsd"> xsi:schemaLocation="http://pmd.sourceforge.net/ruleset/2.0.0 https://pmd.sourceforge.io/ruleset_2_0_0.xsd">
<description>Код-стиль java-word-pdf: codestyle без opinionated-правил + unused-правила + NPE-safe equals</description> <description>Код-стиль java-word-pdf: закрытый список правил под движок PMD 6.55.0
(maven-pmd-plugin 3.21.2; откат с PMD 7 — правила *MustUseBraces удалены в 7-й
мажорной, их deprecation-предупреждения в логе verify ожидаемы). Нарушения чинятся
кодом — подавление @SuppressWarnings("PMD…") и // NOPMD запрещены; правила не
исключаются и не перенастраиваются.</description>
<rule ref="category/java/codestyle.xml"> <rule ref="category/java/bestpractices.xml/ForLoopCanBeForeach"/>
<!-- opinionated/шумные, намеренно выключены --> <rule ref="category/java/design.xml/ExceptionAsFlowControl"/>
<exclude name="AtLeastOneConstructor"/> <rule ref="category/java/errorprone.xml/EqualsNull"/>
<exclude name="CallSuperInConstructor"/> <rule ref="category/java/errorprone.xml/CloseResource"/>
<exclude name="CommentDefaultAccessModifier"/> <rule ref="category/java/errorprone.xml/BrokenNullCheck"/>
<exclude name="ConfusingTernary"/> <rule ref="category/java/bestpractices.xml/AvoidPrintStackTrace"/>
<exclude name="FieldDeclarationsShouldBeAtStartOfClass"/> <rule ref="category/java/errorprone.xml/AvoidLosingExceptionInformation"/>
<exclude name="LocalVariableCouldBeFinal"/>
<exclude name="LongVariable"/>
<exclude name="MethodArgumentCouldBeFinal"/>
<exclude name="OnlyOneReturn"/>
<exclude name="PrematureDeclaration"/>
<exclude name="ShortMethodName"/>
<exclude name="ShortVariable"/>
<exclude name="UseExplicitTypes"/>
<exclude name="UseUnderscoresInNumericLiterals"/>
<!-- переопределены ниже -->
<exclude name="MethodNamingConventions"/>
<exclude name="TooManyStaticImports"/>
</rule>
<!-- регрессионные тесты репо именуются объект_условие (AGENTS.md) -->
<rule ref="category/java/codestyle.xml/MethodNamingConventions">
<properties>
<property name="junit5TestPattern" value="^[a-z][a-zA-Z0-9]*(_[a-zA-Z0-9]+)*$"/>
</properties>
</rule>
<!-- MockMvc-тесты: >4 статических импортов — норма -->
<rule ref="category/java/codestyle.xml/TooManyStaticImports">
<properties>
<property name="maximumStaticImports" value="12"/>
</properties>
</rule>
<!-- PMD 7 удалил EqualsAvoidsNull; NPE-safe порядок операндов: литерал слева -->
<rule name="LiteralFirstInEquals" language="java"
message="NPE-safe сравнение строк: строковый литерал должен стоять слева: &quot;lit&quot;.equals(x)"
class="net.sourceforge.pmd.lang.rule.xpath.XPathRule">
<priority>3</priority>
<properties>
<property name="xpath">
<value><![CDATA[
//MethodCall[
(@MethodName = 'equals' or @MethodName = 'equalsIgnoreCase')
and ArgumentList/StringLiteral
and not(*[1][self::StringLiteral
or (self::VariableAccess and @CompileTimeConstant = true())])
]
]]></value>
</property>
</properties>
</rule>
<rule ref="category/java/bestpractices.xml/UnusedAssignment"/>
<rule ref="category/java/bestpractices.xml/UnusedFormalParameter"/>
<rule ref="category/java/bestpractices.xml/UnusedLocalVariable"/>
<rule ref="category/java/bestpractices.xml/UnusedPrivateField"/>
<rule ref="category/java/bestpractices.xml/UnusedPrivateMethod"/>
<!-- null вместо пустой коллекции запрещён (priority 1 по умолчанию — валит verify) -->
<rule ref="category/java/errorprone.xml/ReturnEmptyCollectionRatherThanNull"/>
<!-- литералы в условиях if — только именованными константами -->
<rule ref="category/java/errorprone.xml/AvoidLiteralsInIfCondition"/> <rule ref="category/java/errorprone.xml/AvoidLiteralsInIfCondition"/>
<rule ref="category/java/errorprone.xml/EmptyCatchBlock"> <rule ref="category/java/errorprone.xml/AvoidCatchingNPE"/>
<priority>2</priority> <rule ref="category/java/errorprone.xml/AssignmentToNonFinalStatic"/>
</rule> <rule ref="category/java/errorprone.xml/DoNotCallGarbageCollectionExplicitly"/>
<rule ref="category/java/bestpractices.xml/ForLoopCanBeForeach"> <rule ref="category/java/errorprone.xml/EmptyCatchBlock"/>
<priority>2</priority> <rule ref="category/java/errorprone.xml/CompareObjectsWithEquals"/>
</rule> <rule ref="category/java/bestpractices.xml/UnusedPrivateMethod"/>
<rule ref="category/java/bestpractices.xml/UnusedPrivateField"/>
<rule ref="category/java/codestyle.xml/UnnecessaryImport"/>
<rule ref="category/java/bestpractices.xml/SystemPrintln"/>
<rule ref="category/java/multithreading.xml/UnsynchronizedStaticFormatter"/>
<rule ref="category/java/errorprone.xml/ReturnEmptyCollectionRatherThanNull"/>
<rule ref="category/java/errorprone.xml/MisplacedNullCheck"/>
<rule ref="category/java/bestpractices.xml/LiteralsFirstInComparisons"/>
<rule ref="category/java/codestyle.xml/WhileLoopsMustUseBraces"/>
<rule ref="category/java/codestyle.xml/IfStmtsMustUseBraces"/>
<rule ref="category/java/codestyle.xml/IfElseStmtsMustUseBraces"/>
<rule ref="category/java/errorprone.xml/ImplicitSwitchFallThrough"/>
<rule ref="category/java/codestyle.xml/ForLoopsMustUseBraces"/>
</ruleset> </ruleset>
+1 -1
View File
@@ -159,7 +159,7 @@
<plugin> <plugin>
<groupId>org.apache.maven.plugins</groupId> <groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-pmd-plugin</artifactId> <artifactId>maven-pmd-plugin</artifactId>
<version>3.28.0</version> <version>3.21.2</version>
<configuration> <configuration>
<rulesets> <rulesets>
<ruleset>${maven.multiModuleProjectDirectory}/pmd-ruleset.xml</ruleset> <ruleset>${maven.multiModuleProjectDirectory}/pmd-ruleset.xml</ruleset>
+3 -3
View File
@@ -8,9 +8,9 @@ WORDPDF_BASE_URL обязателен: без него все проверки
не знает ни одного хоста. WORDPDF_API_KEY факультативен: без него проверки, не знает ни одного хоста. WORDPDF_API_KEY факультативен: без него проверки,
где есть заголовок ключа или ожидается 401, пропускаются (без локального ключа где есть заголовок ключа или ожидается 401, пропускаются (без локального ключа
нельзя знать, включена ли аутентификация на стенде). WORDPDF_MAX_PAGES — ожидаемый нельзя знать, включена ли аутентификация на стенде). WORDPDF_MAX_PAGES — ожидаемый
лимит страниц стенда (конфигурация сервера, не константа набора; дефолт 100 = лимит страниц стенда (конфигурация сервера, не константа набора; дефолт эндпоинта
дефолт ядра). WORDPDF_MAX_MB — ожидаемый лимит размера .docx стенда в МБ (MiB; дефолт 100). WORDPDF_MAX_MB — ожидаемый лимит размера .docx стенда в МБ (MiB; дефолт
5 = дефолт ядра). .docx-фикстуры — из wordpdf-core/src/test/resources/samples, эндпоинта 5). .docx-фикстуры — из wordpdf-core/src/test/resources/samples,
либо из WORDPDF_SAMPLES_DIR. либо из WORDPDF_SAMPLES_DIR.
""" """
@@ -63,11 +63,17 @@ final class ApiExceptionHandler {
.body(new ApiError(e.getMessage())); .body(new ApiError(e.getMessage()));
} }
/** Ошибка ядра/рендера при формально корректном входе. */ /**
* Ошибка ядра/рендера при формально корректном входе. Сообщение ядра
* (тексты docx4j/FOP/JAXB, пути temp-файлов) — только в лог: наружу
* фиксированный текст, иначе 500 становится каналом внутренней информации.
* Регрессия — ConvertControllerTest#conversionFailure_hidesInternalDetails.
*/
@ExceptionHandler(ConversionFailedException.class) @ExceptionHandler(ConversionFailedException.class)
ResponseEntity<ApiError> conversionFailed(ConversionFailedException e) { ResponseEntity<ApiError> conversionFailed(ConversionFailedException e) {
LOG.error("Конвертация не удалась", e);
return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR) return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR)
.body(new ApiError(e.getMessage())); .body(new ApiError("Не удалось конвертировать документ"));
} }
/** Очередь конвертации занята/прерывание — повторить позже. */ /** Очередь конвертации занята/прерывание — повторить позже. */
@@ -3,9 +3,11 @@ package ru.pjandro.wordpdf.app;
import jakarta.annotation.PreDestroy; import jakarta.annotation.PreDestroy;
import org.springframework.beans.factory.annotation.Value; import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service; import org.springframework.stereotype.Service;
import ru.pjandro.wordpdf.ChartsFoundException;
import ru.pjandro.wordpdf.ConvertOptions; import ru.pjandro.wordpdf.ConvertOptions;
import ru.pjandro.wordpdf.ConversionException; import ru.pjandro.wordpdf.ConversionException;
import ru.pjandro.wordpdf.DrawingFoundException; import ru.pjandro.wordpdf.OleFoundException;
import ru.pjandro.wordpdf.SmartArtFoundException;
import ru.pjandro.wordpdf.WordPdfConverter; import ru.pjandro.wordpdf.WordPdfConverter;
import ru.pjandro.wordpdf.WordPdfValidator; import ru.pjandro.wordpdf.WordPdfValidator;
import ru.pjandro.wordpdf.ValidationException; import ru.pjandro.wordpdf.ValidationException;
@@ -23,22 +25,23 @@ import java.util.concurrent.TimeoutException;
/** /**
* Конвертация .docx-байтов в PDF-байты поверх {@code wordpdf-core}. * Конвертация .docx-байтов в PDF-байты поверх {@code wordpdf-core}.
* *
* <p>Конвертации СЕРИАЛИЗОВАНЫ однопоточным executor'ом — не «на всякий * <p>Конвертации СЕРИАЛИЗОВАНЫ однопоточным executor'ом: он держит очередь,
* случай»: каждая конвертация мутирует ГЛОБАЛЬНЫЙ реестр шрифтов docx4j * 503 при переполнении и timeout-семантику (backpressure). Само ядро при этом
* ({@code new BundledFontMapper()} заново добавляет системные шрифты * сериализует конвертации внутренним монитором ({@code WordPdfConverter.class}:
* в {@code PhysicalFonts}, {@code BundledFonts.init()/restrictToBundled()} * глобальный реестр {@code PhysicalFonts}, общая FopFactory с имиджевыми
* их вычищают — WordPdfConverter.convertToStream, шаг 1 пайплайна). Параллельные конвертации * кешами и их сброс в finally мутируются под рендером), так что параллельные
* вырывают реестр друг у друга из-под рендера, ядро не потокобезопасно * вызовы ядра не приводят к порче вывода.
* by design. Регрессия — ConvertControllerTest#concurrentRequests_bothSucceed.</p> * Регрессия — ConvertControllerTest#concurrentRequests_bothSucceed.</p>
* *
* <p>Ошибки разделены по смыслу (требование к API): некорректный вход → * <p>Ошибки разделены по смыслу (требование к API): некорректный вход →
* {@link ValidationException} (400), ошибка рендер-стадии → * {@link ValidationException} (400), ошибка рендер-стадии →
* {@link ConversionFailedException} (500). Граница: сломанный контейнер * {@link ConversionFailedException} (500). Граница: сломанный контейнер
* (не zip / битый zip / слишком большой / слишком длинный) — 400; валидный * (не zip / битый zip / слишком большой / слишком длинный) — 400; валидный
* zip с мусором внутри (нет {@code word/document.xml}) — 500: до очереди и * zip с мусором внутри (нет {@code word/document.xml}) — 500: до очереди
* в конвейере ядра вход проверяется тем же * проверяется только размер, корректность контейнера и число страниц —
* {@link WordPdfValidator#validate(byte[], ConvertOptions)}, поэтому уже * сериализованно внутри воркера (ядро вызывает тот же
* принятый запрос внутренняя проверка ядра в ошибку не превратит.</p> * {@link WordPdfValidator#validate(byte[], ConvertOptions)}), поэтому
* тяжёлая проверка не занимает потоки контейнера в обход сериализации.</p>
*/ */
@Service @Service
final class ConversionService { final class ConversionService {
@@ -55,17 +58,18 @@ final class ConversionService {
new ArrayBlockingQueue<>(QUEUE_CAPACITY)); new ArrayBlockingQueue<>(QUEUE_CAPACITY));
// Прогрев ядра — головой той же однопоточной очереди: первый реальный // Прогрев ядра — головой той же однопоточной очереди: первый реальный
// запрос после деплоя становится за прогретым ядром (~50–300 мс вместо // запрос после деплоя становится за прогретым ядром (~50–300 мс вместо
// 1,4–1,9 с) и гарантированно сериализован с конвертациями (ядро не // 1,4–1,9 с); сериализация прогрева с конвертациями — тем же воркером
// потокобезопасно). warmup() не бросает — Future никто не забирает; // и монитором ядра (warmup() синхронизирован им же). warmup() не
// бросает — Future никто не забирает;
// запросы, пришедшие во время прогрева, ждут в очереди (штатная // запросы, пришедшие во время прогрева, ждут в очереди (штатная
// семантика, лимит convert-timeout с запасом). // семантика, лимит convert-timeout с запасом).
this.workers.submit(WordPdfConverter::warmup); this.workers.submit(WordPdfConverter::warmup);
} }
/** /**
* Полный путь: синхронная валидация байтов (до очереди — от obvious-отказа * Полный путь: синхронная проверка размера (до очереди) → постановка
* единый воркер не должен быть занят) → постановка в очередь → ожидание * в очередь → ожидание результата с таймаутом; корректность контейнера
* результата с таймаутом. * и число страниц проверяются сериализованно, внутри воркера (ядро).
* *
* @throws ValidationException некорректный вход (400) * @throws ValidationException некорректный вход (400)
* @throws ConversionFailedException ошибка ядра/рендера (500) * @throws ConversionFailedException ошибка ядра/рендера (500)
@@ -77,14 +81,14 @@ final class ConversionService {
* {@code null} не допускается (контроллер строит всегда).</p> * {@code null} не допускается (контроллер строит всегда).</p>
*/ */
byte[] convert(byte[] docxBytes, String originalFilename, ConvertOptions options) { byte[] convert(byte[] docxBytes, String originalFilename, ConvertOptions options) {
// Бинарный .doc — не zip: .docx-валидация к нему неприменима, размер // До очереди — только дешёвый гейт размера. Полная валидация
// проверяется общим checkInput, страницы — мостом по чистому .doc // (контейнер + страницы — до двух полных распакованных проходов до
// (ядро бросит ValidationException → 400 тем же обработчиком). // 64 МБ на обоих форматах) сериализована воркером: её выполняет ядро
if (WordPdfValidator.isBinaryDoc(docxBytes)) { // внутри WordPdfConverter.convert (тот же validate с теми же
// options, ValidationException → 400 тем же путём). Синхронный
// полный validate до submit отдавал бы zip-бомбе потоки Tomcat
// в обход сериализации.
WordPdfValidator.checkInput(docxBytes, options.maxMb()); WordPdfValidator.checkInput(docxBytes, options.maxMb());
} else {
WordPdfValidator.validate(docxBytes, options);
}
Future<byte[]> future; Future<byte[]> future;
try { try {
future = workers.submit(() -> doConvert(docxBytes, originalFilename, options)); future = workers.submit(() -> doConvert(docxBytes, originalFilename, options));
@@ -139,10 +143,14 @@ final class ConversionService {
// отказ проверки страниц внутри конвейера ядра — некорректный // отказ проверки страниц внутри конвейера ядра — некорректный
// вход (400), а не ошибка рендера: без этого утонул бы в 500 // вход (400), а не ошибка рендера: без этого утонул бы в 500
throw e; throw e;
} catch (DrawingFoundException e) { } catch (ChartsFoundException e) {
// отказ по настройке запроса (error-флаг) — не ошибка рендера: 422, // отказ по настройке запроса (error-флаг) — не ошибка рендера: 422,
// иначе утонет в общем catch ниже как 500 // иначе утонет в общем catch ниже как 500
throw new DrawingRejectedException(e.kind()); throw new DrawingRejectedException(DrawingRejectedException.CHARTS);
} catch (SmartArtFoundException e) {
throw new DrawingRejectedException(DrawingRejectedException.SMART_ART);
} catch (OleFoundException e) {
throw new DrawingRejectedException(DrawingRejectedException.OLE);
} catch (ConversionException e) { } catch (ConversionException e) {
// всё, что упало на валидации/рендер-стадии ядра, — ошибка преобразования, 500 // всё, что упало на валидации/рендер-стадии ядра, — ошибка преобразования, 500
throw new ConversionFailedException("Не удалось конвертировать документ: " throw new ConversionFailedException("Не удалось конвертировать документ: "
@@ -12,7 +12,6 @@ import org.springframework.web.bind.annotation.RestController;
import org.springframework.beans.factory.annotation.Value; import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.multipart.MultipartFile; import org.springframework.web.multipart.MultipartFile;
import ru.pjandro.wordpdf.ConvertOptions; import ru.pjandro.wordpdf.ConvertOptions;
import ru.pjandro.wordpdf.WordPdfSettings;
import java.io.IOException; import java.io.IOException;
import java.nio.charset.StandardCharsets; import java.nio.charset.StandardCharsets;
@@ -25,10 +24,11 @@ import java.util.Locale;
* <p>Здесь только HTTP-слой: проверка presence/расширения и формирование * <p>Здесь только HTTP-слой: проверка presence/расширения и формирование
* {@code Content-Disposition}; проверка содержимого (zip, размер, страницы) — * {@code Content-Disposition}; проверка содержимого (zip, размер, страницы) —
* зона {@link ConversionService}. Ошибки в JSON-ответ переводит * зона {@link ConversionService}. Ошибки в JSON-ответ переводит
* {@link ApiExceptionHandler}. Лимиты входа — только конфигурация сервера * {@link ApiExceptionHandler}. Лимиты входа: свойства
* (свойства {@code wordpdf.max-mb}/{@code wordpdf.max-pages}, env * {@code wordpdf.max-mb}/{@code wordpdf.max-pages} (env
* {@code WORDPDF_MAX_MB}/{@code WORDPDF_MAX_PAGES}); параметрами запроса * {@code WORDPDF_MAX_MB}/{@code WORDPDF_MAX_PAGES}) — дефолт эндпоинта;
* они не переопределяются.</p> * параметры запроса {@code maxMb}/{@code maxPages} переопределяют его в обе
* стороны (значения ≤ 0 → 400).</p>
*/ */
@RestController @RestController
final class ConvertController { final class ConvertController {
@@ -38,14 +38,15 @@ final class ConvertController {
private final int maxPages; private final int maxPages;
/** /**
* Дефолт плейсхолдеров — константы ядра через SpEL: буквальное значение * Дефолт плейсхолдеров — буквенные литералы 5/100 (дефолтов лимитов в
* в свойствах не дублируется. Невалидное значение (<= 0) роняет * ядре нет); свойства/env переопределяют их, параметры запроса — см.
* {@link #convert}. Невалидное значение свойства (<= 0) роняет
* приложение на старте (fail-fast): «сервис поднят, но весь вход * приложение на старте (fail-fast): «сервис поднят, но весь вход
* отсекается» — худший исход, чем не поднявшийся сервис. * отсекается» — худший исход, чем не поднявшийся сервис.
*/ */
ConvertController(ConversionService conversionService, ConvertController(ConversionService conversionService,
@Value("${wordpdf.max-mb:#{T(ru.pjandro.wordpdf.WordPdfSettings).MAX_INPUT_MB}}") long maxMb, @Value("${wordpdf.max-mb:5}") long maxMb,
@Value("${wordpdf.max-pages:#{T(ru.pjandro.wordpdf.WordPdfSettings).MAX_PAGES}}") int maxPages) { @Value("${wordpdf.max-pages:100}") int maxPages) {
if (maxMb <= 0) { if (maxMb <= 0) {
throw new IllegalStateException("wordpdf.max-mb должен быть больше 0: " + maxMb); throw new IllegalStateException("wordpdf.max-mb должен быть больше 0: " + maxMb);
} }
@@ -60,10 +61,11 @@ final class ConvertController {
@Operation(summary = "Конвертировать .docx/.doc в PDF", @Operation(summary = "Конвертировать .docx/.doc в PDF",
description = "Принимаются .docx (OOXML) и .doc (Word 97–2003, переносится в .docx " description = "Принимаются .docx (OOXML) и .doc (Word 97–2003, переносится в .docx "
+ "мостом: текст и прямое форматирование). errorOnCharts/errorOnSmartArt/errorOnOle — факультативно, по умолчанию " + "мостом: текст и прямое форматирование). errorOnCharts/errorOnSmartArt/errorOnOle — факультативно, по умолчанию "
+ "настройки ядра (ошибка не выбрасывается); диаграммы/SmartArt " + "ошибка не выбрасывается; диаграммы/SmartArt "
+ "конвертируются всегда, OLE-объекты при выключенном флаге тихо удаляются. " + "конвертируются всегда, OLE-объекты при выключенном флаге тихо удаляются. "
+ "Лимиты входа (размер/страницы) задаёт только конфигурация сервера " + "Лимиты входа (размер/страницы): свойства wordpdf.max-mb/wordpdf.max-pages — "
+ "(свойства wordpdf.max-mb/wordpdf.max-pages), параметрами запроса не переопределяются") + "дефолт; параметры запроса maxMb/maxPages переопределяют его в обе стороны "
+ "(значения ≤ 0 → 400)")
@SecurityRequirement(name = OpenApiConfig.SCHEME) @SecurityRequirement(name = OpenApiConfig.SCHEME)
@PostMapping( @PostMapping(
path = "/api/v1/convert", path = "/api/v1/convert",
@@ -73,7 +75,9 @@ final class ConvertController {
@RequestParam("file") MultipartFile file, @RequestParam("file") MultipartFile file,
@RequestParam(name = "errorOnCharts", required = false) Boolean errorOnCharts, @RequestParam(name = "errorOnCharts", required = false) Boolean errorOnCharts,
@RequestParam(name = "errorOnSmartArt", required = false) Boolean errorOnSmartArt, @RequestParam(name = "errorOnSmartArt", required = false) Boolean errorOnSmartArt,
@RequestParam(name = "errorOnOle", required = false) Boolean errorOnOle) { @RequestParam(name = "errorOnOle", required = false) Boolean errorOnOle,
@RequestParam(name = "maxMb", required = false) Long maxMbParam,
@RequestParam(name = "maxPages", required = false) Integer maxPagesParam) {
if (file == null || file.isEmpty()) { if (file == null || file.isEmpty()) {
throw new BadRequestException("Файл не передан (multipart-поле «file» обязательно)"); throw new BadRequestException("Файл не передан (multipart-поле «file» обязательно)");
} }
@@ -84,13 +88,24 @@ final class ConvertController {
// .doc (Word 97–2003) переносится в .docx мостом internal.doc // .doc (Word 97–2003) переносится в .docx мостом internal.doc
throw new BadRequestException("Поддерживаются только .docx и .doc: " + name); throw new BadRequestException("Поддерживаются только .docx и .doc: " + name);
} }
// Лимиты входа: свойства сервера — дефолт, параметры запроса
// переопределяют в обе стороны (верхнего потолка нет — осознанное
// решение; остаточная защита от загрузки — multipart-лимит сервера).
if (maxMbParam != null && maxMbParam <= 0) {
throw new BadRequestException("maxMb должен быть больше 0: " + maxMbParam);
}
if (maxPagesParam != null && maxPagesParam <= 0) {
throw new BadRequestException("maxPages должен быть больше 0: " + maxPagesParam);
}
long effMaxMb = maxMbParam != null ? maxMbParam : maxMb;
int effMaxPages = maxPagesParam != null ? maxPagesParam : maxPages;
// Размер проверяется до getBytes(): multipart-лимит сервера (100 МБ) // Размер проверяется до getBytes(): multipart-лимит сервера (100 МБ)
// больше логического лимита входа (wordpdf.max-mb), и без этого гварда // больше логического лимита входа, и без этого гварда заведомо
// заведомо oversized-upload сначала материализовался бы в куче. // oversized-upload сначала материализовался бы в куче.
// Текст — тот же формат, что WordPdfValidator.checkInput. // Текст — тот же формат, что WordPdfValidator.checkInput.
long maxBytes = maxMb * 1024 * 1024; long maxBytes = effMaxMb * 1024 * 1024;
if (file.getSize() > maxBytes) { if (file.getSize() > maxBytes) {
throw new BadRequestException("Файл больше " + maxMb + " МБ: " throw new BadRequestException("Файл больше " + effMaxMb + " МБ: "
+ file.getSize() + " байт > " + maxBytes + " байт"); + file.getSize() + " байт > " + maxBytes + " байт");
} }
byte[] docxBytes; byte[] docxBytes;
@@ -100,10 +115,10 @@ final class ConvertController {
throw new BadRequestException("Не удалось прочитать загруженный файл", e); throw new BadRequestException("Не удалось прочитать загруженный файл", e);
} }
ConvertOptions options = new ConvertOptions( ConvertOptions options = new ConvertOptions(
errorOnCharts != null ? errorOnCharts : WordPdfSettings.ERROR_ON_CHARTS, Boolean.TRUE.equals(errorOnCharts),
errorOnSmartArt != null ? errorOnSmartArt : WordPdfSettings.ERROR_ON_SMARTART, Boolean.TRUE.equals(errorOnSmartArt),
errorOnOle != null ? errorOnOle : WordPdfSettings.ERROR_ON_OLE, Boolean.TRUE.equals(errorOnOle),
maxMb, maxPages); effMaxMb, effMaxPages);
byte[] pdf = conversionService.convert(docxBytes, name, options); byte[] pdf = conversionService.convert(docxBytes, name, options);
ContentDisposition disposition = ContentDisposition.attachment() ContentDisposition disposition = ContentDisposition.attachment()
.filename(ConversionService.safeBaseName(name) + ".pdf", StandardCharsets.UTF_8) .filename(ConversionService.safeBaseName(name) + ".pdf", StandardCharsets.UTF_8)
@@ -1,28 +1,25 @@
package ru.pjandro.wordpdf.app; package ru.pjandro.wordpdf.app;
import ru.pjandro.wordpdf.DrawingFoundException; import ru.pjandro.wordpdf.ChartsFoundException;
import ru.pjandro.wordpdf.OleFoundException;
import ru.pjandro.wordpdf.SmartArtFoundException;
/** /**
* Документ содержит диаграммы/SmartArt/OLE-объекты при включённом error-флаге * Документ содержит диаграммы/SmartArt/OLE-объекты при включённом error-флаге
* ({@link DrawingFoundException} ядра). * ({@link ChartsFoundException}, {@link SmartArtFoundException} или
* {@link OleFoundException} ядра).
* *
* <p>Маппится в HTTP 422 ({@link ApiExceptionHandler}); клиенту осмысленно * <p>Маппится в HTTP 422 ({@link ApiExceptionHandler}); клиенту осмысленно
* повторить без error-флага. Текст сообщения — * повторить без error-флага.</p>
* пользовательский контракт: фронт показывает его дословно.</p>
*/ */
class DrawingRejectedException extends RuntimeException { class DrawingRejectedException extends RuntimeException {
DrawingRejectedException(DrawingFoundException.Kind kind) { /** Тексты — пользовательский контракт: фронт показывает их дословно. */
super(message(kind)); static final String CHARTS = "Конвертация отменена: в документе найдены диаграммы";
} static final String SMART_ART = "Конвертация отменена: в документе найден SmartArt";
static final String OLE = "Конвертация отменена: в документе найдены OLE-объекты";
// switch вынесен из super(): парсер PMD 7.17 (движок maven-pmd-plugin) DrawingRejectedException(String message) {
// падает на switch-выражении в аргументе super (pmd/pmd#6234). super(message);
private static String message(DrawingFoundException.Kind kind) {
return switch (kind) {
case CHARTS -> "Конвертация отменена: в документе найдены диаграммы";
case SMARTART -> "Конвертация отменена: в документе найден SmartArt";
case OLE -> "Конвертация отменена: в документе найдены OLE-объекты";
};
} }
} }
@@ -1,12 +1,12 @@
spring.application.name=wordpdf-app spring.application.name=wordpdf-app
# Потолок инфраструктуры — 100 МБ (совпадает с client_max_body_size в # Потолок инфраструктуры — 100 МБ (совпадает с client_max_body_size в
# nginx-шлюзах): больше не пропустит ни шлюз, ни контейнер. Авторитетный # nginx-шлюзах): больше не пропустит ни шлюз, ни контейнер. Логический лимит
# лимит — свойство wordpdf.max-mb (env WORDPDF_MAX_MB, МБ), по умолчанию # входа — свойство wordpdf.max-mb (env WORDPDF_MAX_MB, МБ) /
# WordPdfSettings.MAX_INPUT_MB = 5; здесь только потолок загрузки. # wordpdf.max-pages (env WORDPDF_MAX_PAGES): дефолты 5/100 — литералы @Value
# Лимиты входа: env WORDPDF_MAX_MB (МБ) / WORDPDF_MAX_PAGES (страницы), # в ConvertController (дефолтов лимитов в ядре нет); параметрами запроса
# дефолты — константы ядра (5 / 100), задаются ConvertController. # maxMb/maxPages дефолт переопределяется в обе стороны. Значение свойства
# Значение <= 0 — падение на старте. Сами ключи здесь не объявлены: # <= 0 — падение на старте. Сами ключи здесь не объявлены: пустое значение
# пустое значение затенит SpEL-дефолт @Value. # затенит дефолт @Value.
# file-size-threshold=2MB: части больше 2 МБ сбрасываются на диск Tomcat, heap # file-size-threshold=2MB: части больше 2 МБ сбрасываются на диск Tomcat, heap
# держит только копию getBytes() одной сериализованной конвертации (порог 100MB # держит только копию getBytes() одной сериализованной конвертации (порог 100MB
# буферизовал в heap каждую параллельную загрузку до валидации размера — OOM-килл # буферизовал в heap каждую параллельную загрузку до валидации размера — OOM-килл
@@ -92,7 +92,7 @@ class ConversionServiceTest {
byte[] sample = bytes("/samples/ru-plain.docx"); byte[] sample = bytes("/samples/ru-plain.docx");
ConversionRejectedException e = assertThrows(ConversionRejectedException.class, ConversionRejectedException e = assertThrows(ConversionRejectedException.class,
() -> svc.convert(sample, "queue.docx", ConvertOptions.defaults())); () -> svc.convert(sample, "queue.docx", new ConvertOptions(false, false, false, 5, 100)));
assertEquals("Сервис конвертации занят — повторите позже", e.getMessage()); assertEquals("Сервис конвертации занят — повторите позже", e.getMessage());
} finally { } finally {
block.countDown(); block.countDown();
@@ -115,7 +115,7 @@ class ConversionServiceTest {
try { try {
Thread.currentThread().interrupt(); Thread.currentThread().interrupt();
ConversionRejectedException e = assertThrows(ConversionRejectedException.class, ConversionRejectedException e = assertThrows(ConversionRejectedException.class,
() -> svc.convert(sample, "ru-plain.docx", ConvertOptions.defaults())); () -> svc.convert(sample, "ru-plain.docx", new ConvertOptions(false, false, false, 5, 100)));
assertEquals("Сервис конвертации занят — повторите позже", e.getMessage()); assertEquals("Сервис конвертации занят — повторите позже", e.getMessage());
assertTrue(Thread.currentThread().isInterrupted(), assertTrue(Thread.currentThread().isInterrupted(),
"флаг прерывания обязан быть восстановлен"); "флаг прерывания обязан быть восстановлен");
@@ -125,7 +125,7 @@ class ConversionServiceTest {
// барьер: отменённая задача ещё домучивает рендер на воркере, а // барьер: отменённая задача ещё домучивает рендер на воркере, а
// глобальный реестр шрифтов ядра не потокобезопасен — ждём освобождения // глобальный реестр шрифтов ядра не потокобезопасен — ждём освобождения
// воркера через успешную сериализованную конвертацию // воркера через успешную сериализованную конвертацию
byte[] pdf = svc.convert(sample, "barrier.docx", ConvertOptions.defaults()); byte[] pdf = svc.convert(sample, "barrier.docx", new ConvertOptions(false, false, false, 5, 100));
assertEquals("%PDF", new String(pdf, 0, 4, StandardCharsets.US_ASCII)); assertEquals("%PDF", new String(pdf, 0, 4, StandardCharsets.US_ASCII));
svc.shutdown(); svc.shutdown();
} }
@@ -30,7 +30,10 @@ import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.
*/ */
@SpringBootTest @SpringBootTest
@AutoConfigureMockMvc @AutoConfigureMockMvc
@TestPropertySource(properties = "wordpdf.convert-timeout=1ms") @TestPropertySource(properties = {"wordpdf.convert-timeout=1ms",
// пустой ключ = фильтр выключен; пин от ambient WORDPDF_API_KEY
// (mise подмешивает корневой .env в окружение тасок)
"wordpdf.api-key="})
class ConversionTimeoutTest { class ConversionTimeoutTest {
private static final MediaType DOCX = private static final MediaType DOCX =
@@ -44,7 +44,8 @@ import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.
* ядра, PDF разбирается PDFBox, текст нормализуется по пробелам — паттерны * ядра, PDF разбирается PDFBox, текст нормализуется по пробелам — паттерны
* {@code WordPdfConverterTest} (norm/pdfText). * {@code WordPdfConverterTest} (norm/pdfText).
*/ */
@SpringBootTest @SpringBootTest(properties = "wordpdf.api-key=") // пустой = фильтр выключен; пин от
// ambient WORDPDF_API_KEY (mise подмешивает корневой .env в окружение тасок)
@AutoConfigureMockMvc @AutoConfigureMockMvc
class ConvertControllerTest { class ConvertControllerTest {
@@ -188,7 +189,8 @@ class ConvertControllerTest {
/** /**
* errorOnSmartArt=true — HTTP 422 с текстом про SmartArt (диаграммы * errorOnSmartArt=true — HTTP 422 с текстом про SmartArt (диаграммы
* конвертируются, их error-флаг выключен, поэтому бросается целевой Kind). * конвертируются, их error-флаг выключен, поэтому бросается
* {@code SmartArtFoundException}).
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsSmartArt, * Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsSmartArt,
* фикстура samples/charts-smartart.docx. * фикстура samples/charts-smartart.docx.
*/ */
@@ -311,8 +313,8 @@ class ConvertControllerTest {
@Test @Test
void oversizedOverCoreLimit_rejected() throws Exception { void oversizedOverCoreLimit_rejected() throws Exception {
// 5 MiB + 1 байт: проходит контейнерный multipart-лимит (100 МБ) // 5 MiB + 1 байт: проходит контейнерный multipart-лимит (100 МБ)
// и отсекается валидацией ядра до очереди (дефолт ядра цел — // и отсекается валидацией ядра до очереди (дефолт эндпоинта 5 МБ —
// лимит задаёт только конфигурация сервера) // параметры запроса здесь не участвуют)
byte[] big = new byte[5 * 1024 * 1024 + 1]; byte[] big = new byte[5 * 1024 * 1024 + 1];
mockMvc.perform(multipart("/api/v1/convert").file(docx("big.docx", big))) mockMvc.perform(multipart("/api/v1/convert").file(docx("big.docx", big)))
.andExpect(status().isBadRequest()) .andExpect(status().isBadRequest())
@@ -321,20 +323,60 @@ class ConvertControllerTest {
} }
/** /**
* Регрессия env-only: лимиты входа параметрами запроса не задаются. * Параметр запроса maxMb ужимает серверный дефолт: файл в пределах
* maxMb/maxPages в multipart-форме игнорируются — маленький * серверных 5 МБ отвергается по параметру 1 МБ (текст гварда — с
* документ проходит на серверных лимитах (дефолты ядра). * числом из запроса).
*/ */
@Test @Test
void requestLimitParams_areIgnored() throws Exception { void requestLimit_maxMbTightens_rejected() throws Exception {
byte[] twoMb = new byte[2 * 1024 * 1024];
mockMvc.perform(multipart("/api/v1/convert")
.file(docx("two.docx", twoMb))
.param("maxMb", "1"))
.andExpect(status().isBadRequest())
.andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("больше 1 МБ")));
}
/** Параметр maxMb поднимает серверный дефолт: обычный документ проходит. */
@Test
void requestLimit_maxMbRaises_smallOk() throws Exception {
mockMvc.perform(multipart("/api/v1/convert") mockMvc.perform(multipart("/api/v1/convert")
.file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx"))) .file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx")))
.param("maxMb", "1000") .param("maxMb", "1000")
.param("maxPages", "1")) .param("maxPages", "1000"))
.andExpect(status().isOk()) .andExpect(status().isOk())
.andExpect(content().contentType(MediaType.APPLICATION_PDF)); .andExpect(content().contentType(MediaType.APPLICATION_PDF));
} }
/** Параметр maxPages ужимает дефолт: фикстура на 110 границ отвергается с числом из запроса. */
@Test
void requestLimit_maxPagesTightens_rejected() throws Exception {
mockMvc.perform(multipart("/api/v1/convert")
.file(docx("stale-cache.docx", bytes("/samples/stale-cache.docx")))
.param("maxPages", "1"))
.andExpect(status().isBadRequest())
.andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("длиннее 1 страниц")));
}
/** Нулевые лимиты в запросе — 400 до любой работы с файлом. */
@Test
void requestLimit_nonPositive_rejected() throws Exception {
mockMvc.perform(multipart("/api/v1/convert")
.file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx")))
.param("maxMb", "0"))
.andExpect(status().isBadRequest())
.andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("maxMb должен быть больше 0")));
mockMvc.perform(multipart("/api/v1/convert")
.file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx")))
.param("maxPages", "0"))
.andExpect(status().isBadRequest())
.andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("maxPages должен быть больше 0")));
}
/** /**
* Невалидные лимиты в конфигурации — падение на старте (fail-fast): * Невалидные лимиты в конфигурации — падение на старте (fail-fast):
* «сервис поднят, но весь вход отсекается» хуже не поднявшегося. * «сервис поднят, но весь вход отсекается» хуже не поднявшегося.
@@ -417,8 +459,14 @@ class ConvertControllerTest {
mockMvc.perform(multipart("/api/v1/convert") mockMvc.perform(multipart("/api/v1/convert")
.file(docx("bad.docx", docxPackageWithGarbage()))) .file(docx("bad.docx", docxPackageWithGarbage())))
.andExpect(status().isInternalServerError()) .andExpect(status().isInternalServerError())
.andExpect(jsonPath("$.error", // фиксированный текст: сообщение ядра (docx4j/FOP/JAXB) —
org.hamcrest.Matchers.containsString("Не удалось конвертировать"))); // только в лог, наружу не уходит
.andExpect(jsonPath("$.error").value("Не удалось конвертировать документ"))
.andExpect(result -> {
String body = result.getResponse().getContentAsString();
assertTrue(!body.contains("docx4j") && !body.contains("Exception"),
"500 протёк внутренними деталями: " + body);
});
} }
@Test @Test
@@ -474,7 +522,7 @@ class ConvertControllerTest {
ConvertController controller = ConvertController controller =
new ConvertController(new ConversionService(Duration.ofSeconds(5)), 5L, 100); new ConvertController(new ConversionService(Duration.ofSeconds(5)), 5L, 100);
BadRequestException e = assertThrows(BadRequestException.class, BadRequestException e = assertThrows(BadRequestException.class,
() -> controller.convert(broken, null, null, null)); () -> controller.convert(broken, null, null, null, null, null));
assertTrue(e.getMessage().contains("Не удалось прочитать"), e.getMessage()); assertTrue(e.getMessage().contains("Не удалось прочитать"), e.getMessage());
} }
} }
@@ -35,7 +35,10 @@ import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.
*/ */
@SpringBootTest @SpringBootTest
@AutoConfigureMockMvc @AutoConfigureMockMvc
@TestPropertySource(properties = {"wordpdf.max-mb=1", "wordpdf.max-pages=1"}) @TestPropertySource(properties = {"wordpdf.max-mb=1", "wordpdf.max-pages=1",
// пустой ключ = фильтр выключен; пин от ambient WORDPDF_API_KEY
// (mise подмешивает корневой .env в окружение тасок)
"wordpdf.api-key="})
class ConvertLimitsTest { class ConvertLimitsTest {
private static final MediaType DOCX = private static final MediaType DOCX =
@@ -90,4 +93,26 @@ class ConvertLimitsTest {
.andExpect(jsonPath("$.error", .andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("страниц"))); org.hamcrest.Matchers.containsString("страниц")));
} }
/**
* Параметры запроса ПОДНИМАЮТ configured-дефолты (свойство — дефолт, не
* потолок): maxMb=5 — и файл за 1 MiB проходит байтовый гейт (отказ уже
* по контейнеру, не по размеру); maxPages=2 — и текст отказа несёт
* двойку, а не configured единицу.
*/
@Test
void restParamAboveConfigured_applies() throws Exception {
mockMvc.perform(multipart("/api/v1/convert")
.file(docx("big.docx", oversizedZip()))
.param("maxMb", "5"))
.andExpect(status().isBadRequest())
.andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("не является .docx")));
mockMvc.perform(multipart("/api/v1/convert")
.file(docx("too-many-pages.docx", bytes("/samples/too-many-pages.docx")))
.param("maxPages", "2"))
.andExpect(status().isBadRequest())
.andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("длиннее 2 страниц")));
}
} }
+18
View File
@@ -29,6 +29,24 @@
<dependency> <dependency>
<groupId>org.docx4j</groupId> <groupId>org.docx4j</groupId>
<artifactId>docx4j-export-fo</artifactId> <artifactId>docx4j-export-fo</artifactId>
<!-- JEuclid (MathML-рендер FOP) исключён: формулы OMML больше не
доходят до FO — DrawingPreRenderer заменяет каждую math-узел
собственным растером (MathModel/MathRenderer) или текстом, а
MathFallbackNormalizer (правило 6) срезает unsupported до
загрузки. Jeuclid тянул AWT-менеджер шрифтов (fontconfig —
падение на без-fontconfig хостах) и системные шрифты в вывод;
инвариант «шрифты только бандла» пинит
FontsBundledOnlyInvariantTest. -->
<exclusions>
<exclusion>
<groupId>de.rototor.jeuclid</groupId>
<artifactId>jeuclid-fop</artifactId>
</exclusion>
<exclusion>
<groupId>de.rototor.jeuclid</groupId>
<artifactId>jeuclid-core</artifactId>
</exclusion>
</exclusions>
</dependency> </dependency>
<!-- Простой логгер в консоль (slf4j). Обязателен: без него docx4j <!-- Простой логгер в консоль (slf4j). Обязателен: без него docx4j
пишет предупреждение прямо в выходной PDF. --> пишет предупреждение прямо в выходной PDF. -->
@@ -0,0 +1,16 @@
package ru.pjandro.wordpdf;
/**
* В документе найдены диаграммы, а их обработка запрещена включённым
* {@link ConvertOptions#errorOnCharts()}. Исключение отвергает документ целиком.
*
* <p>Наследник {@link ConversionException} — наружу по-прежнему ловится и он.
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsCharts,
* фикстура samples/charts-smartart.docx.</p>
*/
public final class ChartsFoundException extends ConversionException {
public ChartsFoundException() {
super("В документе найдены диаграммы, а их обработка запрещена (errorOnCharts)");
}
}
@@ -2,25 +2,18 @@ package ru.pjandro.wordpdf;
/** /**
* на один вызов: error-флаги рисунков и лимиты входа (размер/страницы). * на один вызов: error-флаги рисунков и лимиты входа (размер/страницы).
* Дефолты — константы {@link WordPdfSettings}; вызывающий (например, REST API) * Дефолтов в ядре нет — значения задаёт вызывающий (приложение: свойства
* может переопределить их на конкретный вызов. Диаграммы/SmartArt * сервера как дефолт REST-эндпоинта + параметры запроса). Диаграммы/SmartArt
* конвертируются всегда. * конвертируются всегда.
* *
* @param errorOnCharts бросать {@link DrawingFoundException} при находке диаграмм * @param errorOnCharts бросать {@link ChartsFoundException} при находке диаграмм
* @param errorOnSmartArt бросать {@link DrawingFoundException} при находке SmartArt * @param errorOnSmartArt бросать {@link SmartArtFoundException} при находке SmartArt
* @param errorOnOle бросать {@link DrawingFoundException} при находке OLE-объектов * @param errorOnOle бросать {@link OleFoundException} при находке OLE-объектов
* (иначе — тихо удалить их из документа) * (иначе — тихо удалить их из документа)
* @param maxMb лимит размера входа в МБ (MiB) на этот вызов; * @param maxMb лимит размера входа в МБ (MiB) на этот вызов;
* дефолт — {@link WordPdfSettings#MAX_INPUT_MB} * должен быть больше 0
* @param maxPages лимит числа страниц на этот вызов; * @param maxPages лимит числа страниц на этот вызов; должен быть больше 0
* дефолт — {@link WordPdfSettings#MAX_PAGES}
*/ */
public record ConvertOptions(boolean errorOnCharts, boolean errorOnSmartArt, boolean errorOnOle, public record ConvertOptions(boolean errorOnCharts, boolean errorOnSmartArt, boolean errorOnOle,
long maxMb, int maxPages) { long maxMb, int maxPages) {
/** Дефолты ядра из {@link WordPdfSettings}. */
public static ConvertOptions defaults() {
return new ConvertOptions(WordPdfSettings.ERROR_ON_CHARTS, WordPdfSettings.ERROR_ON_SMARTART,
WordPdfSettings.ERROR_ON_OLE, WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES);
}
} }
@@ -1,45 +0,0 @@
package ru.pjandro.wordpdf;
/**
* Документ содержит объект, находку которого вызывающий запретил:
* соответствующий error-флаг включён
* ({@link ConvertOptions#errorOnCharts()}, {@link ConvertOptions#errorOnSmartArt()},
* {@link ConvertOptions#errorOnOle()}).
* Диаграммы/SmartArt конвертируются всегда; OLE-объекты при выключенном
* {@code errorOnOle} теряют свои данные, но сохраняют картинку-плейсхолдер
* (в отличие от них).
* Исключение отвергает документ целиком.
*
* <p>Наследник {@link ConversionException} — наружу по-прежнему ловится
* только он; {@code kind()} даёт вызывающему тип объекта без разбора текста.
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsCharts,
* фикстура samples/charts-smartart.docx; OLE —
* WordPdfConverterTest#drawingErrors_errorFlagRejectsOle,
* фикстура samples/ole-embedded.docx.</p>
*/
public class DrawingFoundException extends ConversionException {
/** Тип найденного объекта. */
public enum Kind { CHARTS, SMARTART, OLE }
private final Kind kind;
public DrawingFoundException(Kind kind) {
super(message(kind));
this.kind = kind;
}
// switch вынесен из super(): парсер PMD 7.17 (движок maven-pmd-plugin)
// падает на switch-выражении в аргументе super (pmd/pmd#6234).
private static String message(Kind kind) {
return switch (kind) {
case CHARTS -> "В документе найдены диаграммы, а их обработка запрещена (errorOnCharts)";
case SMARTART -> "В документе найден SmartArt, а его обработка запрещена (errorOnSmartArt)";
case OLE -> "В документе найдены OLE-объекты, а их обработка запрещена (errorOnOle)";
};
}
public Kind kind() {
return kind;
}
}
@@ -0,0 +1,22 @@
package ru.pjandro.wordpdf;
/**
* В документе найдены OLE-объекты, а их обработка запрещена включённым
* {@link ConvertOptions#errorOnOle()}. Исключение отвергает документ целиком.
*
* <p>При выключенном флаге OLE-объекты теряют свои данные, но сохраняют
* картинку-плейсхолдер (в отличие от диаграмм/SmartArt, конвертируемых
* всегда). Флаг действует только на {@code .docx}: в бинарном {@code .doc}
* вложения OLE — форматирование U+0001, мост деградирует их до картинки,
* поэтому находки OLE там не бывает.</p>
*
* <p>Наследник {@link ConversionException} — наружу по-прежнему ловится и он.
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsOle,
* фикстура samples/ole-embedded.docx; OleObjectNormalizerTest#errorOnOleThrowsOleFound.</p>
*/
public final class OleFoundException extends ConversionException {
public OleFoundException() {
super("В документе найдены OLE-объекты, а их обработка запрещена (errorOnOle)");
}
}
@@ -0,0 +1,16 @@
package ru.pjandro.wordpdf;
/**
* В документе найден SmartArt, а его обработка запрещена включённым
* {@link ConvertOptions#errorOnSmartArt()}. Исключение отвергает документ целиком.
*
* <p>Наследник {@link ConversionException} — наружу по-прежнему ловится и он.
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsSmartArt,
* фикстура samples/charts-smartart.docx.</p>
*/
public final class SmartArtFoundException extends ConversionException {
public SmartArtFoundException() {
super("В документе найден SmartArt, а его обработка запрещена (errorOnSmartArt)");
}
}
@@ -2,7 +2,8 @@ package ru.pjandro.wordpdf;
import org.apache.fop.apps.FOUserAgent; import org.apache.fop.apps.FOUserAgent;
import org.apache.fop.apps.FopFactory; import org.apache.fop.apps.FopFactory;
import org.apache.fop.apps.FopFactoryBuilder; import org.apache.fop.util.ImageObjectCache;
import org.apache.fop.util.ImageObjectCacheImpl;
import org.docx4j.Docx4J; import org.docx4j.Docx4J;
import org.docx4j.XmlUtils; import org.docx4j.XmlUtils;
import org.docx4j.Docx4jProperties; import org.docx4j.Docx4jProperties;
@@ -30,6 +31,7 @@ import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream; import java.io.ByteArrayOutputStream;
import java.io.IOException; import java.io.IOException;
import javax.xml.transform.Templates; import javax.xml.transform.Templates;
import javax.xml.transform.TransformerConfigurationException;
import javax.xml.transform.stream.StreamSource; import javax.xml.transform.stream.StreamSource;
import javax.imageio.ImageIO; import javax.imageio.ImageIO;
import java.io.InputStream; import java.io.InputStream;
@@ -54,9 +56,13 @@ import java.util.zip.ZipOutputStream;
* подменяются метрически совместимыми open-source аналогами * подменяются метрически совместимыми open-source аналогами
* (см. {@link BundledFontMapper}). * (см. {@link BundledFontMapper}).
* *
* Класс stateless, все методы статические. Класс НЕ потокобезопасен: * Класс stateless, все методы статические. Публичные {@code convert()} можно
* конвертации из нескольких потоков необходимо сериализовать (глобальный * вызывать из нескольких потоков: сериализация обеспечена внутри ядра —
* реестр {@code PhysicalFonts}, кэши шрифтов/покрытия). * конвертации выполняются по одной под монитором класса (глобальный реестр
* {@code PhysicalFonts}, общая FopFactory с имиджевыми кешами, сброс кеши в
* finally). {@link #warmup()} синхронизирован тем же монитором.
* {@link WordPdfValidator} stateless и выполняется до монитора — валидация
* параллельна и не блокируется.
*/ */
public final class WordPdfConverter { public final class WordPdfConverter {
@@ -83,38 +89,66 @@ public final class WordPdfConverter {
private WordPdfConverter() { private WordPdfConverter() {
} }
private static volatile FopFactory sharedFopFactory;
/** /**
* Конвертирует байты .docx (или бинарного .doc Word 97–2003 — формат * FopFactory, общая на JVM: разбор шрифтов форка (GPOS-таблицы, ~140k
* определяется по сигнатуре байтов) в PDF. Работа с файлами — забота * объектов) выполняется один раз, а не на каждую конвертацию. Фабрика
* вызывающего (файловое API было здесь раньше; ядро пути не принимает). * хранит имиджевые кеши ({@code ImageManager#getCache()} и
* * {@link ImageObjectCacheImpl}) c ключами {@code file:/tmp/<uuid>…} —
* <p>.doc предварительно переносится в .docx мостом * уникальными на каждую конвертацию (docx4j выкладывает медиа во временные
* {@link ru.pjandro.wordpdf.internal.doc.DocToDocx} (текст + прямое * файлы), поэтому кеш никогда не попадает и растёт на декодированный растр
* форматирование); число страниц для .doc проверяется мостом по чистому * каждого изображения (замер 2026-11: ~1,5 ГБ живых byte[] после 30
* бинарному документу (кэш PageCount + явные разрывы), сгенерированный * конвертаций с картинками). Поэтому каждая конвертация обязана вызвать
* .docx валидацией не проверяется. Для .docx вход проверяется * {@link #resetSharedImageCaches()} в finally. Вызывается только под локом
* {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера: * конвертации (см. {@code convert}), сброс mid-render невозможен. Методы
* {@code null} / размер больше {@link WordPdfSettings#MAX_INPUT_MB} (МБ) / zip-подпись / * приватны: вызов вне лока конвертера вскрыл бы DCL/сброс на параллельный
* число страниц больше {@link WordPdfSettings#MAX_PAGES} — при отказе байтов результата нет; * рендер. Регрессия — WordPdfConverterTest#sharedImageCaches_clearedAfterConversion.
* страницы считаются ровно раз по сырому входу, повторного скана по
* нормализованным байтам нет (см. javadoc перегрузки с {@link ConvertOptions}).
*
* @param docxBytes байты .docx или бинарного .doc
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
* @return байты готового PDF
* @throws ValidationException некорректный вход: {@code null}, размер больше
* {@link WordPdfSettings#MAX_INPUT_MB} (МБ), не .docx/.doc, зашифрованный .doc,
* документ длиннее {@link WordPdfSettings#MAX_PAGES} страниц
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
*/ */
public static byte[] convert(byte[] docxBytes, String title) throws ConversionException { private static FopFactory sharedFopFactory(final FOSettings foSettings) {
return convert(docxBytes, title, ConvertOptions.defaults()); FopFactory factory = sharedFopFactory;
if (factory == null) {
synchronized (WordPdfConverter.class) {
if (sharedFopFactory == null) {
try {
sharedFopFactory = FORendererApacheFOP.getFopFactoryBuilder(foSettings).build();
} catch (org.apache.fop.apps.FOPException e) {
throw new ConversionException("Не удалось собрать FOP-фабрику", e);
}
}
factory = sharedFopFactory;
}
}
return factory;
}
/**
* Сброс имиджевых кешей общей фабрики после конвертации. Без него форк
* удерживает растр каждого изображения документа до конца жизни JVM:
* записи лежат в soft-ссылках, которые сборщик не трогает, пока свободная
* куча велика (куча стенда фиксирована 2 ГБ). Сбросы публичные:
* {@code ImageCache.clearCache()} и {@code ImageObjectCacheImpl.clearCache()}.
* Вызывается исключительно из finally конвертации под локом (см.
* {@code convert}) — параллельный рендер под сброс не попадает.
* Регрессия — WordPdfConverterTest#sharedImageCaches_clearedAfterConversion.
*/
private static void resetSharedImageCaches() {
FopFactory factory = sharedFopFactory;
if (factory == null) {
return;
}
factory.getImageManager().getCache().clearCache();
ImageObjectCache imageObjects = factory.getImageObjectCache();
if (imageObjects instanceof ImageObjectCacheImpl impl) {
impl.clearCache();
}
} }
/** /**
* Конвертирует байты .docx (или бинарного .doc Word 97–2003 — формат * Конвертирует байты .docx (или бинарного .doc Word 97–2003 — формат
* определяется по сигнатуре байтов, см. перегрузку выше) в PDF с * определяется по сигнатуре байтов) в PDF с настройками на вызов:
* настройками на вызов: error-флаги диаграмм/SmartArt и лимиты входа. * error-флаги диаграмм/SmartArt и лимиты входа. Работа с файлами — забота
* вызывающего (файловое API было здесь раньше; ядро пути не принимает).
* *
* <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)} * <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)}
* до рендера — одна проверка на оба формата: {@code null} / размер больше * до рендера — одна проверка на оба формата: {@code null} / размер больше
@@ -123,15 +157,15 @@ public final class WordPdfConverter {
* считаются ровно раз по сырому входу, до аллокаций docx4j: для .docx — * считаются ровно раз по сырому входу, до аллокаций docx4j: для .docx —
* lightweight-скан по zip, для .doc — по чистому бинарному документу до * lightweight-скан по zip, для .doc — по чистому бинарному документу до
* конвертации. Повторного скана по нормализованным байтам нет: правила * конвертации. Повторного скана по нормализованным байтам нет: правила
* 1–10 {@code DocxRewritePipeline} число учитываемых разрывов не * 1–11 {@code DocxRewritePipeline} число учитываемых разрывов не
* увеличивают (правило 9 способно только убрать разрыв внутри скрытого * увеличивают (правило 9 способно только убрать разрыв внутри скрытого
* рана — счёт по сырому входу остаётся верхней оценкой лимита), а скан * рана — счёт по сырому входу остаётся верхней оценкой лимита), а скан
* внутри живой JAXB-модели удваивал бы пиковую память. * внутри живой JAXB-модели удваивал бы пиковую память.
* *
* @param docxBytes байты .docx или бинарного .doc * @param docxBytes байты .docx или бинарного .doc
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся * @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
* @param options error-флаги и лимиты входа на этот вызов; {@code null} — * @param options error-флаги и лимиты входа на этот вызов; обязательны,
* дефолты (константы {@link WordPdfSettings}) * {@code null} → {@link ValidationException} (дефолтов в ядре нет)
* @return байты готового PDF * @return байты готового PDF
* @throws ValidationException некорректный вход: {@code null}, размер больше * @throws ValidationException некорректный вход: {@code null}, размер больше
* {@code options.maxMb()} (МБ), не .docx/.doc, зашифрованный .doc, * {@code options.maxMb()} (МБ), не .docx/.doc, зашифрованный .doc,
@@ -139,7 +173,11 @@ public final class WordPdfConverter {
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера) * @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
*/ */
public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options) throws ConversionException { public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options) throws ConversionException {
ConvertOptions opts = options == null ? ConvertOptions.defaults() : options; if (options == null) {
throw new ValidationException("Не переданы параметры конвертации (ConvertOptions): "
+ "лимиты входа задаёт вызывающий");
}
ConvertOptions opts = options;
// Полная проверка входа — одна на оба формата: размер до // Полная проверка входа — одна на оба формата: размер до
// классификации (враждебный вход без подписи обязан получить ошибку // классификации (враждебный вход без подписи обязан получить ошибку
// лимита), затем для .docx — zip/контейнер/страницы, для .doc — // лимита), затем для .docx — zip/контейнер/страницы, для .doc —
@@ -152,7 +190,15 @@ public final class WordPdfConverter {
// .doc сбрасываются в кадре на этом же месте — детерминированно, до // .doc сбрасываются в кадре на этом же месте — детерминированно, до
// рендера (точные liveness-карты HotSpot строит только для // рендера (точные liveness-карты HotSpot строит только для
// скомпилированных кадров; отдельное присваивание null не нужно). // скомпилированных кадров; отдельное присваивание null не нужно).
docxBytes = WordPdfValidator.isBinaryDoc(docxBytes) ? DocToDocx.convert(docxBytes) : docxBytes; // Единый лок ядра: реестр PhysicalFonts, общая FopFactory (per-render
// disableFontCache, имиджевые кеши) и её сброс в finally мутируются под
// рендером — параллельная конвертация обязана ждать, иначе чистит кеши
// посреди чужого рендера. Монитор класса тот же, что у warmup()
// (реентельно) и DCL в sharedFopFactory. Регрессия —
// WordPdfConverterTest#concurrentConversions_twoThreadsBothSucceed.
synchronized (WordPdfConverter.class) {
docxBytes = WordPdfValidator.isBinaryDoc(docxBytes)
? DocToDocx.convert(docxBytes, opts.maxMb()) : docxBytes;
ByteArrayOutputStream bos = new ByteArrayOutputStream(Math.max(1 << 16, docxBytes.length)); ByteArrayOutputStream bos = new ByteArrayOutputStream(Math.max(1 << 16, docxBytes.length));
try { try {
convertToStream(docxBytes, title, opts, bos); convertToStream(docxBytes, title, opts, bos);
@@ -165,20 +211,49 @@ public final class WordPdfConverter {
} }
return bos.toByteArray(); return bos.toByteArray();
} }
}
/** Флаг «ядро прогрето»: повторные вызовы {@link #warmup()} — no-op. */ /** Флаг «ядро прогрето»: повторные вызовы {@link #warmup()} — no-op. */
private static volatile boolean warmedUp; private static volatile boolean warmedUp;
private static final Logger LOG = Logger.getLogger(WordPdfConverter.class.getName()); private static final Logger LOG = Logger.getLogger(WordPdfConverter.class.getName());
// Пороги защиты входа (считает WordPdfValidator.max* от лимитов входа
// ConvertOptions). Значения — строго литералы compile-time констант: javac
// инлайнит их в WordPdfValidator, и обращение из валидатора НЕ
// инициализирует этот класс (его static-блок выставляет sysprops docx4j —
// инвариант «WordPdfValidator не зависит от docx4j» сохраняется).
/** Бюджет суммарной распаковки: MiB на каждый МБ лимита размера входа. */
static final int DECOMPRESS_MB_PER_MAX_MB = 10;
/** Бюджет суммарной распаковки: KiB на каждую страницу лимита. */
static final int DECOMPRESS_KIB_PER_PAGE = 64;
/** Бюджет XML-частей: MiB на каждый МБ лимита (JAXB-разбор дороже байта). */
static final int DECOMPRESS_XML_MB_PER_MAX_MB = 4;
/** Бюджет XML-частей: KiB на каждую страницу лимита. */
static final int DECOMPRESS_XML_KIB_PER_PAGE = 32;
/** Пол бюджета суммарной распаковки (MiB) — чтобы мелкие лимиты не ломали легитимные документы. */
static final long MIN_DECOMPRESSED_MB = 16;
/** Пол бюджета XML-частей (MiB). */
static final long MIN_DECOMPRESSED_XML_MB = 4;
/** Порог пиксельной площади одного растра: пикселей на каждый МБ лимита размера. */
static final long IMAGE_PIXELS_PER_MAX_MB = 5_000_000;
/** Порог числа zip-записей: записей на каждый МБ лимита размера. */
static final int ZIP_ENTRIES_PER_MAX_MB = 512;
/** Порог числа zip-записей: записей на каждую страницу лимита. */
static final int ZIP_ENTRIES_PER_PAGE = 32;
/** Пол порога числа zip-записей. */
static final int MIN_ZIP_ENTRIES = 2048;
/** /**
* Прогрев ядра: первая конвертация после старта JVM стоит 1,3–1,7 с * Прогрев ядра: первая конвертация после старта JVM стоит 1,3–1,7 с
* (JAXB/XSLT/FOP/классы), её платил первый запрос после деплоя. Прогоняет * (JAXB/XSLT/FOP/классы), её платил первый запрос после деплоя. Прогоняет
* пайплайн на минимальном docx, собранном в байтах (фикстуры тестов не * пайплайн на минимальном docx, собранном в байтах (фикстуры тестов не
* задействуются), и греет Java2D/PNG-энкодер для пре-рендера диаграмм. * задействуются), и греет Java2D/PNG-энкодер для пре-рендера диаграмм.
* Идемпотентен, никогда не бросает (провал — только warn); вызывать нужно * Идемпотентен, никогда не бросает (провал — только warn); метод
* на том же потоке, на котором сериализованы конвертации (ядро не * синхронизирован монитором класса — тем же, что сериализует конвертации
* потокобезопасно, см. {@code PhysicalFonts}). Артефакты (PDF, растр) * в {@code convert()}, так что прогрев гарантированно не пересекается с
* рендером; приложение дополнительно держит warmup головой очереди.
* Артефакты (PDF, растр)
* отбрасываются. Ядро само {@code warmup()} не вызывает — момент прогрева * отбрасываются. Ядро само {@code warmup()} не вызывает — момент прогрева
* решает вызывающее приложение. * решает вызывающее приложение.
*/ */
@@ -187,7 +262,7 @@ public final class WordPdfConverter {
return; return;
} }
try { try {
convert(warmupDocx(), "warmup"); convert(warmupDocx(), "warmup", new ConvertOptions(false, false, false, 1, 1));
warmRaster(); warmRaster();
warmedUp = true; warmedUp = true;
} catch (Throwable t) { } catch (Throwable t) {
@@ -326,13 +401,15 @@ public final class WordPdfConverter {
LayoutPostRenderer.register(foSettings); LayoutPostRenderer.register(foSettings);
// 4.5 Вендорный xslt/docx2fo.xslt = копия из docx4j-export-fo + // 4.5 Вендорный xslt/docx2fo.xslt = копия из docx4j-export-fo +
// AUDIT-FIX-патч (w:rPr position) — стилист jar'а не // AUDIT-FIX-патчи (w:rPr/w:position→baseline-shift;
// AUDIT-FIX-2: moveFrom/moveTo/bdo/dir) — стилист jar'а не
// используется. // используется.
foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES); foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES);
// 5. Метаданные PDF: заголовок — из параметра title // 5. Метаданные PDF: заголовок — из параметра title. Фабрика —
FopFactoryBuilder builder = FORendererApacheFOP.getFopFactoryBuilder(foSettings); // общая на JVM (см. sharedFopFactory); после конвертации её
FopFactory fopFactory = builder.build(); // имиджевые кеши обязаны быть сброшены (шаг 7).
FopFactory fopFactory = sharedFopFactory(foSettings);
FOUserAgent foUserAgent = FORendererApacheFOP.getFOUserAgent(foSettings, fopFactory); FOUserAgent foUserAgent = FORendererApacheFOP.getFOUserAgent(foSettings, fopFactory);
if (title != null && !title.isEmpty()) { if (title != null && !title.isEmpty()) {
foUserAgent.setTitle(title); foUserAgent.setTitle(title);
@@ -341,18 +418,26 @@ public final class WordPdfConverter {
// 6. Проход XSLT (медленнее, но полнее), вывод в поток // 6. Проход XSLT (медленнее, но полнее), вывод в поток
Docx4J.toFO(foSettings, os, Docx4J.FLAG_EXPORT_PREFER_XSL); Docx4J.toFO(foSettings, os, Docx4J.FLAG_EXPORT_PREFER_XSL);
} finally { } finally {
// 7. Уборка временных файлов встроенных в docx шрифтов // 7. Уборка временных файлов встроенных в docx шрифтов, сброс
// имиджевых кешей общей FopFactory (без него форк копит растр
// каждого изображения: ~1,5 ГБ на 30 конвертаций, 2026-11) и
// возврат реестра шрифтов в бандл-состояние: load() регистрирует
// в глобальном PhysicalFonts встроенные шрифты документа, и без
// restrictToBundled последний документ продолжал бы влиять на
// выбор шрифта до следующей конвертации.
if (pkg.getMainDocumentPart() != null if (pkg.getMainDocumentPart() != null
&& pkg.getMainDocumentPart().getFontTablePart() != null) { && pkg.getMainDocumentPart().getFontTablePart() != null) {
pkg.getMainDocumentPart().getFontTablePart().deleteEmbeddedFontTempFiles(); pkg.getMainDocumentPart().getFontTablePart().deleteEmbeddedFontTempFiles();
} }
// Примечание: в docx4j 11.x OpcPackage.close() отсутствует — resetSharedImageCaches();
BundledFonts.restrictToBundled();
// Примечание: в docx4j 17.x OpcPackage.close() отсутствует —
// пакет загружается в память и ничего не закрывает. // пакет загружается в память и ничего не закрывает.
} }
} }
/** /**
* Нормализация входных байтов (цепочка {@link #normalizers}: правила 1–10 * Нормализация входных байтов (цепочка {@link #normalizers}: правила 1–11
* одним zip-проходом {@code DocxRewritePipeline} + условная OLE-вычистка) * одним zip-проходом {@code DocxRewritePipeline} + условная OLE-вычистка)
* и {@code WordprocessingMLPackage.load} полученного transitional-байта. * и {@code WordprocessingMLPackage.load} полученного transitional-байта.
* Нормализация переиспользует слот {@code bytes}: каждая замена массива * Нормализация переиспользует слот {@code bytes}: каждая замена массива
@@ -371,10 +456,11 @@ public final class WordPdfConverter {
* Конвейер байтовой нормализации docx. Порядок фиксирован: сначала один * Конвейер байтовой нормализации docx. Порядок фиксирован: сначала один
* zip-проход переписывания XML-частей (внутри части порядок рерайтов * zip-проход переписывания XML-частей (внутри части порядок рерайтов
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→ * Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→
* NumberingSuffix→Hidden→Ruby значим: Strict первым — дальше transitional-байт; * NumberingSuffix→Hidden→Ruby→MathFallback значим: Strict первым — дальше transitional-байт;
* GlyphCoverage — по финальному тексту рана; Hidden — вырезает скрытые * GlyphCoverage — по финальному тексту рана; Hidden — вырезает скрытые
* раны по финальному содержимому; Ruby — разворачивает руби-разметку, * раны по финальному содержимому; Ruby — разворачивает руби-разметку,
* которую схема docx4j не биндит), затем OleObjectNormalizer * которую схема docx4j не биндит; MathFallback — деградирует OMML-формулы
* в текст m:t, когда JEuclid недоступен), затем OleObjectNormalizer
* (меняет части, а не XML ранов). * (меняет части, а не XML ранов).
* Регрессии каждого рерайта — в javadoc соответствующего нормализатора. * Регрессии каждого рерайта — в javadoc соответствующего нормализатора.
*/ */
@@ -382,17 +468,19 @@ public final class WordPdfConverter {
return List.of( return List.of(
// один zip-проход: strict→transitional, on/off, Symbol-PUA, // один zip-проход: strict→transitional, on/off, Symbol-PUA,
// поля PAGE/NUMPAGES, невидимки, покрытие глифов, tblInd при // поля PAGE/NUMPAGES, невидимки, покрытие глифов, tblInd при
// jc≠left, suff=space, скрытый текст (vanish) — порядок // jc≠left, suff=space, скрытый текст (vanish), снятие обёртки
// w:ruby, OMML-фолбэк в текст — порядок
// рерайтов внутри части фиксирован (DocxRewritePipeline) // рерайтов внутри части фиксирован (DocxRewritePipeline)
DocxRewritePipeline.STEP, DocxRewritePipeline.STEP,
// OLE-объекты: при выключенном errorOnOle тихо удаляем // OLE-объекты: при выключенном errorOnOle тихо удаляем
// (часть/rels/w:object), при включённом — DrawingFoundException // (часть/rels/w:object), при включённом — OleFoundException
// (OleObjectNormalizer); второй проход, т.к. меняет части, а не XML // (OleObjectNormalizer); второй проход, т.к. меняет части, а не XML
bytes -> OleObjectNormalizer.normalize(bytes, options.errorOnOle())); bytes -> OleObjectNormalizer.normalize(bytes, options.errorOnOle()));
} }
/** /**
* Вендорный docx2fo.xslt (копия из docx4j-export-fo + AUDIT-FIX-патч). * Вендорный docx2fo.xslt (копия из docx4j-export-fo + AUDIT-FIX-патчи:
* w:rPr/w:position→baseline-shift; AUDIT-FIX-2: moveFrom/moveTo/bdo/dir).
* {@code AbstractXsltExporterDelegate.getTemplates} кастит значение * {@code AbstractXsltExporterDelegate.getTemplates} кастит значение
* {@code setCustomXsltTemplates} в {@code Templates} — компилируем заранее; * {@code setCustomXsltTemplates} в {@code Templates} — компилируем заранее;
* {@code Templates} неизменяем и потокобезопасен, один экземпляр на процесс. * {@code Templates} неизменяем и потокобезопасен, один экземпляр на процесс.
@@ -407,7 +495,7 @@ public final class WordPdfConverter {
throw new ConversionException("Ресурс xslt/docx2fo.xslt не найден"); throw new ConversionException("Ресурс xslt/docx2fo.xslt не найден");
} }
return XmlUtils.getTransformerFactory().newTemplates(new StreamSource(xslt)); return XmlUtils.getTransformerFactory().newTemplates(new StreamSource(xslt));
} catch (Exception e) { } catch (IOException | TransformerConfigurationException e) {
throw new ConversionException("Не удалось скомпилировать xslt/docx2fo.xslt", e); throw new ConversionException("Не удалось скомпилировать xslt/docx2fo.xslt", e);
} }
} }
@@ -1,42 +0,0 @@
package ru.pjandro.wordpdf;
/**
* Единая точка конфигурации ядра: все настройки-дефолты — константы здесь.
* Рантайм-конфигурации нет: изменение значения = правка этого файла и пересборка.
* Лимиты входа ({@link #MAX_INPUT_MB}, {@link #MAX_PAGES}) — дефолты:
* вызывающий может переопределить их на конкретный вызов через
* {@link ConvertOptions}.
*/
public final class WordPdfSettings {
/** Максимальный размер входного .docx в МБ (дефолт). МБ = MiB = 1024 × 1024 байт. */
public static final long MAX_INPUT_MB = 5;
/** Документ длиннее — ошибка (дефолт). */
public static final int MAX_PAGES = 100;
/** Потолок суммарного распакованного размера архива (МБ) — защита от zip-бомбы. */
public static final long MAX_DECOMPRESSED_MB = 200;
/** Потолок числа записей в архиве — защита от бомбы «много записей». */
public static final int MAX_ZIP_ENTRIES = 8192;
/**
* Ошибка при находке диаграмм ({@code c:chart}) — {@link DrawingFoundException}.
* Дефолт {@code false} — конвертация проходит.
*/
public static final boolean ERROR_ON_CHARTS = false;
/** Ошибка при находке SmartArt ({@code dgm:relIds}) — {@link DrawingFoundException}. */
public static final boolean ERROR_ON_SMARTART = false;
/**
* Ошибка при находке OLE-объектов (бинарные {@code .bin}-части) —
* {@link DrawingFoundException}. Дефолт {@code false} — объекты тихо
* удаляются из документа (см. OleObjectNormalizer), конвертация проходит.
*/
public static final boolean ERROR_ON_OLE = false;
private WordPdfSettings() {
}
}
@@ -30,19 +30,15 @@ import java.util.zip.ZipInputStream;
* но им можно пользоваться и напрямую — например, проверить байты * но им можно пользоваться и напрямую — например, проверить байты
* документа, полученного из сети или БД, до любой работы с ними. * документа, полученного из сети или БД, до любой работы с ними.
* *
* <p>Лимиты по умолчанию: * <p>Лимитов-констант в ядре нет: все пороги выводятся из лимитов входа
* <ul> * {@link ConvertOptions} ({@code maxMb} — размер в МБ, {@code maxPages} —
* <li>{@link WordPdfSettings#MAX_INPUT_MB} — максимальный размер входного .docx (МБ);</li> * число страниц): бюджеты распаковки {@link #maxDecompressedBytes(long, int)}
* <li>{@link WordPdfSettings#MAX_PAGES} — максимально допустимое число страниц;</li> * и {@link #maxDecompressedXmlBytes(long, int)}, порог площади растра
* <li>{@link WordPdfSettings#MAX_DECOMPRESSED_MB} — потолок суммарного * {@link #maxImagePixels(long)}, потолок числа zip-записей
* распакованного размера архива (МБ);</li> * {@code maxZipEntries} (package-private) — коэффициенты в
* <li>{@link WordPdfSettings#MAX_ZIP_ENTRIES} — потолок числа записей * {@link WordPdfConverter}. Конвертер применяет {@link ConvertOptions} сам;
* в архиве.</li> * одноаргументных оверлодов-дефолтов нет — лимит задаётся параметром каждого
* </ul> * метода.
* Первые два переопределяются на вызов: перегрузками с явным лимитом или
* {@link ConvertOptions} (конвертер {@link WordPdfConverter} применяет их сам).
* Последние два — защитные константные пороги ({@link #validate(byte[], ConvertOptions)}),
* {@link ConvertOptions} их не переопределяет.
* *
* <p>Проверка контейнера: архив обязан декларировать документ * <p>Проверка контейнера: архив обязан декларировать документ
* wordprocessingml в {@code [Content_Types].xml} — иначе это не .docx * wordprocessingml в {@code [Content_Types].xml} — иначе это не .docx
@@ -70,6 +66,15 @@ public final class WordPdfValidator {
/** Элемент-контейнер body, внутри которого sectPr — межсекционный разрыв. */ /** Элемент-контейнер body, внутри которого sectPr — межсекционный разрыв. */
private static final String BODY_ELEMENT = "body"; private static final String BODY_ELEMENT = "body";
/** Кэш-элемент &lt;Pages&gt; в docProps/app.xml. */
private static final String PAGES_ELEMENT = "Pages";
/** Элемент sectPr — секция документа (межсекционный разрыв). */
private static final String SECTION_PROPERTIES = "sectPr";
/** Элемент w:br — разрыв строки/страницы. */
private static final String BREAK_ELEMENT = "br";
/** Кэш Word &lt;Pages&gt;. */ /** Кэш Word &lt;Pages&gt;. */
private static final String APP_PART = "docProps/app.xml"; private static final String APP_PART = "docProps/app.xml";
@@ -79,15 +84,6 @@ public final class WordPdfValidator {
private WordPdfValidator() { private WordPdfValidator() {
} }
/**
* Проверяет размер байтов входа (для документа, полученного из сети/БД).
*
* @throws ValidationException при {@code null} или превышении лимита (МБ)
*/
public static void checkInput(byte[] docxBytes) throws ValidationException {
checkInput(docxBytes, WordPdfSettings.MAX_INPUT_MB);
}
/** /**
* Проверяет размер байтов входа против явного лимита в МБ (переопределение * Проверяет размер байтов входа против явного лимита в МБ (переопределение
* на вызов, см. {@link ConvertOptions#maxMb()}). МБ = MiB = 1024 × 1024 байт. * на вызов, см. {@link ConvertOptions#maxMb()}). МБ = MiB = 1024 × 1024 байт.
@@ -111,7 +107,7 @@ public final class WordPdfValidator {
* такой вход не проверяется .docx-валидацией (zip-пути), его страницы * такой вход не проверяется .docx-валидацией (zip-пути), его страницы
* считает мост {@code internal.doc} по чистому бинарному документу. * считает мост {@code internal.doc} по чистому бинарному документу.
*/ */
public static boolean isBinaryDoc(byte[] bytes) { static boolean isBinaryDoc(byte[] bytes) {
byte[] sig = {(byte) 0xD0, (byte) 0xCF, 0x11, (byte) 0xE0, byte[] sig = {(byte) 0xD0, (byte) 0xCF, 0x11, (byte) 0xE0,
(byte) 0xA1, (byte) 0xB1, 0x1A, (byte) 0xE1}; (byte) 0xA1, (byte) 0xB1, 0x1A, (byte) 0xE1};
if (bytes == null || bytes.length < sig.length) { if (bytes == null || bytes.length < sig.length) {
@@ -154,19 +150,13 @@ public final class WordPdfValidator {
* .docx-манифест и распакованный размер (регрессия — * .docx-манифест и распакованный размер (регрессия —
* {@code WordPdfValidatorTest#validate_notAZip}); поэтому вызывать * {@code WordPdfValidatorTest#validate_notAZip}); поэтому вызывать
* {@code checkPageCount} напрямую допустимо только над доверенным входом. * {@code checkPageCount} напрямую допустимо только над доверенным входом.
* @throws ValidationException при {@code null}, ошибке разбора zip или превышении {@link WordPdfSettings#MAX_PAGES} *
*/ * <p>Лимит страниц задаётся параметром (переопределение на вызов,
public static void checkPageCount(byte[] docxBytes) throws ValidationException { * см. {@link ConvertOptions#maxPages()}).
checkPageCount(docxBytes, WordPdfSettings.MAX_PAGES);
}
/**
* То же, что {@link #checkPageCount(byte[])}, с явным лимитом
* страниц (переопределение на вызов, см. {@link ConvertOptions#maxPages()}).
* *
* @throws ValidationException при {@code null}, ошибке разбора zip или превышении {@code maxPages} * @throws ValidationException при {@code null}, ошибке разбора zip или превышении {@code maxPages}
*/ */
public static void checkPageCount(byte[] docxBytes, int maxPages) throws ValidationException { static void checkPageCount(byte[] docxBytes, int maxPages) throws ValidationException {
if (docxBytes == null) { if (docxBytes == null) {
throw new ValidationException("Не указаны байты входного .docx"); throw new ValidationException("Не указаны байты входного .docx");
} }
@@ -215,17 +205,7 @@ public final class WordPdfValidator {
* разрывы 0x0C − непрерывные межсекционные разрывы + абзацы с * разрывы 0x0C − непрерывные межсекционные разрывы + абзацы с
* pageBreakBefore)} — тот же контур, что lightweight-скан по zip для * pageBreakBefore)} — тот же контур, что lightweight-скан по zip для
* .docx. Разбор делает {@code internal.doc} ({@link DocToDocx#countPages(byte[])}). * .docx. Разбор делает {@code internal.doc} ({@link DocToDocx#countPages(byte[])}).
* * Лимит страниц задаётся параметром (см. {@link ConvertOptions#maxPages()}).
* @throws ValidationException при {@code null}, не-.doc-входе, шифровании
* или превышении {@link WordPdfSettings#MAX_PAGES}
*/
public static void checkPageCountDoc(byte[] docBytes) throws ValidationException {
checkPageCountDoc(docBytes, WordPdfSettings.MAX_PAGES);
}
/**
* То же, что {@link #checkPageCountDoc(byte[])}, с явным лимитом
* страниц (переопределение на вызов, см. {@link ConvertOptions#maxPages()}).
* *
* <p>Отказ разбора {@code .doc}-моста ({@code internal.doc}) — * <p>Отказ разбора {@code .doc}-моста ({@code internal.doc}) —
* {@link ConversionException} — оборачивается здесь в * {@link ConversionException} — оборачивается здесь в
@@ -237,7 +217,7 @@ public final class WordPdfValidator {
* @throws ValidationException при {@code null}, не-.doc-входе, шифровании * @throws ValidationException при {@code null}, не-.doc-входе, шифровании
* или превышении {@code maxPages} * или превышении {@code maxPages}
*/ */
public static void checkPageCountDoc(byte[] docBytes, int maxPages) throws ValidationException { static void checkPageCountDoc(byte[] docBytes, int maxPages) throws ValidationException {
if (docBytes == null) { if (docBytes == null) {
throw new ValidationException("Не указаны байты входного .doc"); throw new ValidationException("Не указаны байты входного .doc");
} }
@@ -273,18 +253,25 @@ public final class WordPdfValidator {
* <p>Проверка контейнера: в {@code [Content_Types].xml} обязана быть * <p>Проверка контейнера: в {@code [Content_Types].xml} обязана быть
* декларация документа wordprocessingml (архив без неё — не .docx); * декларация документа wordprocessingml (архив без неё — не .docx);
* zip-бомба отсекается потоковым счётчиком распакованных байт * zip-бомба отсекается потоковым счётчиком распакованных байт
* ({@link WordPdfSettings#MAX_DECOMPRESSED_MB}) и числом записей * ({@link #maxDecompressedBytes(long, int)}, XML —
* ({@link WordPdfSettings#MAX_ZIP_ENTRIES}) — до разбора содержимого * {@link #maxDecompressedXmlBytes(long, int)}) и числом записей
* в {@link #checkPageCount(byte[], int)}. Оба лимита — * ({@code maxZipEntries}) — до разбора содержимого
* защитные пороги, {@link ConvertOptions} их не переопределяет. * в {@link #checkPageCount(byte[], int)}. Все пороги — производные от
* {@code options.maxMb()}/{@code options.maxPages()}, отдельных
* констант в ядре нет.
* Регрессии — {@code WordPdfValidatorTest#validate_plainZipRejected}, * Регрессии — {@code WordPdfValidatorTest#validate_plainZipRejected},
* {@code #validate_xlsxRenamedRejected}, {@code #validate_zipBombRejected}, * {@code #validate_xlsxRenamedRejected}, {@code #validate_zipBombRejected},
* {@code #validate_tooManyEntriesRejected}.</p> * {@code #validate_tooManyEntriesRejected}.</p>
* @throws ValidationException при {@code null}, превышении {@code options.maxMb()}, * @throws ValidationException при {@code null} входа или {@code options},
* превышении {@code options.maxMb()},
* отсутствии zip-подписи, не-.docx-контейнере, признаках zip-бомбы, * отсутствии zip-подписи, не-.docx-контейнере, признаках zip-бомбы,
* ошибке разбора zip или превышении {@code options.maxPages()} * ошибке разбора zip или превышении {@code options.maxPages()}
*/ */
public static void validate(byte[] docxBytes, ConvertOptions options) throws ValidationException { public static void validate(byte[] docxBytes, ConvertOptions options) throws ValidationException {
if (options == null) {
throw new ValidationException("Не переданы параметры конвертации (ConvertOptions): "
+ "лимиты входа задаёт вызывающий");
}
checkInput(docxBytes, options.maxMb()); checkInput(docxBytes, options.maxMb());
if (isBinaryDoc(docxBytes)) { if (isBinaryDoc(docxBytes)) {
// Бинарный .doc: страницы — по чистому бинарному документу, // Бинарный .doc: страницы — по чистому бинарному документу,
@@ -296,7 +283,11 @@ public final class WordPdfValidator {
|| (docxBytes[2] & 0xFF) != 0x03 || (docxBytes[3] & 0xFF) != 0x04) { || (docxBytes[2] & 0xFF) != 0x03 || (docxBytes[3] & 0xFF) != 0x04) {
throw new ValidationException("Содержимое не похоже на .docx или .doc (не zip-архив)"); throw new ValidationException("Содержимое не похоже на .docx или .doc (не zip-архив)");
} }
checkDocxContainer(docxBytes); checkDocxContainer(docxBytes,
maxDecompressedBytes(options.maxMb(), options.maxPages()),
maxDecompressedXmlBytes(options.maxMb(), options.maxPages()),
maxZipEntries(options.maxMb(), options.maxPages()),
maxImagePixels(options.maxMb()));
checkPageCount(docxBytes, options.maxPages()); checkPageCount(docxBytes, options.maxPages());
} }
@@ -306,30 +297,60 @@ public final class WordPdfValidator {
* в {@link #checkPageCount(byte[], int)}) и наличие в * в {@link #checkPageCount(byte[], int)}) и наличие в
* {@code [Content_Types].xml} декларации документа wordprocessingml * {@code [Content_Types].xml} декларации документа wordprocessingml
* (архив без неё — не .docx: обычный zip, переименованный .xlsx/.pptx). * (архив без неё — не .docx: обычный zip, переименованный .xlsx/.pptx).
*
* <p>Пороги передаются параметром (считает
* {@link #validate(byte[], ConvertOptions)} из лимитов входа через
* {@link #maxDecompressedBytes} / {@link #maxDecompressedXmlBytes} /
* {@code maxZipEntries} / {@link #maxImagePixels}): заголовок
* центрального каталога врёт о размере, поэтому считается по ходу чтения.
*/ */
private static void checkDocxContainer(byte[] docxBytes) throws ValidationException { private static void checkDocxContainer(byte[] docxBytes, long maxTotal, long maxXmlTotal,
long maxTotal = WordPdfSettings.MAX_DECOMPRESSED_MB * 1024 * 1024; long maxEntries, long maxPixels)
throws ValidationException {
long total = 0; long total = 0;
long xmlTotal = 0;
int entries = 0; int entries = 0;
// OPC требует уникальных имён частей: дубликат — либо крафт, либо
// обход кэша страниц (валидатор читает ПЕРВУЮ партию document.xml,
// парсер может взять другую) — отказ по первому повтору имени.
Set<String> names = new HashSet<>();
ByteArrayOutputStream ctBuf = new ByteArrayOutputStream(); ByteArrayOutputStream ctBuf = new ByteArrayOutputStream();
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docxBytes))) { try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docxBytes))) {
ZipEntry entry; ZipEntry entry;
while ((entry = zip.getNextEntry()) != null) { while ((entry = zip.getNextEntry()) != null) {
if (!names.add(entry.getName())) {
throw new ValidationException("Дубликаты записей в архиве: " + entry.getName());
}
if (!entry.isDirectory()) { if (!entry.isDirectory()) {
entries++; entries++;
if (entries > WordPdfSettings.MAX_ZIP_ENTRIES) { if (entries > maxEntries) {
throw new ValidationException("Слишком много записей в архиве: больше " throw new ValidationException("Слишком много записей в архиве: больше "
+ WordPdfSettings.MAX_ZIP_ENTRIES); + maxEntries);
} }
} }
boolean isCt = "[Content_Types].xml".equals(entry.getName()); String name = entry.getName();
boolean isCt = "[Content_Types].xml".equals(name);
boolean isXml = name.endsWith(".xml") || name.endsWith(".rels");
// Raster-bomb: маленькая запись объявляет гигантский растр
// (декод по заголовку) — размеры читаются из head-буфера,
// весь содержимый поток идёт через счётчик total как раньше.
boolean isRaster = isRasterMedia(name);
byte[] head = isRaster ? new byte[RASTER_HEAD_LIMIT] : null;
int headLen = 0;
byte[] buf = new byte[8192]; byte[] buf = new byte[8192];
int n; int n;
while ((n = zip.read(buf)) > 0) { while ((n = zip.read(buf)) > 0) {
total += n; total += n;
if (total > maxTotal) { if (total > maxTotal) {
throw new ValidationException("Распакованный размер архива больше " throw new ValidationException("Распакованный размер архива больше "
+ WordPdfSettings.MAX_DECOMPRESSED_MB + " МБ (признак zip-бомбы)"); + (maxTotal / 1048576) + " МБ (признак zip-бомбы)");
}
if (isXml) {
xmlTotal += n;
if (xmlTotal > maxXmlTotal) {
throw new ValidationException("Суммарный распакованный размер XML-частей больше "
+ (maxXmlTotal / 1048576) + " МБ (признак zip-бомбы)");
}
} }
if (isCt) { if (isCt) {
if (ctBuf.size() + n > 8 * 1024 * 1024) { if (ctBuf.size() + n > 8 * 1024 * 1024) {
@@ -338,6 +359,18 @@ public final class WordPdfValidator {
} }
ctBuf.write(buf, 0, n); ctBuf.write(buf, 0, n);
} }
if (head != null && headLen < head.length) {
int take = Math.min(n, head.length - headLen);
System.arraycopy(buf, 0, head, headLen, take);
headLen += take;
}
}
if (head != null) {
long area = rasterArea(name, head, headLen);
if (area > maxPixels) {
throw new ValidationException("Изображение слишком большое: " + name
+ " объявляет не менее " + area + " пикселей");
}
} }
} }
} catch (ValidationException e) { } catch (ValidationException e) {
@@ -357,6 +390,55 @@ public final class WordPdfValidator {
} }
} }
/**
* Бюджет суммарной распаковки docx, байты: {@code max(MIN_DECOMPRESSED_MB×MiB,
* maxMb×10MiB + maxPages×64KiB)} — без верхней крышки: бюджет догоняет
* лимиты входа (защита от upload-бомбы масштабируется вместе с них).
* Коэффициенты — {@link WordPdfConverter#DECOMPRESS_MB_PER_MAX_MB} и
* {@link WordPdfConverter#DECOMPRESS_KIB_PER_PAGE} (запас на XML/медиа
* легитимного архива), пол — {@link WordPdfConverter#MIN_DECOMPRESSED_MB}
* (мелким лимитам входа). Регрессия —
* WordPdfValidatorTest#validate_smallLimitsBudgetFloor,
* #validate_budgetScalesWithInputLimits.
*/
static long maxDecompressedBytes(long maxMb, int maxPages) {
long budget = Math.multiplyExact(maxMb,
WordPdfConverter.DECOMPRESS_MB_PER_MAX_MB * 1048576L)
+ (long) maxPages * WordPdfConverter.DECOMPRESS_KIB_PER_PAGE * 1024L;
return Math.max(WordPdfConverter.MIN_DECOMPRESSED_MB * 1048576L, budget);
}
/**
* Бюджет распаковки XML-частей docx, байты: {@code max(MIN_DECOMPRESSED_XML_MB×MiB,
* maxMb×4MiB + maxPages×32KiB)} (XML парсится JAXB DOM — дороже байта,
* поэтому коэффициенты вдвое ниже суммарных, и пол ниже). Инвариант: при
* одних лимитах строго меньше суммарного бюджета, поэтому гейт XML
* достижим.
*/
static long maxDecompressedXmlBytes(long maxMb, int maxPages) {
long budget = Math.multiplyExact(maxMb,
WordPdfConverter.DECOMPRESS_XML_MB_PER_MAX_MB * 1048576L)
+ (long) maxPages * WordPdfConverter.DECOMPRESS_XML_KIB_PER_PAGE * 1024L;
return Math.max(WordPdfConverter.MIN_DECOMPRESSED_XML_MB * 1048576L, budget);
}
/**
* Порог пиксельной площади одного растрового медиа, пиксели:
* {@code maxMb×5_000_000} (при лимите 5 МБ — 25 Мпикс, как в Word;
* разложение в ARGB-буфер ≈ 4 байта/пиксель). Публичный — нужен
* .doc-мосту ({@code OfficeArt}) для той же защиты на своём пути.
*/
public static long maxImagePixels(long maxMb) {
return Math.multiplyExact(maxMb, WordPdfConverter.IMAGE_PIXELS_PER_MAX_MB);
}
/** Порог числа zip-записей: {@code max(2048, maxMb×512 + maxPages×32)} — защита от бомбы «много записей». */
static long maxZipEntries(long maxMb, int maxPages) {
long v = Math.multiplyExact(maxMb, WordPdfConverter.ZIP_ENTRIES_PER_MAX_MB)
+ (long) maxPages * WordPdfConverter.ZIP_ENTRIES_PER_PAGE;
return Math.max(WordPdfConverter.MIN_ZIP_ENTRIES, v);
}
/** Поиск байтов ASCII-строки в массиве (манифест ограничен 8 МБ — наивного поиска достаточно). */ /** Поиск байтов ASCII-строки в массиве (манифест ограничен 8 МБ — наивного поиска достаточно). */
private static boolean containsAscii(byte[] data, String needle) { private static boolean containsAscii(byte[] data, String needle) {
byte[] pat = needle.getBytes(StandardCharsets.UTF_8); byte[] pat = needle.getBytes(StandardCharsets.UTF_8);
@@ -372,6 +454,89 @@ public final class WordPdfValidator {
return false; return false;
} }
/** Растровые медиа, чьи размеры читываются из заголовка (прочие форматы не инспектируются). */
private static boolean isRasterMedia(String name) {
String n = name.toLowerCase(java.util.Locale.ROOT);
return n.endsWith(".png") || n.endsWith(".gif") || n.endsWith(".bmp")
|| n.endsWith(".jpg") || n.endsWith(".jpeg");
}
/** Хватает на PNG/GIF/BMP-заголовок и на JPEG-SOF даже с большими embedded-превью. */
private static final int RASTER_HEAD_LIMIT = 64 * 1024;
/** Минимальный читаемый заголовок GIF: сигнатура «GIF8xа» + width/height (2×u16). */
private static final int GIF_HEADER_MIN = 10;
/** Префикс каждого JPEG-сегмента: маркер 0xFF. */
private static final int JPEG_MARKER = 0xFF;
/**
* Пиксельная площадь по заголовку растра (PNG — IHDR big-endian, GIF/BMP —
* little-endian, JPEG — скан сегментов SOFn); нераспознанный/неполный
* заголовок → -1 (не отклонять: формат мог быть нестандартным, декод
* всё равно ограничен {@code total}).
*/
private static long rasterArea(String name, byte[] h, int len) {
String n = name.toLowerCase(java.util.Locale.ROOT);
if (n.endsWith(".png")) {
if (len >= 24 && (h[0] & 0xFF) == 0x89 && h[1] == 'P' && h[2] == 'N' && h[3] == 'G') {
return be32(h, 16) * (long) be32(h, 20);
}
return -1;
}
if (n.endsWith(".gif")) {
if (len >= GIF_HEADER_MIN) {
return (long) le16(h, 6) * le16(h, 8);
}
return -1;
}
if (n.endsWith(".bmp")) {
if (len >= 26 && h[0] == 'B' && h[1] == 'M') {
return Math.abs((long) le32(h, 18)) * Math.abs((long) le32(h, 22));
}
return -1;
}
// JPEG: скан маркеров до SOFn (C0–CF кроме C4/DHT, C8, CC/DAC);
// префикс FFD8 обязателен, иначе — не JPEG.
if (len < 4 || (h[0] & 0xFF) != 0xFF || (h[1] & 0xFF) != 0xD8) {
return -1;
}
int i = 2;
while (i + 4 <= len) {
if ((h[i] & JPEG_MARKER) != JPEG_MARKER) {
return -1;
}
int marker = h[i + 1] & 0xFF;
if (marker >= 0xC0 && marker <= 0xCF && marker != 0xC4 && marker != 0xC8 && marker != 0xCC) {
if (i + 9 > len) {
return -1;
}
return (long) be16(h, i + 7) * be16(h, i + 5);
}
if (marker == 0xD8 || (marker >= 0xD0 && marker <= 0xD7) || marker == 0x01) {
i += 2;
continue;
}
i += 2 + be16(h, i + 2);
}
return -1;
}
private static int be16(byte[] b, int off) {
return ((b[off] & 0xFF) << 8) | (b[off + 1] & 0xFF);
}
private static int le16(byte[] b, int off) {
return (b[off] & 0xFF) | ((b[off + 1] & 0xFF) << 8);
}
private static int be32(byte[] b, int off) {
return (be16(b, off) << 16) | be16(b, off + 2);
}
private static int le32(byte[] b, int off) {
return (le16(b, off) & 0xFFFF) | (le16(b, off + 2) << 16);
}
/** {@code word/headerN.xml} / {@code word/footerN.xml} (не .rels). */ /** {@code word/headerN.xml} / {@code word/footerN.xml} (не .rels). */
private static boolean isHeaderFooterPart(String name) { private static boolean isHeaderFooterPart(String name) {
return (name.startsWith("word/header") || name.startsWith("word/footer")) return (name.startsWith("word/header") || name.startsWith("word/footer"))
@@ -407,7 +572,7 @@ public final class WordPdfValidator {
XMLStreamReader xr = newSecureReader().createXMLStreamReader(in); XMLStreamReader xr = newSecureReader().createXMLStreamReader(in);
while (xr.hasNext()) { while (xr.hasNext()) {
if (xr.next() == XMLStreamReader.START_ELEMENT if (xr.next() == XMLStreamReader.START_ELEMENT
&& "Pages".equals(xr.getLocalName())) { && PAGES_ELEMENT.equals(xr.getLocalName())) {
String text = xr.getElementText().trim(); String text = xr.getElementText().trim();
return Math.max(0, Integer.parseInt(text)); return Math.max(0, Integer.parseInt(text));
} }
@@ -496,7 +661,7 @@ public final class WordPdfValidator {
// различает финальную и межсекционные) // различает финальную и межсекционные)
} }
case "type" -> { case "type" -> {
if (inBodySectPr && "sectPr".equals(parent)) { if (inBodySectPr && SECTION_PROPERTIES.equals(parent)) {
sectTypeVal = attrLocal(xr, "val"); sectTypeVal = attrLocal(xr, "val");
} }
} }
@@ -504,7 +669,7 @@ public final class WordPdfValidator {
} }
} }
} else if (ev == XMLStreamReader.END_ELEMENT) { } else if (ev == XMLStreamReader.END_ELEMENT) {
if ("sectPr".equals(xr.getLocalName()) && inBodySectPr) { if (SECTION_PROPERTIES.equals(xr.getLocalName()) && inBodySectPr) {
if (pendingNewPageSection) { if (pendingNewPageSection) {
bodyDirectSectPr++; bodyDirectSectPr++;
} }
@@ -537,7 +702,7 @@ public final class WordPdfValidator {
XMLStreamReader xr = newSecureReader().createXMLStreamReader(in); XMLStreamReader xr = newSecureReader().createXMLStreamReader(in);
while (xr.hasNext()) { while (xr.hasNext()) {
if (xr.next() == XMLStreamReader.START_ELEMENT if (xr.next() == XMLStreamReader.START_ELEMENT
&& "br".equals(xr.getLocalName()) && isPageBreak(xr)) { && BREAK_ELEMENT.equals(xr.getLocalName()) && isPageBreak(xr)) {
count++; count++;
} }
} }
@@ -0,0 +1,106 @@
package ru.pjandro.wordpdf.fonts;
import java.util.HashMap;
import java.util.Locale;
import java.util.Map;
/**
* Таблица алиасов имён шрифтов и обратное имя для {@code w:rFonts}.
*
* Почему это вынесено из {@link BundledFontMapper}: обращение к статикам
* маппера (чарты, GlyphCoverageNormalizer, MathModel) по правилам JVM
* инициализирует и суперкласс {@code BestMatchingMapper}, чей
* {@code <clinit>} сканирует classpath-джары в реестр {@code PhysicalFonts};
* системный скан гейтится свойствами {@code docx4j.fonts.discover*},
* которые выставляет {@code WordPdfConverter.<clinit>}, — и при раннем
* обращении к мапперу скан мог пройти без гейта. У этого класса нет
* наследования, его статика безопасна при любом порядке загрузки.
* Экземпляр {@code BundledFontMapper} создаётся только в конвейере
* {@code WordPdfConverter} — всегда после его {@code <clinit>}.
*/
public final class BundledFontAliases {
/**
* Алиасы: имя шрифта из документа (lowercase) -> бандл-семейство (lowercase).
* Croscore (Arimo/Tinos/Cousine) и crosextra (Carlito/Caladea) шрифты
* метрически совместимы с соответствующими MS-шрифтами и содержат
* кириллицу.
*/
static final Map<String, String> ALIASES;
static {
Map<String, String> m = new HashMap<>();
// Частые MS-шрифты -> open-source аналоги
m.put("calibri", "carlito");
m.put("calibri light", "carlito");
m.put("cambria", "caladea");
m.put("arial", "arimo");
m.put("times new roman", "tinos");
m.put("courier new", "cousine");
// Бандл-шрифты сами по себе (на случай, если документ прямо
// указывает одно из них)
m.put("carlito", "carlito");
m.put("caladea", "caladea");
m.put("arimo", "arimo");
m.put("tinos", "tinos");
m.put("cousine", "cousine");
m.put("dejavu sans", "dejavu sans");
m.put("dejavu serif", "dejavu serif");
// Покрывающие шрифты (в документе обычно не встречаются, но если
// встречаться — маппятся на себя, а не в DejaVu-фолбэк)
m.put("noto naskh arabic", "noto naskh arabic");
m.put("noto sans armenian", "noto sans armenian");
ALIASES = Map.copyOf(m);
}
/** Финальный fallback: шрифт с гарантированной кириллицей. */
private static final String FALLBACK_FAMILY = BundledFonts.FALLBACK_FAMILY;
/**
* Имя семейства для записи в {@code w:rFonts} (ключ — lowercase-семейство).
* Нужно {@code GlyphCoverageNormalizer}: он пишет в разрезанный ран
* человекочитаемое имя, а {@code BundledFontMapper.populateFontMappings}
* маппит его обратно на TTF.
*/
private static final Map<String, String> DISPLAY_NAMES = Map.of(
"dejavu sans", "DejaVu Sans",
"dejavu serif", "DejaVu Serif",
"noto naskh arabic", "Noto Naskh Arabic",
"noto sans armenian", "Noto Sans Armenian");
/**
* Имя, которое docx4j {@code RunFontSelector} запрашивает у маппера для
* символов диапазона U+2000–U+2EFF (em-dash «—», кавычки «„», многоточие
* «…»), если шрифт ранa не содержит глифа. Это виртуальное имя (в
* документе его нет), поэтому маппим его на {@link #FALLBACK_FAMILY}:
* без записи символ остаётся без font-family в FO и рендерится системным
* неembedded-шрифтом (Helvetica).
*/
static final String SYMBOL_FONT = "Segoe UI Symbol";
private BundledFontAliases() {
}
/**
* Бандл-семейство для имени шрифта из документа (таблица алиасов)
* или финальный fallback. Используется пре-рендером диаграмм и формул
* (internal/chart), которому нужен тот же шрифт, что и у текста PDF.
*/
public static String bundledFamily(String docFontName) {
String family = ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
return family != null && BundledFonts.regular(family) != null
? family
: FALLBACK_FAMILY;
}
/**
* Имя шрифта, которое можно поставить в {@code w:rFonts}, чтобы получить
* бандл-семейство {@code family}: {@code GlyphCoverageNormalizer} пишет
* его в разрезанные раны. Обратная к {@link #bundledFamily} операция —
* имена берутся из таблицы алиасов, поэтому маппинг гарантированно
* возвращается к тому же семейству.
*/
public static String documentFontName(String family) {
return DISPLAY_NAMES.getOrDefault(family, family);
}
}
@@ -4,10 +4,8 @@ import org.docx4j.fonts.BestMatchingMapper;
import org.docx4j.fonts.PhysicalFont; import org.docx4j.fonts.PhysicalFont;
import org.docx4j.wml.Fonts; import org.docx4j.wml.Fonts;
import java.util.HashMap;
import java.util.LinkedHashSet; import java.util.LinkedHashSet;
import java.util.Locale; import java.util.Locale;
import java.util.Map;
import java.util.Set; import java.util.Set;
/** /**
@@ -15,7 +13,8 @@ import java.util.Set;
* *
* Стратегия (см. {@link #populateFontMappings}): * Стратегия (см. {@link #populateFontMappings}):
* 1. Частые MS-шрифты заменяются метрически совместимыми open-source * 1. Частые MS-шрифты заменяются метрически совместимыми open-source
* аналогами (таблица алиасов) — они есть в jar и содержат кириллицу. * аналогами (таблица алиасов {@link BundledFontAliases}) — они есть в
* jar и содержат кириллицу.
* 2. Нераспознанные шрифты передаются родительскому * 2. Нераспознанные шрифты передаются родительскому
* {@link BestMatchingMapper} (совпадение по Panose-кодам среди * {@link BestMatchingMapper} (совпадение по Panose-кодам среди
* доступных шрифтов). * доступных шрифтов).
@@ -27,95 +26,30 @@ import java.util.Set;
* файл для каждого начертания. Ключи register*Form — точное имя из * файл для каждого начертания. Ключи register*Form — точное имя из
* документа: docx4j ищет варианты именно по нему. * документа: docx4j ищет варианты именно по нему.
* *
* ВАЖНО (macOS): {@code PhysicalFonts.getBoldForm} для имён бандл-шрифтов
* ({@code Tinos Regular}, {@code Carlito Regular}, …) на macOS уходит в
* {@code MicrosoftFontsRegistry} и возвращает {@code null} — у этих записей
* нет Mac-имени файла. docx4j тогда строит simulate-style fopconf (все
* начертания на regular-TTF), и FOP теряет реальные Bold/Italic: другие
* метрики и кернинг ломают переносы в узких ячейках (регрессии —
* {@code WordPdfConverterTest#strictOoxml_convertsNotRejected},
* {@code #ruPlain_regularRunsUseRegularFont}). Override-ы
* {@code getBoldForm}/{@code getItalicForm}/{@code getBoldItalicForm}
* отдают реальные бандл-варианты.
*
* ВАЖНО (порядок инициализации): конструктор BestMatchingMapper * ВАЖНО (порядок инициализации): конструктор BestMatchingMapper
* запускает обнаружение системных шрифтов, которые могут занять те же * запускает обнаружение системных шрифтов, которые могут занять те же
* имена в реестре docx4j. Поэтому {@code BundledFonts.init()} нужно * имена в реестре docx4j. Поэтому {@code BundledFonts.init()} нужно
* вызывать ПОСЛЕ создания маппера, чтобы бандл-шрифты оказались в * вызывать ПОСЛЕ создания маппера, чтобы бандл-шрифты оказались в
* реестре поверх системных. * реестре поверх системных. Таблица алиасов вынесена в
* {@link BundledFontAliases}, чтобы обращение к ней не инициировало этот
* класс до гейта {@code WordPdfConverter.<clinit>}.
*/ */
public class BundledFontMapper extends BestMatchingMapper { public class BundledFontMapper extends BestMatchingMapper {
/**
* Алиасы: имя шрифта из документа (lowercase) -> бандл-семейство (lowercase).
* Croscore (Arimo/Tinos/Cousine) и crosextra (Carlito/Caladea) шрифты
* метрически совместимы с соответствующими MS-шрифтами и содержат
* кириллицу.
*/
private static final Map<String, String> ALIASES;
/** Финальный fallback: шрифт с гарантированной кириллицей. */ /** Финальный fallback: шрифт с гарантированной кириллицей. */
private static final String FALLBACK_FAMILY = BundledFonts.FALLBACK_FAMILY; private static final String FALLBACK_FAMILY = BundledFonts.FALLBACK_FAMILY;
/**
* Имя семейства для записи в {@code w:rFonts} (ключ — lowercase-семейство).
* Нужно {@code GlyphCoverageNormalizer}: он пишет в разрезанный ран
* человекочитаемое имя, а {@link #populateFontMappings} маппит его
* обратно на TTF.
*/
private static final Map<String, String> DISPLAY_NAMES = Map.of(
"dejavu sans", "DejaVu Sans",
"dejavu serif", "DejaVu Serif",
"noto naskh arabic", "Noto Naskh Arabic",
"noto sans armenian", "Noto Sans Armenian");
/**
* Имя, которое docx4j {@code RunFontSelector} запрашивает у маппера для
* символов диапазона U+2000–U+2EFF (em-dash «—», кавычки «„», многоточие
* «…»), если шрифт ранa не содержит глифа. Это виртуальное имя (в
* документе его нет), поэтому маппим его на {@link #FALLBACK_FAMILY}:
* без записи символ остаётся без font-family в FO и рендерится системным
* неembedded-шрифтом (Helvetica).
*/
static final String SYMBOL_FONT = "Segoe UI Symbol";
static {
Map<String, String> m = new HashMap<>();
// Частые MS-шрифты -> open-source аналоги
m.put("calibri", "carlito");
m.put("calibri light", "carlito");
m.put("cambria", "caladea");
m.put("arial", "arimo");
m.put("times new roman", "tinos");
m.put("courier new", "cousine");
// Бандл-шрифты сами по себе (на случай, если документ прямо
// указывает одно из них)
m.put("carlito", "carlito");
m.put("caladea", "caladea");
m.put("arimo", "arimo");
m.put("tinos", "tinos");
m.put("cousine", "cousine");
m.put("dejavu sans", "dejavu sans");
m.put("dejavu serif", "dejavu serif");
// Покрывающие шрифты (в документе обычно не встречаются, но если
// встречаться — маппятся на себя, а не в DejaVu-фолбэк)
m.put("noto naskh arabic", "noto naskh arabic");
m.put("noto sans armenian", "noto sans armenian");
ALIASES = Map.copyOf(m);
}
/**
* Бандл-семейство для имени шрифта из документа (таблица алиасов)
* или финальный fallback. Используется пре-рендером диаграмм
* (internal/chart), которому нужен тот же шрифт, что и у текста PDF.
*/
public static String bundledFamily(String docFontName) {
String family = ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
return family != null && BundledFonts.regular(family) != null
? family
: FALLBACK_FAMILY;
}
/**
* Имя шрифта, которое можно поставить в {@code w:rFonts}, чтобы получить
* бандл-семейство {@code family}: {@link GlyphCoverageNormalizer} пишет
* его в разрезанные раны. Обратная к {@link #bundledFamily} операция —
* имена берутся из таблицы алиасов, поэтому маппинг гарантированно
* возвращается к тому же семейству.
*/
public static String documentFontName(String family) {
return DISPLAY_NAMES.getOrDefault(family, family);
}
/** /**
* Вызывается docx4j при {@code package.setFontMapper(...)}: для каждого * Вызывается docx4j при {@code package.setFontMapper(...)}: для каждого
* имени шрифта, использованного в документе, нужно определить, каким * имени шрифта, использованного в документе, нужно определить, каким
@@ -126,21 +60,21 @@ public class BundledFontMapper extends BestMatchingMapper {
*/ */
@Override @Override
public void populateFontMappings(Set<String> documentFontNames, Fonts wmlFonts) throws Exception { public void populateFontMappings(Set<String> documentFontNames, Fonts wmlFonts) throws Exception {
// Виртуальное имя для символов U+2000–U+2EFF (см. SYMBOL_FONT): // Виртуальное имя для символов U+2000–U+2EFF (см. BundledFontAliases.SYMBOL_FONT):
// маппим сразу, чтобы оно не попало в remaining и родительский // маппим сразу, чтобы оно не попало в remaining и родительский
// BestMatchingMapper не пытался искать его в fontTable (и не логировал // BestMatchingMapper не пытался искать его в fontTable (и не логировал
// "Font Segoe UI Symbol not found in font table!"). // "Font Segoe UI Symbol not found in font table!").
if (BundledFonts.regular(FALLBACK_FAMILY) != null) { if (BundledFonts.regular(FALLBACK_FAMILY) != null) {
mapFamily(SYMBOL_FONT, FALLBACK_FAMILY); mapFamily(BundledFontAliases.SYMBOL_FONT, FALLBACK_FAMILY);
} }
Set<String> remaining = new LinkedHashSet<>(); Set<String> remaining = new LinkedHashSet<>();
for (String docFontName : documentFontNames) { for (String docFontName : documentFontNames) {
if (SYMBOL_FONT.equalsIgnoreCase(docFontName)) { if (BundledFontAliases.SYMBOL_FONT.equalsIgnoreCase(docFontName)) {
// уже маппировано выше // уже маппировано выше
continue; continue;
} }
String family = ALIASES.get(docFontName.toLowerCase(Locale.ROOT)); String family = BundledFontAliases.ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
if (family == null || BundledFonts.regular(family) == null) { if (family == null || BundledFonts.regular(family) == null) {
// Нет алиаса (или init() не вызван) — доверимся родителю // Нет алиаса (или init() не вызван) — доверимся родителю
remaining.add(docFontName); remaining.add(docFontName);
@@ -163,6 +97,51 @@ public class BundledFontMapper extends BestMatchingMapper {
} }
} }
/** Начертание бандла вместо registry-эвристики: см. «ВАЖНО (macOS)» в javadoc класса. */
@Override
public PhysicalFont getBoldForm(String fontName, PhysicalFont physicalFont) {
PhysicalFont bundled = bundledSibling(physicalFont, BundledFonts.V_BOLD);
return bundled != null ? bundled : super.getBoldForm(fontName, physicalFont);
}
/** Начертание бандла вместо registry-эвристики: см. «ВАЖНО (macOS)» в javadoc класса. */
@Override
public PhysicalFont getItalicForm(String fontName, PhysicalFont physicalFont) {
PhysicalFont bundled = bundledSibling(physicalFont, BundledFonts.V_ITALIC);
return bundled != null ? bundled : super.getItalicForm(fontName, physicalFont);
}
/** Начертание бандла вместо registry-эвристики: см. «ВАЖНО (macOS)» в javadoc класса. */
@Override
public PhysicalFont getBoldItalicForm(String fontName, PhysicalFont physicalFont) {
PhysicalFont bundled = bundledSibling(physicalFont, BundledFonts.V_BOLD_ITALIC);
return bundled != null ? bundled : super.getBoldItalicForm(fontName, physicalFont);
}
/**
* Реальное начертание бандл-семейства, к которому относится {@code pf}.
*
* <p>Семейство опознаётся по {@code embeddedURI} regular-варианта, а не
* по имени: на macOS имя в реестре docx4j — полное из TTF-таблицы
* ({@code Tinos Regular}), и именно на нём ломается
* {@code PhysicalFonts.getBoldForm}. Шрифт вне бандла (или {@code pf ==
* null}, {@code BundledFonts.init()} не вызван) → {@code null}, вызывающий
* идёт родительской логикой.</p>
*/
private static PhysicalFont bundledSibling(PhysicalFont pf, String variant) {
if (pf == null || pf.getEmbeddedURI() == null) {
return null;
}
String uri = pf.getEmbeddedURI().toString();
for (String family : BundledFonts.families()) {
PhysicalFont regular = BundledFonts.regular(family);
if (regular != null && uri.equals(regular.getEmbeddedURI().toString())) {
return BundledFonts.font(family, variant);
}
}
return null;
}
/** /**
* Привязывает все начертания семейства к имени шрифта из документа. * Привязывает все начертания семейства к имени шрифта из документа.
*/ */
@@ -2,6 +2,7 @@ package ru.pjandro.wordpdf.fonts;
import org.docx4j.fonts.PhysicalFont; import org.docx4j.fonts.PhysicalFont;
import org.docx4j.fonts.PhysicalFonts; import org.docx4j.fonts.PhysicalFonts;
import ru.pjandro.wordpdf.WordPdfConverter;
import java.io.IOException; import java.io.IOException;
import java.io.InputStream; import java.io.InputStream;
@@ -124,8 +125,15 @@ public final class BundledFonts {
/** /**
* Выгружает шрифты из jar и регистрирует их в docx4j. * Выгружает шрифты из jar и регистрирует их в docx4j.
* Повторные вызовы игнорируются (idempotентно). * Повторные вызовы игнорируются (idempotентно).
*
* <p>Монитор — {@code WordPdfConverter.class}, а не {@code BundledFonts.class}:
* {@code PhysicalFonts} и {@link #VARIANTS} читаются рендером внутри
* конвертации (она сериализована монитором конвертера), и мутация под
* собственным замком вырезала бы записи из-под идущего рендера.
* Все синхронизированные методы класса держат ровно этот монитор.</p>
*/ */
public static synchronized void init() { public static void init() {
synchronized (WordPdfConverter.class) {
if (inited) { if (inited) {
return; return;
} }
@@ -176,6 +184,7 @@ public final class BundledFonts {
extractDir.toFile().deleteOnExit(); extractDir.toFile().deleteOnExit();
inited = true; inited = true;
} }
}
/** /**
* Удаляет из реестра docx4j все шрифты вне бандла (системные, которые * Удаляет из реестра docx4j все шрифты вне бандла (системные, которые
@@ -188,13 +197,19 @@ public final class BundledFonts {
* em-dash на шрифте ранa (Carlito) вместо fallback-DejaVu. * em-dash на шрифте ранa (Carlito) вместо fallback-DejaVu.
* Шрифты, встроенные в docx, регистрируются при {@code load()} — * Шрифты, встроенные в docx, регистрируются при {@code load()} —
* если чистить до load(), они останутся в реестре. * если чистить до load(), они останутся в реестре.
* <p>Мутирует глобальный реестр {@code PhysicalFonts} под монитором
* {@code WordPdfConverter.class} — тем же, что сериализует конвертации,
* поэтому вызов рядом с идущей {@code WordPdfConverter.convert()}
* безопасен автоматически (замок удерживается внутри метода).
*/ */
public static synchronized void restrictToBundled() { public static void restrictToBundled() {
synchronized (WordPdfConverter.class) {
if (!inited) { if (!inited) {
return; return;
} }
dropNonBundled(); dropNonBundled();
} }
}
/** Удаляет из реестра всё, что не было выгружено из jar в {@link #extractDir}. */ /** Удаляет из реестра всё, что не было выгружено из jar в {@link #extractDir}. */
private static void dropNonBundled() { private static void dropNonBundled() {
@@ -232,13 +247,19 @@ public final class BundledFonts {
/** /**
* Зарегистрированный шрифт: семейство (lowercase) + начертание. * Зарегистрированный шрифт: семейство (lowercase) + начертание.
* Синхронизирован с {@link #init()} общим монитором
* {@code WordPdfConverter.class}: {@code VARIANTS} — обычный
* {@code HashMap}, наполняемый в {@code init()}; без замка внешний
* читатель мог бы увидеть недобранную карту.
* *
* @return PhysicalFont или null (если init() не вызван или шрифта нет) * @return PhysicalFont или null (если init() не вызван или шрифта нет)
*/ */
public static PhysicalFont font(String family, String variant) { public static PhysicalFont font(String family, String variant) {
synchronized (WordPdfConverter.class) {
Map<String, PhysicalFont> m = VARIANTS.get(family); Map<String, PhysicalFont> m = VARIANTS.get(family);
return m == null ? null : m.get(variant); return m == null ? null : m.get(variant);
} }
}
public static PhysicalFont regular(String family) { public static PhysicalFont regular(String family) {
return font(family, V_REGULAR); return font(family, V_REGULAR);
@@ -38,6 +38,12 @@ import java.util.Map;
* каталога {@link BundledFonts#init()} — поэтому класс не зависит от * каталога {@link BundledFonts#init()} — поэтому класс не зависит от
* порядка шагов конвертации. TTF буферизуется в памяти и живёт до конца * порядка шагов конвертации. TTF буферизуется в памяти и живёт до конца
* JVM (шрифты бандла конечны, {@link TrueTypeFont} намеренно не закрываем). * JVM (шрифты бандла конечны, {@link TrueTypeFont} намеренно не закрываем).
*
* Потокобезопасен: {@link #of(String, String)} идёт под монитором класса
* (единый {@code CACHE}), {@code cmap} — {@code volatile} поле с
* идемпотентным пересчётом, а ленивые таблицы fontbox читаются под её
* внутренними замками ({@code TrueTypeFont.lockReadtable}, fontbox 3.x) —
* один экземпляр можно держать в нескольких потоках.
*/ */
public final class GlyphFont { public final class GlyphFont {
@@ -13,7 +13,7 @@ import java.util.regex.Pattern;
/** /**
* Нормализация ST_OnOff-значений в docx перед загрузкой docx4j. * Нормализация ST_OnOff-значений в docx перед загрузкой docx4j.
* *
* docx4j 11.x теряет атрибуты {@code w:val="off"} / {@code w:val="on"} * docx4j 17.x теряет атрибуты {@code w:val="off"} / {@code w:val="on"}
* при JAXB-разборе (тип поля {@code Boolean} не принимает "on"/"off", * при JAXB-разборе (тип поля {@code Boolean} не принимает "on"/"off",
* поле остаётся null и {@code BooleanDefaultTrue.isVal()} считается * поле остаётся null и {@code BooleanDefaultTrue.isVal()} считается
* true). Из-за этого явные {@code <w:b w:val="off"/>} и * true). Из-за этого явные {@code <w:b w:val="off"/>} и
@@ -22,9 +22,14 @@ import java.util.regex.Pattern;
* docx4j разбирает корректно, поэтому заменяем "off"->"false", * docx4j разбирает корректно, поэтому заменяем "off"->"false",
* "on"->"true" в XML-частях word/*.xml. * "on"->"true" в XML-частях word/*.xml.
* *
* <p>Исключение — {@code w:scrollbar} (свойство фрейма, §17.15.2.37): его
* {@code w:val} — ST_FrameScrollbar (none/left/right/leftAndRight,
* §17.18.32), единственный не-ST_OnOff носитель on/off в WML; переписывать
* его нельзя — вывод станет невалидным.
*
* Если совпадений нет, возвращает исходный массив без переупаковки zip. * Если совпадений нет, возвращает исходный массив без переупаковки zip.
*/ */
public final class DocxOnOffNormalizer { final class DocxOnOffNormalizer {
/** /**
* {@code w:val="on"/"off"} только внутри открывающего тега: group 1 — от * {@code w:val="on"/"off"} только внутри открывающего тега: group 1 — от
@@ -33,15 +38,12 @@ public final class DocxOnOffNormalizer {
* {@code w:t} не правится. Регрессия — DocxOnOffNormalizerTest#onOffInTextNotTouched. * {@code w:t} не правится. Регрессия — DocxOnOffNormalizerTest#onOffInTextNotTouched.
*/ */
private static final Pattern ON_OFF = Pattern.compile( private static final Pattern ON_OFF = Pattern.compile(
"(<[A-Za-z][A-Za-z0-9:]*(?:\\s[^<>]*)?)w:val=([\"'])(on|off)\\2", "(<(?!w:scrollbar\\b)[A-Za-z][A-Za-z0-9:]*(?:\\s[^<>]*)?)w:val=([\"'])(on|off)\\2",
Pattern.CASE_INSENSITIVE); Pattern.CASE_INSENSITIVE);
private DocxOnOffNormalizer() { private DocxOnOffNormalizer() {
} }
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
public static final DocxNormalizer STEP = DocxOnOffNormalizer::normalize;
/** /**
* Заменяет в XML-частях docx (word/*.xml) w:val="off"/"on" * Заменяет в XML-частях docx (word/*.xml) w:val="off"/"on"
* на "false"/"true". * на "false"/"true".
@@ -49,7 +51,7 @@ public final class DocxOnOffNormalizer {
* @param docx байты .docx (zip) * @param docx байты .docx (zip)
* @return те же или переупакованные байты * @return те же или переупакованные байты
*/ */
public static byte[] normalize(byte[] docx) throws IOException { static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false; boolean changed = false;
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
@@ -15,12 +15,14 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
/** /**
* Единый zip-проход переписывания XML-частей (.docx) вместо отдельных * Единый zip-проход переписывания XML-частей (.docx) вместо отдельных
* проходов нормализаторов: к каждой записи {@code word/*.xml} применяются * проходов нормализаторов: к каждой записи {@code word/*.xml} применяются
* все десять рерайтов в фиксированном порядке * все одиннадцать рерайтов в фиксированном порядке
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby. * Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby.
* Порядок значим: Strict первым — дальше части в transitional-виде * Порядок значим: Strict первым — дальше части в transitional-виде
* (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage * (TableIndent читает transitional-атрибуты {@code w:}); MathFallback
* шестым — flatten unsupported-формул даёт обычный текст ранов, который
* следующий GlyphCoverage покрывает кириллицей бандла; GlyphCoverage
* режет раны по финальному тексту рана (после Symbol/Invisible); Hidden * режет раны по финальному тексту рана (после Symbol/Invisible); Hidden
* последним — вырезает уже финальные раны (после Symbol/GLYPH-разбиений), * девятым — вырезает уже финальные раны (после Symbol/GLYPH-разбиений),
* а его OnOff-форма vanish читается после правила 2. Каждый * а его OnOff-форма vanish читается после правила 2. Каждый
* рерайт работает только содержимым одной части, поэтому по-частная * рерайт работает только содержимым одной части, поэтому по-частная
* цепочка эквивалентна последовательным полным проходам. Исключения из * цепочка эквивалентна последовательным полным проходам. Исключения из
@@ -52,13 +54,13 @@ public final class DocxRewritePipeline {
public static final DocxNormalizer STEP = DocxRewritePipeline::normalize; public static final DocxNormalizer STEP = DocxRewritePipeline::normalize;
/** /**
* Применяет десять рерайтов к каждой записи {@code word/*.xml} за один * Применяет одиннадцать рерайтов к каждой записи {@code word/*.xml} за один
* проход zip. * проход zip.
* *
* @param docx байты .docx (валидный zip) * @param docx байты .docx (валидный zip)
* @return те же или переупакованные байты * @return те же или переупакованные байты
*/ */
public static byte[] normalize(byte[] docx) throws IOException { static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false; boolean changed = false;
try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx)); try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx));
@@ -66,7 +68,8 @@ public final class DocxRewritePipeline {
// Ширина полосы набора для правила 7 (таблицы в header/footer- // Ширина полосы набора для правила 7 (таблицы в header/footer-
// частях своей sectPr не содержат): из сырого document.xml — // частях своей sectPr не содержат): из сырого document.xml —
// геометрия инвариантна к рерайтам цепочки (Strict не трогает // геометрия инвариантна к рерайтам цепочки (Strict не трогает
// w:pgSz/@w:w, а pgMar-чередование left|start покрывает strict). // w:pgSz/@w:w; у strict CT_PageMar start/end нет вовсе —
// только left/right).
// Записи нет/несколько секций → −1, header/footer консервативно // Записи нет/несколько секций → −1, header/footer консервативно
// пропускаются (та же неоднозначность полосы, что для body). // пропускаются (та же неоднозначность полосы, что для body).
int band = -1; int band = -1;
@@ -113,6 +116,10 @@ public final class DocxRewritePipeline {
if (next != null) { if (next != null) {
cur = next; cur = next;
} }
next = MathFallbackNormalizer.rewrite(cur);
if (next != null) {
cur = next;
}
next = GlyphCoverageNormalizer.rewrite(cur); next = GlyphCoverageNormalizer.rewrite(cur);
if (next != null) { if (next != null) {
cur = next; cur = next;
@@ -133,7 +140,7 @@ public final class DocxRewritePipeline {
if (next != null) { if (next != null) {
cur = next; cur = next;
} }
if (cur != xml) { if (!cur.equals(xml)) {
changed = true; changed = true;
rewritten = cur.getBytes(StandardCharsets.UTF_8); rewritten = cur.getBytes(StandardCharsets.UTF_8);
} }
@@ -36,7 +36,7 @@ import java.util.zip.ZipOutputStream;
* разбираются — если внутри {@code begin … end} встречается ещё один * разбираются — если внутри {@code begin … end} встречается ещё один
* {@code begin}, поле пропускается. * {@code begin}, поле пропускается.
*/ */
public final class FieldNormalizer { final class FieldNormalizer {
/** Инструкции, для которых в docx4j-export-fo есть обработчик fldSimple. */ /** Инструкции, для которых в docx4j-export-fo есть обработчик fldSimple. */
private static final String[] SUPPORTED = {"PAGE", "NUMPAGES", "SECTIONPAGES"}; private static final String[] SUPPORTED = {"PAGE", "NUMPAGES", "SECTIONPAGES"};
@@ -44,16 +44,13 @@ public final class FieldNormalizer {
private FieldNormalizer() { private FieldNormalizer() {
} }
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
public static final DocxNormalizer STEP = FieldNormalizer::normalize;
/** /**
* Переписывает поддерживаемые поля во всех word/*.xml частях docx. * Переписывает поддерживаемые поля во всех word/*.xml частях docx.
* *
* @param docx байты .docx (zip) * @param docx байты .docx (zip)
* @return те же или переупакованные байты * @return те же или переупакованные байты
*/ */
public static byte[] normalize(byte[] docx) throws IOException { static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false; boolean changed = false;
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
@@ -26,7 +26,16 @@ import ru.pjandro.wordpdf.fonts.BundledFonts;
* рендерится шрифтом просмотрщика либо .notdef («#»). Поэтому в конфиг * рендерится шрифтом просмотрщика либо .notdef («#»). Поэтому в конфиг
* добавляются ВСЕ шрифты бандла: стоит они в документе или нет, решает FO. * добавляются ВСЕ шрифты бандла: стоит они в документе или нет, решает FO.
* *
* Метод идемпотентен: уже задекларированное семейство не дублируется. * Конфиг обязан быть полным при каждом {@code declare}: общая FopFactory
* ({@code WordPdfConverter.sharedFopFactory}) строится из fopconf первого
* документа JVM, а docx4j декларирует из {@code fontsInUse} только
* использованные начертания — {@code declareFamily} дополняет семейство
* недостающими реальными начертаниями, а не пропускает его целиком.
* Идемпотентность: начертание, уже имеющее в конфиге запись на реальном
* TTF, не дублируется.
*
* <p>Регрессия — FopFallbackFontsTest#declareWhenDocx4jDeclaredRegularOnly_addsMissingVariants,
* WordPdfConverterTest#fopFactoryFrozenFromFirstDoc_fontsComplete.
*/ */
public final class FopFallbackFonts { public final class FopFallbackFonts {
@@ -49,7 +58,15 @@ public final class FopFallbackFonts {
} }
} }
/** Одно семейство: regular + существующие начертания (Noto — только regular). */ /**
* Одно семейство: каждое начертание, для которого в конфиге нет
* записи с реальным TTF этого начертания (Noto — только regular,
* отсутствующие варианты пропускаются). Family-level «уже есть —
* пропускаем всё» запрещён: docx4j декларирует только использованные
* начертания (или simulate-style на одном файле), а общая FopFactory
* замораживает конфиг первого документа на всю JVM — пропущенное
* семейство остаётся неполным для всех последующих конвертаций.
*/
private static void declareFamily(Fonts rendererFonts, ObjectFactory factory, private static void declareFamily(Fonts rendererFonts, ObjectFactory factory,
String family) { String family) {
PhysicalFont regular = BundledFonts.regular(family); PhysicalFont regular = BundledFonts.regular(family);
@@ -61,21 +78,43 @@ public final class FopFallbackFonts {
// и под это же имя декларируются все начертания (так делает // и под это же имя декларируются все начертания (так делает
// docx4j FopConfigUtil.createVariant). // docx4j FopConfigUtil.createVariant).
String familyName = regular.getName(); String familyName = regular.getName();
for (Fonts.Font existing : rendererFonts.getFont()) { String[][] variants = {
for (Fonts.Font.FontTriplet triplet : existing.getFontTriplet()) { {BundledFonts.V_REGULAR, "normal", "normal"},
if (familyName.equals(triplet.getName())) { {BundledFonts.V_BOLD, "normal", "bold"},
return; {BundledFonts.V_ITALIC, "italic", "normal"},
{BundledFonts.V_BOLD_ITALIC, "italic", "bold"},
};
for (String[] v : variants) {
PhysicalFont variant = BundledFonts.font(family, v[0]);
if (variant == null
|| hasRealFace(rendererFonts, familyName, v[1], v[2], variant)) {
continue;
} }
addFont(rendererFonts, factory, familyName, variant, v[1], v[2]);
} }
} }
addFont(rendererFonts, factory, familyName, regular, "normal", "normal"); /**
addFont(rendererFonts, factory, familyName, * Есть ли в конфиге запись триплета (familyName, style, weight) именно
BundledFonts.bold(family), "normal", "bold"); * на реальном TTF {@code variant}. Триплет без этого embed-url
addFont(rendererFonts, factory, familyName, * (simulate-style docx4j — все начертания на regular-файле) реальным
BundledFonts.italic(family), "italic", "normal"); * лицом не считается: FOP встроит из него не то начертание.
addFont(rendererFonts, factory, familyName, */
BundledFonts.boldItalic(family), "italic", "bold"); private static boolean hasRealFace(Fonts rendererFonts, String familyName,
String style, String weight, PhysicalFont variant) {
String url = variant.getEmbeddedURI().toString();
for (Fonts.Font font : rendererFonts.getFont()) {
if (!url.equals(font.getEmbedUrl())) {
continue;
}
for (Fonts.Font.FontTriplet triplet : font.getFontTriplet()) {
if (familyName.equals(triplet.getName()) && style.equals(triplet.getStyle())
&& weight.equals(triplet.getWeight())) {
return true;
}
}
}
return false;
} }
/** /**
@@ -1,6 +1,6 @@
package ru.pjandro.wordpdf.internal; package ru.pjandro.wordpdf.internal;
import ru.pjandro.wordpdf.fonts.BundledFontMapper; import ru.pjandro.wordpdf.fonts.BundledFontAliases;
import ru.pjandro.wordpdf.fonts.BundledFonts; import ru.pjandro.wordpdf.fonts.BundledFonts;
import ru.pjandro.wordpdf.fonts.GlyphFont; import ru.pjandro.wordpdf.fonts.GlyphFont;
@@ -38,7 +38,7 @@ import java.util.concurrent.ConcurrentHashMap;
* Делаем то, что должен был сделать рендер: ран, в тексте которого есть * Делаем то, что должен был сделать рендер: ран, в тексте которого есть
* знаки без глифа, разрезается на части, и каждой части явно назначается * знаки без глифа, разрезается на части, и каждой части явно назначается
* бандл-семейство, где глиф есть ({@link #targetFamily}). Имя пишется в * бандл-семейство, где глиф есть ({@link #targetFamily}). Имя пишется в
* {@code w:rFonts}, дальше {@link BundledFontMapper} маппит его на TTF, * {@code w:rFonts}, дальше {@code BundledFontMapper} маппит его на TTF,
* а {@link FopFallbackFonts} декларирует его в FOP-конфиге. * а {@link FopFallbackFonts} декларирует его в FOP-конфиге.
* *
* Правила, ограничивающие вмешательство: * Правила, ограничивающие вмешательство:
@@ -54,7 +54,7 @@ import java.util.concurrent.ConcurrentHashMap;
* *
* Как и {@link SymbolFontNormalizer}, правим байты zip до JAXB-разбора. * Как и {@link SymbolFontNormalizer}, правим байты zip до JAXB-разбора.
*/ */
public final class GlyphCoverageNormalizer { final class GlyphCoverageNormalizer {
/** Семейства с засечками: для них fallback ищется сначала среди serif. */ /** Семейства с засечками: для них fallback ищется сначала среди serif. */
private static final List<String> SERIF_FAMILIES = private static final List<String> SERIF_FAMILIES =
@@ -81,16 +81,13 @@ public final class GlyphCoverageNormalizer {
private GlyphCoverageNormalizer() { private GlyphCoverageNormalizer() {
} }
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
public static final DocxNormalizer STEP = GlyphCoverageNormalizer::normalize;
/** /**
* Разрезает раны с непокрытыми глифами в XML-частях docx (word/*.xml). * Разрезает раны с непокрытыми глифами в XML-частях docx (word/*.xml).
* *
* @param docx байты .docx (zip) * @param docx байты .docx (zip)
* @return те же или переупакованные байты * @return те же или переупакованные байты
*/ */
public static byte[] normalize(byte[] docx) throws IOException { static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false; boolean changed = false;
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
@@ -409,7 +406,7 @@ public final class GlyphCoverageNormalizer {
if (!m.find()) { if (!m.find()) {
return null; return null;
} }
return BundledFontMapper.bundledFamily(m.group(2)); return BundledFontAliases.bundledFamily(m.group(2));
} }
/** /**
@@ -417,7 +414,7 @@ public final class GlyphCoverageNormalizer {
* {@code w:rFonts}, а если их нет — вставляет элемент первым ребёнком. * {@code w:rFonts}, а если их нет — вставляет элемент первым ребёнком.
*/ */
private static String forceFont(String rPr, String family) { private static String forceFont(String rPr, String family) {
String name = BundledFontMapper.documentFontName(family); String name = BundledFontAliases.documentFontName(family);
String fonts = "<w:rFonts w:ascii=\"" + name + "\" w:hAnsi=\"" + name + "\"/>"; String fonts = "<w:rFonts w:ascii=\"" + name + "\" w:hAnsi=\"" + name + "\"/>";
if (rPr.isEmpty()) { if (rPr.isEmpty()) {
return "<w:rPr>" + fonts + "</w:rPr>"; return "<w:rPr>" + fonts + "</w:rPr>";
@@ -24,7 +24,7 @@ import org.apache.commons.compress.archivers.zip.ZipFile;
import org.apache.commons.compress.utils.SeekableInMemoryByteChannel; import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
/** /**
* Вырезание скрытых ранов ({@code w:rPr/w:vanish}, Part 1 §17.3.2.30) из * Вырезание скрытых ранов ({@code w:rPr/w:vanish}, Part 1 §17.3.2.41) из
* XML-частей — до загрузки docx4j. * XML-частей — до загрузки docx4j.
* *
* <p>Word по умолчанию не выводит скрытый текст ни на экран, ни на печать, * <p>Word по умолчанию не выводит скрытый текст ни на экран, ни на печать,
@@ -39,8 +39,13 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
* правило 2 к моменту запуска уже привело on/off к true/false, но обе формы * правило 2 к моменту запуска уже привело on/off к true/false, но обе формы
* принимаются) либо {@code w:rStyle} ссылается на стиль с vanish — по * принимаются) либо {@code w:rStyle} ссылается на стиль с vanish — по
* цепочке {@code w:basedOn} (капа 16, цикл — обрыв; тот же приём, что * цепочке {@code w:basedOn} (капа 16, цикл — обрыв; тот же приём, что
* {@code internal/doc/Styles}). Прямой vanish ранa перекрывает стилевой; * {@code internal/doc/Styles}). Прямой vanish ранa перекрывает стилевой
* вложенные раны ({@code w:rubyBase}/{@code w:rt}, текстовые боксы) * (§17.7.3: в конфликте toggle выигрывает direct formatting); принятое
* упрощение стилевого слоя — явный falsy {@code w:val} <b>у стиля</b>
* (vanish=false поверх vanish-предка по {@code w:basedOn}) не
* разворачивается: стиль с {@code w:vanish} делает раны скрытыми
* независимо от {@code w:val}; вложенные раны
* ({@code w:rubyBase}/{@code w:rt}, текстовые боксы)
* оцениваются независимо, но ран внутри уже удалённого внешнего не * оцениваются независимо, но ран внутри уже удалённого внешнего не
* вырезается повторно (диапазоны сливаются при сборке). * вырезается повторно (диапазоны сливаются при сборке).
* *
@@ -64,7 +69,7 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
* *
* <p>Регрессия — WordPdfConverterTest#hiddenText_notPrinted. * <p>Регрессия — WordPdfConverterTest#hiddenText_notPrinted.
*/ */
public final class HiddenTextNormalizer { final class HiddenTextNormalizer {
/** Капа цепочки {@code w:basedOn} (образец — {@code doc.Styles.MAX_CHAIN}). */ /** Капа цепочки {@code w:basedOn} (образец — {@code doc.Styles.MAX_CHAIN}). */
private static final int MAX_CHAIN = 16; private static final int MAX_CHAIN = 16;
@@ -72,6 +77,10 @@ public final class HiddenTextNormalizer {
/** Закрывающий слэш самозакрывающегося тега. */ /** Закрывающий слэш самозакрывающегося тега. */
private static final char SELF_CLOSE = '/'; private static final char SELF_CLOSE = '/';
/** Части, которые рерайт пропускает: ранов там нет, а vanish в styles — входные данные. */
private static final String STYLES_PART = "word/styles.xml";
private static final String NUMBERING_PART = "word/numbering.xml";
/** Открывающий/закрывающий тег рана; {@code <w:rPr>}/{@code <w:rStyle>} и прочее не матчатся по границе имени. */ /** Открывающий/закрывающий тег рана; {@code <w:rPr>}/{@code <w:rStyle>} и прочее не матчатся по границе имени. */
private static final Pattern RUN_TOKEN = Pattern.compile("<w:r(?=[ >/])|</w:r>"); private static final Pattern RUN_TOKEN = Pattern.compile("<w:r(?=[ >/])|</w:r>");
@@ -97,9 +106,6 @@ public final class HiddenTextNormalizer {
private HiddenTextNormalizer() { private HiddenTextNormalizer() {
} }
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
public static final DocxNormalizer STEP = HiddenTextNormalizer::normalize;
/** /**
* Вырезает скрытые раны (только прямой {@code w:vanish}) из XML-частей * Вырезает скрытые раны (только прямой {@code w:vanish}) из XML-частей
* docx; {@code word/styles.xml}/{@code word/numbering.xml} пропускаются. * docx; {@code word/styles.xml}/{@code word/numbering.xml} пропускаются.
@@ -107,10 +113,10 @@ public final class HiddenTextNormalizer {
* @param docx байты .docx (zip) * @param docx байты .docx (zip)
* @return те же или переупакованные байты * @return те же или переупакованные байты
*/ */
public static byte[] normalize(byte[] docx) throws IOException { static byte[] normalize(byte[] docx) throws IOException {
Set<String> vanishStyles = Set.of(); Set<String> vanishStyles = Set.of();
try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx))) { try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx))) {
ZipArchiveEntry styles = zf.getEntry("word/styles.xml"); ZipArchiveEntry styles = zf.getEntry(STYLES_PART);
if (styles != null) { if (styles != null) {
vanishStyles = vanishStyles(new String( vanishStyles = vanishStyles(new String(
zf.getInputStream(styles).readAllBytes(), StandardCharsets.UTF_8)); zf.getInputStream(styles).readAllBytes(), StandardCharsets.UTF_8));
@@ -152,7 +158,7 @@ public final class HiddenTextNormalizer {
* @return новая строка либо null, если менять нечего * @return новая строка либо null, если менять нечего
*/ */
static String rewritePart(String name, String xml, Set<String> vanishStyleIds) { static String rewritePart(String name, String xml, Set<String> vanishStyleIds) {
if ("word/styles.xml".equals(name) || "word/numbering.xml".equals(name)) { if (STYLES_PART.equals(name) || NUMBERING_PART.equals(name)) {
return null; return null;
} }
return rewrite(vanishStyleIds, xml); return rewrite(vanishStyleIds, xml);
@@ -309,6 +315,9 @@ public final class HiddenTextNormalizer {
if (hasTruthyVanish(region)) { if (hasTruthyVanish(region)) {
return true; return true;
} }
if (hasExplicitFalsyVanish(region)) {
return false; // явный w:val=false/0/off перекрывает стилевой vanish (§17.7.3)
}
if (!vanishStyleIds.isEmpty()) { if (!vanishStyleIds.isEmpty()) {
Matcher r = RSTYLE.matcher(region); Matcher r = RSTYLE.matcher(region);
if (r.find() && vanishStyleIds.contains(r.group(1))) { if (r.find() && vanishStyleIds.contains(r.group(1))) {
@@ -360,7 +369,7 @@ public final class HiddenTextNormalizer {
String tag = end < 0 ? region.substring(i) : region.substring(i, end + 1); String tag = end < 0 ? region.substring(i) : region.substring(i, end + 1);
Matcher v = VAL_ATTR.matcher(tag); Matcher v = VAL_ATTR.matcher(tag);
if (!v.find()) { if (!v.find()) {
return true; // вал опущен — default true (Part 1 §17.3.2.30) return true; // вал опущен — default true (Part 1 §17.3.2.41)
} }
if (truthy(v.group(1))) { if (truthy(v.group(1))) {
return true; return true;
@@ -372,11 +381,21 @@ public final class HiddenTextNormalizer {
return false; return false;
} }
/** truthy по Part 1 §17.18.69 ST_OnOff: false/0/off — выключено, прочее — включено. */ /** truthy по Part 1 §22.9.2.7 ST_OnOff: false/0/off — выключено, прочее — включено. */
private static boolean truthy(String val) { private static boolean truthy(String val) {
return !"false".equalsIgnoreCase(val) && !"0".equals(val) && !"off".equalsIgnoreCase(val); return !"false".equalsIgnoreCase(val) && !"0".equals(val) && !"off".equalsIgnoreCase(val);
} }
/** Явный falsy {@code w:vanish} (val=false/0/off) — перекрытие стилевого. */
private static final Pattern FALSY_VANISH =
Pattern.compile("<w:vanish\\b[^>]*w:val=\"(?:false|0|off)\"",
Pattern.CASE_INSENSITIVE);
/** Есть ли в регионе явный falsy {@code w:vanish} (val=false/0/off). */
private static boolean hasExplicitFalsyVanish(String region) {
return FALSY_VANISH.matcher(region).find();
}
/** Есть ли защищённый элемент в содержимом рана [from, to). */ /** Есть ли защищённый элемент в содержимом рана [from, to). */
private static boolean hasProtected(String xml, int from, int to) { private static boolean hasProtected(String xml, int from, int to) {
for (String p : PROTECTED) { for (String p : PROTECTED) {
@@ -27,9 +27,10 @@ import java.util.zip.ZipOutputStream;
* в невидимый DejaVu — FOP рисует «тофу» прямо в тексте.</li> * в невидимый DejaVu — FOP рисует «тофу» прямо в тексте.</li>
* </ul> * </ul>
* *
* Zero-width знаки, значимые для shaping и переносов (U+00A0, U+00AD, * NBSP (U+00A0, ширина пробела — не zero-width) и zero-width знаки, значимые
* U+200B, U+200C, U+200D), НЕ трогаем: во всех шрифтах бандла они * для shaping и переносов (U+00AD, U+200B, U+200C, U+200D), НЕ трогаем:
* нулевой ширины и пустых строк не создают. * во всех шрифтах бандла NBSP широк, остальное нулевой ширины, и ни то ни
* другое пустых строк не создаёт.
* *
* Правим байты zip до JAXB-разбора, как остальные нормализаторы; запускается * Правим байты zip до JAXB-разбора, как остальные нормализаторы; запускается
* до {@link GlyphCoverageNormalizer}, чтобы тот не искал шрифт для уже * до {@link GlyphCoverageNormalizer}, чтобы тот не искал шрифт для уже
@@ -38,7 +39,7 @@ import java.util.zip.ZipOutputStream;
* Регрессия — WordPdfConverterTest#invisibleChars_noEmptyLines, * Регрессия — WordPdfConverterTest#invisibleChars_noEmptyLines,
* WordPdfConverterTest#invisibleChars_arimoBoxesNotDrawn. * WordPdfConverterTest#invisibleChars_arimoBoxesNotDrawn.
*/ */
public final class InvisibleCharNormalizer { final class InvisibleCharNormalizer {
/** /**
* Коды на вырезание: явные переносы FOP (U+0085, U+2028, U+2029), * Коды на вырезание: явные переносы FOP (U+0085, U+2028, U+2029),
@@ -86,9 +87,6 @@ public final class InvisibleCharNormalizer {
private InvisibleCharNormalizer() { private InvisibleCharNormalizer() {
} }
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
public static final DocxNormalizer STEP = InvisibleCharNormalizer::normalize;
/** /**
* Вырезает невидимые символы из текстовых узлов XML-частей docx * Вырезает невидимые символы из текстовых узлов XML-частей docx
* (word/*.xml). * (word/*.xml).
@@ -96,7 +94,7 @@ public final class InvisibleCharNormalizer {
* @param docx байты .docx (zip) * @param docx байты .docx (zip)
* @return те же или переупакованные байты * @return те же или переупакованные байты
*/ */
public static byte[] normalize(byte[] docx) throws IOException { static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false; boolean changed = false;
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
@@ -0,0 +1,268 @@
package ru.pjandro.wordpdf.internal;
import ru.pjandro.wordpdf.internal.chart.MathModel;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/**
* Байтовый скан формул OMML (§22.1): блок {@code m:oMathPara}/{@code m:oMath},
* содержащий math-элемент вне {@link MathModel#SUPPORTED}, заменяется раном с
* конкатенацией текста {@code m:t} (как штатный фолбэк docx4j
* {@code XsltFOFunctions.mathText}) — формула видна текстом, а не теряется.
*
* <p>Зачем скан до загрузки docx4j: собственный растер формул
* ({@code MathModel}/{@code MathRenderer} в {@code DrawingPreRenderer})
* уронил бы unsupported-конструкцию в {@code MathUnsupportedException} и
* деградировал тем же текстом — но скан даёт детерминизм «формула целиком
* текстом» для байтового уровня пайплайна и не зависит от JAXB-биндинга.
* Рантайм-деградация остаётся второй сетью (биндинг может не смонтировать
* неизвестный элемент, который скан увидел).
*
* <p>Скан namespace-aware: префиксы, привязанные к math-URI на корневом
* элементе (+ переопределения {@code xmlns} внутри блока), — unsupported
* проверяется только для тегов в math-namespace; префиксы чужих namespace'ов
* ( {@code w:rPr} внутри рана формулы) игнорируются. Непривязанный/отсутствующий
* map объявлений при наличии {@code :oMath} — консервативная обработка «как
* math» (риск потерять контент при недобитом биндинге сильнее избыточной
* деградации).
*
* <p>Позиция в цепочке — шестое правило, перед GlyphCoverage: flatten даёт
* обычный текст ранов, который следующий рерайт покрывает кириллицей бандла
* (раньше формулы с {@code &#x043C;} теряли глифы именно из-за порядка —
* GlyphCoverage не видел текст внутри OMML). Блок para заменяется первым:
* {@code m:oMathPara} содержит {@code m:oMath}, иначе остался бы
* несбалансированный каркас.
*/
final class MathFallbackNormalizer {
/** Закрывающий символ открывающего тега (скан конца корня формулы). */
private static final char TAG_END = '>';
/** Math-namespace OMML (§22.1). */
private static final String MATH_NS =
"http://schemas.openxmlformats.org/officeDocument/2006/math";
/** Объявление {@code xmlns:prefix="uri"} (значение без кавычек). */
private static final Pattern XMLNS = Pattern.compile(
"xmlns:([A-Za-z_][\\w.-]*)=\"([^\"]*)\"");
/** Начало блока формулы; префикс обязателен (без него {@code :oMath} нет). */
private static final Pattern MATH_BLOCK = Pattern.compile(
"<([A-Za-z_][\\w.-]*):oMath(Para)?(?=[\\s/>])");
/** Элементный тег с префиксом {@code <p:name>} / {@code </p:name>}. */
private static final Pattern PREFIXED_TAG = Pattern.compile(
"</?([A-Za-z_][\\w.-]*):([A-Za-z_][\\w.-]*)");
/** Текстовый узел {@code <p:t>}; содержимое — уже экранированный XML. */
private static final Pattern MATH_TEXT = Pattern.compile(
"<([A-Za-z_][\\w.-]*):t(?:\\s[^>]*)?>(.*?)</\\1:t>", Pattern.DOTALL);
private MathFallbackNormalizer() {
}
/**
* Рерайт одной XML-части: unsupported-формулы → текст. Формул нет /
* все поддерживаются / ничего не изменилось → {@code null}
* (пайплайн отдаёт тот же массив).
*/
static String rewrite(String xml) {
if (!xml.contains(":oMath")) {
return null;
}
Map<String, String> rootNs = rootNamespaces(xml);
StringBuilder out = new StringBuilder();
int pos = 0;
boolean changed = false;
Matcher m = MATH_BLOCK.matcher(xml);
int search = 0;
while (m.find(search)) {
String prefix = m.group(1);
boolean para = m.group(2) != null;
int start = m.start();
int tagEnd = tagEnd(xml, start);
if (tagEnd < 0) {
break; // незакрытый тег — дело валидатора, скан останавливаем
}
Map<String, String> ns = mergedNamespaces(rootNs, xml.substring(start, tagEnd));
if (!isMath(ns, prefix)) {
search = tagEnd;
continue; // чужой namespace — не формула
}
int blockEnd;
int before = tagEnd - 2;
while (before > start && Character.isWhitespace(xml.charAt(before))) {
before--;
}
boolean selfClosing = xml.charAt(before) == '/';
if (selfClosing) {
blockEnd = tagEnd;
} else {
String closing = "</" + prefix + ":oMath" + (para ? "Para" : "") + ">";
int close = xml.indexOf(closing, tagEnd);
if (close < 0) {
break; // битый каркас — валидатор его и отвергнет
}
blockEnd = close + closing.length();
}
String block = xml.substring(start, blockEnd);
if (hasUnsupported(ns, block)) {
out.append(xml, pos, start).append(run(text(ns, block)));
pos = blockEnd;
changed = true;
search = blockEnd;
continue;
}
search = tagEnd;
}
if (!changed) {
return null;
}
return out.append(xml, pos, xml.length()).toString();
}
/**
* Объявления {@code xmlns:} фактического корневого элемента: пролог
* ({@code <?xml ...?>}, комментарии, DOCTYPE) пропускается — иначе
* карта осталась бы пустой на реальном XML-файле части, а пустая карта
* консервативно считает каждый префикс math-тегом и срезает боевые
* формулы (внутри {@code m:r}/{@code m:ctrlPr} Word пишет
* {@code w:rPr}/{@code w:rFonts} — имена вне SUPPORTED).
*/
private static Map<String, String> rootNamespaces(String xml) {
Map<String, String> map = new HashMap<>();
int pos = 0;
while (pos < xml.length()) {
int open = xml.indexOf('<', pos);
if (open < 0) {
return map;
}
if (xml.startsWith("<?", open)) {
int end = xml.indexOf("?>", open);
pos = end < 0 ? xml.length() : end + 2;
continue;
}
if (xml.startsWith("<!--", open)) {
int end = xml.indexOf("-->", open);
pos = end < 0 ? xml.length() : end + 3;
continue;
}
if (xml.startsWith("<!", open)) {
int end = xml.indexOf('>', open);
pos = end < 0 ? xml.length() : end + 1;
continue;
}
int end = tagEnd(xml, open);
if (end < 0) {
return map;
}
Matcher m = XMLNS.matcher(xml.substring(open, end));
while (m.find()) {
map.put(m.group(1), m.group(2));
}
return map;
}
return map;
}
/** Корневые объявления + переопределения из заголовка блока. */
private static Map<String, String> mergedNamespaces(Map<String, String> root,
String openTag) {
Matcher m = XMLNS.matcher(openTag);
if (!m.find()) {
return root;
}
Map<String, String> map = new HashMap<>(root);
m.reset();
while (m.find()) {
map.put(m.group(1), m.group(2));
}
return map;
}
/**
* Привязан ли префикс к math-namespace: явная привязка — да; привязка к
* другому URI — нет; префикс не объявлен нигде — да (консервативно, см.
* javadoc класса), если только вообще нет ни одного объявления xmlns
* (тогда это не XML с map префиксов, а мусор — тоже «как math»).
*/
private static boolean isMath(Map<String, String> ns, String prefix) {
String bound = ns.get(prefix);
if (MATH_NS.equals(bound)) {
return true;
}
return bound == null;
}
/** Есть ли в блоке тег math-namespace вне {@link MathModel#SUPPORTED}. */
private static boolean hasUnsupported(Map<String, String> ns, String block) {
List<String> mathPrefixes = new ArrayList<>();
for (Map.Entry<String, String> e : ns.entrySet()) {
if (MATH_NS.equals(e.getValue())) {
mathPrefixes.add(e.getKey());
}
}
Matcher m = PREFIXED_TAG.matcher(block);
while (m.find()) {
String prefix = m.group(1);
String name = m.group(2);
boolean mathTag = mathPrefixes.contains(prefix)
|| (mathPrefixes.isEmpty() && !ns.containsKey(prefix));
if (mathTag && !MathModel.SUPPORTED.contains(name)) {
return true;
}
}
return false;
}
/** Текст формулы: конкатенация {@code m:t} math-префиксов (как mathText). */
private static String text(Map<String, String> ns, String block) {
Set<String> mathPrefixes = new HashSet<>();
for (Map.Entry<String, String> e : ns.entrySet()) {
if (MATH_NS.equals(e.getValue())) {
mathPrefixes.add(e.getKey());
}
}
StringBuilder sb = new StringBuilder();
Matcher m = MATH_TEXT.matcher(block);
while (m.find()) {
String prefix = m.group(1);
if (mathPrefixes.contains(prefix)
|| (mathPrefixes.isEmpty() && !ns.containsKey(prefix))) {
sb.append(m.group(2));
}
}
return sb.toString();
}
/** Конец открывающего тега (индекс после {@code >}), кавычки-осведомлённый. */
private static int tagEnd(String xml, int start) {
char quote = 0;
for (int i = start + 1; i < xml.length(); i++) {
char c = xml.charAt(i);
if (quote != 0) {
if (c == quote) {
quote = 0;
}
} else if (c == '"' || c == '\'') {
quote = c;
} else if (c == TAG_END) {
return i + 1;
}
}
return -1;
}
/** Ран с текстом формулы; пустая формула удаляется. */
private static String run(String text) {
return text.isEmpty() ? ""
: "<w:r><w:t xml:space=\"preserve\">" + text + "</w:t></w:r>";
}
}
@@ -16,7 +16,8 @@ import java.util.zip.ZipOutputStream;
* *
* Word рисует после номера лейбла разделитель по {@code w:suff}: tab — * Word рисует после номера лейбла разделитель по {@code w:suff}: tab —
* табуляция до позиционного отступа, space — обычный пробел, nothing — ничего * табуляция до позиционного отступа, space — обычный пробел, nothing — ничего
* (Part 1 §17.3.1.28). docx4j/export-fo разделитель не эмитит вовсе: в FO * (Part 1 §17.9.28, тип — ST_LevelSuffix §17.18.46). docx4j/export-fo
* разделитель не эмитит вовсе: в FO
* уходит только текст лейбла («1.»), хинт {@code docx4j:label-suffix} — * уходит только текст лейбла («1.»), хинт {@code docx4j:label-suffix} —
* заготовка без обработчика (дамп n4.fo аудита раскладки). Для suff=tab это * заготовка без обработчика (дамп n4.fo аудита раскладки). Для suff=tab это
* отдельный Class C-остаток (нужна per-item ширина), а suff=space чинится * отдельный Class C-остаток (нужна per-item ширина), а suff=space чинится
@@ -29,7 +30,7 @@ import java.util.zip.ZipOutputStream;
* заканчивающийся пробелом lvlText не дублируется. suff=tab/absent/nothing — * заканчивающийся пробелом lvlText не дублируется. suff=tab/absent/nothing —
* не трогаем. Нечего менять → тот же массив. * не трогаем. Нечего менять → тот же массив.
*/ */
public final class NumberingSuffixNormalizer { final class NumberingSuffixNormalizer {
private static final Pattern SUFF_SPACE = private static final Pattern SUFF_SPACE =
Pattern.compile("<w:suff\\b[^>]*w:val=\"space\"[^>]*/>"); Pattern.compile("<w:suff\\b[^>]*w:val=\"space\"[^>]*/>");
@@ -38,16 +39,13 @@ public final class NumberingSuffixNormalizer {
private NumberingSuffixNormalizer() { private NumberingSuffixNormalizer() {
} }
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
public static final DocxNormalizer STEP = NumberingSuffixNormalizer::normalize;
/** /**
* Дописывает пробел в lvlText у уровней с suff=space. * Дописывает пробел в lvlText у уровней с suff=space.
* *
* @param docx байты .docx (zip) * @param docx байты .docx (zip)
* @return те же или переупакованные байты * @return те же или переупакованные байты
*/ */
public static byte[] normalize(byte[] docx) throws IOException { static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false; boolean changed = false;
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
@@ -1,9 +1,10 @@
package ru.pjandro.wordpdf.internal; package ru.pjandro.wordpdf.internal;
import ru.pjandro.wordpdf.DrawingFoundException; import ru.pjandro.wordpdf.OleFoundException;
import java.io.ByteArrayOutputStream; import java.io.ByteArrayOutputStream;
import java.io.IOException; import java.io.IOException;
import java.io.InputStream;
import java.nio.charset.StandardCharsets; import java.nio.charset.StandardCharsets;
import java.util.ArrayList; import java.util.ArrayList;
import java.util.HashMap; import java.util.HashMap;
@@ -41,13 +42,14 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
* по ECMA-376 §15.2.10 у каждого внедрённого объекта обязан быть «associated * по ECMA-376 §15.2.10 у каждого внедрённого объекта обязан быть «associated
* image, which appears in the document as a placeholder» — именно его показывает * image, which appears in the document as a placeholder» — именно его показывает
* Word вместо объекта, — поэтому {@code w:object} заменяется его статичным * Word вместо объекта, — поэтому {@code w:object} заменяется его статичным
* представлением (картинкой-плейсхолдером, §17.3.3.3); без плейсхолдера блок * представлением (картинкой-плейсхолдером, §17.3.3.19; картинка — §17.3.3.9);
* без плейсхолдера блок
* удаляется. OLE-бинарники при этом никогда не читаются — байты только * удаляется. OLE-бинарники при этом никогда не читаются — байты только
* удаляются, так что содержимое объекта (вплоть до враждебного архива) на * удаляются, так что содержимое объекта (вплоть до враждебного архива) на
* вывод не влияет.</p> * вывод не влияет.</p>
* *
* <p>Отличие от остальных нормализаторов пакета: принимает флаг * <p>Отличие от остальных нормализаторов пакета: принимает флаг
* {@code errorOnOle} и умеет бросать {@link DrawingFoundException} * {@code errorOnOle} и умеет бросать {@link OleFoundException}
* (при включённом флаге документ отвергается вместо вычистки), и правит * (при включённом флаге документ отвергается вместо вычистки), и правит
* не только {@code word/*.xml}, но и {@code [Content_Types].xml} с * не только {@code word/*.xml}, но и {@code [Content_Types].xml} с
* {@code *.rels}. Хука {@code rewrite(String)} нет — нормализатор * {@code *.rels}. Хука {@code rewrite(String)} нет — нормализатор
@@ -74,6 +76,9 @@ public final class OleObjectNormalizer {
/** Сегмент «наверх» в относительном Target rels. */ /** Сегмент «наверх» в относительном Target rels. */
private static final String PARENT_DIR = ".."; private static final String PARENT_DIR = "..";
/** Сегмент «текущий каталог» в относительном Target rels. */
private static final String CURRENT_DIR = ".";
private static final Pattern DEFAULT_TYPE = Pattern.compile( private static final Pattern DEFAULT_TYPE = Pattern.compile(
"<Default\\b[^>]*\\bExtension=\"([^\"]*)\"[^>]*\\bContentType=\"([^\"]*)\"[^>]*/>" "<Default\\b[^>]*\\bExtension=\"([^\"]*)\"[^>]*\\bContentType=\"([^\"]*)\"[^>]*/>"
+ "|<Default\\b[^>]*\\bContentType=\"([^\"]*)\"[^>]*\\bExtension=\"([^\"]*)\"[^>]*/>"); + "|<Default\\b[^>]*\\bContentType=\"([^\"]*)\"[^>]*\\bExtension=\"([^\"]*)\"[^>]*/>");
@@ -135,9 +140,46 @@ public final class OleObjectNormalizer {
private static final Logger LOG = Logger.getLogger(OleObjectNormalizer.class.getName()); private static final Logger LOG = Logger.getLogger(OleObjectNormalizer.class.getName());
/** Детект `w:object` по байтам: ASCII-литерал в UTF-8 не может
* встретиться внутри многобайтовой последовательности, поэтому поиск
* по сырым байтам эквивалентен `new String(...).contains(...)`. */
private static final byte[] OBJECT_NEEDLE = "<w:object".getBytes(StandardCharsets.US_ASCII);
private OleObjectNormalizer() { private OleObjectNormalizer() {
} }
/**
* Поиск ASCII-литерала в потоке окном 8 KiB с перекрытием
* {@code needle.length - 1} байт на границе окна — без материализации
* всей XML-части (document.xml десятки МБ дублировались в память ради
* поиска 9-байтного литерала).
*/
private static boolean containsAscii(InputStream in, byte[] needle) throws IOException {
try (in) {
byte[] window = new byte[8192];
int carried = 0; // байт перенесённого хвоста предыдущего окна
int read;
while ((read = in.read(window, carried, window.length - carried)) > 0) {
int limit = carried + read;
for (int i = 0; i + needle.length <= limit; i++) {
boolean hit = true;
for (int j = 0; j < needle.length; j++) {
if (window[i + j] != needle[j]) {
hit = false;
break;
}
}
if (hit) {
return true;
}
}
carried = Math.min(needle.length - 1, limit);
System.arraycopy(window, limit - carried, window, 0, carried);
}
return false;
}
}
/** /**
* Вычистляет из docx OLE-объекты: бинарные `.bin`-части с OLE-типом (или * Вычистляет из docx OLE-объекты: бинарные `.bin`-части с OLE-типом (или
* ложным XML-типом), ссылки на них и oleObject-ссылки (включая External) в * ложным XML-типом), ссылки на них и oleObject-ссылки (включая External) в
@@ -183,8 +225,7 @@ public final class OleObjectNormalizer {
oleParts.add(name); oleParts.add(name);
} }
} else if (!hasObjectMarkup && name.startsWith("word/") && name.endsWith(".xml") } else if (!hasObjectMarkup && name.startsWith("word/") && name.endsWith(".xml")
&& new String(zf.getInputStream(entry).readAllBytes(), && containsAscii(zf.getInputStream(entry), OBJECT_NEEDLE)) {
StandardCharsets.UTF_8).contains("<w:object")) {
// сам w:object — уже OLE: без bin-части он всё равно роняет docx4j // сам w:object — уже OLE: без bin-части он всё равно роняет docx4j
// (NPE chunkType is null) и обязан быть переписан // (NPE chunkType is null) и обязан быть переписан
hasObjectMarkup = true; hasObjectMarkup = true;
@@ -194,7 +235,7 @@ public final class OleObjectNormalizer {
return docx; return docx;
} }
if (errorOnOle) { if (errorOnOle) {
throw new DrawingFoundException(DrawingFoundException.Kind.OLE); throw new OleFoundException();
} }
for (String part : oleParts) { for (String part : oleParts) {
LOG.warning("Удалён OLE-объект: " + part); LOG.warning("Удалён OLE-объект: " + part);
@@ -222,7 +263,7 @@ public final class OleObjectNormalizer {
if (fixed != null) { if (fixed != null) {
data = fixed.getBytes(StandardCharsets.UTF_8); data = fixed.getBytes(StandardCharsets.UTF_8);
} }
} else if (name.equals(CONTENT_TYPES_ENTRY)) { } else if (CONTENT_TYPES_ENTRY.equals(name)) {
String fixed = stripOverrides( String fixed = stripOverrides(
new String(data, StandardCharsets.UTF_8), oleParts); new String(data, StandardCharsets.UTF_8), oleParts);
if (fixed != null) { if (fixed != null) {
@@ -336,7 +377,7 @@ public final class OleObjectNormalizer {
} }
} }
for (String s : target.split("/")) { for (String s : target.split("/")) {
if (s.isEmpty() || ".".equals(s)) { if (s.isEmpty() || CURRENT_DIR.equals(s)) {
continue; continue;
} }
if (PARENT_DIR.equals(s)) { if (PARENT_DIR.equals(s)) {
@@ -352,7 +393,7 @@ public final class OleObjectNormalizer {
/** /**
* Заменяет в word/*.xml каждый w:object его статичным представлением * Заменяет в word/*.xml каждый w:object его статичным представлением
* (плейсхолдером, ECMA-376 §15.2.10/§17.3.3.3): блок с `w:control` * (плейсхолдером, ECMA-376 §15.2.10/§17.3.3.19): блок с `w:control`
* (ActiveX) удаляется целиком — property bag всё равно остаётся сиротой; * (ActiveX) удаляется целиком — property bag всё равно остаётся сиротой;
* блок с `w:drawing` (ветка mc:Choice) заменяется этим drawing дословно; * блок с `w:drawing` (ветка mc:Choice) заменяется этим drawing дословно;
* блок с `v:imagedata r:id` заменяется inline-DrawingML на ту же * блок с `v:imagedata r:id` заменяется inline-DrawingML на ту же
@@ -10,8 +10,9 @@ import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream; import java.util.zip.ZipOutputStream;
/** /**
* Разбор руби-разметки ({@code w:rubyBase}/{@code w:rt}/{@code w:rubyPr}, * Разбор руби-разметки ({@code w:ruby}/{@code w:rubyBase}/{@code w:rt}/
* Part 1 §17.3.3.19/.20/.21) в байтах до загрузки docx4j. * {@code w:rubyPr}/{@code w:rubyAlign}, Part 1 §17.3.3.25/.27/.24/.28/.26)
* в байтах до загрузки docx4j.
* *
* <p>Джинябиндованные схемы docx4j 17.3.2 {@code w:rubyBase}/{@code w:rt} * <p>Джинябиндованные схемы docx4j 17.3.2 {@code w:rubyBase}/{@code w:rt}
* в {@code w:r} <b>не содержат</b> (unmarshaller сообщает «unexpected * в {@code w:r} <b>не содержат</b> (unmarshaller сообщает «unexpected
@@ -20,11 +21,13 @@ import java.util.zip.ZipOutputStream;
* (в отличие от {@code w:moveFrom}/{@code w:moveTo}/{@code w:bdo}/{@code w:dir}, * (в отличие от {@code w:moveFrom}/{@code w:moveTo}/{@code w:bdo}/{@code w:dir},
* которые схема знает). Единственный слой починки — байтовый нормализатор. * которые схема знает). Единственный слой починки — байтовый нормализатор.
* *
* <p>Деградация принята: база ({@code w:rubyBase}/{@code w:rubyBaseText}) * <p>Деградация принята: база ({@code w:rubyBase}) разворачивается в обычные
* разворачивается в обычные раны ранa — текст печатается; надстрочница * раны ранa — текст печатается; надстрочница ({@code w:rt}) и форматирование
* ({@code w:rt}) и форматирование руби ({@code w:rubyPr}, {@code w:rubyAlign}) * руби ({@code w:rubyPr}, {@code w:rubyAlign}) удаляются вместе с содержимым
* удаляются вместе с содержимым — ruby-разметки в XSL-FO у FOP нет, а потеря * — ruby-разметки в XSL-FO у FOP нет, а потеря текста хуже потери аннотации.
* текста хуже потери аннотации. * Снимается и обёртка {@code w:ruby}: схемно-валидная разметка (транзишнл
* CT_R: {@code w:r} → {@code w:ruby} → rubyPr/rt/rubyBase, wml.xsd) иначе
* достаёт catch-all-шаблону XSLT и база теряется молча.
* *
* <p>В конвейере подключается десятым рерайтом в {@link DocxRewritePipeline} * <p>В конвейере подключается десятым рерайтом в {@link DocxRewritePipeline}
* (после Hidden; порядок 1–8 не перенумеровать); в * (после Hidden; порядок 1–8 не перенумеровать); в
@@ -33,7 +36,7 @@ import java.util.zip.ZipOutputStream;
* *
* <p>Регрессия — WordPdfConverterTest#rubyBase_textPrinted. * <p>Регрессия — WordPdfConverterTest#rubyBase_textPrinted.
*/ */
public final class RubyNormalizer { final class RubyNormalizer {
private RubyNormalizer() { private RubyNormalizer() {
} }
@@ -46,18 +49,21 @@ public final class RubyNormalizer {
private static final Pattern RUBY_PR_BLOCK = private static final Pattern RUBY_PR_BLOCK =
Pattern.compile("<w:rubyPr(?:\\s[^>]*)?(?:/>|>.*?</w:rubyPr>)", Pattern.DOTALL); Pattern.compile("<w:rubyPr(?:\\s[^>]*)?(?:/>|>.*?</w:rubyPr>)", Pattern.DOTALL);
/** Одиночный {@code w:rubyPr}. */ /** Одиночный {@code w:rubyAlign}. */
private static final Pattern RUBY_ALIGN = private static final Pattern RUBY_ALIGN =
Pattern.compile("<w:rubyAlign(?:\\s[^>]*)?(?:/>|>\\s*</w:rubyAlign>)", Pattern.DOTALL); Pattern.compile("<w:rubyAlign(?:\\s[^>]*)?(?:/>|>\\s*</w:rubyAlign>)", Pattern.DOTALL);
private static final Pattern RUBY_BASE_OPEN = private static final Pattern RUBY_BASE_OPEN =
Pattern.compile("<w:rubyBase(?:\\s[^>]*)?>"); Pattern.compile("<w:rubyBase(?:\\s[^>]*)?>");
private static final Pattern RUBY_BASE_TEXT_OPEN =
Pattern.compile("<w:rubyBaseText(?:\\s[^>]*)?>"); /** Обёртка {@code w:ruby} (снимается: ран разворачивается в обычные раны). */
private static final Pattern RUBY_OPEN =
Pattern.compile("<w:ruby(?:\\s[^>]*)?>");
private static final String RUBY_CLOSE = "</w:ruby>";
/** /**
* Рерайт одной XML-строки: разворачивает {@code w:rubyBase}/ * Рерайт одной XML-строки: разворачивает {@code w:rubyBase}, снимает
* {@code w:rubyBaseText}, вырезает {@code w:rt}/{@code w:rubyPr}/ * обёртку {@code w:ruby}, вырезает {@code w:rt}/{@code w:rubyPr}/
* {@code w:rubyAlign}. Руби-токенов нет / ничего не поменялось → {@code null}. * {@code w:rubyAlign}. Руби-токенов нет / ничего не поменялось → {@code null}.
*/ */
static String rewrite(String xml) { static String rewrite(String xml) {
@@ -67,10 +73,10 @@ public final class RubyNormalizer {
String out = RT_BLOCK.matcher(xml).replaceAll(""); String out = RT_BLOCK.matcher(xml).replaceAll("");
out = RUBY_PR_BLOCK.matcher(out).replaceAll(""); out = RUBY_PR_BLOCK.matcher(out).replaceAll("");
out = RUBY_ALIGN.matcher(out).replaceAll(""); out = RUBY_ALIGN.matcher(out).replaceAll("");
out = RUBY_BASE_TEXT_OPEN.matcher(out).replaceAll("");
out = out.replace("</w:rubyBaseText>", "");
out = RUBY_BASE_OPEN.matcher(out).replaceAll(""); out = RUBY_BASE_OPEN.matcher(out).replaceAll("");
out = out.replace("</w:rubyBase>", ""); out = out.replace("</w:rubyBase>", "");
out = RUBY_OPEN.matcher(out).replaceAll("");
out = out.replace(RUBY_CLOSE, "");
return out.equals(xml) ? null : out; return out.equals(xml) ? null : out;
} }
@@ -78,7 +84,7 @@ public final class RubyNormalizer {
* Индивидуальный контракт {@link DocxNormalizer} (тесты); в конвейере * Индивидуальный контракт {@link DocxNormalizer} (тесты); в конвейере
* {@link DocxRewritePipeline} вызывает {@link #rewrite} в общем проходе. * {@link DocxRewritePipeline} вызывает {@link #rewrite} в общем проходе.
*/ */
public static byte[] normalize(byte[] docx) throws IOException { static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false; boolean changed = false;
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
@@ -26,14 +26,17 @@ import java.util.zip.ZipOutputStream;
* {@code w14:fillToRect w14:t="130%"} — JAXB падает на * {@code w14:fillToRect w14:t="130%"} — JAXB падает на
* {@code NumberFormatException: Not a number: 130%};</li> * {@code NumberFormatException: Not a number: 130%};</li>
* <li>текстовые проценты в {@code wp14:pctWidth}/{@code wp14:pctHeight};</li> * <li>текстовые проценты в {@code wp14:pctWidth}/{@code wp14:pctHeight};</li>
* <li>границы и отступы в элементах {@code w:start}/{@code w:end} * <li>границы и отступы в элементах {@code w:start}/{@code w:end} — в
* (в transitional они называются {@code w:left}/{@code w:right}) — * strict-схеме это единственные имена, transitional-схема допускает
* JAXB сообщает «unexpected element» и границы теряются;</li> * обе пары детей (wml.xsd CT_TcMar/CT_TblCellMar), но strict-часть их
* не пишет — JAXB transitional-модели сообщает «unexpected element»
* и границы теряются;</li>
* <li>атрибуты {@code w:start}/{@code w:end} у {@code w:ind} и значения * <li>атрибуты {@code w:start}/{@code w:end} у {@code w:ind} и значения
* {@code start}/{@code end} у {@code w:jc}/{@code w:tab} — в strict-модели * {@code start}/{@code end} у {@code w:jc}/{@code w:tab} — в strict-модели
* это единственные имена, а transitional-модель docx4j их не принимает * это единственные имена, а transitional-модель docx4j их не принимает
* (значения {@code w:tab} — и подавно: enum {@code STTabJc} в docx4j * (значения {@code w:tab} — и подавно: enum {@code STTabJc} в docx4j
* 17.3.2 содержит только left/right).</li> * 17.3.2 содержит только left/center/right; в спековом ST_TabJc
* §17.18.84 start/end есть, но JAXB-enum их не принимает).</li>
* </ul> * </ul>
* *
* <p>Полный strict→transitional рерайт не делается: mc-preprocessor уже * <p>Полный strict→transitional рерайт не делается: mc-preprocessor уже
@@ -72,12 +75,14 @@ import java.util.zip.ZipOutputStream;
* RTL; ST_Jc §17.18.44); RTL вне контура конвейера (FOP без complex-script, * RTL; ST_Jc §17.18.44); RTL вне контура конвейера (FOP без complex-script,
* direction docx4j не выставляет — start и так рендерился как left).</li> * direction docx4j не выставляет — start и так рендерился как left).</li>
* <li>значения {@code start}/{@code end} у {@code w:tab} правятся всегда * <li>значения {@code start}/{@code end} у {@code w:tab} правятся всегда
* (enum без start/end).</li> * (enum {@code STTabJc} docx4j — left/center/right, без start/end;
* спека ST_TabJc §17.18.84 их содержит, но JAXB-биндинг их не
* принимает).</li>
* </ul> * </ul>
* *
* Регрессия — WordPdfConverterTest#strictOoxml_convertsNotRejected. * Регрессия — WordPdfConverterTest#strictOoxml_convertsNotRejected.
*/ */
public final class StrictOoxmlNormalizer { final class StrictOoxmlNormalizer {
/** Открывающий тег элемента префикса {@code a:} (DrawingML). */ /** Открывающий тег элемента префикса {@code a:} (DrawingML). */
private static final Pattern A_TAG = Pattern.compile("<a:[A-Za-z]+\\b[^>]*>"); private static final Pattern A_TAG = Pattern.compile("<a:[A-Za-z]+\\b[^>]*>");
@@ -121,9 +126,6 @@ public final class StrictOoxmlNormalizer {
private StrictOoxmlNormalizer() { private StrictOoxmlNormalizer() {
} }
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
public static final DocxNormalizer STEP = StrictOoxmlNormalizer::normalize;
/** /**
* Приводит strict-OOXML в XML-частях docx (word/*.xml) к виду, который * Приводит strict-OOXML в XML-частях docx (word/*.xml) к виду, который
* разбирает JAXB-модель transitional (детали — в javadoc класса). * разбирает JAXB-модель transitional (детали — в javadoc класса).
@@ -131,7 +133,7 @@ public final class StrictOoxmlNormalizer {
* @param docx байты .docx (zip) * @param docx байты .docx (zip)
* @return те же или переупакованные байты * @return те же или переупакованные байты
*/ */
public static byte[] normalize(byte[] docx) throws IOException { static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false; boolean changed = false;
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
@@ -219,13 +221,14 @@ public final class StrictOoxmlNormalizer {
/** /**
* Атрибуты {@code w:start→w:left}/{@code w:end→w:right} только внутри * Атрибуты {@code w:start→w:left}/{@code w:end→w:right} только внутри
* открывающего тега {@code w:ind} (MS-OI29500 §2.1.174a: start/end как * открывающего тега {@code w:ind} (MS-OI29500 §2.1.44 (ind) плюс
* псевдонимы left/right в strict — единственный носитель w:ind) и только * strict wml.xsd: {@code CT_Ind} знает только start/end — единственный
* носитель w:ind в strict) и только
* при отсутствии в нём {@code w:left}/{@code w:right}: CT_Ind * при отсутствии в нём {@code w:left}/{@code w:right}: CT_Ind
* (transitional) допускает обе пары, дубль атрибута — не well-formed * (transitional) допускает обе пары, дубль атрибута — не well-formed
* XML; литеральный текст {@code w:val}-вида в {@code w:t} не * XML; литеральный текст {@code w:val}-вида в {@code w:t} не
* затрагивается. У {@code w:pgNumType} атрибут {@code w:start} — старт * затрагивается. У {@code w:pgNumType} атрибут {@code w:start} — старт
* нумерации страниц, легален в transitional (Part 1 §17.13.7), — не * нумерации страниц, легален в transitional (Part 1 §17.6.12), — не
* трогается (регрессия — pgNumTypeStartAttrUntouched). * трогается (регрессия — pgNumTypeStartAttrUntouched).
*/ */
private static String renameStartEndAttrs(String xml) { private static String renameStartEndAttrs(String xml) {
@@ -42,7 +42,7 @@ import java.util.zip.ZipOutputStream;
* *
* Как и {@link DocxOnOffNormalizer}, правим байты zip до JAXB-разбора. * Как и {@link DocxOnOffNormalizer}, правим байты zip до JAXB-разбора.
*/ */
public final class SymbolFontNormalizer { final class SymbolFontNormalizer {
/** Семейство, на которое заменяются символьные шрифты (есть в jar). */ /** Семейство, на которое заменяются символьные шрифты (есть в jar). */
static final String REPLACEMENT_FAMILY = "DejaVu Sans"; static final String REPLACEMENT_FAMILY = "DejaVu Sans";
@@ -51,8 +51,9 @@ public final class SymbolFontNormalizer {
* Имя шрифта (lowercase) -> таблица из 256 слотов по 4 hex-цифры: * Имя шрифта (lowercase) -> таблица из 256 слотов по 4 hex-цифры:
* младший байт кода из PUA -> Unicode-код цели (0 — соответствия нет). * младший байт кода из PUA -> Unicode-код цели (0 — соответствия нет).
* Источник — SymbolMapper из docx4j 17.x; сгенерировано, см. javadoc * Источник — SymbolMapper из docx4j 17.x; сгенерировано, см. javadoc
* класса. Коды вне U+F000–U+F0FF (обычная ASCII-часть символьного * класса. Прямые коды {@code w:sym} (≤0xFF, вне PUA) маппятся по той же
* шрифта) не переписываются. * таблице как индекс символной cmap (§17.3.3.30); слот без маппинга, код
* &gt;0xFF вне PUA или отсутствие font-map — элемент сохраняется как есть.
*/ */
private static final Map<String, String> SYMBOL_MAPS = buildMaps(); private static final Map<String, String> SYMBOL_MAPS = buildMaps();
@@ -70,16 +71,13 @@ public final class SymbolFontNormalizer {
private SymbolFontNormalizer() { private SymbolFontNormalizer() {
} }
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
public static final DocxNormalizer STEP = SymbolFontNormalizer::normalize;
/** /**
* Заменяет символьные шрифты в XML-частях docx (word/*.xml). * Заменяет символьные шрифты в XML-частях docx (word/*.xml).
* *
* @param docx байты .docx (zip) * @param docx байты .docx (zip)
* @return те же или переупакованные байты * @return те же или переупакованные байты
*/ */
public static byte[] normalize(byte[] docx) throws IOException { static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false; boolean changed = false;
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
@@ -311,14 +309,20 @@ public final class SymbolFontNormalizer {
char mapped = 0; char mapped = 0;
if (charHex != null && fontMap != null) { if (charHex != null && fontMap != null) {
char code = (char) Integer.parseInt(charHex, 16); char code = (char) Integer.parseInt(charHex, 16);
if (code >= 0xF000 && code <= 0xF0FF) { // PUA-форма (U+F0xx) и прямая (код ≤0xFF — индекс в символной
mapped = mapped(fontMap, code & 0xFF); // cmap, §17.3.3.30) маппятся по одной таблице
} int slot = (code >= 0xF000 && code <= 0xF0FF) ? code & 0xFF
: (code <= 0xFF ? code : -1);
mapped = slot >= 0 ? mapped(fontMap, slot) : 0;
} }
if (mapped != 0) { if (mapped != 0) {
sb.append(openTag).append(fallbackRPr) sb.append(openTag).append(fallbackRPr)
.append("<w:t xml:space=\"preserve\">").append(mapped) .append("<w:t xml:space=\"preserve\">").append(mapped)
.append("</w:t></w:r>"); .append("</w:t></w:r>");
} else if (charHex != null) {
// неразрешимый, но схемно-валидный w:sym (§17.3.3.30) —
// сохраняем verbatim: удалять валидный контент нельзя
sb.append(openTag).append(rPr).append(m.group()).append("</w:r>");
} }
pos = m.end(); pos = m.end();
} }
@@ -14,7 +14,9 @@ import java.util.zip.ZipOutputStream;
* Свёртка {@code w:tblPr/w:jc} (center/right) с ненулевым {@code w:tblInd} в * Свёртка {@code w:tblPr/w:jc} (center/right) с ненулевым {@code w:tblInd} в
* абсолютный {@code w:tblInd} — до загрузки docx4j. * абсолютный {@code w:tblInd} — до загрузки docx4j.
* *
* Word (Part 1 §17.4.50 в чтении MS-OI29500 §2.1.155): при {@code w:jc}≠left * Word (MS-OI29500 §2.1.155; Part 1 §17.4.28 {@code w:jc} + §17.4.50
* {@code w:tblInd} описывают без аддитивной семантики — «сдвиг от поля после
* центрирования/прижимания» есть измеренное поведение Word): при {@code w:jc}≠left
* таблица центрируется/прижимается, а {@code w:tblInd} добавляется сдвигом от * таблица центрируется/прижимается, а {@code w:tblInd} добавляется сдвигом от
* поля. docx4j же при {@code w:jc}≠left {@code w:tblInd} игнорирует буквально * поля. docx4j же при {@code w:jc}≠left {@code w:tblInd} игнорирует буквально
* (аудит раскладки ECMA-376, матрица B3) — таблица рендерилась без учёта * (аудит раскладки ECMA-376, матрица B3) — таблица рендерилась без учёта
@@ -31,12 +33,17 @@ import java.util.zip.ZipOutputStream;
* <p>Пропускается (не ломая существующее поведение): документы без * <p>Пропускается (не ломая существующее поведение): документы без
* единственного body-level {@code w:sectPr} (несколько секций — полоса * единственного body-level {@code w:sectPr} (несколько секций — полоса
* неоднозначна), {@code w:tblW type="pct"} и таблицы с gridCol без целого * неоднозначна), {@code w:tblW type="pct"} и таблицы с gridCol без целого
* {@code w:w} (фактическая ширина неизвестна), {@code w:tblInd} не-dxa и * {@code w:w} (фактическая ширина неизвестна), {@code w:tblInd} с явным
* {@code w:type}≠dxa (опущенный type — dxa, §17.4.87) и
* {@code w:tblPr} с {@code w:tblCellSpacing} без {@code w:tblInd} (вставить * {@code w:tblPr} с {@code w:tblCellSpacing} без {@code w:tblInd} (вставить
* тег в корректную позицию CT_TblPrBase некуда). Дефолты при отсутствии * тег в корректную позицию CT_TblPrBase некуда). Дефолты при отсутствии
* pgSz/pgMar — 11906 и 1440/1440: измеренное поведение docx4j при отсутствующем * pgSz/pgMar — 11906 и 1440/1440: ECMA дефолтов {@code w:pgSz}/{@code w:pgMar}
* {@code w:pgMar} (левый край текста = 72pt = 1440 twips), а не ECMA-дефолт * не фиксирует (§17.6.13/§17.6.11), а 11906/1440 — измеренное поведение
* 1800 — нормализатор обязан считать ту же полосу, что рендерит стек. * docx4j при отсутствующем {@code w:pgMar} (левый край текста = 72pt =
* 1440 twips) — нормализатор обязан считать ту же полосу, что рендерит стек.
* Band берётся из сырого {@code word/document.xml}: геометрия инвариантна
* к рерайтам (Strict-схема у {@code CT_PageMar} не имеет start/end, rule 1
* {@code w:pgSz}/{@code w:pgMar} не трогает).
* *
* <p>{@link #normalize} трогает только {@code word/document.xml} (признак — * <p>{@link #normalize} трогает только {@code word/document.xml} (признак —
* {@code <w:body}); нечего менять → тот же массив. {@link #rewritePart} — * {@code <w:body}); нечего менять → тот же массив. {@link #rewritePart} —
@@ -46,7 +53,7 @@ import java.util.zip.ZipOutputStream;
* WordPdfConverterTest#tableIndentCentered_shiftedLikeWord, * WordPdfConverterTest#tableIndentCentered_shiftedLikeWord,
* #headerTableIndent_centeredInHeader. * #headerTableIndent_centeredInHeader.
*/ */
public final class TableIndentNormalizer { final class TableIndentNormalizer {
/** Дефолт pgSz w:w (A4 portrait, twips) при отсутствии атрибута. */ /** Дефолт pgSz w:w (A4 portrait, twips) при отсутствии атрибута. */
private static final int DEFAULT_PG_W = 11906; private static final int DEFAULT_PG_W = 11906;
@@ -57,13 +64,14 @@ public final class TableIndentNormalizer {
private static final String DOCUMENT_ENTRY = "word/document.xml"; private static final String DOCUMENT_ENTRY = "word/document.xml";
private static final Pattern PG_SZ_W = Pattern.compile("<w:pgSz\\b[^>]*w:w=\"(\\d+)\""); private static final Pattern PG_SZ_W = Pattern.compile("<w:pgSz\\b[^>]*w:w=\"(\\d+)\"");
// strict-OOXML пишет поля как w:start/w:end; band считается из СЫРОГО // полоса считается из СЫРОГО document.xml; чередование left|start не
// document.xml (до rule 1, которая их переименует) — чередование // нужен: CT_PageMar не имеет start/end ни в strict-, ни в transitional-
// обязательно, иначе полоса строгого документа молча возьмётся из дефолтов // схеме (wml.xsd), StrictOoxmlNormalizer w:pgSz/w:pgMar не трогает —
// геометрия инвариантна к рерайтам
private static final Pattern PG_MAR_LEFT = private static final Pattern PG_MAR_LEFT =
Pattern.compile("<w:pgMar\\b[^>]*w:(?:left|start)=\"(\\d+)\""); Pattern.compile("<w:pgMar\\b[^>]*w:left=\"(\\d+)\"");
private static final Pattern PG_MAR_RIGHT = private static final Pattern PG_MAR_RIGHT =
Pattern.compile("<w:pgMar\\b[^>]*w:(?:right|end)=\"(\\d+)\""); Pattern.compile("<w:pgMar\\b[^>]*w:right=\"(\\d+)\"");
private static final Pattern JC = private static final Pattern JC =
Pattern.compile("<w:jc\\b[^>]*w:val=\"(center|right)\"[^>]*/>"); Pattern.compile("<w:jc\\b[^>]*w:val=\"(center|right)\"[^>]*/>");
private static final Pattern TBL_IND = Pattern.compile("<w:tblInd\\b[^>]*/>"); private static final Pattern TBL_IND = Pattern.compile("<w:tblInd\\b[^>]*/>");
@@ -74,16 +82,13 @@ public final class TableIndentNormalizer {
private TableIndentNormalizer() { private TableIndentNormalizer() {
} }
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
public static final DocxNormalizer STEP = TableIndentNormalizer::normalize;
/** /**
* Переписывает jc+tblInd в абсолютный tblInd в {@code word/document.xml}. * Переписывает jc+tblInd в абсолютный tblInd в {@code word/document.xml}.
* *
* @param docx байты .docx (zip) * @param docx байты .docx (zip)
* @return те же или переупакованные байты * @return те же или переупакованные байты
*/ */
public static byte[] normalize(byte[] docx) throws IOException { static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false; boolean changed = false;
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
@@ -186,10 +191,18 @@ public final class TableIndentNormalizer {
if (hasInd) { if (hasInd) {
String indTag = ind.group(); String indTag = ind.group();
Matcher indW = TBL_IND_W.matcher(indTag); Matcher indW = TBL_IND_W.matcher(indTag);
if (!indW.find() || !indTag.contains("w:type=\"dxa\"")) { // CT_TblWidth (§17.4.87): опущенный w:type = dxa;
continue; // не-dxa — величина сдвига неизвестна // явный не-dxa (pct и т.п.) — величина сдвига неизвестна
boolean nonDxa = indTag.contains("w:type=") && !indTag.contains("w:type=\"dxa\"");
if (!indW.find() || nonDxa) {
continue;
} }
x = Integer.parseInt(indW.group(1)); x = Integer.parseInt(indW.group(1));
} else if (pr.contains("<w:tblInd")) {
// парный (не самозакрывающийся) w:tblInd — паттерн видит
// только самозакрытый; вставка нового тега оставила бы старый
// → дубль элемента (maxOccurs=1 у CT_TblPrBase), консервативно
continue;
} else if (pr.contains("<w:tblCellSpacing")) { } else if (pr.contains("<w:tblCellSpacing")) {
// tblInd по CT_TblPrBase идёт ПОСЛЕ tblCellSpacing — вставить // tblInd по CT_TblPrBase идёт ПОСЛЕ tblCellSpacing — вставить
// тег в корректную позицию некуда, консервативно пропускаем // тег в корректную позицию некуда, консервативно пропускаем
@@ -11,7 +11,7 @@ import java.util.List;
/** /**
* Объёмные декартовы графики: c:bar3DChart, c:line3DChart, c:area3DChart * Объёмные декартовы графики: c:bar3DChart, c:line3DChart, c:area3DChart
* (ECMA-376 §21.2.2.19/.101/.122). Камера — та же, что у поверхности * (ECMA-376 §21.2.2.15/.96/.4). Камера — та же, что у поверхности
* ({@link Surface3dPainter#project}): u — категория (ширина), v — ряд * ({@link Surface3dPainter#project}): u — категория (ширина), v — ряд
* (глубина), w — значение (высота); вписка равномерным масштабом в поля * (глубина), w — значение (высота); вписка равномерным масштабом в поля
* {@link Surface3dPainter#GUTTER_LEFT} и т.д. * {@link Surface3dPainter#GUTTER_LEFT} и т.д.
@@ -21,8 +21,8 @@ import java.util.List;
* §2.1.1474(a)); торец затемняется (псевдо-свет, калибровка — Cartesian3dPainterTest). * §2.1.1474(a)); торец затемняется (псевдо-свет, калибровка — Cartesian3dPainterTest).
* line3D: полилиния ряда на своей глубине, лента-толщина не имитируется; * line3D: полилиния ряда на своей глубине, лента-толщина не имитируется;
* area3D: стена ряда от пола до значений, полупрозрачная, как AREA. * area3D: стена ряда от пола до значений, полупрозрачная, как AREA.
* c:shape (§21.2.2.177, ST_Shape §21.2.3.44): box/cone/coneToMax/cylinder/pyramid/ * c:shape (§21.2.2.177, ST_Shape §21.2.3.42): box/cone/coneToMax/cylinder/pyramid/
* pyramidToMax; c:shape ряда переопределяет форму диаграммы (MS-OI29500 §2.1.1545(a/b)), * pyramidToMax; c:shape ряда переопределяет форму диаграммы (MS-OI29500 §2.1.1546(a/b)),
* ToMax-формы сужаются к верху пропорционально val/max (семантика Excel — ECMA геометрию * ToMax-формы сужаются к верху пропорционально val/max (семантика Excel — ECMA геометрию
* не нормирует); неизвестное значение — box. c:barDir="bar" — горизонтальная ориентация * не нормирует); неизвестное значение — box. c:barDir="bar" — горизонтальная ориентация
* боксов (Word UI не сочетает barDir=bar с формами). * боксов (Word UI не сочетает barDir=bar с формами).
@@ -343,7 +343,7 @@ final class Cartesian3dPainter {
} }
} }
/** Грани колонки в модельных координатах (§21.2.3.44 ST_Shape); все вершины /** Грани колонки в модельных координатах (§21.2.3.42 ST_Shape); все вершины
* проецируются в nodes — по ним происходит вписка. Неизвестная форма — box. */ * проецируются в nodes — по ним происходит вписка. Неизвестная форма — box. */
private static List<Face> buildFaces(Color color, String shape, double t, private static List<Face> buildFaces(Color color, String shape, double t,
double u0, double u1, double v0, double v1, double u0, double u1, double v0, double v1,
@@ -600,7 +600,7 @@ final class Cartesian3dPainter {
} }
/** Подписи: значения — вдоль переднего левого ребра, категории — нижнего, /** Подписи: значения — вдоль переднего левого ребра, категории — нижнего,
* ряды — правого; c:delete (§21.2.2.38) убирает подписи оси. * ряды — правого; c:delete (§21.2.2.40) убирает подписи оси.
* Регрессия — Cartesian3dPainterTest#bar3d_seriesAxisLabelsDrawn. */ * Регрессия — Cartesian3dPainterTest#bar3d_seriesAxisLabelsDrawn. */
private static void drawLabels(Graphics2D g, ChartSpec spec, List<Double> tickValues, private static void drawLabels(Graphics2D g, ChartSpec spec, List<Double> tickValues,
List<Surface3dPainter.Node> valueAnchors, int nCat, List<Surface3dPainter.Node> valueAnchors, int nCat,
@@ -70,12 +70,12 @@ final class CartesianPainter {
"percentStacked".equalsIgnoreCase(lineGrouping)) "percentStacked".equalsIgnoreCase(lineGrouping))
: null; : null;
// Разделение серий по осям значений: ссылочное равенство с secondaryValAxis // Разделение серий по осям значений: та же ось по c:axId
// (назначается ChartSpec.parse по c:axId, §21.2.2.9). // (назначается ChartSpec.parse, §21.2.2.9; {@link ChartSpec#sameAxis}).
List<Integer> primIdx = new ArrayList<>(); List<Integer> primIdx = new ArrayList<>();
List<Integer> secIdx = new ArrayList<>(); List<Integer> secIdx = new ArrayList<>();
for (int si = 0; si < spec.series.size(); si++) { for (int si = 0; si < spec.series.size(); si++) {
if (secAxis != null && spec.series.get(si).valAxis == secAxis) { if (ChartSpec.sameAxis(spec.series.get(si).valAxis, secAxis)) {
secIdx.add(si); secIdx.add(si);
} else { } else {
primIdx.add(si); primIdx.add(si);
@@ -278,9 +278,9 @@ final class CartesianPainter {
return gr != null ? gr : spec.grouping; return gr != null ? gr : spec.grouping;
} }
/** Серия на вторичной оси значений (ссылочное равенство с secondaryValAxis). */ /** Серия на вторичной оси значений (та же ось по c:axId, §21.2.2.9; {@link ChartSpec#sameAxis}). */
private static boolean onSecondary(ChartSpec.Series s, ChartSpec spec) { private static boolean onSecondary(ChartSpec.Series s, ChartSpec spec) {
return spec.secondaryValAxis != null && s.valAxis == spec.secondaryValAxis; return ChartSpec.sameAxis(s.valAxis, spec.secondaryValAxis);
} }
private static List<Integer> intersect(List<Integer> family, List<Integer> prim) { private static List<Integer> intersect(List<Integer> family, List<Integer> prim) {
@@ -2,10 +2,13 @@ package ru.pjandro.wordpdf.internal.chart;
import org.docx4j.convert.out.fo.FOConversionImageHandler; import org.docx4j.convert.out.fo.FOConversionImageHandler;
import org.docx4j.model.images.AbstractWordXmlPicture; import org.docx4j.model.images.AbstractWordXmlPicture;
import org.docx4j.model.images.PictureCompression;
import org.docx4j.openpackaging.exceptions.Docx4JException; import org.docx4j.openpackaging.exceptions.Docx4JException;
import org.docx4j.openpackaging.parts.WordprocessingML.BinaryPart; import org.docx4j.openpackaging.parts.WordprocessingML.BinaryPart;
import org.docx4j.relationships.Relationship; import org.docx4j.relationships.Relationship;
import java.nio.ByteBuffer;
/** /**
* Image-обработчик FO-экспорта, отключающий docx4j «Compress Pictures» * Image-обработчик FO-экспорта, отключающий docx4j «Compress Pictures»
* (CR-029) для наших chart-PNG. * (CR-029) для наших chart-PNG.
@@ -25,13 +28,26 @@ import org.docx4j.relationships.Relationship;
* {@code /word/media/chart-*} возвращаем null (нет варианта), картинка * {@code /word/media/chart-*} возвращаем null (нет варианта), картинка
* уходит в PDF как есть. * уходит в PDF как есть.
* *
* Медиа документов (фото/скрины) — не наши части, им остаётся штатный * Медиа документов (фото/скрины) — не наши части, но и для них штатный путь
* docx4j-режим CR-029. * дорог: {@code PictureCompression.compress} декодирует полный растр (ImageIO)
* ДО любых решений, а для не-JPEG без кропа с ppi <= threshold (и без размера
* в макете) результат всегда null — декод впустую. Здесь такое решение
* принимается по 26 байтам заголовка (PNG/GIF/BMP), растр не декодируется
* вовсе. JPEG сознательно не ускоряем: Word при ppi <= threshold перекодирует
* его «для размера», вывод должен остаться побайтно прежним.
* *
* Регрессия — WordPdfConverterTest#chartMedia_notDownsampled. * Регрессии — WordPdfConverterTest#chartMedia_notDownsampled,
* ChartImageHandlerTest#plainPngBelowThreshold_returnsNull,
* ChartImageHandlerTest#jpegBelowThreshold_stillDelegates,
* ChartImageHandlerTest#pngAboveThreshold_stillDelegates.
*/ */
public final class ChartImageHandler extends FOConversionImageHandler { public final class ChartImageHandler extends FOConversionImageHandler {
private static final int[] PNG_SIGNATURE =
{0x89, 0x50, 0x4E, 0x47, 0x0D, 0x0A, 0x1A, 0x0A};
private static final int[] GIF_SIGNATURE = {0x47, 0x49, 0x46, 0x38};
private static final int[] BMP_SIGNATURE = {0x42, 0x4D};
@Override @Override
protected String compressedVariant(AbstractWordXmlPicture picture, protected String compressedVariant(AbstractWordXmlPicture picture,
Relationship relationship, BinaryPart part) Relationship relationship, BinaryPart part)
@@ -41,6 +57,85 @@ public final class ChartImageHandler extends FOConversionImageHandler {
.startsWith(DrawingPreRenderer.CHART_MEDIA_URI_PREFIX)) { .startsWith(DrawingPreRenderer.CHART_MEDIA_URI_PREFIX)) {
return null; return null;
} }
// Быстрый путь: null идентичен тому, что super вернул бы после
// полного декода. PictureCompression.compress для не-JPEG без кропа
// возвращает null, когда ресемпл не нужен: ppi по заголовку не выше
// threshold (формула — дословно из compress) или размер в макете
// задан нулём/не задан (кроп при этом исключён, reencoding требует
// JPEG). Кроп, high-fidelity, JPEG и нераспознанный формат — super.
if (picture != null && picture.isForXslFo() && part != null
&& (!cropsPictures() || picture.getCrop().isNone())) {
PictureCompression.Resolution resolution =
PictureCompression.resolution(picture.getWmlPackage(), pictureResolution);
if (!resolution.isHighFidelity() && noResampleNeeded(part.getBuffer(),
picture.getWidthInPoints(), picture.getHeightInPoints(),
resolution.threshold)) {
return null;
}
}
return super.compressedVariant(picture, relationship, part); return super.compressedVariant(picture, relationship, part);
} }
/**
* Истинно, когда по 26 байтам заголовка контейнера картинка — из быстрого
* списка (PNG/GIF/BMP) и ресемпл ей не нужен: нативный ppi при заданном
* макетном размере не выше {@code threshold} (формула — дословно из
* {@code PictureCompression.compress}), либо размер в макете не задан
* (без кропа и без JPEG super тоже приходит к null). Ложь — формат вне
* списка (JPEG — решение пользователя, TIFF/EMF/WMF/…), заголовок
* неполный/неправдоподобный или буфер части пуст: решение отдаём super.
* Байты читаются абсолютными индексами — позиция общего {@link ByteBuffer}
* части не мутируется.
*/
private static boolean noResampleNeeded(ByteBuffer bb, double widthPt, double heightPt,
int threshold) {
if (bb == null) {
return false;
}
final int len = bb.limit();
final int width;
final int height;
// PNG: сигнатура, затем длина блока, «IHDR» со смещения 12,
// ширина/высота big-endian в 16/20.
if (len >= 24 && magic(bb, 0, PNG_SIGNATURE) && be32(bb, 12) == 0x49484452) {
width = be32(bb, 16);
height = be32(bb, 20);
// GIF: «GIF8», ширина/высота little-endian в 6/8 (le32-чтение
// с 8 идёт до байта 11 включительно).
} else if (len >= 12 && magic(bb, 0, GIF_SIGNATURE)) {
width = le32(bb, 6) & 0xFFFF;
height = le32(bb, 8) & 0xFFFF;
// BMP: «BM», ширина/высота BITMAPINFOHEADER little-endian в 18/22
// (высота отрицательная для top-down — берём модуль).
} else if (len >= 26 && magic(bb, 0, BMP_SIGNATURE)) {
width = le32(bb, 18);
height = Math.abs(le32(bb, 22));
} else {
return false;
}
if (width <= 0 || height <= 0) {
return false;
}
return widthPt <= 0 || heightPt <= 0
|| Math.max(width / (widthPt / 72d), height / (heightPt / 72d)) <= threshold;
}
private static boolean magic(ByteBuffer bb, int at, int[] bytes) {
for (int i = 0; i < bytes.length; i++) {
if ((bb.get(at + i) & 0xFF) != bytes[i]) {
return false;
}
}
return true;
}
private static int be32(ByteBuffer bb, int at) {
return ((bb.get(at) & 0xFF) << 24) | ((bb.get(at + 1) & 0xFF) << 16)
| ((bb.get(at + 2) & 0xFF) << 8) | (bb.get(at + 3) & 0xFF);
}
private static int le32(ByteBuffer bb, int at) {
return (bb.get(at) & 0xFF) | ((bb.get(at + 1) & 0xFF) << 8)
| ((bb.get(at + 2) & 0xFF) << 16) | ((bb.get(at + 3) & 0xFF) << 24);
}
} }
@@ -52,6 +52,10 @@ final class ChartRenderer {
/** Порог «значение целое» при форматировании подписей. */ /** Порог «значение целое» при форматировании подписей. */
private static final double INTEGER_EPSILON = 1e-9; private static final double INTEGER_EPSILON = 1e-9;
/** Позиции легенды (ECMA-376 §21.2.2.95 legendPos, ST_LegendPos §21.2.3.24): снизу/сверху. */
private static final String LEGEND_BOTTOM = "b";
private static final String LEGEND_TOP = "t";
/** /**
* Верхняя граница числа делений: {@code c:majorUnit} (ECMA-376 §21.2.2.103) — * Верхняя граница числа делений: {@code c:majorUnit} (ECMA-376 §21.2.2.103) —
* double без нижней границы; Word пишет «круглые» значения, а враждебный docx — * double без нижней границы; Word пишет «круглые» значения, а враждебный docx —
@@ -110,12 +114,12 @@ final class ChartRenderer {
// дорисовывается поверх после художника. Регрессия — ChartRendererTest#overlayLegend_drawnOverPlot. // дорисовывается поверх после художника. Регрессия — ChartRendererTest#overlayLegend_drawnOverPlot.
double legendH = legend == null || spec.legendOverlay ? 0 : legend.height; double legendH = legend == null || spec.legendOverlay ? 0 : legend.height;
Rectangle2D box0 = box; Rectangle2D box0 = box;
if (legend != null && !spec.legendOverlay && "b".equals(spec.legendPos)) { if (legend != null && !spec.legendOverlay && LEGEND_BOTTOM.equals(spec.legendPos)) {
legend.draw(g, box.getX(), box.getY() + box.getHeight() - legendH, legend.draw(g, box.getX(), box.getY() + box.getHeight() - legendH,
box.getWidth()); box.getWidth());
box = new Rectangle2D.Double(box.getX(), box.getY(), box = new Rectangle2D.Double(box.getX(), box.getY(),
box.getWidth(), box.getHeight() - legendH); box.getWidth(), box.getHeight() - legendH);
} else if (legend != null && !spec.legendOverlay && "t".equals(spec.legendPos)) { } else if (legend != null && !spec.legendOverlay && LEGEND_TOP.equals(spec.legendPos)) {
legend.draw(g, box.getX(), box.getY(), box.getWidth()); legend.draw(g, box.getX(), box.getY(), box.getWidth());
box = new Rectangle2D.Double(box.getX(), box.getY() + legendH, box = new Rectangle2D.Double(box.getX(), box.getY() + legendH,
box.getWidth(), box.getHeight() - legendH); box.getWidth(), box.getHeight() - legendH);
@@ -144,7 +148,7 @@ final class ChartRenderer {
default -> LOG.warn("тип графика {} не поддерживается — пустой PNG", spec.type); default -> LOG.warn("тип графика {} не поддерживается — пустой PNG", spec.type);
} }
if (legend != null && spec.legendOverlay) { if (legend != null && spec.legendOverlay) {
double y = "t".equals(spec.legendPos) double y = LEGEND_TOP.equals(spec.legendPos)
? box0.getY() : box0.getY() + box0.getHeight() - legend.height; ? box0.getY() : box0.getY() + box0.getHeight() - legend.height;
legend.draw(g, box0.getX(), y, box0.getWidth()); legend.draw(g, box0.getX(), y, box0.getWidth());
} }
@@ -117,7 +117,7 @@ final class ChartSpec {
final List<Double> xValues = new ArrayList<>(); final List<Double> xValues = new ArrayList<>();
/** bubble: размеры пузырей (c:bubbleSize). */ /** bubble: размеры пузырей (c:bubbleSize). */
final List<Double> bubbleSizes = new ArrayList<>(); final List<Double> bubbleSizes = new ArrayList<>();
/** c:shape ряда bar3D (MS-OI29500 §2.1.1545(b)); null = дефолт диаграммы ({@link #shape3d}). */ /** c:shape ряда bar3D (MS-OI29500 §2.1.1546(b)); null = дефолт диаграммы ({@link #shape3d}). */
String shape3d; String shape3d;
/** Способ отрисовки ряда в combo-диаграмме (несколько групп в одном c:plotArea, /** Способ отрисовки ряда в combo-диаграмме (несколько групп в одном c:plotArea,
* ECMA-376 §21.2.2.145): BAR/BAR_HORIZONTAL/LINE/AREA по группе-источнику. * ECMA-376 §21.2.2.145): BAR/BAR_HORIZONTAL/LINE/AREA по группе-источнику.
@@ -396,7 +396,7 @@ final class ChartSpec {
break; break;
} }
} }
if (va == null || va == spec.valAxis) { if (va == null || sameAxis(va, spec.valAxis)) {
continue; continue;
} }
if (spec.secondaryValAxis == null) { if (spec.secondaryValAxis == null) {
@@ -409,6 +409,14 @@ final class ChartSpec {
} }
} }
/** Та же ось по c:axId (§21.2.2.9): id уникален в диаграмме, оси с id ≥ 0 лежат
* в {@code axesById} по одному на id — для осей, назначенных из карты при разборе,
* эквивалентно ссылочному равенству. Прямое сравнение осей через == запрещено
* PMD CompareObjectsWithEquals; null и id &lt; 0 — никогда «та же». */
static boolean sameAxis(AxisSpec a, AxisSpec b) {
return a != null && b != null && a.axId >= 0 && a.axId == b.axId;
}
private static void readChartFrame(CTChartSpace space, ChartSpec spec, DrawMlColor colors) { private static void readChartFrame(CTChartSpace space, ChartSpec spec, DrawMlColor colors) {
CTShapeProperties sp = space.getSpPr(); CTShapeProperties sp = space.getSpPr();
if (sp == null) { if (sp == null) {
@@ -29,12 +29,13 @@ import java.util.Map;
* Палитра цветов DrawingML: цвета схемы из word/theme/theme1.xml плюс * Палитра цветов DrawingML: цвета схемы из word/theme/theme1.xml плюс
* разбор {@code a:color} (srgbClr / scrgbClr / hslClr / sysClr / * разбор {@code a:color} (srgbClr / scrgbClr / hslClr / sysClr /
* schemeClr / prstClr) с полным набором трансформаций EG_ColorTransform * schemeClr / prstClr) с полным набором трансформаций EG_ColorTransform
* (§20.1.2.3.2-28: lum/sat/hue Mod/Off и абсолютные, tint/shade, * (§20.1.2.3.2-34: lum/sat/hue Mod/Off и абсолютные, tint §20.1.2.3.34 /
* shade §20.1.2.3.31,
* alpha/alphaMod/alphaOff, red/green/blue + Mod/Off, comp, inv, gray, * alpha/alphaMod/alphaOff, red/green/blue + Mod/Off, comp, inv, gray,
* gamma/invGamma). * gamma/invGamma).
* *
* tint/shade — модуляция светлоты в HSL (L' = L·p + (1−p) / L·p, * tint/shade — модуляция светлоты в HSL (L' = L·p + (1−p) / L·p,
* MS-OI29500 §17.3.2.6(a) — поведение Word); ECMA-примеры именно для * MS-OI29500 §2.1.72 — поведение Word); ECMA-примеры именно для
* tint/shade (00BC00) противоречат его же примерам семейства lum/sat — * tint/shade (00BC00) противоречат его же примерам семейства lum/sat —
* расхождение на стороне спецификации. * расхождение на стороне спецификации.
* *
@@ -432,7 +433,7 @@ final class DrawMlColor {
rgb = toRgb(hsl); rgb = toRgb(hsl);
} }
// §20.1.2.3.31/.34: Office-семантика — модуляция // §20.1.2.3.31/.34: Office-семантика — модуляция
// светлоты в HSL (MS-OI29500 §17.3.2.6(a)), не // светлоты в HSL (MS-OI29500 §2.1.72), не
// гамма-микс; ECMA-примеры tint/shade противоречат // гамма-микс; ECMA-примеры tint/shade противоречат
// собственному семейству lum/sat (§20.1.2.3.19-28). // собственному семейству lum/sat (§20.1.2.3.19-28).
case "tint" -> { case "tint" -> {
@@ -7,7 +7,7 @@ import org.docx4j.dml.CTTextParagraph;
import org.docx4j.dml.CTTextParagraphProperties; import org.docx4j.dml.CTTextParagraphProperties;
import org.docx4j.dml.CTTextSpacing; import org.docx4j.dml.CTTextSpacing;
import org.docx4j.dml.TextFont; import org.docx4j.dml.TextFont;
import ru.pjandro.wordpdf.fonts.BundledFontMapper; import ru.pjandro.wordpdf.fonts.BundledFontAliases;
import ru.pjandro.wordpdf.fonts.BundledFonts; import ru.pjandro.wordpdf.fonts.BundledFonts;
import ru.pjandro.wordpdf.fonts.GlyphFont; import ru.pjandro.wordpdf.fonts.GlyphFont;
@@ -23,7 +23,7 @@ import java.util.List;
* (a:defRPr / a:rPr: sz, b, i, solidFill, latin) и разбивка на строки. * (a:defRPr / a:rPr: sz, b, i, solidFill, latin) и разбивка на строки.
* *
* Шрифты берутся из того же бандла, что и у текста PDF * Шрифты берутся из того же бандла, что и у текста PDF
* ({@link BundledFontMapper#bundledFamily}), поэтому подпись диаграммы * ({@link BundledFontAliases#bundledFamily}), поэтому подпись диаграммы
* рисуется тем же Carlito/Tinos, что и абзацы документа. * рисуется тем же Carlito/Tinos, что и абзацы документа.
*/ */
final class DrawMlText { final class DrawMlText {
@@ -43,7 +43,7 @@ final class DrawMlText {
/** /**
* Один абзац: текст + начертание + выравнивание + межстрочный интервал * Один абзац: текст + начертание + выравнивание + межстрочный интервал
* из {@code a:lnSpc} (ECMA-376 §21.1.2.4): {@code spacingPct} — доля * из {@code a:lnSpc} (ECMA-376 §21.1.2.2.5): {@code spacingPct} — доля
* одинарного (a:spcPct/100000), {@code spacingPts} — фиксированная * одинарного (a:spcPct/100000), {@code spacingPts} — фиксированная
* высота строки в pt (a:spcPts/100); оба null — одинарный. * высота строки в pt (a:spcPts/100); оба null — одинарный.
*/ */
@@ -57,6 +57,8 @@ final class DrawMlText {
/** Значения выравнивания DrawingML (a:pPr/@algn, a:bodyPr/@anchor). */ /** Значения выравнивания DrawingML (a:pPr/@algn, a:bodyPr/@anchor). */
private static final String ALIGN_CTR = "ctr"; private static final String ALIGN_CTR = "ctr";
private static final String ALIGN_RIGHT = "r";
private static final String ALIGN_FAR = "far";
private static final String VALIGN_BOTTOM = "b"; private static final String VALIGN_BOTTOM = "b";
/** Длина строки, дальше которую рез не идёт (прогресс гарантирован 1 символом). */ /** Длина строки, дальше которую рез не идёт (прогресс гарантирован 1 символом). */
@@ -82,7 +84,7 @@ final class DrawMlText {
String fallbackFam, double fallbackSize, Color fallbackColor) { String fallbackFam, double fallbackSize, Color fallbackColor) {
Style base = new Style(fallbackSize, false, false, fallbackColor, Style base = new Style(fallbackSize, false, false, fallbackColor,
fallbackFam == null ? BundledFonts.FALLBACK_FAMILY fallbackFam == null ? BundledFonts.FALLBACK_FAMILY
: BundledFontMapper.bundledFamily(fallbackFam)); : BundledFontAliases.bundledFamily(fallbackFam));
if (txPr == null || txPr.getP().isEmpty()) { if (txPr == null || txPr.getP().isEmpty()) {
return base; return base;
} }
@@ -168,7 +170,7 @@ final class DrawMlText {
case "+mj-lt", "+mj-ea", "+mj-cs" -> colors.majorFontName(); case "+mj-lt", "+mj-ea", "+mj-cs" -> colors.majorFontName();
default -> typeface; default -> typeface;
}; };
return BundledFontMapper.bundledFamily(name != null ? name : fallbackFam); return BundledFontAliases.bundledFamily(name != null ? name : fallbackFam);
} }
/** /**
@@ -241,7 +243,7 @@ final class DrawMlText {
String align = line.align() != null ? line.align() : defAlign; String align = line.align() != null ? line.align() : defAlign;
if (ALIGN_CTR.equals(align)) { if (ALIGN_CTR.equals(align)) {
x += (box.getWidth() - line.width()) / 2.0; x += (box.getWidth() - line.width()) / 2.0;
} else if ("r".equals(align) || "far".equals(align)) { } else if (ALIGN_RIGHT.equals(align) || ALIGN_FAR.equals(align)) {
x += box.getWidth() - line.width(); x += box.getWidth() - line.width();
} }
fontFor(line.style()).draw(g, line.text(), x, y + line.ascent(), fontFor(line.style()).draw(g, line.text(), x, y + line.ascent(),
@@ -253,7 +255,7 @@ final class DrawMlText {
/** /**
* Высота строки абзаца: a:lnSpc/a:spcPts — фиксированная в pt, * Высота строки абзаца: a:lnSpc/a:spcPts — фиксированная в pt,
* a:spcPct — доля одинарного (ascent+descent+leading), ничего — * a:spcPct — доля одинарного (ascent+descent+leading), ничего —
* одинарный (ECMA-376 §21.1.2.4 CT_TextLineSpacing). * одинарный (ECMA-376 §21.1.2.2.5 CT_TextLineSpacing).
*/ */
private static double lineFor(Paragraph p, double single) { private static double lineFor(Paragraph p, double single) {
if (p.spacingPts() != null) { if (p.spacingPts() != null) {
@@ -22,6 +22,8 @@ import org.docx4j.dml.diagram2008.CTDrawing;
import org.docx4j.dml.picture.Pic; import org.docx4j.dml.picture.Pic;
import org.docx4j.dml.wordprocessingDrawing.Anchor; import org.docx4j.dml.wordprocessingDrawing.Anchor;
import org.docx4j.dml.wordprocessingDrawing.Inline; import org.docx4j.dml.wordprocessingDrawing.Inline;
import org.docx4j.math.CTOMath;
import org.docx4j.math.CTOMathPara;
import org.docx4j.openpackaging.contenttype.ContentTypes; import org.docx4j.openpackaging.contenttype.ContentTypes;
import org.docx4j.openpackaging.exceptions.Docx4JException; import org.docx4j.openpackaging.exceptions.Docx4JException;
import org.docx4j.openpackaging.exceptions.InvalidFormatException; import org.docx4j.openpackaging.exceptions.InvalidFormatException;
@@ -32,19 +34,34 @@ import org.docx4j.openpackaging.parts.PartName;
import org.docx4j.openpackaging.parts.ThemePart; import org.docx4j.openpackaging.parts.ThemePart;
import org.docx4j.openpackaging.parts.WordprocessingML.BinaryPartAbstractImage; import org.docx4j.openpackaging.parts.WordprocessingML.BinaryPartAbstractImage;
import org.docx4j.openpackaging.parts.relationships.RelationshipsPart; import org.docx4j.openpackaging.parts.relationships.RelationshipsPart;
import org.docx4j.wml.CTSignedHpsMeasure;
import org.docx4j.wml.Drawing; import org.docx4j.wml.Drawing;
import org.docx4j.wml.Jc;
import org.docx4j.wml.JcEnumeration;
import org.docx4j.wml.P;
import org.docx4j.wml.PPr;
import org.docx4j.wml.R;
import org.docx4j.wml.RPr;
import org.docx4j.wml.Text;
import org.slf4j.Logger; import org.slf4j.Logger;
import org.slf4j.LoggerFactory; import org.slf4j.LoggerFactory;
import ru.pjandro.wordpdf.ChartsFoundException;
import ru.pjandro.wordpdf.ConvertOptions; import ru.pjandro.wordpdf.ConvertOptions;
import ru.pjandro.wordpdf.DrawingFoundException; import ru.pjandro.wordpdf.ConversionException;
import ru.pjandro.wordpdf.SmartArtFoundException;
import javax.imageio.ImageIO; import javax.imageio.ImageIO;
import javax.xml.namespace.QName;
import java.awt.image.BufferedImage; import java.awt.image.BufferedImage;
import java.io.ByteArrayInputStream; import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream; import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.lang.reflect.Method; import java.lang.reflect.Method;
import java.math.BigInteger;
import java.util.ArrayList; import java.util.ArrayList;
import java.util.Collections;
import java.util.HashSet; import java.util.HashSet;
import java.util.IdentityHashMap;
import java.util.List; import java.util.List;
import java.util.Set; import java.util.Set;
@@ -58,8 +75,20 @@ import java.util.Set;
* пакета и до создания FOSettings, иначе FOP увидит исходные chart/diagram * пакета и до создания FOSettings, иначе FOP увидит исходные chart/diagram
* и молча их выбросит (notImplemented в шаблоне). * и молча их выбросит (notImplemented в шаблоне).
* *
* <p>Третий объект — формулы OMML (§22.1): {@code m:oMathPara}/{@code m:oMath}
* доходят сюда нетронутыми (docx2fo.xslt кладёт их в
* {@code fo:instream-foreign-object} с MathML, который FOP+jeuclid на
* без-fontconfig хостах роняет конвертацию, а на остальных рисует чужими
* системными шрифтами). Каждая формула рендерится своим растером
* ({@link MathModel} → {@link MathRenderer}) и заменяется inline-картинкой
* на месте; unsupported/битая формула деградирует раном с текстом
* {@code m:t}. Байтовый скан {@code MathFallbackNormalizer} (правило 6)
* срезает unsupported-конструкции до загрузки docx4j — этот путь остаётся
* безопасной сетью.
*
* Error-флаги {@link ConvertOptions}: при выключенном render-флаге и * Error-флаги {@link ConvertOptions}: при выключенном render-флаге и
* включённом error-флаге находка объекта — {@link DrawingFoundException} * включённом error-флаге находка объекта — {@link ChartsFoundException} или
* {@link SmartArtFoundException}
* (бросок здесь, на шаге 3.5, до XSLT/FOP). Регрессия — * (бросок здесь, на шаге 3.5, до XSLT/FOP). Регрессия —
* WordPdfConverterTest#drawingErrors_errorFlagRejectsCharts, фикстура * WordPdfConverterTest#drawingErrors_errorFlagRejectsCharts, фикстура
* samples/charts-smartart.docx. * samples/charts-smartart.docx.
@@ -76,6 +105,15 @@ public final class DrawingPreRenderer {
"http://schemas.openxmlformats.org/drawingml/2006/picture"; "http://schemas.openxmlformats.org/drawingml/2006/picture";
private static final String DIAGRAM_DRAWING_REL = private static final String DIAGRAM_DRAWING_REL =
"http://schemas.microsoft.com/office/2007/relationships/diagramDrawing"; "http://schemas.microsoft.com/office/2007/relationships/diagramDrawing";
/** {@code m:} — namespace OMML (§22.1); {@code w:} — wordprocessingML. */
private static final String MATH_URI =
"http://schemas.openxmlformats.org/officeDocument/2006/math";
/** Local name элемента {@code m:oMath} (диспетч JAXBElement по имени тега). */
private static final String LOCAL_OMATH = "oMath";
/** Local name элемента {@code m:oMathPara} (формула отдельным абзацем). */
private static final String LOCAL_OMATH_PARA = "oMathPara";
private static final String WML_URI =
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
/** /**
* Верхняя граница {@code wp:extent} в EMU: максимальная страница Word — * Верхняя граница {@code wp:extent} в EMU: максимальная страница Word —
@@ -98,10 +136,25 @@ public final class DrawingPreRenderer {
/** /**
* Рендерит диаграммы/SmartArt пакета в PNG и подменяет их картинками — * Рендерит диаграммы/SmartArt пакета в PNG и подменяет их картинками —
* объекты конвертируются всегда. Бросается {@link DrawingFoundException}, * объекты конвертируются всегда. Бросается {@link ChartsFoundException} или
* {@link SmartArtFoundException},
* когда для объектов включён error-флаг ({@link ConvertOptions}). * когда для объектов включён error-флаг ({@link ConvertOptions}).
*/ */
public static void run(WordprocessingMLPackage pkg, ConvertOptions options) { public static void run(WordprocessingMLPackage pkg, ConvertOptions options) {
run(pkg, options, MAX_CHART_PNG_BYTES_TOTAL);
}
/**
* Потолок суммарного размера chart-PNG на документ: пер-объектные гейты
* ({@code MAX_EXTENT_EMU}, {@code MAX_PIXELS}) ограничивают один объект,
* но тысячи chart-частей × MB PNG оседали бы в heap как media-части
* (много-ГБ пик с входа ≤5 MiB). Превышение — деградация «объект удалён
* + warn», конвертация продолжается.
*/
private static final long MAX_CHART_PNG_BYTES_TOTAL = 128L * 1024 * 1024;
/** Тестовый шов: бюджет задаётся явно (публичный {@link #run} — с константой). */
static void run(WordprocessingMLPackage pkg, ConvertOptions options, long maxPngBytesTotal) {
ThemePart themePart = null; ThemePart themePart = null;
for (Part p : new ArrayList<>(pkg.getParts().getParts().values())) { for (Part p : new ArrayList<>(pkg.getParts().getParts().values())) {
if (p instanceof ThemePart tp) { if (p instanceof ThemePart tp) {
@@ -116,7 +169,9 @@ public final class DrawingPreRenderer {
// ConcurrentModificationException. // ConcurrentModificationException.
List<Part> parts = new ArrayList<>(pkg.getParts().getParts().values()); List<Part> parts = new ArrayList<>(pkg.getParts().getParts().values());
Set<Part> handled = new HashSet<>(); Set<Part> handled = new HashSet<>();
Set<List<?>> visitedContents = Collections.newSetFromMap(new IdentityHashMap<>());
int[] idSeq = {1000}; int[] idSeq = {1000};
long[] pngTotal = {0};
for (Part p : parts) { for (Part p : parts) {
if (!handled.add(p)) { if (!handled.add(p)) {
continue; continue;
@@ -125,7 +180,8 @@ public final class DrawingPreRenderer {
if (content.isEmpty()) { if (content.isEmpty()) {
continue; continue;
} }
walk(p, content, pkg, colors, idSeq, options); walk(p, content, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options,
visitedContents, null);
} }
} }
@@ -151,20 +207,61 @@ public final class DrawingPreRenderer {
} }
private static void walk(Part part, List<?> content, WordprocessingMLPackage pkg, private static void walk(Part part, List<?> content, WordprocessingMLPackage pkg,
DrawMlColor colors, int[] idSeq, ConvertOptions options) { DrawMlColor colors, int[] idSeq, long[] pngTotal,
for (Object o : content) { long maxPngBytesTotal, ConvertOptions options,
Set<List<?>> visitedContents, P ownerPara) {
// Посещённые списки — по идентичности (IdentityHashMap): рефлексивный
// getContent (ребёнок возвращает список родителя) не зацикливает обход.
// Сравнение списков через ==/!= запрещено PMD CompareObjectsWithEquals.
if (!visitedContents.add(content)) {
return;
}
for (int i = 0; i < content.size(); i++) {
Object o = content.get(i);
Object v = o instanceof JAXBElement ? ((JAXBElement<?>) o).getValue() : o; Object v = o instanceof JAXBElement ? ((JAXBElement<?>) o).getValue() : o;
if (v instanceof Drawing drawing) { if (v instanceof Drawing drawing) {
replaceDrawing(part, drawing, pkg, colors, idSeq, options); replaceDrawing(part, drawing, pkg, colors, idSeq, pngTotal,
maxPngBytesTotal, options);
continue; continue;
} }
if (o instanceof JAXBElement<?> el && el.getName() != null
&& MATH_URI.equals(el.getName().getNamespaceURI())) {
String local = el.getName().getLocalPart();
if (LOCAL_OMATH.equals(local) && v instanceof CTOMath math) {
i = splice(content, i, mathReplacements(math, false, part, pkg,
idSeq, pngTotal, maxPngBytesTotal));
continue;
}
if (LOCAL_OMATH_PARA.equals(local) && v instanceof CTOMathPara para) {
i = splice(content, i, mathParaReplacements(para, ownerPara, part,
pkg, idSeq, pngTotal, maxPngBytesTotal));
continue;
}
}
P para = v instanceof P p ? p : ownerPara;
List<?> nested = invokeList(v, "getContent"); List<?> nested = invokeList(v, "getContent");
if (!nested.isEmpty() && nested != content) { if (!nested.isEmpty()) {
walk(part, nested, pkg, colors, idSeq, options); walk(part, nested, pkg, colors, idSeq, pngTotal, maxPngBytesTotal,
options, visitedContents, para);
} }
} }
} }
/**
* In-place замена элемента {@code index} живого списка дерева на {@code reps}
* (формула → картинка/текст). Живые списки docx4j — изменяемые
* {@code ArrayList}; немодифицируемый список (нетипичный биндинг) —
* {@link UnsupportedOperationException}, который вызывающий не ловит:
* это ошибка программы, а не враждебный вход (валидатор пропускает только
* OOXML-валидные пакеты). Raw-сигнатура — единственный способ mutate
* {@code List<?>} без {@code @SuppressWarnings}.
*/
private static int splice(List content, int index, List reps) {
content.remove(index);
content.addAll(index, reps);
return index + reps.size() - 1;
}
private static List<?> invokeList(Object target, String getter) { private static List<?> invokeList(Object target, String getter) {
try { try {
Method m = target.getClass().getMethod(getter); Method m = target.getClass().getMethod(getter);
@@ -176,7 +273,8 @@ public final class DrawingPreRenderer {
} }
private static void replaceDrawing(Part part, Drawing drawing, WordprocessingMLPackage pkg, private static void replaceDrawing(Part part, Drawing drawing, WordprocessingMLPackage pkg,
DrawMlColor colors, int[] idSeq, ConvertOptions options) { DrawMlColor colors, int[] idSeq, long[] pngTotal,
long maxPngBytesTotal, ConvertOptions options) {
for (Object wrapper : drawing.getAnchorOrInline()) { for (Object wrapper : drawing.getAnchorOrInline()) {
Graphic graphic; Graphic graphic;
long cx; long cx;
@@ -207,10 +305,10 @@ public final class DrawingPreRenderer {
boolean isChart = CHART_ELEMENT.equals(name); boolean isChart = CHART_ELEMENT.equals(name);
boolean isDiagram = DIAGRAM_ELEMENT.equals(name); boolean isDiagram = DIAGRAM_ELEMENT.equals(name);
if (isChart && options.errorOnCharts()) { if (isChart && options.errorOnCharts()) {
throw new DrawingFoundException(DrawingFoundException.Kind.CHARTS); throw new ChartsFoundException();
} }
if (isDiagram && options.errorOnSmartArt()) { if (isDiagram && options.errorOnSmartArt()) {
throw new DrawingFoundException(DrawingFoundException.Kind.SMARTART); throw new SmartArtFoundException();
} }
if (cx <= 0 || cy <= 0 || cx > MAX_EXTENT_EMU || cy > MAX_EXTENT_EMU) { if (cx <= 0 || cy <= 0 || cx > MAX_EXTENT_EMU || cy > MAX_EXTENT_EMU) {
LOG.warn("drawing вне допустимого wp:extent (cx={}, cy={}) — объект оставлен как есть", LOG.warn("drawing вне допустимого wp:extent (cx={}, cy={}) — объект оставлен как есть",
@@ -234,10 +332,169 @@ public final class DrawingPreRenderer {
} }
continue; continue;
} }
swapForPicture(part, gd, img, cx, cy, idSeq, pkg); swapForPicture(part, gd, img, cx, cy, idSeq, pkg, pngTotal, maxPngBytesTotal);
} }
} }
/**
* Одна {@code m:oMath} → замены на позиции формулы: inline
* {@code w:drawing} с pic:pic (успех) или ран с конкатенацией
* {@code m:t} (деградация: unsupported-конструкция — безопасная сеть
* после байтового скана MathFallbackNormalizer, пустая/битая формула,
* переполнение бюджета PNG). OOM — {@link ConversionException}, не
* деградация (тот же контракт, что у графиков).
*/
private static List<Object> mathReplacements(CTOMath math, boolean display,
Part part, WordprocessingMLPackage pkg,
int[] idSeq, long[] pngTotal,
long maxPngBytesTotal) {
try {
MathRenderer.MathImage mi = MathRenderer.render(MathModel.build(math, display));
if (mi.image() == null) {
return textRuns(MathModel.mathText(math));
}
byte[] png;
try {
ByteArrayOutputStream bos = new ByteArrayOutputStream();
ImageIO.write(mi.image(), "png", bos);
png = bos.toByteArray();
} finally {
mi.image().flush();
}
if (png.length == 0) {
LOG.warn("PNG формулы пуст — формула деградирована в текст");
return textRuns(MathModel.mathText(math));
}
if (pngTotal[0] + png.length > maxPngBytesTotal) {
LOG.warn("суммарный размер PNG превысил {} байт — формула деградирована в текст",
maxPngBytesTotal);
return textRuns(MathModel.mathText(math));
}
pngTotal[0] += png.length;
String relId = addChartMedia(pkg, part, png);
long cx = Math.round(mi.widthPt() * 12700.0);
long cy = Math.round(mi.heightPt() * 12700.0);
Drawing pic = mathPicture(idSeq, relId, cx, cy);
if (display) {
return List.of(pic);
}
// FOP ставит инлайн-картинку НИЖНИМ краем на базовую линию
// строки, поэтому формула «всплывала» на descent+PAD над
// текстом. Word роняет базовую линию формулы на базовую
// линию строки — компенсируем смещением ранa вниз:
// w:rPr/w:position (полупункты, отрицательное опускает,
// §17.3.2.24) через AUDIT-FIX baseline-shift вендорного
// XSLT. belowBaselinePt > PAD всегда (канва ≥ габариту +
// 2·PAD), нулевого смещения не бывает. Регрессия —
// WordPdfConverterTest#ommlMathInline_sitsOnTextBaseline.
R run = new R();
RPr rpr = new RPr();
CTSignedHpsMeasure pos = new CTSignedHpsMeasure();
pos.setVal(BigInteger.valueOf(-Math.round(2 * mi.belowBaselinePt())));
rpr.setPosition(pos);
run.setRPr(rpr);
run.getContent().add(pic);
return List.of(run);
} catch (MathUnsupportedException e) {
LOG.info("формула не поддерживается рендером — деградация в текст: {}",
e.getMessage());
return textRuns(MathModel.mathText(math));
} catch (OutOfMemoryError e) {
LOG.error("память исчерпана при рендере формулы", e);
throw new ConversionException("Память исчерпана при рендере формулы", e);
} catch (Docx4JException | IOException | RuntimeException e) {
LOG.warn("рендер формулы упал: {}", e.toString());
return textRuns(MathModel.mathText(math));
}
}
/**
* Блок {@code m:oMathPara} (§22.1.3.13): все формулы блока — display.
* Word кладёт {@code oMathPara} либо в блок-контейнер (§22.1.3 —
* наблюдаемая раскладка Word-файлов), либо в {@code w:p}; в первом
* случае формулы заворачиваются в новый центрированный {@code w:p},
* во втором — вставляются на место блока, а содержащему абзацу
* выставляется {@code jc=center} (семантика центрированной
* формулы-абзаца; prose в том же абзаце — враждебный вход, центрируется
* тоже — зарегистрированная деградация).
*/
private static List<Object> mathParaReplacements(CTOMathPara para, P ownerPara,
Part part, WordprocessingMLPackage pkg,
int[] idSeq, long[] pngTotal,
long maxPngBytesTotal) {
List<Object> inner = new ArrayList<>();
for (CTOMath m : para.getOMath()) {
inner.addAll(mathReplacements(m, true, part, pkg, idSeq, pngTotal,
maxPngBytesTotal));
}
if (ownerPara != null) {
centerParagraph(ownerPara);
return inner;
}
if (inner.isEmpty()) {
return List.of();
}
P p = new P();
PPr ppr = new PPr();
Jc jc = new Jc();
jc.setVal(JcEnumeration.CENTER);
ppr.setJc(jc);
p.setPPr(ppr);
p.getContent().addAll(inner);
return List.of(p);
}
/** {@code jc=center} на абзаце (создаёт {@code w:pPr}, если нет). */
private static void centerParagraph(P para) {
PPr ppr = para.getPPr();
if (ppr == null) {
ppr = new PPr();
para.setPPr(ppr);
}
Jc jc = new Jc();
jc.setVal(JcEnumeration.CENTER);
ppr.setJc(jc);
}
/** Inline {@code w:drawing} с pic:Pic заданного размера (EMU). */
private static Drawing mathPicture(int[] idSeq, String relId, long cx, long cy) {
Drawing drawing = new Drawing();
Inline inline = new Inline();
inline.setDistT(0L);
inline.setDistB(0L);
inline.setDistL(0L);
inline.setDistR(0L);
CTPositiveSize2D extent = new CTPositiveSize2D();
extent.setCx(cx);
extent.setCy(cy);
inline.setExtent(extent);
CTNonVisualDrawingProps docPr = new CTNonVisualDrawingProps();
docPr.setId(idSeq[0]++);
docPr.setName("Формула " + docPr.getId());
inline.setDocPr(docPr);
Graphic graphic = new Graphic();
GraphicData gd = new GraphicData();
gd.setUri(PICTURE_URI);
gd.getAny().add(buildPic(idSeq, relId, cx, cy, "Формула"));
graphic.setGraphicData(gd);
inline.setGraphic(graphic);
drawing.getAnchorOrInline().add(inline);
return drawing;
}
/** Ран с текстом (деградация формулы); пустой текст — пустой список. */
private static List<Object> textRuns(String text) {
if (text.isEmpty()) {
return List.of();
}
R run = new R();
Text t = new Text();
t.setValue(text);
t.setSpace("preserve");
run.getContent().add(new JAXBElement<>(new QName(WML_URI, "t"), Text.class, t));
return List.of(run);
}
private static BufferedImage renderChart(Part part, CTRelId ref, private static BufferedImage renderChart(Part part, CTRelId ref,
DrawMlColor colors, long cx, long cy) { DrawMlColor colors, long cx, long cy) {
Part target = resolve(part, ref.getId()); Part target = resolve(part, ref.getId());
@@ -248,8 +505,15 @@ public final class DrawingPreRenderer {
try { try {
ChartSpec spec = ChartSpec.parse(space, colors); ChartSpec spec = ChartSpec.parse(space, colors);
return ChartRenderer.render(spec, cx / 12700.0, cy / 12700.0, colors); return ChartRenderer.render(spec, cx / 12700.0, cy / 12700.0, colors);
} catch (RuntimeException | OutOfMemoryError e) { } catch (OutOfMemoryError e) {
// OOM — второй эшелон после MAX_EXTENT_EMU/MAX_POINTS: враждебный // OOM — не «деградация объекта»: состояние heap после него
// ненадёжно, продолжение рендера следующих объектов — второй
// OOM вместо одного детерминированного 500.
LOG.error("память исчерпана при рендере графика r:id={}", ref.getId(), e);
throw new ConversionException(
"Память исчерпана при рендере объектов рисования", e);
} catch (RuntimeException e) {
// второй эшелон после MAX_EXTENT_EMU/MAX_POINTS: враждебный
// chart-XML не должен валить всю конвертацию, деградация = объект удалён. // chart-XML не должен валить всю конвертацию, деградация = объект удалён.
LOG.warn("рендер графика r:id={} упал: {}", ref.getId(), e.toString()); LOG.warn("рендер графика r:id={} упал: {}", ref.getId(), e.toString());
return null; return null;
@@ -265,7 +529,11 @@ public final class DrawingPreRenderer {
} }
try { try {
return SmartArtRenderer.render(drawing, colors, cx / 12700.0, cy / 12700.0); return SmartArtRenderer.render(drawing, colors, cx / 12700.0, cy / 12700.0);
} catch (RuntimeException | OutOfMemoryError e) { } catch (OutOfMemoryError e) {
LOG.error("память исчерпана при рендере SmartArt", e);
throw new ConversionException(
"Память исчерпана при рендере объектов рисования", e);
} catch (RuntimeException e) {
LOG.warn("рендер SmartArt упал: {}", e.toString()); LOG.warn("рендер SmartArt упал: {}", e.toString());
return null; return null;
} }
@@ -309,7 +577,8 @@ public final class DrawingPreRenderer {
*/ */
private static void swapForPicture(Part part, GraphicData gd, BufferedImage img, private static void swapForPicture(Part part, GraphicData gd, BufferedImage img,
long cx, long cy, int[] idSeq, long cx, long cy, int[] idSeq,
WordprocessingMLPackage pkg) { WordprocessingMLPackage pkg,
long[] pngTotal, long maxPngBytesTotal) {
byte[] png; byte[] png;
try { try {
ByteArrayOutputStream bos = new ByteArrayOutputStream(); ByteArrayOutputStream bos = new ByteArrayOutputStream();
@@ -325,6 +594,13 @@ public final class DrawingPreRenderer {
gd.getAny().clear(); // контракт: упавший рендер — объект удалён gd.getAny().clear(); // контракт: упавший рендер — объект удалён
return; return;
} }
if (pngTotal[0] + png.length > maxPngBytesTotal) {
LOG.warn("суммарный размер chart-PNG превысил {} байт — объект удалён",
maxPngBytesTotal);
gd.getAny().clear(); // деградация «объект удалён + warn»
return;
}
pngTotal[0] += png.length;
String relId; String relId;
try { try {
relId = addChartMedia(pkg, part, png); relId = addChartMedia(pkg, part, png);
@@ -334,11 +610,25 @@ public final class DrawingPreRenderer {
return; return;
} }
Pic pic = buildPic(idSeq, relId, cx, cy, "Диаграмма");
gd.setUri(PICTURE_URI);
gd.getAny().clear();
gd.getAny().add(pic);
}
/**
* {@code pic:pic} на готовый media-r:id: id/имя из счётчика {@code idSeq}
* (общего для картинок диаграмм и формул), геометрия — входной extent
* (EMU), превью не нужно.
*/
private static Pic buildPic(int[] idSeq, String relId, long cx, long cy,
String namePrefix) {
Pic pic = new Pic(); Pic pic = new Pic();
org.docx4j.dml.picture.CTPictureNonVisual nv = new org.docx4j.dml.picture.CTPictureNonVisual(); org.docx4j.dml.picture.CTPictureNonVisual nv = new org.docx4j.dml.picture.CTPictureNonVisual();
CTNonVisualDrawingProps props = new CTNonVisualDrawingProps(); CTNonVisualDrawingProps props = new CTNonVisualDrawingProps();
props.setId(idSeq[0]++); props.setId(idSeq[0]++);
props.setName("Диаграмма " + props.getId()); props.setName(namePrefix + " " + props.getId());
nv.setCNvPr(props); nv.setCNvPr(props);
nv.setCNvPicPr(new CTNonVisualPictureProperties()); nv.setCNvPicPr(new CTNonVisualPictureProperties());
pic.setNvPicPr(nv); pic.setNvPicPr(nv);
@@ -368,10 +658,7 @@ public final class DrawingPreRenderer {
geom.setAvLst(new CTGeomGuideList()); geom.setAvLst(new CTGeomGuideList());
spPr.setPrstGeom(geom); spPr.setPrstGeom(geom);
pic.setSpPr(spPr); pic.setSpPr(spPr);
return pic;
gd.setUri(PICTURE_URI);
gd.getAny().clear();
gd.getAny().add(pic);
} }
/** /**
File diff suppressed because it is too large Load Diff
@@ -0,0 +1,75 @@
package ru.pjandro.wordpdf.internal.chart;
import java.awt.Color;
import java.awt.Graphics2D;
import java.awt.RenderingHints;
import java.awt.image.BufferedImage;
/**
* Растеризация разобранной формулы: дерево {@link MathModel.Box} → PNG
* в координатах pt×dpi/72 (тот же растер-контракт, что у график:
* {@link ChartRenderer#DPI}, понижение dpi по {@link ChartRenderer#fitDpi}
* при превышении площади). Фон прозрачный (ARGB), сглаживание включено —
* глифы рисуются контурами fontbox, шрифтов хоста не касается.
*
* <p>Пустая формула (нулевые метрики) → {@link MathImage} с нулевыми
* размерами и {@code image == null}: вызывающий заменяет её текстом
* {@code m:t} либо убирает вовсе. {@code OutOfMemoryError} при раздутии
* битмапа НЕ перехватывается — это {@code ConversionException} (500) выше
* по стеку, не деградация (контракт chart-модели).
*/
final class MathRenderer {
/** Минимальный размер растра формулы, pt (тонкий индекс не «схлопнется»). */
static final double MIN_WIDTH_PT = 4.0;
/** Минимальная высота растра формулы, pt. */
static final double MIN_HEIGHT_PT = 12.0;
/** Отступ вокруг габарита формулы, pt (обрезка сглаженных краёв). */
static final double PAD_PT = 1.0;
private MathRenderer() {
}
/**
* Растр формулы: PNG-носитель, габарит в pt (для extcx/extcy) и
* {@code belowBaselinePt} — расстояние от базовой линии формулы до
* нижнего края растра (высота минус верхний отступ и ascent; при
* клампе к MIN_HEIGHT — с запасом снизу).
*/
record MathImage(BufferedImage image, double widthPt, double heightPt,
double belowBaselinePt) {
}
/** Растр бокса; пустой бокс → {@code image == null}, размеры 0. */
static MathImage render(MathModel.Box root) {
if (root.isEmpty()) {
return new MathImage(null, 0, 0, 0);
}
double widthPt = Math.max(MIN_WIDTH_PT, root.width + 2 * PAD_PT);
double heightPt = Math.max(MIN_HEIGHT_PT, root.ascent + root.descent + 2 * PAD_PT);
double dpi = ChartRenderer.fitDpi(widthPt, heightPt);
int w = Math.max(1, (int) Math.round(widthPt * dpi / 72.0));
int h = Math.max(1, (int) Math.round(heightPt * dpi / 72.0));
BufferedImage img = new BufferedImage(w, h, BufferedImage.TYPE_INT_ARGB);
Graphics2D g = img.createGraphics();
try {
g.setRenderingHint(RenderingHints.KEY_ANTIALIASING,
RenderingHints.VALUE_ANTIALIAS_ON);
g.setRenderingHint(RenderingHints.KEY_TEXT_ANTIALIASING,
RenderingHints.VALUE_TEXT_ANTIALIAS_ON);
g.setRenderingHint(RenderingHints.KEY_STROKE_CONTROL,
RenderingHints.VALUE_STROKE_PURE);
g.setColor(new Color(0, 0, 0, 0));
double k = dpi / 72.0;
g.scale(k, k);
double x = (widthPt - root.width) / 2.0;
double baseline = PAD_PT + root.ascent;
root.paint(g, x, baseline);
} finally {
g.dispose();
}
return new MathImage(img, widthPt, heightPt, heightPt - PAD_PT - root.ascent);
}
}
@@ -0,0 +1,20 @@
package ru.pjandro.wordpdf.internal.chart;
/**
* Конструкция OMML, которую формульный рендер не раскладывает: math-элемент
* вне {@link MathModel#SUPPORTED}, math-узел не JAXBElement или структурная
* поломка (например, {@code w:br} внутри math-рана).
*
* <p>Сигнал деградации, не отказа: {@code DrawingPreRenderer} заменяет
* формулу её текстом {@code m:t} вместо растра (контент не теряется).
* Бросается на разборе ({@link MathModel#build}), тем же критерием
* срезается раньше — на байтовом уровне в {@code MathFallbackNormalizer}.
*/
final class MathUnsupportedException extends RuntimeException {
private static final long serialVersionUID = 1L;
MathUnsupportedException(String what) {
super(what);
}
}
@@ -11,11 +11,11 @@ import java.util.List;
import java.util.Set; import java.util.Set;
/** /**
* Комбинированная диаграмма (c:ofPieChart, ECMA-376 §21.2.2.108): главный * Комбинированная диаграмма (c:ofPieChart, ECMA-376 §21.2.2.126): главный
* пирог из первичных точек + вторичная круговая (c:ofPieType="pie") либо * пирог из первичных точек + вторичная круговая (c:ofPieType="pie") либо
* вертикальный стек ("bar") из вторичных. Разбиение по c:splitType * вертикальный стек ("bar") из вторичных. Разбиение по c:splitType
* (auto|cust|percent|pos|val, §21.2.2.155; семантика splitPos — * (auto|cust|percent|pos|val, §21.2.2.196; семантика splitPos —
* MS-OI29500 §2.1.1554a/b): auto/pos — последние ceil(n/3) (или splitPos) * MS-OI29500 §2.1.1553): auto/pos — последние ceil(n/3) (или splitPos)
* точек, val/percent — точки ниже splitPos, cust — c:secondPiePt. * точек, val/percent — точки ниже splitPos, cust — c:secondPiePt.
* Вторичных точек нет → обычная круговая через {@link PiePainter}. * Вторичных точек нет → обычная круговая через {@link PiePainter}.
* «Other»-сектор (MS-OI29500 §2.1.1507(a)) замыкает главный пирог и обращён к * «Other»-сектор (MS-OI29500 §2.1.1507(a)) замыкает главный пирог и обращён к
@@ -37,7 +37,7 @@ final class OfPiePainter {
* калибровка — OfPiePainterTest). */ * калибровка — OfPiePainterTest). */
private static final double GAP_FIT = 0.25; private static final double GAP_FIT = 0.25;
/** c:ofPieType="bar" — вторичная часть столбчатая (§21.2.2.134). */ /** c:ofPieType="bar" — вторичная часть столбчатая (§21.2.2.127). */
private static final String SECONDARY_BAR = "bar"; private static final String SECONDARY_BAR = "bar";
private OfPiePainter() { private OfPiePainter() {
@@ -9,9 +9,9 @@ import java.util.ArrayList;
import java.util.List; import java.util.List;
/** /**
* Лепестковая диаграмма (c:radarChart, ECMA-376 §21.2.2.143): категории — * Лепестковая диаграмма (c:radarChart, ECMA-376 §21.2.2.153): категории —
* спицы от 12 часов по часовой, значения — радиус по оси значений. * спицы от 12 часов по часовой, значения — радиус по оси значений.
* c:radarStyle (§21.2.2.119): standard — контур, marker — контур + маркеры, * c:radarStyle (§21.2.2.154): standard — контур, marker — контур + маркеры,
* filled — полупрозрачная заливка без контура (вид как у AREA). * filled — полупрозрачная заливка без контура (вид как у AREA).
* Сетка — концентрические многоугольники по делениям оси значений (паутина * Сетка — концентрические многоугольники по делениям оси значений (паутина
* прямыми звеньями, как в Word) и спицы. * прямыми звеньями, как в Word) и спицы.
@@ -15,9 +15,9 @@ import java.util.List;
* ChartSpecTest#scatterFirstValAxisIsX). * ChartSpecTest#scatterFirstValAxisIsX).
* *
* scatter: маркеры по c:marker ряда, линия по c:scatterStyle (line/smooth — * scatter: маркеры по c:marker ряда, линия по c:scatterStyle (line/smooth —
* ECMA-376 §21.2.2.136, сглаживание — кривая Жозефа де Кастельно не * ECMA-376 §21.2.2.162, сглаживание — кривая Жозефа де Кастельно не
* имитируется, ломаная с JOIN_ROUND). bubble: круги без обводки, радиус * имитируется, ломаная с JOIN_ROUND). bubble: круги без обводки, радиус
* sqrt(|size|/maxSize) при c:sizeRepresents="area" (§21.2.2.128) и линейно * sqrt(|size|/maxSize) при c:sizeRepresents="area" (§21.2.2.193) и линейно
* при "w", масштаб c:bubbleScale. Ограничения: c:bubble3D рисуется плоско. * при "w", масштаб c:bubbleScale. Ограничения: c:bubble3D рисуется плоско.
* *
* Регрессия — ScatterPainterTest, фикстура samples/chart-types.docx * Регрессия — ScatterPainterTest, фикстура samples/chart-types.docx
@@ -278,8 +278,9 @@ final class SmartArtRenderer {
if (paragraphs.isEmpty()) { if (paragraphs.isEmpty()) {
return; return;
} }
// autofit по ECMA-376 §21.1.2.1.2/.3: noAutofit, spAutoFit (§21.1.2.1.4 — // autofit по ECMA-376 §21.1.2.1.2 noAutofit / §21.1.2.1.3 normAutofit /
// под размер текста ресайзится фигура, сам текст не масштабируется) // §21.1.2.1.4 spAutoFit (под размер текста ресайзится фигура,
// сам текст не масштабируется)
// или отсутствие autofit-элемента (отсутствие имплицирует noAutofit) — // или отсутствие autofit-элемента (отсутствие имплицирует noAutofit) —
// текст рисуется заявленным кеглем. normAutofit — применяем запечённые // текст рисуется заявленным кеглем. normAutofit — применяем запечённые
// Word-ом fontScale/lnSpcReduction из XML; если fontScale не запечён // Word-ом fontScale/lnSpcReduction из XML; если fontScale не запечён
@@ -9,7 +9,7 @@ import java.util.ArrayList;
import java.util.List; import java.util.List;
/** /**
* Биржевая диаграмма (c:stockChart, ECMA-376 §21.2.2.153): ряды — линии * Биржевая диаграмма (c:stockChart, ECMA-376 §21.2.2.198): ряды — линии
* (CT_LineSer, обычно open/high/low/close), плюс факультативные * (CT_LineSer, обычно open/high/low/close), плюс факультативные
* c:hiLowLines (вертикаль min..max по всем рядам категории), * c:hiLowLines (вертикаль min..max по всем рядам категории),
* c:upDownBars (столбик между первым и последним рядом: вверх — зелёный, * c:upDownBars (столбик между первым и последним рядом: вверх — зелёный,
@@ -402,19 +402,24 @@ final class Surface3dPainter {
private static List<double[]> clipHalf(List<double[]> poly, double bound, boolean keepAbove) { private static List<double[]> clipHalf(List<double[]> poly, double bound, boolean keepAbove) {
List<double[]> out = new ArrayList<>(); List<double[]> out = new ArrayList<>();
for (int i = 0; i < poly.size(); i++) { if (poly.isEmpty()) {
double[] cur = poly.get(i); return out;
double[] nxt = poly.get((i + 1) % poly.size()); }
// Рёбра (prev → cur) по кругу от замыкающего: то же множество рёбер, что у
// индексного (i, (i+1)%n); foreach — ForLoopCanBeForeach.
double[] prev = poly.get(poly.size() - 1);
for (double[] cur : poly) {
boolean inPrev = keepAbove ? prev[2] >= bound : prev[2] <= bound;
boolean inCur = keepAbove ? cur[2] >= bound : cur[2] <= bound; boolean inCur = keepAbove ? cur[2] >= bound : cur[2] <= bound;
boolean inNxt = keepAbove ? nxt[2] >= bound : nxt[2] <= bound; if (inPrev) {
if (inCur) { out.add(prev);
out.add(cur);
} }
if (inCur != inNxt && Math.abs(nxt[2] - cur[2]) > 1e-12) { if (inPrev != inCur && Math.abs(cur[2] - prev[2]) > 1e-12) {
double t = (bound - cur[2]) / (nxt[2] - cur[2]); double t = (bound - prev[2]) / (cur[2] - prev[2]);
out.add(new double[]{cur[0] + t * (nxt[0] - cur[0]), out.add(new double[]{prev[0] + t * (cur[0] - prev[0]),
cur[1] + t * (nxt[1] - cur[1]), bound}); prev[1] + t * (cur[1] - prev[1]), bound});
} }
prev = cur;
} }
return out; return out;
} }
@@ -459,7 +464,7 @@ final class Surface3dPainter {
project(0.5, v, floorW, rotX, rotY, depthScale, persp), fit); project(0.5, v, floorW, rotX, rotY, depthScale, persp), fit);
} }
// сетка значений: левая стенка (от переднего левого ребра в глубину) // сетка значений: левая стенка (от переднего левого ребра в глубину)
// и дальней стенка — обе рисует Word; c:delete (§21.2.2.38) убирает ось // и дальней стенка — обе рисует Word; c:delete (§21.2.2.40) убирает ось
// целиком — сетка удалённой оси не рисуется. // целиком — сетка удалённой оси не рисуется.
if (valAxis.gridlines && !valAxis.deleted) { if (valAxis.gridlines && !valAxis.deleted) {
for (double v = lo; v <= hi + unit / 2; v += unit) { for (double v = lo; v <= hi + unit / 2; v += unit) {
@@ -22,7 +22,7 @@ import java.util.Map;
* любой цепочки ограничена числом секторов файла, иначе враждебный FAT * любой цепочки ограничена числом секторов файла, иначе враждебный FAT
* зациклил бы разбор.</p> * зациклил бы разбор.</p>
*/ */
public final class CfbReader { final class CfbReader {
/** Сигнатура контейнера, MS-CFB §2.2 (Header Signature). */ /** Сигнатура контейнера, MS-CFB §2.2 (Header Signature). */
static final byte[] SIGNATURE = {(byte) 0xD0, (byte) 0xCF, 0x11, (byte) 0xE0, static final byte[] SIGNATURE = {(byte) 0xD0, (byte) 0xCF, 0x11, (byte) 0xE0,
@@ -33,9 +33,6 @@ public final class CfbReader {
private static final long FREESECT = 0xFFFFFFFFL; private static final long FREESECT = 0xFFFFFFFFL;
private static final long MAX_SECT = 0xFFFFFFFAL; private static final long MAX_SECT = 0xFFFFFFFAL;
/** Разумный потолок mini-sector shift: 2^16 = 64 KiB (MS-CFB §2.2). */
private static final int MAX_MINI_SECTOR_SHIFT = 16;
/** Типы записей directory (MS-CFB §2.6, Object Type). */ /** Типы записей directory (MS-CFB §2.6, Object Type). */
private static final int TYPE_STREAM = 0x02; private static final int TYPE_STREAM = 0x02;
private static final int TYPE_ROOT = 0x05; private static final int TYPE_ROOT = 0x05;
@@ -44,6 +41,7 @@ public final class CfbReader {
private static final int ENTRY_SIZE = 128; private static final int ENTRY_SIZE = 128;
/** Смещения полей заголовка (MS-CFB §2.2: сигнатура 8 + CLSID 16). */ /** Смещения полей заголовка (MS-CFB §2.2: сигнатура 8 + CLSID 16). */
private static final int OFF_BYTE_ORDER = 0x1C;
private static final int OFF_SECTOR_SHIFT = 0x1E; private static final int OFF_SECTOR_SHIFT = 0x1E;
private static final int OFF_MINI_SECTOR_SHIFT = 0x20; private static final int OFF_MINI_SECTOR_SHIFT = 0x20;
private static final int OFF_FIRST_DIR = 0x30; private static final int OFF_FIRST_DIR = 0x30;
@@ -63,6 +61,16 @@ public final class CfbReader {
/** Минимальный заголовок — 512 байт (сектор v3). */ /** Минимальный заголовок — 512 байт (сектор v3). */
private static final int HEADER_SIZE = 512; private static final int HEADER_SIZE = 512;
/** ByteOrder MUST быть little-endian ([MS-CFB] §2.2). */
private static final int BYTE_ORDER_LITTLE = 0xFFFE;
/** SectorShift: 9 (v3, 512 Б) или 12 (v4, 4096 Б) ([MS-CFB] §2.2). */
private static final int SECTOR_SHIFT_V3 = 9;
private static final int SECTOR_SHIFT_V4 = 12;
/** MiniSectorShift MUST быть 6 (64 Б) ([MS-CFB] §2.2). */
private static final int MINI_SECTOR_SHIFT_MUST = 6;
/** Mini Stream Cutoff MUST быть 0x1000 ([MS-CFB] §2.2). */
private static final int MINI_STREAM_CUTOFF_MUST = 0x1000;
private CfbReader() { private CfbReader() {
} }
@@ -73,22 +81,30 @@ public final class CfbReader {
* @throws ConversionException если это не CFB, файл обрезан или цепочки * @throws ConversionException если это не CFB, файл обрезан или цепочки
* секторов цикличны/указывают за конец файла * секторов цикличны/указывают за конец файла
*/ */
public static Map<String, byte[]> readStreams(byte[] cfb) { static Map<String, byte[]> readStreams(byte[] cfb) {
if (cfb == null || cfb.length < HEADER_SIZE || !startsWithSignature(cfb)) { if (cfb == null || cfb.length < HEADER_SIZE || !startsWithSignature(cfb)) {
throw new ConversionException("Содержимое не похоже на .doc Word 97–2003"); throw new ConversionException("Содержимое не похоже на .doc Word 97–2003");
} }
// MUST-поля заголовка ([MS-CFB] §2.2): не-равенство — чужой/битый
// формат, разбор дал бы мусор вместо отказа
if (u16(cfb, OFF_BYTE_ORDER) != BYTE_ORDER_LITTLE) {
throw new ConversionException("Неизвестный Byte Order контейнера .doc");
}
int sectorShift = u16(cfb, OFF_SECTOR_SHIFT); int sectorShift = u16(cfb, OFF_SECTOR_SHIFT);
int miniSectorShift = u16(cfb, OFF_MINI_SECTOR_SHIFT); int miniSectorShift = u16(cfb, OFF_MINI_SECTOR_SHIFT);
if (sectorShift != 9 && sectorShift != 12) { if (sectorShift != SECTOR_SHIFT_V3 && sectorShift != SECTOR_SHIFT_V4) {
throw new ConversionException("Неподдерживаемый размер сектора CFB: 2^" + sectorShift); throw new ConversionException("Неподдерживаемый размер сектора CFB: 2^" + sectorShift);
} }
if (miniSectorShift > MAX_MINI_SECTOR_SHIFT) { if (miniSectorShift != MINI_SECTOR_SHIFT_MUST) { // §2.2: «MUST be set to 0x0006»
throw new ConversionException("Неподдерживаемый размер mini-сектора CFB: 2^" + miniSectorShift); throw new ConversionException("Неподдерживаемый размер mini-сектора CFB: 2^" + miniSectorShift);
} }
int sectorSize = 1 << sectorShift; int sectorSize = 1 << sectorShift;
int miniSectorSize = 1 << miniSectorShift; int miniSectorSize = 1 << miniSectorShift;
long firstDir = u32(cfb, OFF_FIRST_DIR); long firstDir = u32(cfb, OFF_FIRST_DIR);
long cutoff = u32(cfb, OFF_CUTOFF); long cutoff = u32(cfb, OFF_CUTOFF);
if (cutoff != MINI_STREAM_CUTOFF_MUST) { // §2.2: «MUST be set to 0x00001000»
throw new ConversionException("Неподдерживаемый Mini Stream Cutoff контейнера .doc");
}
long firstMiniFat = u32(cfb, OFF_FIRST_MINI_FAT); long firstMiniFat = u32(cfb, OFF_FIRST_MINI_FAT);
long firstDifat = u32(cfb, OFF_FIRST_DIFAT); long firstDifat = u32(cfb, OFF_FIRST_DIFAT);
long difatCount = u32(cfb, OFF_DIFAT_COUNT); long difatCount = u32(cfb, OFF_DIFAT_COUNT);
@@ -123,6 +139,13 @@ public final class CfbReader {
} }
if (rootStart >= 0 && rootSize > 0) { if (rootStart >= 0 && rootSize > 0) {
// Root-запись не проходит фильтр «size <= cfb.length», что ниже для
// stream-записей: readChain аллоцирует new byte[(int) size] ДО
// любых проверок границ — завышенный rootSize уложил бы heap (MS-CFB §2.4,
// поток не может быть больше контейнера).
if (rootSize > cfb.length) {
throw new ConversionException("Размер mini stream .doc больше контейнера");
}
miniStream = readChain(cfb, fat, rootStart, rootSize, sectorSize, sectorTotal, "mini stream"); miniStream = readChain(cfb, fat, rootStart, rootSize, sectorSize, sectorTotal, "mini stream");
} }
if (firstMiniFat != FREESECT && firstMiniFat != ENDOFCHAIN && firstMiniFat <= MAX_SECT) { if (firstMiniFat != FREESECT && firstMiniFat != ENDOFCHAIN && firstMiniFat <= MAX_SECT) {
@@ -137,11 +160,27 @@ public final class CfbReader {
} }
} }
// второй проход: содержимое потоков // второй проход: содержимое потоков.
// Суммарный бюджет аллокаций big-потоков: FAT легально шарит сектора
// между записями, поэтому пер-запись «size <= cfb.length» не
// ограничивает итог — N записей с size ≈ cfb.length аллоцировали бы
// N×файл (OOM с одного враждебного контейнера). В легитимном
// контейнере big-потоки не перекрываются: rootSize + Σ big ≤ файл +
// служебные сектора (FAT/dir/докругление) ≈ 1.1×файла; 1.5× — запас.
// Mini-потоки (size < cutoff) в бюджет НЕ идут: их данные физически
// лежат внутри rootSize ([MS-CFB] §2.1/§2.4 — «The space for these
// objects comes from a special stream that is called the mini
// stream»), учёт их размеров второй раз удваивал бы rootSize и
// ложно отвергал контейнер из одних мелких потоков.
Map<String, byte[]> result = new HashMap<>(); Map<String, byte[]> result = new HashMap<>();
long allocated = rootSize;
for (Entry e : entries) { for (Entry e : entries) {
byte[] data; byte[] data;
if (e.size() >= cutoff) { if (e.size() >= cutoff) {
if (allocated + e.size() > 3L * cfb.length / 2) {
throw new ConversionException("Суммарный размер потоков .doc больше лимита контейнера");
}
allocated += e.size();
data = readChain(cfb, fat, e.start(), e.size(), sectorSize, sectorTotal, data = readChain(cfb, fat, e.start(), e.size(), sectorSize, sectorTotal,
"цепочка потока «" + e.name() + "»"); "цепочка потока «" + e.name() + "»");
} else { } else {
@@ -224,7 +263,15 @@ public final class CfbReader {
return fat; return fat;
} }
/** Цепочка секторов по FAT; цикл/выход за FAT → {@link ConversionException}. */ /**
* Цепочка секторов по FAT; цикл/выход за FAT → {@link ConversionException}.
* Капа min(fat.length, sectorTotal): sectorOffset=(sector+1)·sectorSize
* обязан остаться положительным int — сектор «за файлом» дал бы оффлоу
* и обход проверок base+n&gt;cfb.length; капка fat.length — ещё и на
* индексацию fat[] при FAT, покрывающем меньше файла (битый DIFAT).
* Регрессия — CfbReaderTest#streamChainBeyondFile_rejected,
* #rootChainBeyondFile_rejected.
*/
private static int[] chain(int[] fat, long start, int sectorTotal, String what) { private static int[] chain(int[] fat, long start, int sectorTotal, String what) {
List<Integer> sectors = new ArrayList<>(); List<Integer> sectors = new ArrayList<>();
long sect = start; long sect = start;
@@ -233,7 +280,7 @@ public final class CfbReader {
if (sectors.size() > limit) { if (sectors.size() > limit) {
throw new ConversionException("Циклическая " + what + " в .doc"); throw new ConversionException("Циклическая " + what + " в .doc");
} }
if (sect >= fat.length) { if (sect >= limit - 1) {
throw new ConversionException("Сектор за концом FAT в .doc: " + what); throw new ConversionException("Сектор за концом FAT в .doc: " + what);
} }
sectors.add((int) sect); sectors.add((int) sect);
@@ -286,12 +333,15 @@ public final class CfbReader {
if (sect >= miniFat.length) { if (sect >= miniFat.length) {
throw new ConversionException("Mini-сектор за концом MiniFAT в .doc"); throw new ConversionException("Mini-сектор за концом MiniFAT в .doc");
} }
int base = (int) sect * miniSectorSize;
int n = Math.min(miniSectorSize, (int) size - done); int n = Math.min(miniSectorSize, (int) size - done);
if (base + n > miniStream.length) { // long-арифметика: sect уже long, умножение не может уйти в
// отрицательный int-wrap и пройти прежний guard — arraycopy тогда бросал
// ArrayIndexOutOfBoundsException (не ConversionException → 500).
long base = sect * miniSectorSize;
if (base < 0 || base + n > miniStream.length) {
throw new ConversionException("Mini-поток .doc ссылается за конец mini stream"); throw new ConversionException("Mini-поток .doc ссылается за конец mini stream");
} }
System.arraycopy(miniStream, base, out, done, n); System.arraycopy(miniStream, (int) base, out, done, n);
done += n; done += n;
sect = miniFat[(int) sect] & 0xFFFFFFFFL; sect = miniFat[(int) sect] & 0xFFFFFFFFL;
} }
@@ -303,11 +353,15 @@ public final class CfbReader {
} }
private static int sectorOffset(int sector, int sectorSize) { private static int sectorOffset(int sector, int sectorSize) {
return (sector + 1) * sectorSize; long off = (long) (sector + 1) * sectorSize;
if (off > Integer.MAX_VALUE) {
throw new ConversionException("Сектор за концом файла в .doc");
}
return (int) off;
} }
private static void requireInFile(int offset, int len, int fileLen, String what) { private static void requireInFile(int offset, int len, int fileLen, String what) {
if (offset < HEADER_SIZE || offset + len > fileLen) { if (offset < HEADER_SIZE || (long) offset + len > fileLen) {
throw new ConversionException("Ссылка за конец файла в .doc: " + what); throw new ConversionException("Ссылка за конец файла в .doc: " + what);
} }
} }
@@ -58,13 +58,19 @@ final class ChpxIndex {
if (bx != 0) { if (bx != 0) {
int chpxOff = (int) pageOff + bx * 2; int chpxOff = (int) pageOff + bx * 2;
int cb = wordDocument[chpxOff] & 0xFF; int cb = wordDocument[chpxOff] & 0xFF;
if (cb == 0 || chpxOff + 1 + cb > pageOff + FKP_PAGE_SIZE) { // cb=0 (§2.9.32 Chpx — пустой grpx; ср. rgb[i]=0 в
continue; // §2.9.33 «there is no Chpx associated»): диапазон без
// прямых свойств, но валидный — заносим с пустым grpprl
if (cb > 0) {
if (chpxOff + 1 + cb > pageOff + FKP_PAGE_SIZE) {
continue; // grpprl не влезает в страницу — пропуск
} }
grpprl = new byte[cb]; grpprl = new byte[cb];
System.arraycopy(wordDocument, chpxOff + 1, grpprl, 0, cb); System.arraycopy(wordDocument, chpxOff + 1, grpprl, 0, cb);
} }
// bOffset=0 (§2.4.2 «no properties») — диапазон без свойств, НО }
// bOffset=0 (§2.9.33 «there is no Chpx associated») — диапазон
// без свойств, НО
// граница rgfc[j+1] значима: без записи в ranges rangeEnd для // граница rgfc[j+1] значима: без записи в ranges rangeEnd для
// дефолтного рана вернул бы конец абзаца, и ран, следующий за // дефолтного рана вернул бы конец абзаца, и ран, следующий за
// plain-участком (жирное слово в простом тексте — норма Word), // plain-участком (жирное слово в простом тексте — норма Word),
@@ -42,7 +42,8 @@ final class DocFile {
throw new ConversionException("В .doc нет потока " throw new ConversionException("В .doc нет потока "
+ (fib.use1Table() ? "1Table" : "0Table")); + (fib.use1Table() ? "1Table" : "0Table"));
} }
pieces = PieceTable.read(table, fib.fcClx(), fib.lcbClx(), wordDocument); pieces = PieceTable.read(table, fib.fcClx(), fib.lcbClx(), wordDocument,
fib.cbMac() & 0xFFFF_FFFFL);
} }
static DocFile open(byte[] docBytes) { static DocFile open(byte[] docBytes) {
@@ -78,7 +79,8 @@ final class DocFile {
+ papx.countPageBreakBefore()); + papx.countPageBreakBefore());
} }
/** Число символов 0x0C (разрыв страницы/колонки/секции, §2.2) в основном тексте. */ /** Число символов 0x0C (разрыв страницы/секции, §2.8.26) в основном тексте;
* разрыв колонки — 0x0E (§2.6.3), страниц не добавляет. */
int countPageBreaks() { int countPageBreaks() {
int count = 0; int count = 0;
for (int cp = 0; cp < fib.ccpText(); cp++) { for (int cp = 0; cp < fib.ccpText(); cp++) {
@@ -1,29 +1,34 @@
package ru.pjandro.wordpdf.internal.doc; package ru.pjandro.wordpdf.internal.doc;
import ru.pjandro.wordpdf.WordPdfValidator;
import java.nio.charset.StandardCharsets; import java.nio.charset.StandardCharsets;
import java.util.ArrayDeque; import java.util.ArrayDeque;
import java.util.ArrayList; import java.util.ArrayList;
import java.util.Arrays;
import java.util.Deque; import java.util.Deque;
import java.util.HashMap; import java.util.HashMap;
import java.util.Iterator; import java.util.Iterator;
import java.util.List; import java.util.List;
import java.util.Locale; import java.util.Locale;
import java.util.Map; import java.util.Map;
import java.util.Set;
import java.util.logging.Logger;
import java.util.regex.Pattern; import java.util.regex.Pattern;
/** /**
* Мост бинарного .doc (Word 97–2003) → минимальный transitional-.docx. * Мост бинарного .doc (Word 97–2003) → минимальный transitional-.docx.
* *
* <p>Точки входа пакета: {@link #convert(byte[])} (конвертация) и * <p>Точки входа пакета: {@link #convert(byte[], long)} (конвертация) и
* {@link #countPages(byte[])} (нижняя оценка страниц для валидатора). * {@link #countPages(byte[])} (нижняя оценка страниц для валидатора).
* Разбор строго по [MS-DOC]/[MS-CFB]/[MS-OLEPS]: контейнер — {@link CfbReader}, * Разбор строго по [MS-DOC]/[MS-CFB]/[MS-OLEPS]: контейнер — {@link CfbReader},
* общий разбор — {@link DocFile}, заголовок — {@link FibHeader}, текст — * общий разбор — {@link DocFile}, заголовок — {@link FibHeader}, текст —
* {@link PieceTable} (§2.4.1), прямые * {@link PieceTable} (§2.4.1), прямые
* свойства — {@link ChpxIndex}/{@link PapxIndex} (§2.4.6.1/.2), стили — * свойства — {@link ChpxIndex}/{@link PapxIndex} (§2.4.6.1/.2), стили —
* {@link Styles} (STSH, цепочка по istd, §2.4.6.5), списки — {@link Lists} * {@link Styles} (STSH, цепочка по istd, §2.4.6.5), списки — {@link Lists}
* (PlfLst/PlfLfo → numbering.xml + w:numPr, §2.4.6.5 «Determining List * (PlfLst/PlfLfo → numbering.xml + w:numPr, §2.4.6.3 «Determining List
* Formatting»), сетка таблиц — {@link Tables} (TAP, §2.6.3), полоса набора — * Formatting»), сетка таблиц — {@link Tables} (TAP, §2.6.3), полоса набора —
* {@link Sections} (§2.8.26), колонтитуки — {@link Headers} (§2.4.1, * {@link Sections} (§2.8.26), колонтитуки — {@link Headers} (§2.3.3,
* нечётные полосы каждой секции → свой {@code w:sectPr} с * нечётные полосы каждой секции → свой {@code w:sectPr} с
* {@code headerReference}/{@code footerReference} в pPr абзаца с * {@code headerReference}/{@code footerReference} в pPr абзаца с
* межсекционным разрывом + body-level sectPr последней секции), * межсекционным разрывом + body-level sectPr последней секции),
@@ -40,7 +45,7 @@ import java.util.regex.Pattern;
* объектов (0x08 — inline-приближение, PlcfSpa не переносится), * объектов (0x08 — inline-приближение, PlcfSpa не переносится),
* текстовыделитель (sprmCHighlight → w:highlight), затенения рана/абзаца * текстовыделитель (sprmCHighlight → w:highlight), затенения рана/абзаца
* (sprmCShd/sprmCShd80 → rPr, sprmPShd/sprmPShd80 → pPr — w:shd), прямые * (sprmCShd/sprmCShd80 → rPr, sprmPShd/sprmPShd80 → pPr — w:shd), прямые
* символьные стили (sprmCIstd + stk=3 в STSH → цепочка chpx в rPr), поля * символьные стили (sprmCIstd + stk=2 в STSH → цепочка chpx в rPr), поля
* ячеек (sprmTCellPadding/sprmTCellPaddingDefault → w:tcMar; по умолчанию * ячеек (sprmTCellPadding/sprmTCellPaddingDefault → w:tcMar; по умолчанию
* конвейер даёт дефолт Word 108/0), титульная страница секции * конвейер даёт дефолт Word 108/0), титульная страница секции
* (sprmSFTitlePage → w:titlePg + first-колонтитуки Plcfhdd). Не переносятся: * (sprmSFTitlePage → w:titlePg + first-колонтитуки Plcfhdd). Не переносятся:
@@ -49,14 +54,14 @@ import java.util.regex.Pattern;
* (sprmPBrc* 0xC64E–0xC652 — конвейер не читает w:pBdr) и ячейки * (sprmPBrc* 0xC64E–0xC652 — конвейер не читает w:pBdr) и ячейки
* (sprmTSetBrc — не читает w:tcBorders), высота строк (sprmTDyaRowHeight — * (sprmTSetBrc — не читает w:tcBorders), высота строк (sprmTDyaRowHeight —
* не читает w:trHeight), * не читает w:trHeight),
* «шапка-repeat»/cantSplit/widowControl, типы подчёркивания и цвет линии * цвет линии подчёркивания
* (sprmCKul/sprmCCvUl — всегда single), эффетки шрифта, отступы Dxc * (sprmCCvUl — w:u без w:color), эффетки шрифта, отступы Dxc
* (hundredths of a character — пайплайн не читает w:*Chars); * (hundredths of a character — пайплайн не читает w:*Chars);
* сноски/комментарии * сноски/комментарии
* (0x02/0x05) и инструкции полей (0x13–0x14) выбрасываются, * (0x02/0x05) и инструкции полей (0x13–0x14) выбрасываются,
* результат поля (0x14–0x15) остаётся; поле {@code HYPERLINK} в основном * результат поля (0x14–0x15) остаётся; поле {@code HYPERLINK} в основном
* тексте переносится как {@code w:hyperlink} с внешней rels-связью на URL из * тексте переносится как {@code w:hyperlink} с внешней rels-связью на URL из
* инструкции ([MS-DOC] §2.4.4; деградации в плоский текст: якорный * инструкции ([MS-DOC] §2.9.115 HFD; деградации в плоский текст: якорный
* переключатель {@code \l}, URL без схемы RFC 3986, ссылки в колонтитуках); * переключатель {@code \l}, URL без схемы RFC 3986, ссылки в колонтитуках);
* прочие управляющие символы не эмитятся.</p> * прочие управляющие символы не эмитятся.</p>
* *
@@ -66,7 +71,9 @@ import java.util.regex.Pattern;
*/ */
public final class DocToDocx { public final class DocToDocx {
/** Символы .doc (§2.2/§2.4). */ private static final Logger LOG = Logger.getLogger(DocToDocx.class.getName());
/** Символы .doc (§2.8.26/§2.4). */
private static final char CELL_MARK = 0x07; private static final char CELL_MARK = 0x07;
private static final char EMBEDDED_OBJECT = 0x01; private static final char EMBEDDED_OBJECT = 0x01;
private static final char ANNOTATION_REF = 0x05; private static final char ANNOTATION_REF = 0x05;
@@ -81,7 +88,7 @@ public final class DocToDocx {
private static final char FIELD_SEPARATOR = 0x14; private static final char FIELD_SEPARATOR = 0x14;
private static final char FIELD_END = 0x15; private static final char FIELD_END = 0x15;
/** Ниже — управляющие символы без текстового смысла (§2.2) → граница рана. */ /** Ниже — управляющие символы без текстового смысла (§2.8.26) → граница рана. */
private static final char CONTROL_LIMIT = 0x20; private static final char CONTROL_LIMIT = 0x20;
private static final char NON_BREAKING_HYPHEN = 0x1E; private static final char NON_BREAKING_HYPHEN = 0x1E;
private static final char SOFT_HYPHEN = 0x1F; private static final char SOFT_HYPHEN = 0x1F;
@@ -113,9 +120,12 @@ public final class DocToDocx {
* {@link #countPages(byte[])}, но до всякой конвертации).</p> * {@link #countPages(byte[])}, но до всякой конвертации).</p>
* *
* @param docBytes контейнер Word 97–2003 * @param docBytes контейнер Word 97–2003
* @param maxMb лимит размера входа (МБ) — из него порог пиксельной
* площади растра ({@code WordPdfValidator.maxImagePixels})
* @throws ConversionException на некорректном/зашифрованном/чужом входе * @throws ConversionException на некорректном/зашифрованном/чужом входе
*/ */
public static byte[] convert(byte[] docBytes) { public static byte[] convert(byte[] docBytes, long maxMb) {
long maxPixels = WordPdfValidator.maxImagePixels(maxMb);
DocFile file = DocFile.open(docBytes); DocFile file = DocFile.open(docBytes);
FibHeader fib = file.fib(); FibHeader fib = file.fib();
FontTable fonts = FontTable.read(file.table(), fib.fcSttbfFfn(), fib.lcbSttbfFfn()); FontTable fonts = FontTable.read(file.table(), fib.fcSttbfFfn(), fib.lcbSttbfFfn());
@@ -145,7 +155,7 @@ public final class DocToDocx {
byte[] data = CfbReader.stream(file.streams(), "Data"); byte[] data = CfbReader.stream(file.streams(), "Data");
file.releaseRawStreams(); file.releaseRawStreams();
DocxBody body = new DocxBody(file.pieces(), chpx, papx, fonts, styles, lists, DocxBody body = new DocxBody(file.pieces(), chpx, papx, fonts, styles, lists,
fib.ccpText(), data, parts); fib.ccpText(), data, maxPixels, parts);
List<Sections.Section> secs = sections.list(); List<Sections.Section> secs = sections.list();
String[] hdrRel = new String[secs.size()]; String[] hdrRel = new String[secs.size()];
String[] ftrRel = new String[secs.size()]; String[] ftrRel = new String[secs.size()];
@@ -153,7 +163,7 @@ public final class DocToDocx {
String[] firstFtrRel = new String[secs.size()]; String[] firstFtrRel = new String[secs.size()];
// Odd header/footer каждой секции → type="default" (FOP не различает // Odd header/footer каждой секции → type="default" (FOP не различает
// чётные/нечётные); guard-абзац истории отбрасывается. История // чётные/нечётные); guard-абзац истории отбрасывается. История
// cpStart == cpEnd не определена (§2.4.4) — ни части, ни ссылки: // cpStart == cpEnd не определена (§2.3.3) — ни части, ни ссылки:
// docx4j наследует полосы предыдущей секции. Guard-only история — // docx4j наследует полосы предыдущей секции. Guard-only история —
// часть с единственным <w:p/> (явно пустой колонтитул, обрывающий // часть с единственным <w:p/> (явно пустой колонтитул, обрывающий
// наследование; пустой w:hdr невалиден — ≥1 блочный элемент). // наследование; пустой w:hdr невалиден — ≥1 блочный элемент).
@@ -225,7 +235,7 @@ public final class DocToDocx {
/** Текст CP 0..ccpText → XML-тело {@code <w:body>}. */ /** Текст CP 0..ccpText → XML-тело {@code <w:body>}. */
static final class DocxBody { static final class DocxBody {
/** Длина операнда LSPD: dyaLine (i16) + fMultLinespace (i16), §2.9.181. */ /** Длина операнда LSPD: dyaLine (i16) + fMultLinespace (i16), §2.9.146. */
private static final int LSPD_OPERAND_LEN = 4; private static final int LSPD_OPERAND_LEN = 4;
/** fMultLinespace=1: dyaLine — множитель интервала в 240-х долях. */ /** fMultLinespace=1: dyaLine — множитель интервала в 240-х долях. */
private static final int FMULT_MULTIPLIER = 1; private static final int FMULT_MULTIPLIER = 1;
@@ -236,12 +246,22 @@ public final class DocToDocx {
/** Схема URL в начале строки (RFC 3986 §3.1), lookingAt. */ /** Схема URL в начале строки (RFC 3986 §3.1), lookingAt. */
private static final Pattern URL_SCHEME = private static final Pattern URL_SCHEME =
Pattern.compile("[A-Za-z][A-Za-z0-9+.\\-]*:"); Pattern.compile("[A-Za-z][A-Za-z0-9+.\\-]*:");
/**
* Разрешённые схемы гиперссылок: RFC 3986 пропускает {@code javascript:}
* и {@code file:}, они доезжают до /URI-аннотаций PDF (выполнение
* скрипта/локальный путь в просмотрщике). Прочие схемы → ссылка не
* эмитится, текст остаётся.
*/
private static final Set<String> ALLOWED_URL_SCHEMES =
Set.of("http", "https", "mailto", "ftp");
/** ASCII DEL — управляющий символ, невалидный в URL. */ /** ASCII DEL — управляющий символ, невалидный в URL. */
private static final char DEL = 0x7F; private static final char DEL = 0x7F;
/** Кавычка-обёртка URL в инструкции HYPERLINK. */ /** Кавычка-обёртка URL в инструкции HYPERLINK. */
private static final char QUOTE = '"'; private static final char QUOTE = '"';
/** Переключатель якорной ссылки Word. */ /** Переключатель якорной ссылки Word. */
private static final String ANCHOR_SWITCH = "\\l"; private static final String ANCHOR_SWITCH = "\\l";
/** Токен поля HYPERLINK в начале инструкции. */
private static final String HYPERLINK_FIELD = "HYPERLINK";
private final PieceTable pieces; private final PieceTable pieces;
private final ChpxIndex chpx; private final ChpxIndex chpx;
@@ -254,6 +274,8 @@ public final class DocToDocx {
private final int ccpText; private final int ccpText;
/** Data-поток (.doc) для BLIP по sprmCPicLocation. */ /** Data-поток (.doc) для BLIP по sprmCPicLocation. */
private final byte[] dataStream; private final byte[] dataStream;
/** Порог пиксельной площади растра (WordPdfValidator.maxImagePixels). */
private final long maxPixels;
/** Части пакета (колонтитуки + media); id связи = rId{позиция+1}. */ /** Части пакета (колонтитуки + media); id связи = rId{позиция+1}. */
private final List<DocxWriter.Part> parts; private final List<DocxWriter.Part> parts;
private final Deque<Boolean> fieldStack = new ArrayDeque<>(); private final Deque<Boolean> fieldStack = new ArrayDeque<>();
@@ -274,10 +296,16 @@ public final class DocToDocx {
private Map<Integer, String> sectByEndCp = Map.of(); private Map<Integer, String> sectByEndCp = Map.of();
/** sectPr разрыва, потреблённого в текущем абзаце (прикрепляется к Para). */ /** sectPr разрыва, потреблённого в текущем абзаце (прикрепляется к Para). */
private String pendingSectPr; private String pendingSectPr;
/** Остаток бюджета развёрнутых PrcData на документ (сброса нет). */
private final long[] prcBudget = {PrcData.MAX_BYTES_PER_DOCUMENT};
/** Номер следующей картинки ({@code word/media/imageN}); media-части
* добавляет только {@code emitPicture} — инкремент эквивалентен прежнему
* скану {@code parts} (тот был квадратичным на тысячах картинок). */
private int imageSeq;
DocxBody(PieceTable pieces, ChpxIndex chpx, PapxIndex papx, FontTable fonts, DocxBody(PieceTable pieces, ChpxIndex chpx, PapxIndex papx, FontTable fonts,
Styles styles, Lists lists, int ccpText, byte[] dataStream, Styles styles, Lists lists, int ccpText, byte[] dataStream,
List<DocxWriter.Part> parts) { long maxPixels, List<DocxWriter.Part> parts) {
this.pieces = pieces; this.pieces = pieces;
this.chpx = chpx; this.chpx = chpx;
this.papx = papx; this.papx = papx;
@@ -286,6 +314,7 @@ public final class DocToDocx {
this.lists = lists; this.lists = lists;
this.ccpText = ccpText; this.ccpText = ccpText;
this.dataStream = dataStream; this.dataStream = dataStream;
this.maxPixels = maxPixels;
this.parts = parts; this.parts = parts;
} }
@@ -299,7 +328,7 @@ public final class DocToDocx {
* {@code w:sectPr} в pPr абзаца с разрывом 0x0C + body-level sectPr * {@code w:sectPr} в pPr абзаца с разрывом 0x0C + body-level sectPr
* последней секции. {@code w:type} секции описывает разрыв ПЕРЕД ней * последней секции. {@code w:type} секции описывает разрыв ПЕРЕД ней
* (ECMA-376 §17.6.22), поэтому берётся из sprmSBkc ПРЕДЫДУЩЕЙ секции * (ECMA-376 §17.6.22), поэтому берётся из sprmSBkc ПРЕДЫДУЩЕЙ секции
* ([MS-DOC] §2.6.3 SBkcOperand — «break that terminates the section»). * ([MS-DOC] sprmSBkc §2.6.4, SBkcOperand §2.9.235 — «break that terminates the section»).
*/ */
String build(List<Sections.Section> secs, String[] hdrRel, String[] ftrRel, String build(List<Sections.Section> secs, String[] hdrRel, String[] ftrRel,
String[] firstHdrRel, String[] firstFtrRel) { String[] firstHdrRel, String[] firstFtrRel) {
@@ -311,14 +340,14 @@ public final class DocToDocx {
&& pieces.charAt(endCp) == PAGE_OR_SECTION_BREAK) { && pieces.charAt(endCp) == PAGE_OR_SECTION_BREAK) {
sectByEndCp.put(endCp, sectPrXml(secs.get(i), hdrRel[i], ftrRel[i], sectByEndCp.put(endCp, sectPrXml(secs.get(i), hdrRel[i], ftrRel[i],
firstHdrRel[i], firstFtrRel[i], firstHdrRel[i], firstFtrRel[i],
i > 0 && secs.get(i - 1).continuous())); i > 0 ? secs.get(i - 1) : null));
} }
} }
Sections.Section last = secs.get(n - 1); Sections.Section last = secs.get(n - 1);
return buildRange(0, ccpText, false, sectByEndCp) return buildRange(0, ccpText, false, sectByEndCp)
+ sectPrXml(last, hdrRel[n - 1], ftrRel[n - 1], + sectPrXml(last, hdrRel[n - 1], ftrRel[n - 1],
firstHdrRel[n - 1], firstFtrRel[n - 1], firstHdrRel[n - 1], firstFtrRel[n - 1],
n > 1 && secs.get(n - 2).continuous()); n > 1 ? secs.get(n - 2) : null);
} }
/** /**
@@ -361,11 +390,29 @@ public final class DocToDocx {
int cp = from; int cp = from;
while (cp < to) { while (cp < to) {
int paraStart = cp; int paraStart = cp;
long paraFc = pieces.fcOf(paraStart); // PAPX-ключ — FC ПОСЛЕДНЕГО символа абзаца (маркера): bucket
// PlcBtePapx и rgfc PapxFkp определяются последним символом
// (§2.8.6, §2.4.6.1 «Determining Paragraph Boundaries» →
// Direct Paragraph Formatting шаг 1); граница bucket'а внутри
// абзаца иначе обрезает диапазон выше первого FC и теряются
// grpprl + istd (регрессия —
// DocToDocxFormattingTest#papxBucketBoundary_insideParagraph_propsKept)
int markCp = paraStart;
while (markCp < to) {
char chMark = pieces.charAt(markCp);
// 0x0C, завершающий секцию, и есть ¶-маркер абзаца
// (тот же предикат, что обрывает абзац в цикле ниже)
if (chMark == PARA_MARK || chMark == CELL_MARK
|| sectByEndCp.containsKey(markCp)) {
break;
}
markCp++;
}
long paraFc = pieces.fcOf(markCp < to ? markCp : Math.max(paraStart, markCp - 1));
// grpprl абзаца может быть вынесен Word в PrcData (Data-поток) // grpprl абзаца может быть вынесен Word в PrcData (Data-поток)
// через sprmPHugePapx/sprmPTableProps — разворачиваем до // через sprmPHugePapx/sprmPTableProps — разворачиваем до
// потребления: InTable/TTP/TAP видят автомат и paraProps (§2.9.210) // потребления: InTable/TTP/TAP видят автомат и paraProps (§2.9.210)
byte[] direct = PrcData.resolve(dataStream, papx.grpprlFor(paraFc)); byte[] direct = PrcData.resolve(dataStream, papx.grpprlFor(paraFc), prcBudget);
int istd = istdOf(direct, papx.istdFor(paraFc)); int istd = istdOf(direct, papx.istdFor(paraFc));
byte[] styleChpx = styles.chpxChain(istd); byte[] styleChpx = styles.chpxChain(istd);
StringBuilder runs = new StringBuilder(); StringBuilder runs = new StringBuilder();
@@ -503,7 +550,7 @@ public final class DocToDocx {
} }
} }
/** Открытие w:tbl: tblPr (tblW → jc → tblInd → tblBorders) + tblGrid (§17.4.49). */ /** Открытие w:tbl: tblPr (tblW → jc → tblInd → tblBorders) + tblGrid (§17.4.48). */
private static String openTable(Tables.Grid g) { private static String openTable(Tables.Grid g) {
StringBuilder xml = new StringBuilder("<w:tbl><w:tblPr>"); StringBuilder xml = new StringBuilder("<w:tbl><w:tblPr>");
int total = 0; int total = 0;
@@ -529,7 +576,7 @@ public final class DocToDocx {
* w:tr: ширина/объединение ячейки — из собственной сетки строки * w:tr: ширина/объединение ячейки — из собственной сетки строки
* (§2.9.321: у TTP-абзаца свой sprmTDefTable; объединённая ячейка — * (§2.9.321: у TTP-абзаца свой sprmTDefTable; объединённая ячейка —
* центр, покрывающий несколько колонок tblGrid → w:gridSpan + * центр, покрывающий несколько колонок tblGrid → w:gridSpan +
* суммарный w:tcW, ECMA-376 §17.4.65, порядок детей CT_TcPrBase: * суммарный w:tcW, ECMA-376 §17.4.17, порядок детей CT_TcPrBase:
* tcW → gridSpan). Строка без согласованной сетки (центров не на 1 * tcW → gridSpan). Строка без согласованной сетки (центров не на 1
* больше числа ячеек) или с невыровненными с tblGrid границами — * больше числа ячеек) или с невыровненными с tblGrid границами —
* прежнее поведение: ячейка i получает tcW i-й колонки, лишние — * прежнее поведение: ячейка i получает tcW i-й колонки, лишние —
@@ -540,7 +587,7 @@ public final class DocToDocx {
int[] table = grid.centers(); int[] table = grid.centers();
int[] row = rowGrid == null ? null : rowGrid.centers(); int[] row = rowGrid == null ? null : rowGrid.centers();
// собственная сетка строки согласована с автоматом, только если // собственная сетка строки согласована с автоматом, только если
// центров ровно на 1 больше ячеек (§2.4.4: число ячеек = число определений) // центров ровно на 1 больше ячеек (§2.4.3: число ячеек = число определений)
boolean perRow = row != null && row.length == cells.size() + 1; boolean perRow = row != null && row.length == cells.size() + 1;
int i = 0; int i = 0;
for (List<Para> cell : cells) { for (List<Para> cell : cells) {
@@ -558,7 +605,7 @@ public final class DocToDocx {
tcPr.append("<w:tcW w:w=\"").append(grid.colWidths()[i]) tcPr.append("<w:tcW w:w=\"").append(grid.colWidths()[i])
.append("\" w:type=\"dxa\"/>"); .append("\" w:type=\"dxa\"/>");
} }
// sprmTCellPadding/…Default (CT_TcPr, §17.4.72: tcMar до vAlign) // sprmTCellPadding/…Default (CT_TcPr, §17.4.69: tcMar до vAlign)
String tcMar = tcMarXml(rowGrid, i); String tcMar = tcMarXml(rowGrid, i);
if (tcMar != null) { if (tcMar != null) {
tcPr.append(tcMar); tcPr.append(tcMar);
@@ -573,7 +620,7 @@ public final class DocToDocx {
xml.append("<w:tcPr>").append(tcPr).append("</w:tcPr>"); xml.append("<w:tcPr>").append(tcPr).append("</w:tcPr>");
} }
if (cell.isEmpty()) { if (cell.isEmpty()) {
xml.append("<w:p/>"); // ≥1 абзац в ячейке обязательно (§17.4.42) xml.append("<w:p/>"); // ≥1 абзац в ячейке обязательно (§17.4.65)
} else { } else {
for (Para p : cell) { for (Para p : cell) {
xml.append(paraXml(p)); xml.append(paraXml(p));
@@ -600,7 +647,7 @@ public final class DocToDocx {
* пересечение диапазона [itcFirst, itcLim) с индексом ячейки, позже * пересечение диапазона [itcFirst, itcLim) с индексом ячейки, позже
* заданный операнд перекрывает сторону ранее заданного (порядок * заданный операнд перекрывает сторону ранее заданного (порядок
* скана TAP = last-wins). Стороны только явные, порядок детей * скана TAP = last-wins). Стороны только явные, порядок детей
* CT_TcMar (§17.4.66): top → left → bottom → right. Нет явных * CT_TcMar (§17.4.68): top → left → bottom → right. Нет явных
* полей — null (конвейер даёт дефолт 108/0 — он же дефолт Word). * полей — null (конвейер даёт дефолт 108/0 — он же дефолт Word).
*/ */
private static String tcMarXml(Tables.Grid rowGrid, int i) { private static String tcMarXml(Tables.Grid rowGrid, int i) {
@@ -655,7 +702,7 @@ public final class DocToDocx {
boolean[] in = {false}; boolean[] in = {false};
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> { Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
if (sprm == Grpprl.SPRM_P_F_IN_TABLE) { if (sprm == Grpprl.SPRM_P_F_IN_TABLE) {
in[0] = Grpprl.toggleOn(buf, off); in[0] = Grpprl.toggle(false, buf[off]);
} }
}); });
return in[0]; return in[0];
@@ -778,7 +825,7 @@ public final class DocToDocx {
break; break;
case EMBEDDED_OBJECT: case EMBEDDED_OBJECT:
case DRAWN_OBJECT: case DRAWN_OBJECT:
// Якорь плавающей картинки 0x08 (§2.9.267) несёт тот же // Якорь плавающей картинки 0x08 (PlcfSpa §2.8.27) несёт тот же
// sprmCPicLocation, что 0x01 → inline-приближение // sprmCPicLocation, что 0x01 → inline-приближение
// (позиционирование/обтекание PlcfSpa не переносится) // (позиционирование/обтекание PlcfSpa не переносится)
flushText(text, content); flushText(text, content);
@@ -822,7 +869,8 @@ public final class DocToDocx {
/** /**
* Закрыть накопленный {@code <w:r>}: fldSimple обязан лежать вне рана; * Закрыть накопленный {@code <w:r>}: fldSimple обязан лежать вне рана;
* непринятая правка (sprmCFRMark*) оборачивает ран в {@code w:del}/ * непринятая правка (sprmCFRMark*) оборачивает ран в {@code w:del}/
* {@code w:ins} (атрибуты w:id/w:author/w:date опциональны — не эмитятся). * {@code w:ins}. Атрибуты w:id и w:author обязательны (CT_Markup/
* CT_TrackChange, wml.xsd — оба use="required", w:date опционален).
*/ */
private void closeRun(StringBuilder runs, String rPr, StringBuilder content, private void closeRun(StringBuilder runs, String rPr, StringBuilder content,
StringBuilder text) { StringBuilder text) {
@@ -834,9 +882,16 @@ public final class DocToDocx {
} }
} }
/** Счётчик w:id правок (CT_TrackChange.@w:id). */
private int markupSeq;
/** Открывающая обёртка правки текущего рана; обычный ран — пустая строка. */ /** Открывающая обёртка правки текущего рана; обычный ран — пустая строка. */
private String markupOpen() { private String markupOpen() {
return runMarkup == MARKUP_DEL ? "<w:del>" : runMarkup == MARKUP_INS ? "<w:ins>" : ""; if (runMarkup == MARKUP_NONE) {
return "";
}
String tag = runMarkup == MARKUP_DEL ? "w:del" : "w:ins";
return "<" + tag + " w:id=\"" + (++markupSeq) + "\" w:author=\"\">";
} }
/** Закрывающая обёртка правки; см. {@link #markupOpen()}. */ /** Закрывающая обёртка правки; см. {@link #markupOpen()}. */
@@ -853,20 +908,21 @@ public final class DocToDocx {
* простираться дальше картинки. * простираться дальше картинки.
*/ */
private void emitPicture(StringBuilder runs, String rPr, int cp) { private void emitPicture(StringBuilder runs, String rPr, int cp) {
if (fieldsAsSimple) {
// колонтитулы: rels per-story (word/_rels/headerN.xml.rels) мост
// не пишет → r:embed висел бы над несуществующей связью
LOG.warning("Картинка в колонтитуле пропущена (нет per-story rels)");
return;
}
long picLoc = picLocationFor(chpx.grpprlFor(pieces.fcOf(cp))); long picLoc = picLocationFor(chpx.grpprlFor(pieces.fcOf(cp)));
if (picLoc < 0) { if (picLoc < 0) {
return; return;
} }
OfficeArt.Picture pic = OfficeArt.read(dataStream, picLoc); OfficeArt.Picture pic = OfficeArt.read(dataStream, picLoc, maxPixels);
if (pic == null) { if (pic == null) {
return; return;
} }
int imageNo = 1; int imageNo = ++imageSeq;
for (DocxWriter.Part p : parts) {
if (p.entry().startsWith("word/media/")) {
imageNo++;
}
}
String entry = "word/media/image" + imageNo + "." + pic.extension(); String entry = "word/media/image" + imageNo + "." + pic.extension();
parts.add(new DocxWriter.Part(entry, pic.contentType(), IMAGE_REL_TYPE, pic.data())); parts.add(new DocxWriter.Part(entry, pic.contentType(), IMAGE_REL_TYPE, pic.data()));
String relId = "rId" + parts.size(); String relId = "rId" + parts.size();
@@ -918,7 +974,7 @@ public final class DocToDocx {
} }
/** /**
* URL из инструкции поля HYPERLINK ([MS-DOC] §2.4.4: токен, затем * URL из инструкции поля HYPERLINK ([MS-DOC] §2.9.115 HFD: токен, затем
* {@code "url"} или url без кавычек, затем switch'и). Схема обязательна * {@code "url"} или url без кавычек, затем switch'и). Схема обязательна
* (RFC 3986 §3.1) — {@code readme.txt}/{@code #bookmark} ссылкой не * (RFC 3986 §3.1) — {@code readme.txt}/{@code #bookmark} ссылкой не
* считаются. Якорный переключатель {@code \l} — {@code null}: закладки * считаются. Якорный переключатель {@code \l} — {@code null}: закладки
@@ -932,7 +988,7 @@ public final class DocToDocx {
while (end < s.length() && !Character.isWhitespace(s.charAt(end))) { while (end < s.length() && !Character.isWhitespace(s.charAt(end))) {
end++; end++;
} }
if (!"HYPERLINK".equalsIgnoreCase(s.substring(0, end))) { if (!HYPERLINK_FIELD.equalsIgnoreCase(s.substring(0, end))) {
return null; return null;
} }
int p = end; int p = end;
@@ -965,7 +1021,9 @@ public final class DocToDocx {
} }
} }
if (url.isEmpty() || hasControlChar(url) if (url.isEmpty() || hasControlChar(url)
|| !URL_SCHEME.matcher(url).lookingAt()) { || !URL_SCHEME.matcher(url).lookingAt()
|| !ALLOWED_URL_SCHEMES.contains(
url.substring(0, url.indexOf(':')).toLowerCase(Locale.ROOT))) {
return null; return null;
} }
return url; return url;
@@ -1035,7 +1093,7 @@ public final class DocToDocx {
boolean[] ttp = {false}; boolean[] ttp = {false};
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> { Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
if (sprm == Grpprl.SPRM_P_F_TTP) { if (sprm == Grpprl.SPRM_P_F_TTP) {
ttp[0] = Grpprl.toggleOn(buf, off); ttp[0] = Grpprl.toggle(false, buf[off]);
} }
}); });
return ttp[0]; return ttp[0];
@@ -1046,14 +1104,20 @@ public final class DocToDocx {
RunProps p = new RunProps(); RunProps p = new RunProps();
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> { Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
switch (sprm) { switch (sprm) {
case Grpprl.SPRM_C_F_BOLD -> p.bold = Grpprl.toggleOn(buf, off); // ToggleOperand (§2.9.327): current = накопленное значение
case Grpprl.SPRM_C_F_ITALIC -> p.italic = Grpprl.toggleOn(buf, off); // (цепочка стиля сканируется раньше прямого grpprl)
case Grpprl.SPRM_C_F_STRIKE -> p.strike = Grpprl.toggleOn(buf, off); case Grpprl.SPRM_C_F_BOLD -> p.bold = Grpprl.toggle(p.bold, buf[off]);
case Grpprl.SPRM_C_KUL -> p.underline = Grpprl.operandInt(buf, off, len) != 0; case Grpprl.SPRM_C_F_ITALIC -> p.italic = Grpprl.toggle(p.italic, buf[off]);
case Grpprl.SPRM_C_F_STRIKE -> p.strike = Grpprl.toggle(p.strike, buf[off]);
case Grpprl.SPRM_C_KUL ->
p.underline = Grpprl.underlineVal(Grpprl.operandInt(buf, off, len));
case Grpprl.SPRM_C_HPS -> p.sz = Grpprl.operandInt(buf, off, len); case Grpprl.SPRM_C_HPS -> p.sz = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_HPS_BI -> p.szCs = Grpprl.operandInt(buf, off, len); case Grpprl.SPRM_C_HPS_BI -> p.szCs = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_RG_FTC0 -> p.ftc0 = Grpprl.operandInt(buf, off, len); case Grpprl.SPRM_C_RG_FTC0 -> p.ftc0 = signedXas(buf, off, len);
case Grpprl.SPRM_C_RG_FTC1 -> p.ftc1 = Grpprl.operandInt(buf, off, len); case Grpprl.SPRM_C_RG_FTC1 -> p.ftc1 = signedXas(buf, off, len);
case Grpprl.SPRM_C_RG_FTC2 -> p.ftc2 = signedXas(buf, off, len);
case Grpprl.SPRM_C_FTC_BI -> p.ftcBi = signedXas(buf, off, len);
case Grpprl.SPRM_C_ISS -> p.iss = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_CV -> p.color = colorOf(buf, off, len); case Grpprl.SPRM_C_CV -> p.color = colorOf(buf, off, len);
case Grpprl.SPRM_C_HIGHLIGHT -> p.highlight = case Grpprl.SPRM_C_HIGHLIGHT -> p.highlight =
highlightName(Grpprl.operandInt(buf, off, len)); highlightName(Grpprl.operandInt(buf, off, len));
@@ -1061,11 +1125,12 @@ public final class DocToDocx {
case Grpprl.SPRM_C_SHD80 -> p.shd = case Grpprl.SPRM_C_SHD80 -> p.shd =
shdAttrs80(Grpprl.operandInt(buf, off, len)); shdAttrs80(Grpprl.operandInt(buf, off, len));
case Grpprl.SPRM_C_HPS_POS -> p.pos = signedXas(buf, off, len); case Grpprl.SPRM_C_HPS_POS -> p.pos = signedXas(buf, off, len);
case Grpprl.SPRM_C_F_VANISH -> p.hidden = Grpprl.toggleOn(buf, off); case Grpprl.SPRM_C_F_VANISH -> p.hidden = Grpprl.toggle(p.hidden, buf[off]);
case Grpprl.SPRM_C_F_CAPS -> p.caps = Grpprl.toggleOn(buf, off); case Grpprl.SPRM_C_F_CAPS -> p.caps = Grpprl.toggle(p.caps, buf[off]);
case Grpprl.SPRM_C_F_SMALL_CAPS -> p.smallCaps = Grpprl.toggleOn(buf, off); case Grpprl.SPRM_C_F_SMALL_CAPS ->
case Grpprl.SPRM_C_RMARK_DEL -> p.del = Grpprl.toggleOn(buf, off); p.smallCaps = Grpprl.toggle(p.smallCaps, buf[off]);
case Grpprl.SPRM_C_RMARK_INS -> p.ins = Grpprl.toggleOn(buf, off); case Grpprl.SPRM_C_RMARK_DEL -> p.del = Grpprl.toggle(p.del, buf[off]);
case Grpprl.SPRM_C_RMARK_INS -> p.ins = Grpprl.toggle(p.ins, buf[off]);
default -> { } default -> { }
} }
}); });
@@ -1074,17 +1139,26 @@ public final class DocToDocx {
/** /**
* rPr по CT_RPr-порядку (§17.3.2.28): rFonts, b, i, strike, color, * rPr по CT_RPr-порядку (§17.3.2.28): rFonts, b, i, strike, color,
* position, sz, szCs, highlight, u, shd. * position, sz, szCs, highlight, u, shd, vertAlign.
*/ */
private String runXml(RunProps p) { private String runXml(RunProps p) {
StringBuilder xml = new StringBuilder(); StringBuilder xml = new StringBuilder();
// Слоты шрифта (ms-doc-full.md §2.6.1): ftc0→ascii, ftc1→eastAsia,
// ftc2→hAnsi (перекрывает ascii-значение ftc0), ftcBi→cs
String ascii = p.ftc0 >= 0 ? fonts.font(p.ftc0) : null; String ascii = p.ftc0 >= 0 ? fonts.font(p.ftc0) : null;
String cs = p.ftc1 >= 0 ? fonts.font(p.ftc1) : null; String hAnsi = p.ftc2 >= 0 ? fonts.font(p.ftc2) : ascii;
if (ascii != null || cs != null) { String eastAsia = p.ftc1 >= 0 ? fonts.font(p.ftc1) : null;
String cs = p.ftcBi >= 0 ? fonts.font(p.ftcBi) : null;
if (ascii != null || hAnsi != null || eastAsia != null || cs != null) {
xml.append("<w:rFonts"); xml.append("<w:rFonts");
if (ascii != null) { if (ascii != null) {
xml.append(" w:ascii=\"").append(escapeAttr(ascii)) xml.append(" w:ascii=\"").append(escapeAttr(ascii)).append('"');
.append("\" w:hAnsi=\"").append(escapeAttr(ascii)).append('"'); }
if (hAnsi != null) {
xml.append(" w:hAnsi=\"").append(escapeAttr(hAnsi)).append('"');
}
if (eastAsia != null) {
xml.append(" w:eastAsia=\"").append(escapeAttr(eastAsia)).append('"');
} }
if (cs != null) { if (cs != null) {
xml.append(" w:cs=\"").append(escapeAttr(cs)).append('"'); xml.append(" w:cs=\"").append(escapeAttr(cs)).append('"');
@@ -1117,12 +1191,17 @@ public final class DocToDocx {
if (p.highlight != null) { if (p.highlight != null) {
xml.append("<w:highlight w:val=\"").append(p.highlight).append("\"/>"); xml.append("<w:highlight w:val=\"").append(p.highlight).append("\"/>");
} }
if (p.underline) { if (p.underline != null) {
xml.append("<w:u w:val=\"single\"/>"); xml.append("<w:u w:val=\"").append(p.underline).append("\"/>");
} }
if (p.shd != null) { if (p.shd != null) {
xml.append("<w:shd ").append(p.shd).append("/>"); xml.append("<w:shd ").append(p.shd).append("/>");
} }
if (p.iss == RunProps.ISS_SUPERSCRIPT) {
xml.append("<w:vertAlign w:val=\"superscript\"/>");
} else if (p.iss == RunProps.ISS_SUBSCRIPT) {
xml.append("<w:vertAlign w:val=\"subscript\"/>");
}
return xml.length() == 0 ? "" : "<w:rPr>" + xml + "</w:rPr>"; return xml.length() == 0 ? "" : "<w:rPr>" + xml + "</w:rPr>";
} }
@@ -1164,17 +1243,17 @@ public final class DocToDocx {
jc80[0] = false; jc80[0] = false;
} }
case Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE -> pageBreak[0] = case Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE -> pageBreak[0] =
Grpprl.toggleOn(buf, off); Grpprl.toggle(false, buf[off]);
case Grpprl.SPRM_P_F_KEEP_FOLLOW -> keepNext[0] = case Grpprl.SPRM_P_F_KEEP_FOLLOW -> keepNext[0] =
Grpprl.toggleOn(buf, off); Grpprl.toggle(false, buf[off]);
case Grpprl.SPRM_P_F_KEEP -> keepLines[0] = case Grpprl.SPRM_P_F_KEEP -> keepLines[0] =
Grpprl.toggleOn(buf, off); Grpprl.toggle(false, buf[off]);
case Grpprl.SPRM_P_DYA_BEFORE -> before[0] = case Grpprl.SPRM_P_DYA_BEFORE -> before[0] =
Grpprl.operandInt(buf, off, len); Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_P_DYA_AFTER -> after[0] = Grpprl.operandInt(buf, off, len); case Grpprl.SPRM_P_DYA_AFTER -> after[0] = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_P_DYA_LINE -> { case Grpprl.SPRM_P_DYA_LINE -> {
if (len >= LSPD_OPERAND_LEN) { if (len >= LSPD_OPERAND_LEN) {
// LSPD (§2.9.181): dyaLine (i16) + fMultLinespace (i16) // LSPD (§2.9.146): dyaLine (i16) + fMultLinespace (i16)
dyaLine[0] = signedXas(buf, off, 2); dyaLine[0] = signedXas(buf, off, 2);
fMult[0] = Grpprl.operandInt(buf, off + 2, 2); fMult[0] = Grpprl.operandInt(buf, off + 2, 2);
} }
@@ -1219,11 +1298,11 @@ public final class DocToDocx {
spacing.append(" w:after=\"").append(after[0]).append('"'); spacing.append(" w:after=\"").append(after[0]).append('"');
} }
if (dyaLine[0] != Integer.MIN_VALUE && dyaLine[0] != 0) { if (dyaLine[0] != Integer.MIN_VALUE && dyaLine[0] != 0) {
// LSPD → w:spacing (§2.9.181): fMult=1 — множитель в 240-х // LSPD → w:spacing (§2.9.146): fMult=1 — множитель в 240-х
// (lineRule="auto"); fMult=0, dyaLine>0 — «не меньше» (atLeast, // (lineRule="auto"); fMult=0, dyaLine>0 — «не меньше» (atLeast,
// max(dyaLine, одиночный интервал)); dyaLine<0 — точная высота // max(dyaLine, одиночный интервал)); dyaLine<0 — точная высота
// (exact, |dyaLine|). См. grfhicPapx.fSuppressTopSpacingMac5 / // (exact, |dyaLine|). См. grfhicPapx.fSuppressTopSpacingMac5 /
// fExactOnTop ([MS-DOC] §2.4.6, отсылки к lineRule). // fExactOnTop — бит A Copts80 ([MS-DOC] §2.7.12, отсылки к lineRule).
if (fMult[0] == FMULT_MULTIPLIER) { if (fMult[0] == FMULT_MULTIPLIER) {
spacing.append(" w:line=\"").append(dyaLine[0]) spacing.append(" w:line=\"").append(dyaLine[0])
.append("\" w:lineRule=\"auto\""); .append("\" w:lineRule=\"auto\"");
@@ -1373,7 +1452,7 @@ public final class DocToDocx {
} }
} }
/** w:tabs: TBD.jc → ST_TabVal (§17.18.78), TBD.tlc → ST_Leader (§17.18.57). */ /** w:tabs: TBD.jc → ST_TabJc (§17.18.84), TBD.tlc → ST_TabTlc (§17.18.85). */
private static String tabsXml(List<int[]> tabs) { private static String tabsXml(List<int[]> tabs) {
StringBuilder inner = new StringBuilder(); StringBuilder inner = new StringBuilder();
for (int[] t : tabs) { for (int[] t : tabs) {
@@ -1436,7 +1515,7 @@ public final class DocToDocx {
} }
/** /**
* Ico (§2.9.171) → член ST_HighlightColor (§17.18.42) — соответствие * Ico (§2.9.119) → член ST_HighlightColor (§17.18.40) — соответствие
* 1:1 по RGB палитры (teal 00FFFF = cyan, dark teal 008080 = darkCyan, * 1:1 по RGB палитры (teal 00FFFF = cyan, dark teal 008080 = darkCyan,
* gray50 = darkGray, gray25 = lightGray). 0/auto/вне 1..16 → null * gray50 = darkGray, gray25 = lightGray). 0/auto/вне 1..16 → null
* (не эмитится). * (не эмитится).
@@ -1464,8 +1543,8 @@ public final class DocToDocx {
} }
/** /**
* SHDOperand (§2.9.177): cb(1)=10 + Shd(10: cvFore/cvBack COLORREF + * SHDOperand (§2.9.249): cb(1)=10 + Shd(10: cvFore/cvBack COLORREF +
* ipat u16, §2.9.178) → атрибуты w:shd; cb≠10/обрезок → null. * ipat u16, §2.9.121) → атрибуты w:shd; cb≠10/обрезок → null.
*/ */
private static String shdAttrs10(byte[] buf, int off, int len) { private static String shdAttrs10(byte[] buf, int off, int len) {
if (len < 11 || (buf[off] & 0xFF) != 10) { if (len < 11 || (buf[off] & 0xFF) != 10) {
@@ -1476,7 +1555,7 @@ public final class DocToDocx {
} }
/** /**
* Shd80 (§2.9.176, u16: icoFore(5) icoBack(5) ipat(6)) → атрибуты * Shd80 (§2.9.248, u16: icoFore(5) icoBack(5) ipat(6)) → атрибуты
* w:shd; Shd80Nil (0x1F/0x1F/0x3F) даёт null (цвета вне палитры). * w:shd; Shd80Nil (0x1F/0x1F/0x3F) даёт null (цвета вне палитры).
*/ */
private static String shdAttrs80(int v) { private static String shdAttrs80(int v) {
@@ -1490,7 +1569,7 @@ public final class DocToDocx {
* w:fill (зонд 2026-11: w:val="solid" w:color=RRGGBB w:fill="auto" * w:fill (зонд 2026-11: w:val="solid" w:color=RRGGBB w:fill="auto"
* не рисует ничего); паттерны Ipat≥2 в FOP неразличимы — деградация * не рисует ничего); паттерны Ipat≥2 в FOP неразличимы — деградация
* в фон cvBack (MS-DOC Ipat: вне ST_Shd паттерны «lost if converted * в фон cvBack (MS-DOC Ipat: вне ST_Shd паттерны «lost if converted
* to ECMA-376»). ShdAuto/ShdNil (оба цвета auto, §2.9.178) и * to ECMA-376»). ShdAuto/ShdNil (оба цвета auto, §2.9.249) и
* нечем-красить (fill auto) → null. * нечем-красить (fill auto) → null.
*/ */
private static String shdAttrs(int ipat, String fore, String back) { private static String shdAttrs(int ipat, String fore, String back) {
@@ -1503,43 +1582,51 @@ public final class DocToDocx {
} }
/** /**
* Grpprl рана с учётом sprmCIstd (§2.6.1): цепочка chpx символьного * Grpprl рана с учётом sprmCIstd (§2.6.1): символьные свойства
* стиля (stk=3) вставляется между цепочкой стиля абзаца и прямыми * возвращаются к результату стиля абзаца (прямые до sprmCIstd
* CHPX — §2.4.6.5: символьные свойства сначала возвращаются к * сбрасываются, кроме preserv-list {@link Grpprl#CI_STD_PRESERVE}),
* результату стиля абзаца, затем символьный стиль, затем прямые. * затем цепочка chpx символьного стиля (stk=2), затем Prl после
* Без sprmCIstd — прежняя конкатенация. * sprmCIstd. sprmCIstd нет или istd вне STSH (Prl невалиден —
* спекулятивный сброс не делается) — прежняя конкатенация.
*/ */
private byte[] chpxWithCharStyle(byte[] grpprl, byte[] styleChpx) { private byte[] chpxWithCharStyle(byte[] grpprl, byte[] styleChpx) {
int[] istd = {-1}; int[] istd = {-1};
int[] ciStdStart = {-1};
int[] ciStdEnd = {-1};
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> { Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
if (sprm == Grpprl.SPRM_C_ISTD) { if (sprm == Grpprl.SPRM_C_ISTD && ciStdStart[0] < 0) {
ciStdStart[0] = off - 2;
ciStdEnd[0] = off + len;
int v = Grpprl.operandInt(buf, off, len); int v = Grpprl.operandInt(buf, off, len);
istd[0] = v < styles.count() ? v : -1; istd[0] = v < styles.count() ? v : -1;
} }
}); });
byte[] chStyle = istd[0] >= 0 ? styles.charChain(istd[0]) : new byte[0]; if (istd[0] < 0) {
if (chStyle.length == 0) {
return styleChpx.length == 0 ? grpprl : concat(styleChpx, grpprl); return styleChpx.length == 0 ? grpprl : concat(styleChpx, grpprl);
} }
return concat(concat(styleChpx, chStyle), grpprl); byte[] chStyle = styles.charChain(istd[0]);
byte[] before = Grpprl.filterOnly(grpprl, ciStdStart[0],
Grpprl.CI_STD_PRESERVE);
byte[] after = Arrays.copyOfRange(grpprl, ciStdEnd[0], grpprl.length);
return concat(concat(concat(styleChpx, chStyle), before), after);
} }
/** /**
* w:sectPr секции: ссылки на части колонтитуков (null — элемент не * w:sectPr секции: ссылки на части колонтитуков (null — элемент не
* пишется, docx4j наследует полосы предыдущей секции), затем w:type, * пишется, docx4j наследует полосы предыдущей секции), затем w:type,
* затем pgSz/pgMar её геометрии. Порядок детей — CT_SectPr: * затем pgSz/pgMar её геометрии. Порядок детей — CT_SectPr:
* EG_HdrFtrReferences → type → pgSz → pgMar (ECMA-376 §17.2.3). * EG_HdrFtrReferences → type → pgSz → pgMar (ECMA-376 §17.6.18).
* *
* @param typeContinuous разрыв ПЕРЕД секцией не начинает новую * @param prev разрыв ПЕРЕД секцией (null — первая секция): его
* страницу (§17.6.22 — w:type описывает * SBkcOperand даёт {@code w:type} (§17.6.22 — w:type
* предыдущий разрыв; источник — sprmSBkc * описывает предыдущий разрыв; источник — sprmSBkc
* предыдущей секции, [MS-DOC] §2.6.3) * предыдущей секции, [MS-DOC] §2.6.4)
*/ */
private static String sectPrXml(Sections.Section s, String headerRelId, private static String sectPrXml(Sections.Section s, String headerRelId,
String footerRelId, String firstHeaderRelId, String firstFooterRelId, String footerRelId, String firstHeaderRelId, String firstFooterRelId,
boolean typeContinuous) { Sections.Section prev) {
StringBuilder xml = new StringBuilder("<w:sectPr>"); StringBuilder xml = new StringBuilder("<w:sectPr>");
// EG_HdrFtrReferences — до содержимого секции (CT_SectPr, ECMA-376 §17.2.3) // EG_HdrFtrReferences — до содержимого секции (CT_SectPr, ECMA-376 §17.6.18)
if (headerRelId != null) { if (headerRelId != null) {
xml.append("<w:headerReference w:type=\"default\" r:id=\"") xml.append("<w:headerReference w:type=\"default\" r:id=\"")
.append(headerRelId).append("\"/>"); .append(headerRelId).append("\"/>");
@@ -1556,8 +1643,9 @@ public final class DocToDocx {
xml.append("<w:footerReference w:type=\"first\" r:id=\"") xml.append("<w:footerReference w:type=\"first\" r:id=\"")
.append(firstFooterRelId).append("\"/>"); .append(firstFooterRelId).append("\"/>");
} }
if (typeContinuous) { String typeVal = prev == null ? null : prev.wTypeName();
xml.append("<w:type w:val=\"continuous\"/>"); if (typeVal != null) {
xml.append("<w:type w:val=\"").append(typeVal).append("\"/>");
} }
// sprmSBOrientation: Word пишет dxa уже перевёрнутыми; max/min — // sprmSBOrientation: Word пишет dxa уже перевёрнутыми; max/min —
// защита от генераторов, оставивших портретные размеры при landscape // защита от генераторов, оставивших портретные размеры при landscape
@@ -1578,10 +1666,10 @@ public final class DocToDocx {
.append("\" w:left=\"").append(s.marginLeft()) .append("\" w:left=\"").append(s.marginLeft())
.append("\" w:header=\"").append(s.header()) .append("\" w:header=\"").append(s.header())
.append("\" w:footer=\"").append(s.footer()) .append("\" w:footer=\"").append(s.footer())
.append("\" w:gutter=\"0\"/>"); .append("\" w:gutter=\"").append(s.gutter()).append("\"/>");
appendPgNumType(xml, s); appendPgNumType(xml, s);
appendCols(xml, s); appendCols(xml, s);
// w:titlePg — после w:cols (CT_SectPrBase, §17.2.3): первая страница // w:titlePg — после w:cols (CT_SectPrBase, §17.6.18): первая страница
// секции использует first-части (ссылки w:type="first" выше) // секции использует first-части (ссылки w:type="first" выше)
if (s.titlePage()) { if (s.titlePage()) {
xml.append("<w:titlePg/>"); xml.append("<w:titlePg/>");
@@ -1595,7 +1683,7 @@ public final class DocToDocx {
* w:start — при сбросе нумерации, w:fmt — из подмножества * w:start — при сбросе нумерации, w:fmt — из подмножества
* ST_NumberFormat, допустимого для номеров страниц (decimal — * ST_NumberFormat, допустимого для номеров страниц (decimal —
* формат по умолчанию, не эмитится; bullet/none/экзотика — вне * формат по умолчанию, не эмитится; bullet/none/экзотика — вне
* смысла w:fmt). Порядок CT_SectPr §17.2.3: после pgMar. * смысла w:fmt). Порядок CT_SectPr §17.6.18: после pgMar.
*/ */
private static void appendPgNumType(StringBuilder xml, Sections.Section s) { private static void appendPgNumType(StringBuilder xml, Sections.Section s) {
int start = s.pgNumStart(); int start = s.pgNumStart();
@@ -1690,11 +1778,19 @@ public final class DocToDocx {
private boolean bold; private boolean bold;
private boolean italic; private boolean italic;
private boolean strike; private boolean strike;
private boolean underline; /** sprmCKul → ST_Underline-имя; null — без подчёркивания. */
private String underline;
private int sz; private int sz;
private int szCs; private int szCs;
private int ftc0 = -1; private int ftc0 = -1;
private int ftc1 = -1; private int ftc1 = -1;
private int ftc2 = -1;
private int ftcBi = -1;
/** sprmCIss: 0 нормальный, 1 надстрочный, 2 подстрочный. */
private int iss;
/** Значения sprmCIss ([MS-DOC] §2.6.1): надстрочный/подстрочный. */
private static final int ISS_SUPERSCRIPT = 1;
private static final int ISS_SUBSCRIPT = 2;
private String color; private String color;
/** sprmCHpsPos: вертикальный сдвиг в hps со знаком ( надострочный, <0 подстрочный). */ /** sprmCHpsPos: вертикальный сдвиг в hps со знаком ( надострочный, <0 подстрочный). */
private int pos; private int pos;
@@ -1706,7 +1802,7 @@ public final class DocToDocx {
/** sprmCFRMarkDel/sprmCFRMarkIns: непринятая правка → w:del/w:ins. */ /** sprmCFRMarkDel/sprmCFRMarkIns: непринятая правка → w:del/w:ins. */
private boolean del; private boolean del;
private boolean ins; private boolean ins;
/** sprmCHighlight: член ST_HighlightColor (§17.18.42); null — нет. */ /** sprmCHighlight: член ST_HighlightColor (§17.18.40); null — нет. */
private String highlight; private String highlight;
/** sprmCShd/sprmCShd80: готовые атрибуты w:shd; null — нет затенения. */ /** sprmCShd/sprmCShd80: готовые атрибуты w:shd; null — нет затенения. */
private String shd; private String shd;
@@ -8,7 +8,9 @@ import ru.pjandro.wordpdf.ConversionException;
* <p>По [MS-DOC] §2.5: Fib = FibBase (32) + csw + FibRgW97 + cslw + FibRgLw97 * <p>По [MS-DOC] §2.5: Fib = FibBase (32) + csw + FibRgW97 + cslw + FibRgLw97
* + cbRgFcLcb + FibRgFcLcbBlob (§2.5.1). Читаются только нужные поля; * + cbRgFcLcb + FibRgFcLcbBlob (§2.5.1). Читаются только нужные поля;
* порядок и смещения — §2.5.15 «How to read the FIB», побайтовые примеры — * порядок и смещения — §2.5.15 «How to read the FIB», побайтовые примеры —
* §3 (Figure 22/30). Число 136 пар в blob (Word 2003+) не мешает: нужные * §3 (Figure 22/30). cbRgFcLcb — один из по таблице nFib (§2.5.1):
* 0x00C1→0x005D (88 пар, Word 97), 0x0101→0x0088 (136, Word 2002),
* 0x010C→0x00A4 (164, Word 2003) — сверяется при чтении; нужные
* пары стоят на фиксированных индексах.</p> * пары стоят на фиксированных индексах.</p>
*/ */
final class FibHeader { final class FibHeader {
@@ -29,10 +31,12 @@ final class FibHeader {
/** Значение бита флага «включён» (§2.5.2, grpprl FIB). */ /** Значение бита флага «включён» (§2.5.2, grpprl FIB). */
private static final int BIT_ON = 1; private static final int BIT_ON = 1;
/** Минимум FibRgW97 (4 коротких значения, §2.5.4). */ /** MUST-значения счётчиков (§2.5.1 Fib, Word 97+): csw=14 коротких, cslw=22 длинных. */
private static final int MIN_CSLW = 4; private static final int C_SW = 0x000E;
private static final int C_SLW = 0x0016;
/** Смещения после FibBase (§2.5.1). */ /** Смещения после FibBase (§2.5.1). */
private static final int OFF_CSW = 32;
private static final int OFF_CSLW = 62; private static final int OFF_CSLW = 62;
private static final int OFF_FIB_RG_LW = 64; private static final int OFF_FIB_RG_LW = 64;
private static final int OFF_CB_MAC = OFF_FIB_RG_LW; private static final int OFF_CB_MAC = OFF_FIB_RG_LW;
@@ -91,8 +95,13 @@ final class FibHeader {
throw new ConversionException("Документ зашифрован (пароль на открытие) — конвертация невозможна"); throw new ConversionException("Документ зашифрован (пароль на открытие) — конвертация невозможна");
} }
use1Table = ((flags >> BIT_F_WHICH_TBL_STM) & BIT_ON) == BIT_ON; use1Table = ((flags >> BIT_F_WHICH_TBL_STM) & BIT_ON) == BIT_ON;
// §2.5.1 Fib: csw «MUST be 0x000E», cslw «MUST be 0x0016» —
// фиксированный layout FibRgW97/FibRgLw97, любое другое
// значение = чужая версия FIB, чтение по константным смещениям дало
// бы мусор
int csw = (int) CfbReader.u32(wd, OFF_CSW) & 0xFFFF;
int cslw = (int) CfbReader.u32(wd, OFF_CSLW) & 0xFFFF; int cslw = (int) CfbReader.u32(wd, OFF_CSLW) & 0xFFFF;
if (cslw < MIN_CSLW) { if (csw != C_SW || cslw != C_SLW) {
throw new ConversionException("Обрезанный FIB в .doc"); throw new ConversionException("Обрезанный FIB в .doc");
} }
cbMac = (int) CfbReader.u32(wd, OFF_CB_MAC); cbMac = (int) CfbReader.u32(wd, OFF_CB_MAC);
@@ -102,35 +111,35 @@ final class FibHeader {
if (ccpText < 0) { if (ccpText < 0) {
throw new ConversionException("Отрицательная длина текста в .doc"); throw new ConversionException("Отрицательная длина текста в .doc");
} }
int cbRgFcLcb = (int) CfbReader.u32(wd, OFF_CB_RG_FC_LCB) & 0xFFFF; int cbRgFcLcb = CfbReader.u16(wd, OFF_CB_RG_FC_LCB);
if (cbRgFcLcb <= PAIR_CLX) { if (cbRgFcLcb <= PAIR_CLX) {
throw new ConversionException("Устаревшая структура FIB в .doc"); throw new ConversionException("Устаревшая структура FIB в .doc");
} }
long[] stshf = pair(wd, PAIR_STSHF); long[] stshf = pair(wd, PAIR_STSHF, cbRgFcLcb);
fcStshf = stshf[0]; fcStshf = stshf[0];
lcbStshf = stshf[1]; lcbStshf = stshf[1];
long[] sed = pair(wd, PAIR_PLCF_SED); long[] sed = pair(wd, PAIR_PLCF_SED, cbRgFcLcb);
fcPlcfSed = sed[0]; fcPlcfSed = sed[0];
lcbPlcfSed = sed[1]; lcbPlcfSed = sed[1];
long[] hdd = pair(wd, PAIR_PLCF_HDD); long[] hdd = pair(wd, PAIR_PLCF_HDD, cbRgFcLcb);
fcPlcfHdd = hdd[0]; fcPlcfHdd = hdd[0];
lcbPlcfHdd = hdd[1]; lcbPlcfHdd = hdd[1];
long[] chpx = pair(wd, PAIR_PLCF_BTE_CHPX); long[] chpx = pair(wd, PAIR_PLCF_BTE_CHPX, cbRgFcLcb);
fcPlcfBteChpx = chpx[0]; fcPlcfBteChpx = chpx[0];
lcbPlcfBteChpx = chpx[1]; lcbPlcfBteChpx = chpx[1];
long[] papx = pair(wd, PAIR_PLCF_BTE_PAPX); long[] papx = pair(wd, PAIR_PLCF_BTE_PAPX, cbRgFcLcb);
fcPlcfBtePapx = papx[0]; fcPlcfBtePapx = papx[0];
lcbPlcfBtePapx = papx[1]; lcbPlcfBtePapx = papx[1];
long[] ffn = pair(wd, PAIR_STTBF_FFN); long[] ffn = pair(wd, PAIR_STTBF_FFN, cbRgFcLcb);
fcSttbfFfn = ffn[0]; fcSttbfFfn = ffn[0];
lcbSttbfFfn = ffn[1]; lcbSttbfFfn = ffn[1];
long[] clx = pair(wd, PAIR_CLX); long[] clx = pair(wd, PAIR_CLX, cbRgFcLcb);
fcClx = clx[0]; fcClx = clx[0];
lcbClx = clx[1]; lcbClx = clx[1];
long[] lst = pair(wd, PAIR_PLF_LST); long[] lst = pair(wd, PAIR_PLF_LST, cbRgFcLcb);
fcPlfLst = lst[0]; fcPlfLst = lst[0];
lcbPlfLst = lst[1]; lcbPlfLst = lst[1];
long[] lfo = pair(wd, PAIR_PLF_LFO); long[] lfo = pair(wd, PAIR_PLF_LFO, cbRgFcLcb);
fcPlfLfo = lfo[0]; fcPlfLfo = lfo[0];
lcbPlfLfo = lfo[1]; lcbPlfLfo = lfo[1];
} }
@@ -143,7 +152,16 @@ final class FibHeader {
return new FibHeader(wordDocument); return new FibHeader(wordDocument);
} }
private static long[] pair(byte[] wd, int index) { /**
* Пара (fc,lcb) с индексом {@code index} в FibRgFcLcbBlob. Индекс за
* объявленным числом пар (§2.5.1: cbRgFcLcb «MUST be one of» —
* 0x005D при nFib=0x00C1 … 0x00B7 при 0x0112; старые FIB короче) — поле
* отсутствует: fc=0/lcb=0, потребитель трактует как «нет структуры».
*/
private static long[] pair(byte[] wd, int index, int pairCount) {
if (index >= pairCount) {
return new long[] {0, 0};
}
int off = OFF_BLOB + index * 8; int off = OFF_BLOB + index * 8;
if (off + 8 > wd.length) { if (off + 8 > wd.length) {
throw new ConversionException("Обрезанный FIB в .doc"); throw new ConversionException("Обрезанный FIB в .doc");
@@ -1,5 +1,8 @@
package ru.pjandro.wordpdf.internal.doc; package ru.pjandro.wordpdf.internal.doc;
import java.io.ByteArrayOutputStream;
import java.util.Set;
/** /**
* Разбор Grpprl — массива Prl (sprm + операнд), [MS-DOC] §2.6. * Разбор Grpprl — массива Prl (sprm + операнд), [MS-DOC] §2.6.
* *
@@ -9,8 +12,8 @@ package ru.pjandro.wordpdf.internal.doc;
* 3 = 4, 4 = 2, 5 = 2, 6 = переменный (первый байт — длина остального), * 3 = 4, 4 = 2, 5 = 2, 6 = переменный (первый байт — длина остального),
* 7 = 3. Неизвестный sprm пропускается по spra (ms-doc.md:1809).</p> * 7 = 3. Неизвестный sprm пропускается по spra (ms-doc.md:1809).</p>
* *
* <p>Значения sprm — таблицы §2.6.1/2.6.2/2.6.3 dated-.docx [MS-DOC] 12.5 * <p>Значения sprm — таблицы §2.6.1/§2.6.2/§2.6.3/§2.6.4 полного [MS-DOC]
* (в md репозитория потеряны как [TABLE]); кросс-чек с примерами §3: * (ms-doc-full.md); кросс-чек с примерами §3:
* sprmPJc = 0x2461, sprmSDxaLeft = 0xB021, sprmCKul ispmd 0x3E fSpec 1.</p> * sprmPJc = 0x2461, sprmSDxaLeft = 0xB021, sprmCKul ispmd 0x3E fSpec 1.</p>
*/ */
final class Grpprl { final class Grpprl {
@@ -29,7 +32,7 @@ final class Grpprl {
* sprmCPicLocation (§2.6.1, 4 байта): offset в Data-потоке — * sprmCPicLocation (§2.6.1, 4 байта): offset в Data-потоке —
* PICFAndOfficeArtData (картинка) или NilPICFAndBinData (OLE-бинарник, * PICFAndOfficeArtData (картинка) или NilPICFAndBinData (OLE-бинарник,
* {@code picf.cbHeader≠0x44} → {@link OfficeArt#read} вернёт null). * {@code picf.cbHeader≠0x44} → {@link OfficeArt#read} вернёт null).
* sprmCFSpec=0x0875/sprmCFData=0x0806/sprmCFOle2=0x084B не читаем: * sprmCFSpec=0x0855/sprmCFData=0x0806/sprmCFOle2=0x080A не читаем:
* фикстуры пишут их непоследовательно (ole-embedded — без CFSpec), * фикстуры пишут их непоследовательно (ole-embedded — без CFSpec),
* а различает картинку/бинарник сам cbHeader. * а различает картинку/бинарник сам cbHeader.
*/ */
@@ -53,26 +56,39 @@ final class Grpprl {
/** sprmCHpsPos (§2.6.1, 2 байта со знаком): вертикальный сдвиг в hps. */ /** sprmCHpsPos (§2.6.1, 2 байта со знаком): вертикальный сдвиг в hps. */
static final int SPRM_C_HPS_POS = 0x4845; static final int SPRM_C_HPS_POS = 0x4845;
/** /**
* sprmCHighlight (§2.6.1, 1 байт Ico): текстовыделитель. Ico (§2.9.171) * sprmCHighlight (§2.6.1, 1 байт Ico): текстовыделитель. Ico (§2.9.119)
* → w:highlight в порядке CT_RPr — конвейер рисует фон рана (пинь * → w:highlight в порядке CT_RPr — конвейер рисует фон рана (пинь
* WordPdfConverterTest#highlightAndShading_backgroundDrawn). * WordPdfConverterTest#highlightAndShading_backgroundDrawn).
*/ */
static final int SPRM_C_HIGHLIGHT = 0x2A0C; static final int SPRM_C_HIGHLIGHT = 0x2A0C;
/** /**
* sprmCShd/sprmCShd80 (§2.6.1): затенение рана → w:shd в rPr. * sprmCShd/sprmCShd80 (§2.6.1): затенение рана → w:shd в rPr.
* SHDOperand (§2.9.177) = cb(1)=10 + Shd(10): cvFore/cvBack COLORREF * SHDOperand (§2.9.249) = cb(1)=10 + Shd(10): cvFore/cvBack COLORREF
* + ipat (§2.9.178); Shd80 (§2.9.176) — 2 байта: icoFore(5) icoBack(5) * + ipat (§2.9.121); Shd80 (§2.9.248) — 2 байта: icoFore(5) icoBack(5)
* ipat(6). * ipat(6).
*/ */
static final int SPRM_C_SHD = 0xCA71; static final int SPRM_C_SHD = 0xCA71;
static final int SPRM_C_SHD80 = 0x4866; static final int SPRM_C_SHD80 = 0x4866;
/** /**
* sprmCIstd (§2.6.1, u16): istd прямого символьного стиля (stk=3 в STSH). * sprmCIstd (§2.6.1, u16): istd прямого символьного стиля (stk=2 в STSH).
* По §2.4.6.5 символьные свойства возвращаются к результату стиля абзаца, * По §2.4.6.5 символьные свойства возвращаются к результату стиля абзаца,
* затем накладывается цепочка chpx символьного стиля, затем прямые CHPX — * затем накладывается цепочка chpx символьного стиля, затем прямые CHPX —
* порядок конкатенации в {@code DocxBody.chpxWithCharStyle}. * порядок конкатенации в {@code DocxBody.chpxWithCharStyle}.
*/ */
static final int SPRM_C_ISTD = 0x4A30; static final int SPRM_C_ISTD = 0x4A30;
/**
* sprmCRgFtc2 (§2.6.1, 2 байта со знаком): индекс SttbfFfn для текста вне
* U+0020–U+007F, когда ftc1/ftcBi не применимы → {@code w:hAnsi}
* (перекрывает ftc0-значение).
*/
static final int SPRM_C_RG_FTC2 = 0x4A51;
/** sprmCFtcBi (§2.6.1, 2 байта со знаком): RTL/complex-шрифт → {@code w:cs}. */
static final int SPRM_C_FTC_BI = 0x4A5E;
/**
* sprmCIss (§2.6.1, 1 байт): 0x01 надстрочный, 0x02 подстрочный →
* {@code w:vertAlign} (0x00 нормальный — элемент не эмитится).
*/
static final int SPRM_C_ISS = 0x2A48;
// Paragraph Properties (§2.6.2, sgc 1) // Paragraph Properties (§2.6.2, sgc 1)
static final int SPRM_P_ISTD = 0x4600; static final int SPRM_P_ISTD = 0x4600;
@@ -179,7 +195,7 @@ final class Grpprl {
static final int SPRM_T_VERT_ALIGN = 0xD62C; static final int SPRM_T_VERT_ALIGN = 0xD62C;
/** /**
* sprmTCellPadding/sprmTCellPaddingDefault (§2.6.3): поля ячеек — * sprmTCellPadding/sprmTCellPaddingDefault (§2.6.3): поля ячеек —
* CSSAOperand (§2.9.209): cb(1)=6 + CSSA (§2.9.96): itc(2, ItcFirstLim) * CSSAOperand (§2.9.46): cb(1)=6 + CSSA (§2.9.45): itc(2, ItcFirstLim)
* + grfbrc(1: маска сторон top|left|bottom|right = 1|2|4|8) + ftsWidth(1) * + grfbrc(1: маска сторон top|left|bottom|right = 1|2|4|8) + ftsWidth(1)
* + wWidth(2). Поля переносятся только при ftsWidth=ftsDxa(0x03); * + wWidth(2). Поля переносятся только при ftsWidth=ftsDxa(0x03);
* ftsNil(0) — сторона не задана. Default-вариант действует на весь ряд * ftsNil(0) — сторона не задана. Default-вариант действует на весь ряд
@@ -191,7 +207,7 @@ final class Grpprl {
static final int SPRM_T_CELL_PADDING_DEFAULT = 0xD634; static final int SPRM_T_CELL_PADDING_DEFAULT = 0xD634;
/** /**
* sprmTInsert (§2.6.3): вставка определений ячеек ряда — пропускается * sprmTInsert (§2.6.3): вставка определений ячеек ряда — пропускается
* правилом spra=3 (4 байта: itcFirst(1)+ctc(1)+dxaCol(2 XAS), §2.9.322; * правилом spra=3 (4 байта: itcFirst(1)+ctc(1)+dxaCol(2 XAS), §2.9.324;
* ECMA-376 Part 4 описывал прежнюю форму rgttte ctc×6 байт, но [MS-DOC] * ECMA-376 Part 4 описывал прежнюю форму rgttte ctc×6 байт, но [MS-DOC]
* и реальные файлы Word сходятся на 4 байтах: в TAP образцов * и реальные файлы Word сходятся на 4 байтах: в TAP образцов
* ru-table-image.doc/ru-en-mixed.doc following-sprm выравниваются ровно * ru-table-image.doc/ru-en-mixed.doc following-sprm выравниваются ровно
@@ -222,11 +238,15 @@ final class Grpprl {
static final int SPRM_S_C_COLUMNS = 0x500B; static final int SPRM_S_C_COLUMNS = 0x500B;
/** sprmSPgnStart97 (§2.6.4, 2 байта): стартовый номер страниц (Word 97+). */ /** sprmSPgnStart97 (§2.6.4, 2 байта): стартовый номер страниц (Word 97+). */
static final int SPRM_S_PGN_START97 = 0x501C; static final int SPRM_S_PGN_START97 = 0x501C;
/** sprmSPgnStart (§2.6.4, 4 байта, u32): стартовый номер (32-бит вариант). */
static final int SPRM_S_PGN_START = 0x7044;
/** sprmSDzaGutter (§2.6.4, XAS_nonNeg 2 байта): поле переплёта → w:gutter. */
static final int SPRM_S_DZA_GUTTER = 0xB025;
/** sprmSDxaColumns (§2.6.4, XAS_nonNeg): зазор между колонками при evenly-spaced. */ /** sprmSDxaColumns (§2.6.4, XAS_nonNeg): зазор между колонками при evenly-spaced. */
static final int SPRM_S_DXA_COLUMNS = 0x900C; static final int SPRM_S_DXA_COLUMNS = 0x900C;
/** /**
* sprmSDxaColWidth/sprmSDxaColSpacing (§2.6.4, SDxaColWidthOperand / * sprmSDxaColWidth/sprmSDxaColSpacing (§2.6.4, SDxaColWidthOperand
* SDxaColSpacingOperand §2.9.241/.242: iCol(1)+dxaCol(2)) — ширина * §2.9.242 / SDxaColSpacingOperand §2.9.241: iCol(1)+dxaCol(2)) — ширина
* колонки iCol / зазор ПОСЛЕ колонки iCol при неравных колонках. * колонки iCol / зазор ПОСЛЕ колонки iCol при неравных колонках.
*/ */
static final int SPRM_S_DXA_COL_WIDTH = 0xF203; static final int SPRM_S_DXA_COL_WIDTH = 0xF203;
@@ -262,19 +282,20 @@ final class Grpprl {
/** Кормить каждым Prl скана PAPX; не-отступные sprm игнорируются. */ /** Кормить каждым Prl скана PAPX; не-отступные sprm игнорируются. */
void prl(int sprm, byte[] buf, int off, int len) { void prl(int sprm, byte[] buf, int off, int len) {
// XAS — 16-битное СО ЗНАКОМ значение (§2.9.349), не unsigned
switch (sprm) { switch (sprm) {
case SPRM_P_DXA_LEFT -> { case SPRM_P_DXA_LEFT -> {
modern = true; modern = true;
left = operandInt(buf, off, len); left = signedXas(buf, off, len);
} }
case SPRM_P_NEST -> { case SPRM_P_NEST -> {
modern = true; modern = true;
nest = operandInt(buf, off, len); nest = signedXas(buf, off, len);
} }
case SPRM_P_DXA_LEFT80 -> left80 = operandInt(buf, off, len); case SPRM_P_DXA_LEFT80 -> left80 = signedXas(buf, off, len);
case SPRM_P_NEST80 -> nest80 = operandInt(buf, off, len); case SPRM_P_NEST80 -> nest80 = signedXas(buf, off, len);
case SPRM_P_DXA_RIGHT, SPRM_P_DXA_RIGHT80 -> case SPRM_P_DXA_RIGHT, SPRM_P_DXA_RIGHT80 ->
right = operandInt(buf, off, len); right = signedXas(buf, off, len);
case SPRM_P_DXA_LEFT1, SPRM_P_DXA_LEFT180 -> case SPRM_P_DXA_LEFT1, SPRM_P_DXA_LEFT180 ->
left1 = signedXas(buf, off, len); left1 = signedXas(buf, off, len);
default -> { } default -> { }
@@ -340,6 +361,36 @@ final class Grpprl {
} }
} }
/**
* Preserv-list sprmCIstd (§2.6.1): значения этих свойств предшествуют
* применению символьного стиля при сбросе прямого форматирования к
* результату стиля абзаца. Значения — таблица §2.6.1: CFRMarkDel
* 0x0800, CFRMarkIns 0x0801, CFFldVanish 0x0802, CFData 0x0806,
* CFOle2 0x080A, CFWebHidden 0x0811, CFSpec 0x0855, CFObj 0x0856,
* CFBiDi 0x085A, CFComplexScripts 0x0882, CIdctHint 0x286F,
* CHighlight 0x2A0C, CWall 0x2A83, CIdslRMark 0x4807, CPicLocation
* 0x6A03, CSymbol 0x6A09, CPropRMark 0xCA89.
*/
static final Set<Integer> CI_STD_PRESERVE = Set.of(
0x0800, 0x0801, 0x0802, 0x0806, 0x080A, 0x0811, 0x0855, 0x0856,
0x085A, 0x0882, 0x286F, 0x2A0C, 0x2A83, 0x4807, 0x6A03, 0x6A09,
0xCA89);
/**
* Байты Prl-ей, целиком лежащих в {@code [0, endExclusive)} и имеющих
* sprm из {@code keep} (§2.6.1 — выборка preserve-list до sprmCIstd);
* битый хвост обрывается как в {@link #scan}.
*/
static byte[] filterOnly(byte[] grpprl, int endExclusive, Set<Integer> keep) {
ByteArrayOutputStream out = new ByteArrayOutputStream();
scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
if (keep.contains(sprm) && off + len <= endExclusive) {
out.write(buf, off - 2, len + 2);
}
});
return out.toByteArray();
}
/** Длина операнда по spra; -1 — переменный формат битый. */ /** Длина операнда по spra; -1 — переменный формат битый. */
private static int operandSize(int sprm, byte[] buf, int p, int end) { private static int operandSize(int sprm, byte[] buf, int p, int end) {
int spra = sprm >> 13; int spra = sprm >> 13;
@@ -352,6 +403,8 @@ final class Grpprl {
case 5: case 5:
return 2; return 2;
case 3: case 3:
// §2.8.4: «A value of 0x3 specifies that operand is four
// bytes long» (ms-doc.md:14495) — не путать с S16=2
return 4; return 4;
case 7: case 7:
return 3; return 3;
@@ -404,8 +457,47 @@ final class Grpprl {
return v; return v;
} }
/** Toggle-операнд: бит 0 = on; чётное («переключить от предыдущего») = off. */ /**
static boolean toggleOn(byte[] buf, int off) { * ToggleOperand (§2.9.327): 0x00 — off, 0x01 — on, 0x80 — значение
return (buf[off] & 1) == 1; * свойства текущего стиля (текущее накопленное {@code current}), 0x81 —
* инверсия стилевого; иное (вне перечисления) — консервативно current.
*/
static boolean toggle(boolean current, byte operand) {
int v = operand & 0xFF;
return switch (v) {
case 0x00 -> false;
case 0x01 -> true;
case 0x80 -> current;
case 0x81 -> !current;
default -> current;
};
}
/**
* Kul (§2.9.127) → ST_Underline (wml.xsd): 0 — без подчёркивания
* ({@code null}), нераспознанный ≠0 — single.
*/
static String underlineVal(int kul) {
return switch (kul) {
case 0x00 -> null;
case 0x01 -> "single";
case 0x02 -> "words";
case 0x03 -> "double";
case 0x04 -> "dotted";
case 0x06 -> "thick";
case 0x07 -> "dash";
case 0x09 -> "dotDash";
case 0x0A -> "dotDotDash";
case 0x0B -> "wave";
case 0x14 -> "dottedHeavy";
case 0x17 -> "dashedHeavy";
case 0x19 -> "dashDotHeavy";
case 0x1A -> "dashDotDotHeavy";
case 0x1B -> "wavyHeavy";
case 0x27 -> "dashLong";
case 0x2B -> "wavyDouble";
case 0x37 -> "dashLongHeavy";
default -> "single";
};
} }
} }
@@ -4,11 +4,11 @@ import ru.pjandro.wordpdf.ConversionException;
/** /**
* Header Document (.doc): истории колонтитуков по {@code Plcfhdd} * Header Document (.doc): истории колонтитуков по {@code Plcfhdd}
* ([MS-DOC] §2.8.22 — PLC из одних CP; §2.4.4 — порядок историй). * ([MS-DOC] §2.8.22 — PLC из одних CP; §2.3.3 — порядок историй).
* *
* <p>Массив aCP размечает подряд идущие CP-диапазоны: первые шесть — пустые * <p>Массив aCP размечает подряд идущие CP-диапазоны: первые шесть —
* абзацы-разделители, далее на каждую секцию шесть историй * footnote/endnote separator-истории (§2.4.4), далее на каждую секцию шесть
* [even header, odd header, even footer, odd footer, first-page header, * историй [even header, odd header, even footer, odd footer, first-page header,
* first-page footer]; последний aCP (§2.8.22 «the last CP is ignored») в * first-page footer]; последний aCP (§2.8.22 «the last CP is ignored») в
* расчёт не входит. Каждая история заканчивается guard-абзацем (), который * расчёт не входит. Каждая история заканчивается guard-абзацем (), который
* в вывод не попадает.</p> * в вывод не попадает.</p>
@@ -19,7 +19,7 @@ import ru.pjandro.wordpdf.ConversionException;
* {@code sprmSFTitlePage} (w:titlePg, конвейер различает first/default — * {@code sprmSFTitlePage} (w:titlePg, конвейер различает first/default —
* пинь {@code titlePg_firstPageHeader}). История с {@code cpStart == cpEnd} * пинь {@code titlePg_firstPageHeader}). История с {@code cpStart == cpEnd}
* не определена — часть и ссылка не эмитятся, docx4j наследует полосы * не определена — часть и ссылка не эмитятся, docx4j наследует полосы
* предыдущей секции (§2.4.4 «Same as Previous»).</p> * предыдущей секции (§2.3.3 «Same as Previous»).</p>
*/ */
final class Headers { final class Headers {
@@ -27,7 +27,7 @@ final class Headers {
record Story(int cpStart, int cpEnd) { record Story(int cpStart, int cpEnd) {
/** /**
* История НЕ определена (§2.4.4: «Stories are considered empty if * История НЕ определена (§2.3.3: «Stories are considered empty if
* they have no contents and no guard paragraph mark … the beginning * they have no contents and no guard paragraph mark … the beginning
* CP being the same as the next CP») — Word показывает полосы * CP being the same as the next CP») — Word показывает полосы
* предыдущей секции (Same as Previous). Пустая часть с guard- при * предыдущей секции (Same as Previous). Пустая часть с guard- при
@@ -49,14 +49,14 @@ final class Headers {
} }
} }
/** Пустых абзацев-разделителей перед историями первой секции (§2.4.4). */ /** Footnote/endnote separator-историй перед историями первой секции (§2.4.4). */
private static final int SEPARATOR_STORIES = 6; private static final int SEPARATOR_STORIES = 6;
/** Историй на секцию (§2.4.4). */ /** Историй на секцию (§2.3.3). */
private static final int STORIES_PER_SECTION = 6; private static final int STORIES_PER_SECTION = 6;
/** Индексы внутри группы секции: 0 even hdr, 1 odd hdr, 2 even ftr, 3 odd ftr… */ /** Индексы внутри группы секции: 0 even hdr, 1 odd hdr, 2 even ftr, 3 odd ftr… */
private static final int ODD_HEADER = 1; private static final int ODD_HEADER = 1;
private static final int ODD_FOOTER = 3; private static final int ODD_FOOTER = 3;
/** Первая страница (истории 4/5, применяются при sprmSFTitlePage, §2.4.4). */ /** Первая страница (истории 4/5, применяются при sprmSFTitlePage, §2.3.3). */
private static final int FIRST_HEADER = 4; private static final int FIRST_HEADER = 4;
private static final int FIRST_FOOTER = 5; private static final int FIRST_FOOTER = 5;
@@ -89,22 +89,22 @@ final class Headers {
return new Headers(table, fcPlcfHdd, lcbPlcfHdd, baseCp); return new Headers(table, fcPlcfHdd, lcbPlcfHdd, baseCp);
} }
/** Заголовок нечётных полос набора секции {@code section} (§2.4.4). */ /** Заголовок нечётных полос набора секции {@code section} (§2.3.3). */
Story oddHeader(int section) { Story oddHeader(int section) {
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + ODD_HEADER); return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + ODD_HEADER);
} }
/** Колонтитул нечётных полос набора секции {@code section} (§2.4.4). */ /** Колонтитул нечётных полос набора секции {@code section} (§2.3.3). */
Story oddFooter(int section) { Story oddFooter(int section) {
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + ODD_FOOTER); return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + ODD_FOOTER);
} }
/** Заголовок первой страницы секции {@code section} (titlePg, §2.4.4). */ /** Заголовок первой страницы секции {@code section} (titlePg, §2.3.3). */
Story firstHeader(int section) { Story firstHeader(int section) {
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + FIRST_HEADER); return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + FIRST_HEADER);
} }
/** Колонтитул первой страницы секции {@code section} (titlePg, §2.4.4). */ /** Колонтитул первой страницы секции {@code section} (titlePg, §2.3.3). */
Story firstFooter(int section) { Story firstFooter(int section) {
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + FIRST_FOOTER); return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + FIRST_FOOTER);
} }
@@ -158,8 +158,13 @@ final class Lists {
/** abstractNumId (1-базированный индекс LSTF) для LFO; −1 — нет валидного. */ /** abstractNumId (1-базированный индекс LSTF) для LFO; −1 — нет валидного. */
private int abstractIdOf(int lfoIndex) { private int abstractIdOf(int lfoIndex) {
// lfos[·] всегда непустой: readPlfLfo присваивает out[i] до обхода LFOData // обрыв LFOData оставляет lfos[i+1..] null (readPlfLfo выходит по
Integer lstfIndex = lstfByLsid.get(lfos[lfoIndex].lsid()); // границе потока) — null LFO = «номера нет», без NPE
Lfo lfo = lfos[lfoIndex];
if (lfo == null) {
return -1;
}
Integer lstfIndex = lstfByLsid.get(lfo.lsid());
if (lstfIndex == null || !isValid(lstfs[lstfIndex])) { if (lstfIndex == null || !isValid(lstfs[lstfIndex])) {
return -1; return -1;
} }
@@ -194,7 +199,9 @@ final class Lists {
boolean simple = (table[rec + 26] & 1) != 0; boolean simple = (table[rec + 26] & 1) != 0;
Level[] levels = new Level[simple ? 1 : LEVEL_COUNT]; Level[] levels = new Level[simple ? 1 : LEVEL_COUNT];
for (int j = 0; j < levels.length; j++) { for (int j = 0; j < levels.length; j++) {
Level lv = readLevel(table, cursor); // массив LVL приложен ЗА lcbPlfLst (§2.5.6) — граница одна
// длина потока, lcb здесь не ограничитель
Level lv = readLevel(table, cursor, table.length);
if (lv == null) { if (lv == null) {
// обрыв: этот LSTF — с разобранными уровнями, остальные — без // обрыв: этот LSTF — с разобранными уровнями, остальные — без
out[i] = new Lstf(lsid, levels); out[i] = new Lstf(lsid, levels);
@@ -208,9 +215,9 @@ final class Lists {
return out; return out;
} }
/** LVL по {@code at}; null — поля за пределами потока. */ /** LVL по {@code at}; null — поля за пределами {@code limit}. */
private static Level readLevel(byte[] table, int at) { private static Level readLevel(byte[] table, int at, int limit) {
if (at < 0 || at + LVLF_SIZE > table.length) { if (at < 0 || at + LVLF_SIZE > limit) {
return null; return null;
} }
int startAt = (int) CfbReader.u32(table, at); int startAt = (int) CfbReader.u32(table, at);
@@ -220,19 +227,19 @@ final class Lists {
int cbChpx = table[at + 24] & 0xFF; int cbChpx = table[at + 24] & 0xFF;
int cbPapx = table[at + 25] & 0xFF; int cbPapx = table[at + 25] & 0xFF;
int p = at + LVLF_SIZE; int p = at + LVLF_SIZE;
if (p + cbPapx + cbChpx > table.length) { if (p + cbPapx + cbChpx > limit) {
return null; return null;
} }
byte[] papx = slice(table, p, cbPapx); byte[] papx = slice(table, p, cbPapx);
p += cbPapx; p += cbPapx;
byte[] chpx = slice(table, p, cbChpx); byte[] chpx = slice(table, p, cbChpx);
p += cbChpx; p += cbChpx;
if (p + 2 > table.length) { if (p + 2 > limit) {
return null; return null;
} }
int cch = CfbReader.u16(table, p); int cch = CfbReader.u16(table, p);
p += 2; p += 2;
if (cch > MAX_XST_CHARS || p + 2 * cch > table.length) { if (cch > MAX_XST_CHARS || p + 2 * cch > limit) {
return null; return null;
} }
String xst = new String(table, p, 2 * cch, StandardCharsets.UTF_16LE); String xst = new String(table, p, 2 * cch, StandardCharsets.UTF_16LE);
@@ -259,6 +266,10 @@ final class Lists {
int fit = (int) ((end - fc - 4) / LFO_SIZE); int fit = (int) ((end - fc - 4) / LFO_SIZE);
mac = Math.min(Math.min(mac, fit), MAX_ENTRIES); mac = Math.min(Math.min(mac, fit), MAX_ENTRIES);
Lfo[] out = new Lfo[mac]; Lfo[] out = new Lfo[mac];
// LFOData лежит ВНУТРИ lcbPlfLfo (§2.5.6/§2.9.132) — обход ограничен
// end, а не длиной потока: короткий lcb не должен уводить парсер в
// чужие записи табличного потока
int limit = (int) end;
int cursor = (int) (fc + 4) + mac * LFO_SIZE; int cursor = (int) (fc + 4) + mac * LFO_SIZE;
for (int i = 0; i < mac; i++) { for (int i = 0; i < mac; i++) {
int rec = (int) fc + 4 + i * LFO_SIZE; int rec = (int) fc + 4 + i * LFO_SIZE;
@@ -266,12 +277,12 @@ final class Lists {
int clfolvl = table[rec + 12] & 0xFF; int clfolvl = table[rec + 12] & 0xFF;
LfoLvl[] overrides = new LfoLvl[clfolvl]; LfoLvl[] overrides = new LfoLvl[clfolvl];
out[i] = new Lfo(lsid, overrides); out[i] = new Lfo(lsid, overrides);
if (cursor + 4 > table.length) { if (cursor + 4 > limit) {
return out; // обрыв LFOData — остаток без переопределений return out; // обрыв LFOData — остаток без переопределений
} }
cursor += 4; // cp — не переносится (осознанный остаток) cursor += 4; // cp — не переносится (осознанный остаток)
for (int j = 0; j < clfolvl; j++) { for (int j = 0; j < clfolvl; j++) {
if (cursor + 8 > table.length) { if (cursor + 8 > limit) {
return out; return out;
} }
int startAt = (int) CfbReader.u32(table, cursor); int startAt = (int) CfbReader.u32(table, cursor);
@@ -282,7 +293,7 @@ final class Lists {
boolean fFormatting = (bits >>> 5 & 1) != 0; boolean fFormatting = (bits >>> 5 & 1) != 0;
Level formatting = null; Level formatting = null;
if (fFormatting) { if (fFormatting) {
formatting = readLevel(table, cursor); formatting = readLevel(table, cursor, limit);
if (formatting == null) { if (formatting == null) {
return out; return out;
} }
@@ -398,7 +409,7 @@ final class Lists {
Grpprl.scan(chpx, 0, chpx.length, (sprm, buf, off, len) -> { Grpprl.scan(chpx, 0, chpx.length, (sprm, buf, off, len) -> {
switch (sprm) { switch (sprm) {
case Grpprl.SPRM_C_RG_FTC0 -> ftc0[0] = Grpprl.operandInt(buf, off, len); case Grpprl.SPRM_C_RG_FTC0 -> ftc0[0] = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_F_BOLD -> bold[0] = Grpprl.toggleOn(buf, off); case Grpprl.SPRM_C_F_BOLD -> bold[0] = Grpprl.toggle(bold[0], buf[off]);
case Grpprl.SPRM_C_HPS -> hps[0] = Grpprl.operandInt(buf, off, len); case Grpprl.SPRM_C_HPS -> hps[0] = Grpprl.operandInt(buf, off, len);
default -> { } default -> { }
} }
@@ -4,8 +4,9 @@ package ru.pjandro.wordpdf.internal.doc;
* Извлечение растровой картинки из {@code PICFAndOfficeArtData} * Извлечение растровой картинки из {@code PICFAndOfficeArtData}
* ([MS-DOC] §2.9.192, операнд {@code sprmCPicLocation} = offset в Data-потоке) * ([MS-DOC] §2.9.192, операнд {@code sprmCPicLocation} = offset в Data-потоке)
* по [MS-ODRAW]: PICF (68 байт, §2.9.190) → OfficeArt-записи → BLIP * по [MS-ODRAW]: PICF (68 байт, §2.9.190) → OfficeArt-записи → BLIP
* (§2.2.23–.31: recType 0xF01A EMF / 0xF01B WMF / 0xF01C PICT / 0xF01D JPEG / * (§2.2.23–.30: recType 0xF01A EMF / 0xF01B WMF / 0xF01C PICT / 0xF01D JPEG /
* 0xF01E PNG / 0xF01F DIB; нечётный recInstance — второй UID, §2.2.24). * 0xF01E PNG / 0xF01F DIB / 0xF029 TIFF; recInstance с вторым UID —
* §2.2.24–.30).
* *
* <p>Word кладёт BLIP в разные места (BStoreContainer 0xF004, * <p>Word кладёт BLIP в разные места (BStoreContainer 0xF004,
* BStoreContainerDelay 0xF007, инлайн-контейнер), а POI-продукция пишет * BStoreContainerDelay 0xF007, инлайн-контейнер), а POI-продукция пишет
@@ -17,8 +18,9 @@ package ru.pjandro.wordpdf.internal.doc;
* потоку их плодит, скан по картинному диапазону нет.</p> * потоку их плодит, скан по картинному диапазону нет.</p>
* *
* <p>EMF/WMF/PICT в PDF не рендерятся (Java2D-движка для метафайлов в ядре * <p>EMF/WMF/PICT в PDF не рендерятся (Java2D-движка для метафайлов в ядре
* нет) — {@code null} (объект исчезает, как удалённый {@code w:object}). * нет) — {@code null} с JUL-warning (объект исчезает, как удалённый
* DIB перекодируется в PNG через ImageIO.</p> * {@code w:object}; потеря контента должна быть видна в логе).
* DIB перекодируется в PNG через ImageIO, TIFF проходит как есть.</p>
*/ */
final class OfficeArt { final class OfficeArt {
@@ -39,20 +41,29 @@ final class OfficeArt {
/** Границы отображаемого размера, twips (§2.9.193: 15…31680). */ /** Границы отображаемого размера, twips (§2.9.193: 15…31680). */
private static final int DXA_MIN = 15; private static final int DXA_MIN = 15;
private static final int DXA_MAX = 31_680; private static final int DXA_MAX = 31_680;
/** twips → EMU (ECMA-376 §20.1.8: 1 twip = 635 EMU). */ /** twips → EMU (ST_TwipsMeasure §22.9.2.14: 1 twip = 635 EMU). */
private static final int EMU_PER_TWIP = 635; private static final int EMU_PER_TWIP = 635;
private static final int BLIP_EMF = 0xF01A; private static final int BLIP_EMF = 0xF01A;
private static final int BLIP_WMF = 0xF01B; private static final int BLIP_WMF = 0xF01B;
private static final int BLIP_PICT = 0xF01C; private static final int BLIP_PICT = 0xF01C;
private static final int BLIP_JPEG = 0xF01D; private static final int BLIP_JPEG = 0xF01D;
private static final int BLIP_JPEG_ALT = 0xF02A; // [MS-ODRAW] A.1: = 0xF01D private static final int BLIP_JPEG_ALT = 0xF02A; // [MS-ODRAW] Appendix A, примечание <5> к §2.2.23
private static final int BLIP_PNG = 0xF01E; private static final int BLIP_PNG = 0xF01E;
private static final int BLIP_DIB = 0xF01F; private static final int BLIP_DIB = 0xF01F;
private static final int BLIP_TIFF = 0xF029; // §2.2.30
/** recInstance с двумя UID ([MS-ODRAW] §2.2.24–.31). */ /** Пропуск метафайлов логируется (JUL — конвенция {@code internal/}). */
private static final java.util.logging.Logger LOG =
java.util.logging.Logger.getLogger(OfficeArt.class.getName());
/**
* recInstance с двумя UID ([MS-ODRAW] §2.2.24–.30): EMF 0x3D5, WMF 0x217,
* PICT 0x543, JPEG CMYK 0x6E3, JPEG RGB 0x46B, PNG 0x6E1, DIB 0x7A9,
* TIFF 0x6E5.
*/
private static final java.util.Set<Integer> TWO_UIDS = private static final java.util.Set<Integer> TWO_UIDS =
java.util.Set.of(0x217, 0x3D5, 0x543, 0x6E1, 0x6E3, 0x6E5, 0x7A9); java.util.Set.of(0x217, 0x3D5, 0x46B, 0x543, 0x6E1, 0x6E3, 0x6E5, 0x7A9);
private OfficeArt() { private OfficeArt() {
} }
@@ -60,8 +71,10 @@ final class OfficeArt {
/** /**
* Картинка по {@code picLocation} в Data-потоке; {@code null} — нет * Картинка по {@code picLocation} в Data-потоке; {@code null} — нет
* данных/векторный формат/битая запись (деградация, не ошибка). * данных/векторный формат/битая запись (деградация, не ошибка).
* Порог пиксельной площади растра ({@code maxPixels}, считает
* {@code WordPdfValidator.maxImagePixels}) приходит параметром.
*/ */
static Picture read(byte[] dataStream, long picLocation) { static Picture read(byte[] dataStream, long picLocation, long maxPixels) {
if (picLocation < 0 || picLocation + PICF_SIZE > dataStream.length) { if (picLocation < 0 || picLocation + PICF_SIZE > dataStream.length) {
return null; return null;
} }
@@ -79,7 +92,7 @@ final class OfficeArt {
scanFrom += 1 + (dataStream[scanFrom] & 0xFF); // cchPicName + stPicName scanFrom += 1 + (dataStream[scanFrom] & 0xFF); // cchPicName + stPicName
} }
for (int p = scanFrom; p + 8 <= end; p++) { for (int p = scanFrom; p + 8 <= end; p++) {
Picture pic = tryBlip(dataStream, p, end, sizeX, sizeY); Picture pic = tryBlip(dataStream, p, end, sizeX, sizeY, maxPixels);
if (pic != null) { if (pic != null) {
return pic; return pic;
} }
@@ -88,16 +101,15 @@ final class OfficeArt {
} }
/** Кандидат на BLIP-запись по смещению {@code p}; {@code null} — не он. */ /** Кандидат на BLIP-запись по смещению {@code p}; {@code null} — не он. */
private static Picture tryBlip(byte[] data, int p, int end, int sizeX, int sizeY) { private static Picture tryBlip(byte[] data, int p, int end, int sizeX, int sizeY, long maxPixels) {
int verInstance = (int) (CfbReader.u32(data, p) & 0xFFFF); int verInstance = (int) (CfbReader.u32(data, p) & 0xFFFF);
int type = (int) (CfbReader.u32(data, p + 2) & 0xFFFF); int type = (int) (CfbReader.u32(data, p + 2) & 0xFFFF);
long cb = CfbReader.u32(data, p + 4); long cb = CfbReader.u32(data, p + 4);
if (cb < 17 || p + 8 + cb > end) { if (cb < 17 || p + 8 + cb > end) {
return null; return null;
} }
// Второй UID — только перечисленные recInstance (§2.2.24–.31: // Второй UID — только перечисленные recInstance (§2.2.24–.30,
// EMF 0x3D5, WMF 0x217, PICT 0x543, JPEG 0x6E3, PNG 0x6E1, // таблица выше: 0x46B = JPEG RGB с ДВУМЯ UID, 0x6E5 = TIFF).
// DIB 0x7A9, EMF+ 0x6E5; JPEG 0x46B — нечётный, но ОДИН UID).
// Word/POI кладут значение в raw verInstance (0x06E1), спека — // Word/POI кладут значение в raw verInstance (0x06E1), спека —
// в 12-битное поле (0x6E10): проверяем обе формы. // в 12-битное поле (0x6E10): проверяем обе формы.
int uidSize = (TWO_UIDS.contains(verInstance >>> 4) || TWO_UIDS.contains(verInstance)) int uidSize = (TWO_UIDS.contains(verInstance >>> 4) || TWO_UIDS.contains(verInstance))
@@ -117,12 +129,26 @@ final class OfficeArt {
? new Picture("jpg", "image/jpeg", slice(data, dataOff, dataLen), ? new Picture("jpg", "image/jpeg", slice(data, dataOff, dataLen),
emu(sizeX), emu(sizeY)) emu(sizeX), emu(sizeY))
: null; : null;
case BLIP_DIB -> dibToPng(data, dataOff, dataLen, sizeX, sizeY); case BLIP_TIFF -> isTiff(data, dataOff, dataLen)
case BLIP_EMF, BLIP_WMF, BLIP_PICT -> null; // метафайлы не рендерим ? new Picture("tif", "image/tiff", slice(data, dataOff, dataLen),
emu(sizeX), emu(sizeY))
: null;
case BLIP_DIB -> dibToPng(data, dataOff, dataLen, sizeX, sizeY, maxPixels);
case BLIP_EMF, BLIP_WMF, BLIP_PICT -> {
// метафайлы не рендерим — пропуск с warn (деградация видна в логе)
LOG.warning("Метафайл в .doc пропущен (EMF/WMF/PICT в PDF не рендерятся)");
yield null;
}
default -> null; default -> null;
}; };
} }
/** TIFF-сигнатура II*\\0 или MM\\0* ([TIFF] §2, little/big endian). */
private static boolean isTiff(byte[] data, int off, int len) {
return startsWith(data, off, len, new byte[] {'I', 'I', '*', 0})
|| startsWith(data, off, len, new byte[] {'M', 'M', 0, '*'});
}
/** PICMID отсутствует/битый — размер из PNG IHDR @96 dpi (1 px = 15 twips). */ /** PICMID отсутствует/битый — размер из PNG IHDR @96 dpi (1 px = 15 twips). */
private static int pngDxa(byte[] data, int pngOff, boolean width) { private static int pngDxa(byte[] data, int pngOff, boolean width) {
if (pngOff + 24 > data.length) { if (pngOff + 24 > data.length) {
@@ -160,10 +186,21 @@ final class OfficeArt {
private static final int BITMAPINFOHEADER_SIZE = 40; private static final int BITMAPINFOHEADER_SIZE = 40;
/** DIB (BITMAPINFOHEADER + пиксели) → PNG через ImageIO; битый → null. */ /** DIB (BITMAPINFOHEADER + пиксели) → PNG через ImageIO; битый → null. */
private static Picture dibToPng(byte[] data, int off, int len, int sizeX, int sizeY) { private static Picture dibToPng(byte[] data, int off, int len, int sizeX, int sizeY, long maxPixels) {
if (len < BITMAPINFOHEADER_SIZE) { if (len < BITMAPINFOHEADER_SIZE) {
return null; return null;
} }
// Raster-bomb: BITMAPINFOHEADER из нескольких сотен байтов может
// объявить 50000×50000 — ImageIO аллоцирует растр ПО ЗАГОЛОВКУ и
// бросает OutOfMemoryError (Error, не ловится catch ниже). Отказ по
// площади — та же семантика «битый → объект пропущен»; порог
// приходит параметром (WordPdfValidator.maxImagePixels).
// abs в long: Math.abs(Integer.MIN_VALUE) отрицателен и обходил бы guard
long area = Math.abs((long) (int) CfbReader.u32(data, off + 4))
* Math.abs((long) (int) CfbReader.u32(data, off + 8));
if (area > maxPixels) {
return null;
}
try { try {
java.awt.image.BufferedImage img = javax.imageio.ImageIO.read( java.awt.image.BufferedImage img = javax.imageio.ImageIO.read(
new java.io.ByteArrayInputStream(wrapAsBmp(data, off, len))); new java.io.ByteArrayInputStream(wrapAsBmp(data, off, len)));
@@ -178,7 +215,14 @@ final class OfficeArt {
} }
} }
/** DIB → BMP: BITMAPFILEHEADER(14) + как есть (§2.2.29 — DIB без хедера). */ /**
* DIB → BMP: BITMAPFILEHEADER(14) + как есть (§2.2.29 — DIB без хедера).
* dataOff: BITMAPINFOHEADER + палитра (biClrUsed, offset 32: 0 — полное
* 2^bits, иначе объявленное число записей, [MS-WMF] §2.2.2.8) + для
* BI_BITFIELDS (biCompression=3, 16/32 bpp) ещё 12 байт масок после
* хедера ([MS-WMF] §2.2.1.6.3). CoreHeader (12 байт) не поддерживаем —
* ImageIO отвергнет, деградация в null.
*/
private static byte[] wrapAsBmp(byte[] data, int off, int len) { private static byte[] wrapAsBmp(byte[] data, int off, int len) {
byte[] bmp = new byte[14 + len]; byte[] bmp = new byte[14 + len];
bmp[0] = 'B'; bmp[0] = 'B';
@@ -190,8 +234,18 @@ final class OfficeArt {
bmp[5] = (byte) (fileSize >>> 24); bmp[5] = (byte) (fileSize >>> 24);
int bits = (int) (CfbReader.u32(data, off + 14) & 0xFFFF); int bits = (int) (CfbReader.u32(data, off + 14) & 0xFFFF);
int headerSize = (int) CfbReader.u32(data, off); int headerSize = (int) CfbReader.u32(data, off);
int dataOff = 14 + headerSize int palette = 0;
+ (bits == 1 || bits == 4 || bits == 8 ? (1 << bits) * 4 : 0); int bitfields = 0;
if (headerSize >= BITMAPINFOHEADER_SIZE) {
if (bits == 1 || bits == 4 || bits == 8) {
int clrUsed = (int) CfbReader.u32(data, off + 32);
palette = 4 * (clrUsed > 0 && clrUsed < (1 << bits) ? clrUsed : 1 << bits);
}
if ((int) CfbReader.u32(data, off + 16) == 3 && (bits == 16 || bits == 32)) {
bitfields = 12;
}
}
int dataOff = 14 + headerSize + palette + bitfields;
bmp[10] = (byte) dataOff; bmp[10] = (byte) dataOff;
bmp[11] = (byte) (dataOff >>> 8); bmp[11] = (byte) (dataOff >>> 8);
System.arraycopy(data, off, bmp, 14, len); System.arraycopy(data, off, bmp, 14, len);
@@ -11,8 +11,9 @@ import java.util.List;
* <p>Алгоритм [MS-DOC] §2.4.6.1 (Direct Paragraph Formatting): PlcfBtePapx — * <p>Алгоритм [MS-DOC] §2.4.6.1 (Direct Paragraph Formatting): PlcfBtePapx —
* PLC (aFc n+1, PnFkpPapx n по 4 байта: pn 22 бита); PapxFkp-страница по * PLC (aFc n+1, PnFkpPapx n по 4 байта: pn 22 бита); PapxFkp-страница по
* {@code pn*512} в WordDocument-потоке: rgfc (cpara+1 × 4), rgbx (cpara × * {@code pn*512} в WordDocument-потоке: rgfc (cpara+1 × 4), rgbx (cpara ×
* BxPap — по 13 байт: bOffset 1 + reserved 12, §2.9.16; PapxInFkp по * BxPap — по 13 байт: bOffset 1 + reserved 12, §2.9.23; PapxInFkp по
* {@code bOffset*2}), cpara — последний байт. BxPap.bOffset=0 → абзац по * {@code bOffset*2}), cpara — последний байт (§2.9.174: cpara ≥ 0x01 и ≤ 0x1D,
* больше — PapxFkp не влезает в 512). BxPap.bOffset=0 → абзац по
* умолчанию (ms-doc.md:5635). PapxInFkp (§2.9.175): * умолчанию (ms-doc.md:5635). PapxInFkp (§2.9.175):
* cb (1 байт); при cb≠0 GrpPrlAndIstd занимает 2×cb−1 байт, при cb=0 — * cb (1 байт); при cb≠0 GrpPrlAndIstd занимает 2×cb−1 байт, при cb=0 —
* следующий байт cb' и 2×cb' байт; GrpPrlAndIstd = istd(2) + grpprl. * следующий байт cb' и 2×cb' байт; GrpPrlAndIstd = istd(2) + grpprl.
@@ -45,9 +46,14 @@ final class PapxIndex {
throw new ConversionException("PapxFkp вне WordDocument-потока в .doc"); throw new ConversionException("PapxFkp вне WordDocument-потока в .doc");
} }
int cpara = wordDocument[(int) (pageOff + FKP_PAGE_SIZE - 1)] & 0xFF; int cpara = wordDocument[(int) (pageOff + FKP_PAGE_SIZE - 1)] & 0xFF;
if (cpara < 1 || cpara > 0x60) { // §2.9.174: cpara MUST NOT exceed 0x1D (иначе rgfc+rgbx расширяют
// PapxFkp за 512 байт)
if (cpara < 1 || cpara > 0x1D) {
throw new ConversionException("Битый cpara в PapxFkp .doc"); throw new ConversionException("Битый cpara в PapxFkp .doc");
} }
if (4 * (cpara + 1) + 13 * cpara > FKP_PAGE_SIZE) {
throw new ConversionException("Битый PapxFkp .doc");
}
for (int j = 0; j < cpara; j++) { for (int j = 0; j < cpara; j++) {
long rgfcStart = CfbReader.u32(wordDocument, (int) pageOff + j * 4); long rgfcStart = CfbReader.u32(wordDocument, (int) pageOff + j * 4);
long rgfcEnd = CfbReader.u32(wordDocument, (int) pageOff + (j + 1) * 4); long rgfcEnd = CfbReader.u32(wordDocument, (int) pageOff + (j + 1) * 4);
@@ -105,7 +111,8 @@ final class PapxIndex {
int[] count = {0}; int[] count = {0};
for (Range r : ranges) { for (Range r : ranges) {
Grpprl.scan(r.grpprl(), 0, r.grpprl().length, (sprm, buf, off, len) -> { Grpprl.scan(r.grpprl(), 0, r.grpprl().length, (sprm, buf, off, len) -> {
if (sprm == Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE && Grpprl.toggleOn(buf, off)) { if (sprm == Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE
&& Grpprl.toggle(false, buf[off])) {
count[0]++; count[0]++;
} }
}); });
@@ -25,7 +25,7 @@ final class PieceTable {
private static final long F_COMPRESSED = 0x4000_0000L; private static final long F_COMPRESSED = 0x4000_0000L;
private static final long FC_MASK = 0x3FFF_FFFFL; private static final long FC_MASK = 0x3FFF_FFFFL;
/** Байты 0x80–0x9F сжатого текста → Unicode (§2.4.1, таблица Pcd.fc). */ /** Байты 0x82–0x9F сжатого текста → Unicode (FcCompressed §2.9.73). */
private static final char[] COMPRESSED_MAP = new char[32]; private static final char[] COMPRESSED_MAP = new char[32];
static { static {
@@ -46,8 +46,10 @@ final class PieceTable {
private final int[] aCp; private final int[] aCp;
private final long[] fc; private final long[] fc;
private final boolean[] compressed; private final boolean[] compressed;
/** Читаемый размер куска в байтах после клампа по cbMac (§2.5.4). */
private final long[] readable;
private PieceTable(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument) { private PieceTable(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument, long cbMac) {
this.wordDocument = wordDocument; this.wordDocument = wordDocument;
if (lcbClx <= 0) { if (lcbClx <= 0) {
throw new ConversionException("В .doc нет piece table"); throw new ConversionException("В .doc нет piece table");
@@ -95,8 +97,13 @@ final class PieceTable {
compressed = new boolean[n]; compressed = new boolean[n];
for (int i = 0; i <= n; i++) { for (int i = 0; i <= n; i++) {
aCp[i] = (int) CfbReader.u32(tableStream, plcStart + i * 4); aCp[i] = (int) CfbReader.u32(tableStream, plcStart + i * 4);
if (i > 0 && aCp[i] < aCp[i - 1]) { // §2.8.35 PlcPcd: «All CPs MUST be greater than or equal to
throw new ConversionException("Невозрастающие aCP в PlcPcd .doc"); // zero», «aCP MUST be sorted in ascending order and MUST NOT
// contain duplicate CPs» — дубль/отрицательный CP = битый кусок;
// отрицательный aCP[0] сдвигал бы delta и читал бы до начала
// WordDocument-потока
if (aCp[0] < 0 || (i > 0 && aCp[i] <= aCp[i - 1])) {
throw new ConversionException("Битые aCP в PlcPcd .doc");
} }
} }
int pcdBase = plcStart + (n + 1) * 4; int pcdBase = plcStart + (n + 1) * 4;
@@ -105,17 +112,25 @@ final class PieceTable {
fc[i] = fcw & FC_MASK; fc[i] = fcw & FC_MASK;
compressed[i] = (fcw & F_COMPRESSED) != 0; compressed[i] = (fcw & F_COMPRESSED) != 0;
} }
// cbMac (§2.5.4): «All bytes in the WordDocument stream at offset
// cbMac and greater MUST be ignored» — читаемый span куска клампится
// к min(cbMac, длина потока); кусок целиком за cbMac даёт readable=0
// (charAt вернёт 0, fcOf не меняется — свойства там всё равно нет).
long textLimit = Math.min(Math.max(cbMac, 0), wordDocument.length);
readable = new long[n];
for (int i = 0; i < n; i++) { for (int i = 0; i < n; i++) {
long start = compressed[i] ? fc[i] / 2 : fc[i]; long start = compressed[i] ? fc[i] / 2 : fc[i];
long span = (long) (aCp[i + 1] - aCp[i]) * (compressed[i] ? 1 : 2); long span = (long) (aCp[i + 1] - aCp[i]) * (compressed[i] ? 1 : 2);
if (start + span > wordDocument.length) { if (start + span > wordDocument.length) {
throw new ConversionException("Кусок piece table .doc выходит за WordDocument"); throw new ConversionException("Кусок piece table .doc выходит за WordDocument");
} }
readable[i] = start >= textLimit ? 0 : Math.min(span, textLimit - start);
} }
} }
static PieceTable read(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument) { static PieceTable read(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument,
return new PieceTable(tableStream, fcClx, lcbClx, wordDocument); long cbMac) {
return new PieceTable(tableStream, fcClx, lcbClx, wordDocument, cbMac);
} }
/** Символ по CP (§2.4.1); {@code cp} вне [0, ccpText) не запрашивается. */ /** Символ по CP (§2.4.1); {@code cp} вне [0, ccpText) не запрашивается. */
@@ -123,6 +138,9 @@ final class PieceTable {
int i = pieceOf(cp); int i = pieceOf(cp);
int delta = cp - aCp[i]; int delta = cp - aCp[i];
if (compressed[i]) { if (compressed[i]) {
if (delta >= readable[i]) {
return 0; // за cbMac (§2.5.4) — байты игнорируются
}
int b = wordDocument[(int) (fc[i] / 2) + delta] & 0xFF; int b = wordDocument[(int) (fc[i] / 2) + delta] & 0xFF;
if (b >= 0x80 && b < 0xA0) { if (b >= 0x80 && b < 0xA0) {
char mapped = COMPRESSED_MAP[b - 0x80]; char mapped = COMPRESSED_MAP[b - 0x80];
@@ -130,6 +148,9 @@ final class PieceTable {
} }
return (char) b; return (char) b;
} }
if (2L * (delta + 1) > readable[i]) {
return 0;
}
int off = (int) fc[i] + 2 * delta; int off = (int) fc[i] + 2 * delta;
return (char) ((wordDocument[off] & 0xFF) | ((wordDocument[off + 1] & 0xFF) << 8)); return (char) ((wordDocument[off] & 0xFF) | ((wordDocument[off + 1] & 0xFF) << 8));
} }
@@ -13,27 +13,26 @@ import java.io.ByteArrayOutputStream;
* при istd=0), а сами свойства — с {@code sprmPFInTable}/{@code sprmPFTtp}/ * при istd=0), а сами свойства — с {@code sprmPFInTable}/{@code sprmPFTtp}/
* {@code sprmTDefTable}/бордюрами — лежат в PrcData в Data-потоке. Внутри * {@code sprmTDefTable}/бордюрами — лежат в PrcData в Data-потоке. Внутри
* PrcData цепочка продолжается через {@code sprmPTableProps (0x646B)}. * PrcData цепочка продолжается через {@code sprmPTableProps (0x646B)}.
* Оба указателя разворачиваются <b>на позиции указателя без обрыва</b> * {@code sprmPHugePapx} не первым в массиве игнорируется (§2.6.2); после
* текущего массива; цепочка обязана завершиться PrcData без обоих * разворачивания PrcData по любому указателю дальнейшие Prl содержащего
* спец-спрмов (§2.6.2).</p> * массива <b>не обрабатываются</b> (§2.6.2: «MUST NOT process any more
* * Prl elements in the array» — одинаково для HugePapx и PTableProps);
* <p>Отступление от spec: §2.6.2 велит массив, содержащий PTableProps, * цепочка обязана завершиться PrcData без обоих спец-спрмов (§2.6.2).
* «не читать дальше» — Word так и делает, потому что потребляет из PrcData * Хвост исходного массива за указателем — легаси-зеркало для Word
* полный TAP (включая {@code sprmTInsert}), а хвост массива — легаси-зеркало * 97/2000, не читающих sprmPTableProps (Appendix A &lt;9&gt;); по общему
* для Word 97/2000 (Appendix A &lt;9&gt;). Конвертер {@code sprmTInsert} * правилу оно не потребляется, кроме единственного исключения
* не читает и живёт на этом зеркале: в {@code samples/ru-table-image.doc} * {@code sprmTDefTable}: конвертер строит сетку ячеек именно из
* единственный {@code sprmTDefTable} (сетка) стоит именно ПОСЛЕ * TDefTable (§2.4.3: «SHOULD use sprmTDefTable to define table cells for
* {@code sprmPTableProps} в PAPX-массиве, а в PrcData его нет вовсе. * applications that do not process sprmPTableProps»), а из PrcData
* Поэтому свойства объединяются (union), а не замещаются: без цепочки * {@code sprmTInsert} не читает — без зеркала {@code
* теряются её sprm'ы, без зеркал — сетка.</p> * samples/ru-table-image.doc} терял бы таблицу целиком (Регрессия —
* DocToDocxTest#tableFixture_becomesTblWithImage).</p>
* *
* <p>Снисходительность — по образцу {@link Styles}/{@link Lists}: любой * <p>Снисходительность — по образцу {@link Styles}/{@link Lists}: любой
* брак (ptr за Data, битый cbGrpprl, цикл A→B→A) останавливает цепочку, * брак (ptr за Data, битый cbGrpprl, цикл A→B→A) останавливает цепочку,
* накопленное возвращается — без {@code ConversionException}. Спец-спрмы * накопленное возвращается — без {@code ConversionException}. Спец-спрмы
* из результата всегда вырезаются (потребители {@code Grpprl.scan} их всё * из результата всегда вырезаются (потребители {@code Grpprl.scan} их всё
* равно не понимают); прочие Prl исходного массива сохраняются в исходном * равно не понимают); не-первый HugePapx — игнор по §2.6.2.</p>
* порядке (при многосprl-массиве с HugePapx — сверхспецификацией: валидный
* Word пишет HugePapx единственным Prl).</p>
*/ */
final class PrcData { final class PrcData {
@@ -41,24 +40,49 @@ final class PrcData {
private static final int MAX_CB_GRPPRL = 0x3FA2; private static final int MAX_CB_GRPPRL = 0x3FA2;
/** Максимум разобранных PrcData на абзац — защита от цикла A→B→A. */ /** Максимум разобранных PrcData на абзац — защита от цикла A→B→A. */
private static final int MAX_HOPS = 32; private static final int MAX_HOPS = 32;
/**
* Суммарный бюджет развёрнутых PrcData на документ (байт): все абзацы
* могут указывать указателями в одну и ту же цепочку Data, и пер-абзац
* ({@value #MAX_HOPS} × {@value #MAX_CB_GRPPRL}) не ограничивает итог —
* без бюджета враждебный файл получает CPU/alloc-шторм на весь разбор.
*/
static final long MAX_BYTES_PER_DOCUMENT = 32L * 1024 * 1024;
private PrcData() { private PrcData() {
} }
/**
* Grpprl абзаца с развёрнутой цепочкой PrcData (бюджет на документ не
* учитывается — юнит-тесты; продакшен зовёт {@link #resolve(byte[], byte[], long[])}).
*/
static byte[] resolve(byte[] dataStream, byte[] grpprl) {
return resolve(dataStream, grpprl, new long[] {Long.MAX_VALUE});
}
/** /**
* Grpprl абзаца с развёрнутой цепочкой PrcData. Без указателей * Grpprl абзаца с развёрнутой цепочкой PrcData. Без указателей
* (0x6646/0x646B нет) возвращается <em>тот же массив</em>; иначе — * (0x6646/0x646B нет) возвращается <em>тот же массив</em>; иначе —
* новый: не-спец-спрмы исходника дословно, спец-спрмы заменены * новый: не-спец-спрмы исходника дословно, спец-спрмы заменены
* содержимым цепочки по их указателям. * содержимым цепочки по их указателям.
*
* <p>{@code budget[0]} — остаток бюджета документа ({@link #MAX_BYTES_PER_DOCUMENT}):
* списывается размер результата; при исчерпании цепочка не разворачивается
* (деградация форматирования, а не отказ — та же «снисходительность», что
* для брака ниже). Мутатор — вызывающий на весь документ.</p>
*/ */
static byte[] resolve(byte[] dataStream, byte[] grpprl) { static byte[] resolve(byte[] dataStream, byte[] grpprl, long[] budget) {
if (!hasPointer(grpprl)) { if (!hasPointer(grpprl)) {
return grpprl; return grpprl;
} }
if (budget[0] <= 0) {
return grpprl;
}
ByteArrayOutputStream out = new ByteArrayOutputStream(grpprl.length + 64); ByteArrayOutputStream out = new ByteArrayOutputStream(grpprl.length + 64);
int[] hops = new int[1]; int[] hops = new int[1];
copyPrls(grpprl, 0, grpprl.length, dataStream, out, hops); copyPrls(grpprl, 0, grpprl.length, dataStream, out, hops);
return out.toByteArray(); byte[] result = out.toByteArray();
budget[0] -= result.length;
return result;
} }
/** Есть ли в массиве указатель на PrcData. */ /** Есть ли в массиве указатель на PrcData. */
@@ -74,18 +98,39 @@ final class PrcData {
/** /**
* Копирует Prl массива {@code buf[off..off+len)} в {@code out}: * Копирует Prl массива {@code buf[off..off+len)} в {@code out}:
* обычные — дословно (sprm + операнд), оба указательных — разворачивают * обычные — дословно (sprm + операнд). По §2.6.2 после разворачивания
* целевой PrcData на позиции указателя, разбор массива продолжается * PrcData по указателю дальнейшие Prl <b>этого</b> массива
* (union зеркала и цепочки — см. javadoc класса). * не обрабатываются («MUST NOT process any more Prl elements in the
* array», sprmPHugePapx и sprmPTableProps), поэтому развёрнутое
* содержимое — последнее, что попало в выход из этого массива.
* {@code sprmPHugePapx} не первым в массиве — игнорируется целиком
* (§2.6.2: «if … not the first element … MUST be ignored»), массив
* читается дальше; {@code sprmPTableProps} правила первой позиции не
* имеет. Единственное исключение из стопа — {@code sprmTDefTable}
* (легаси-зеркало сетки, Appendix A &lt;9&gt;, см. javadoc класса):
* он переносится и после указателя.
*/ */
private static void copyPrls(byte[] buf, int off, int len, byte[] data, private static void copyPrls(byte[] buf, int off, int len, byte[] data,
ByteArrayOutputStream out, int[] hops) { ByteArrayOutputStream out, int[] hops) {
int[] index = new int[1];
boolean[] stop = new boolean[1];
Grpprl.scan(buf, off, len, (sprm, b, operandOff, operandLen) -> { Grpprl.scan(buf, off, len, (sprm, b, operandOff, operandLen) -> {
if (sprm == Grpprl.SPRM_P_HUGE_PAPX || sprm == Grpprl.SPRM_P_TABLE_PROPS) { if (stop[0] && sprm != Grpprl.SPRM_T_DEF_TABLE) {
follow(Grpprl.operandInt(b, operandOff, operandLen), data, out, hops); return; // хвост после указателя — вне области обработки
return;
} }
if (sprm == Grpprl.SPRM_P_HUGE_PAPX) {
if (index[0] == 0) {
follow(Grpprl.operandInt(b, operandOff, operandLen),
data, out, hops);
stop[0] = true;
}
} else if (sprm == Grpprl.SPRM_P_TABLE_PROPS) {
follow(Grpprl.operandInt(b, operandOff, operandLen), data, out, hops);
stop[0] = true;
} else {
out.write(b, operandOff - 2, operandLen + 2); out.write(b, operandOff - 2, operandLen + 2);
}
index[0]++;
}); });
} }
@@ -20,10 +20,10 @@ import ru.pjandro.wordpdf.ConversionException;
* покрывает весь текстовый поток), поэтому конец последней секции * покрывает весь текстовый поток), поэтому конец последней секции
* клампится к ccpText. Свойств в Sepx нет (или Sepx битый) — дефолты * клампится к ccpText. Свойств в Sepx нет (или Sepx битый) — дефолты
* Word 97: Letter 12240×15840, поля 1440, колонтитуки * Word 97: Letter 12240×15840, поля 1440, колонтитуки
* 720 (значения §2.6.3 «By default» для sprmSXaPage/sprmSYaPage).</p> * 720 (значения §2.6.4 «By default» для sprmSXaPage/sprmSYaPage).</p>
* *
* <p>{@link Section#continuous()} — sprmSBkc секции со значением * <p>{@link Section#continuous()} — sprmSBkc секции со значением
* bkcContinuous/bkcNewColumn (§2.6.3, SBkcOperand: «the type of the section * bkcContinuous/bkcNewColumn (§2.6.4, SBkcOperand §2.9.235: «the type of the section
* break that terminates the section»), т.е. разрыв, ЗАКАНЧИВАЮЩИЙ эту * break that terminates the section»), т.е. разрыв, ЗАКАНЧИВАЮЩИЙ эту
* секцию. В OOXML {@code w:type} описывает разрыв ПЕРЕД секцией (§17.6.22), * секцию. В OOXML {@code w:type} описывает разрыв ПЕРЕД секцией (§17.6.22),
* поэтому {@code w:type} секции i берётся из {@code continuous()} секции * поэтому {@code w:type} секции i берётся из {@code continuous()} секции
@@ -40,16 +40,34 @@ final class Sections {
* финальный символ — 0x0C, §2.8.26) + геометрия из её Sepx + признак * финальный символ — 0x0C, §2.8.26) + геометрия из её Sepx + признак
* «разрыв, заканчивающий секцию, не начинает новую страницу» + * «разрыв, заканчивающий секцию, не начинает новую страницу» +
* ориентация (sprmSBOrientation), нумерация страниц (sprmSFPgnRestart/ * ориентация (sprmSBOrientation), нумерация страниц (sprmSFPgnRestart/
* sprmSPgnStart97/sprmSNfcPgn — pgNumStart=0 «не задан», nfcPgn — MSONFC), * sprmSPgnStart97/sprmSPgnStart/sprmSNfcPgn — pgNumStart=0 «не задан»,
* колонки (sprmSCcolumns/…; colWidths/colSpacings заполнены только при * nfcPgn — MSONFC),
* evenlySpaced=false, индекс — номер колонки) и титульная страница * (sprmSCcolumns/…; colWidths/colSpacings заполнены только при
* (sprmSFTitlePage → w:titlePg, §2.6.4). * evenlySpaced=false, индекс — номер колонки), титульная страница
* (sprmSFTitlePage → w:titlePg, §2.6.4), gutter-поле (sprmSDzaGutter →
* w:gutter) и сырое значение SBkcOperand (§2.9.235 — evenPage/oddPage
* для w:type).
*/ */
record Section(int cpStart, int cpEnd, int pageWidth, int pageHeight, record Section(int cpStart, int cpEnd, int pageWidth, int pageHeight,
int marginLeft, int marginRight, int marginTop, int marginBottom, int marginLeft, int marginRight, int marginTop, int marginBottom,
int header, int footer, boolean continuous, boolean landscape, int header, int footer, int gutter, boolean continuous, boolean landscape,
int pgNumStart, int nfcPgn, int columnCount, boolean evenlySpaced, int pgNumStart, int nfcPgn, int columnCount, boolean evenlySpaced,
int dxaColumns, int[] colWidths, int[] colSpacings, boolean titlePage) { int dxaColumns, int[] colWidths, int[] colSpacings, boolean titlePage,
int bkc) {
/**
* ST_SectType (§17.6.22) для разрыва, ЗАКАНЧИВАЮЩЕГО эту секцию:
* bkcContinuous/bkcNewColumn → continuous, bkcEvenPage/bkcOddPage →
* evenPage/oddPage; bkcNewPage (дефолт) — атрибут не эмитится.
*/
String wTypeName() {
return switch (bkc) {
case 0, 1 -> "continuous";
case 3 -> "evenPage";
case 4 -> "oddPage";
default -> null;
};
}
} }
/** Дефолты Word 97 (§2.6.3, twips). */ /** Дефолты Word 97 (§2.6.3, twips). */
@@ -77,12 +95,17 @@ final class Sections {
private int marginBottom = DEFAULT_MARGIN; private int marginBottom = DEFAULT_MARGIN;
private int header = DEFAULT_HEADER_FOOTER; private int header = DEFAULT_HEADER_FOOTER;
private int footer = DEFAULT_HEADER_FOOTER; private int footer = DEFAULT_HEADER_FOOTER;
private int gutter;
private boolean continuous; private boolean continuous;
private boolean landscape; private boolean landscape;
private boolean titlePage; private boolean titlePage;
private boolean pgnRestart; private boolean pgnRestart;
private int pgnStart97; private int pgnStart97;
private int pgnStart;
private int nfcPgn; private int nfcPgn;
/** SBkcOperand (§2.9.235): 0 continuous, 1 newColumn, 2 newPage
* (дефолт), 3 evenPage, 4 oddPage. */
private int bkc = 2;
private int columnCount = 1; private int columnCount = 1;
private boolean evenlySpaced = true; private boolean evenlySpaced = true;
private int dxaColumns = -1; private int dxaColumns = -1;
@@ -91,21 +114,26 @@ final class Sections {
private void apply(int sprm, int value) { private void apply(int sprm, int value) {
if (sprm == Grpprl.SPRM_S_XA_PAGE) { if (sprm == Grpprl.SPRM_S_XA_PAGE) {
pageWidth = value; pageWidth = value; // U16 [144, 31680] (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_YA_PAGE) { } else if (sprm == Grpprl.SPRM_S_YA_PAGE) {
pageHeight = value; pageHeight = value; // U16 (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DXA_LEFT) { } else if (sprm == Grpprl.SPRM_S_DXA_LEFT) {
marginLeft = value; marginLeft = value; // XAS_nonNeg (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DXA_RIGHT) { } else if (sprm == Grpprl.SPRM_S_DXA_RIGHT) {
marginRight = value; marginRight = value; // XAS_nonNeg (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DYA_TOP) { } else if (sprm == Grpprl.SPRM_S_DYA_TOP) {
marginTop = value; // YAS знаковый (§2.9.355): плюс — минимальное поле, минус —
// фиксированное («MUST be the absolute value») — знак в OOXML
// не выражается, величина берётся по модулю
marginTop = Math.abs((short) value);
} else if (sprm == Grpprl.SPRM_S_DYA_BOTTOM) { } else if (sprm == Grpprl.SPRM_S_DYA_BOTTOM) {
marginBottom = value; marginBottom = Math.abs((short) value);
} else if (sprm == Grpprl.SPRM_S_DYA_HDR_TOP) { } else if (sprm == Grpprl.SPRM_S_DYA_HDR_TOP) {
header = value; header = value; // YAS_nonNeg (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DYA_HDR_BOTTOM) { } else if (sprm == Grpprl.SPRM_S_DYA_HDR_BOTTOM) {
footer = value; footer = value; // YAS_nonNeg (§2.6.3)
} else if (sprm == Grpprl.SPRM_S_DZA_GUTTER) {
gutter = value; // U16 twips (§2.6.4), беззнаковый
} else if (sprm == Grpprl.SPRM_S_B_ORIENTATION) { } else if (sprm == Grpprl.SPRM_S_B_ORIENTATION) {
// SBOrientationOperand (§2.9.236): 0x01 portrait, 0x02 landscape // SBOrientationOperand (§2.9.236): 0x01 portrait, 0x02 landscape
landscape = value == 2; landscape = value == 2;
@@ -113,6 +141,8 @@ final class Sections {
pgnRestart = value != 0; // Bool8 pgnRestart = value != 0; // Bool8
} else if (sprm == Grpprl.SPRM_S_PGN_START97) { } else if (sprm == Grpprl.SPRM_S_PGN_START97) {
pgnStart97 = value; pgnStart97 = value;
} else if (sprm == Grpprl.SPRM_S_PGN_START) {
pgnStart = value; // U32 (§2.6.4), pre-97-вариант того же
} else if (sprm == Grpprl.SPRM_S_NFC_PGN) { } else if (sprm == Grpprl.SPRM_S_NFC_PGN) {
nfcPgn = value; // MSONFC ([MS-OSHARED] §2.2.1.3) nfcPgn = value; // MSONFC ([MS-OSHARED] §2.2.1.3)
} else if (sprm == Grpprl.SPRM_S_F_EVENLY_SPACED) { } else if (sprm == Grpprl.SPRM_S_F_EVENLY_SPACED) {
@@ -130,7 +160,7 @@ final class Sections {
/** iCol(1) + dxaCol(2) — минимальная длина SDxaColWidth/Spacing-операнда. */ /** iCol(1) + dxaCol(2) — минимальная длина SDxaColWidth/Spacing-операнда. */
private static final int COL_OPERAND_LEN = 3; private static final int COL_OPERAND_LEN = 3;
/** SDxaColWidthOperand/SDxaColSpacingOperand: iCol(1)+dxaCol(2), §2.9.241/.242. */ /** SDxaColSpacingOperand/SDxaColWidthOperand: iCol(1)+dxaCol(2), §2.9.241/.242. */
private void applyCol(int sprm, byte[] buf, int off, int len) { private void applyCol(int sprm, byte[] buf, int off, int len) {
if (len < COL_OPERAND_LEN) { if (len < COL_OPERAND_LEN) {
return; return;
@@ -191,10 +221,12 @@ final class Sections {
} }
int v = Grpprl.operandInt(buf, off, len); int v = Grpprl.operandInt(buf, off, len);
g.apply(sprm, v); g.apply(sprm, v);
// bkcContinuous=0 / bkcNewColumn=1 (§2.6.3 SBkcOperand): // SBkcOperand (§2.9.235): 0 continuous / 1 newColumn —
// разрыв, заканчивающий секцию, не начинает страницу // разрыв, заканчивающий секцию, не начинает страницу;
if (sprm == Grpprl.SPRM_S_BKC && v <= 1) { // сырое значение нужно и для w:type=evenPage/oddPage
g.continuous = true; if (sprm == Grpprl.SPRM_S_BKC) {
g.bkc = v;
g.continuous = v <= 1;
} }
}); });
} }
@@ -208,11 +240,13 @@ final class Sections {
int cpEnd = i == n - 1 ? Math.min(aCp[i + 1], ccpText) : aCp[i + 1]; int cpEnd = i == n - 1 ? Math.min(aCp[i + 1], ccpText) : aCp[i + 1];
list.add(new Section(aCp[i], cpEnd, g.pageWidth, g.pageHeight, list.add(new Section(aCp[i], cpEnd, g.pageWidth, g.pageHeight,
g.marginLeft, g.marginRight, g.marginTop, g.marginBottom, g.marginLeft, g.marginRight, g.marginTop, g.marginBottom,
g.header, g.footer, g.continuous, g.landscape, g.header, g.footer, g.gutter, g.continuous, g.landscape,
g.pgnRestart ? Math.max(1, g.pgnStart97) : 0, g.pgnRestart
? Math.max(1, g.pgnStart97 != 0 ? g.pgnStart97 : g.pgnStart)
: 0,
g.nfcPgn, g.columnCount, g.evenlySpaced, g.dxaColumns, g.nfcPgn, g.columnCount, g.evenlySpaced, g.dxaColumns,
Arrays.copyOf(g.colWidths, g.columnCount), Arrays.copyOf(g.colWidths, g.columnCount),
Arrays.copyOf(g.colSpacings, g.columnCount), g.titlePage)); Arrays.copyOf(g.colSpacings, g.columnCount), g.titlePage, g.bkc));
} }
sections = List.copyOf(list); sections = List.copyOf(list);
continuousEnds = cont; continuousEnds = cont;
@@ -221,8 +255,8 @@ final class Sections {
private static Section defaultSection(int cpStart, int cpEnd) { private static Section defaultSection(int cpStart, int cpEnd) {
return new Section(cpStart, cpEnd, DEFAULT_PAGE_WIDTH, DEFAULT_PAGE_HEIGHT, return new Section(cpStart, cpEnd, DEFAULT_PAGE_WIDTH, DEFAULT_PAGE_HEIGHT,
DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN,
DEFAULT_HEADER_FOOTER, DEFAULT_HEADER_FOOTER, false, DEFAULT_HEADER_FOOTER, DEFAULT_HEADER_FOOTER, 0, false,
false, 0, 0, 1, true, -1, new int[0], new int[0], false); false, 0, 0, 1, true, -1, new int[0], new int[0], false, 2);
} }
static Sections read(byte[] tableStream, long fcSed, long lcbSed, byte[] wordDocument, static Sections read(byte[] tableStream, long fcSed, long lcbSed, byte[] wordDocument,
@@ -6,15 +6,16 @@ package ru.pjandro.wordpdf.internal.doc;
* *
* <p>Разбор: LPStshi (cbStshi(2) + STSHI: cstd(2) + cbSTDBaseInFile(2), * <p>Разбор: LPStshi (cbStshi(2) + STSHI: cstd(2) + cbSTDBaseInFile(2),
* §2.9.272/.274) → rglpstd со смещения {@code fc + 2 + cbStshi} (LPStd * §2.9.272/.274) → rglpstd со смещения {@code fc + 2 + cbStshi} (LPStd
* хранятся на чётных границах, §2.9.207). Каждая LPStd: cbStd(2) + Std * хранятся на чётных границах, §2.9.135). Каждая LPStd: cbStd(2) + Std
* (cbStd байт): stdf (cbSTDBaseInFile байт: StdfBase §2.9.260 — в первых * (cbStd байт): stdf (cbSTDBaseInFile байт: StdfBase §2.9.260 — в первых
* 4 байтах sti(12)|A–D(4)|stk(4)|istdBase(12), cupx — младший нибл байта 4) * 4 байтах sti(12)|A–D(4)|stk(4)|istdBase(12), cupx — младший нибл байта 4)
* + xstzName (cch(2)+2·cch+терминатор(2), §2.9.348) + cupx × LPUpx * + xstzName (cch(2)+2·cch+терминатор(2), §2.9.354) + cupx × LPUpx
* (cbUpx(2) + данные, шаг 2+cbUpx с выравниванием на чёт). Для stk=1 * (cbUpx(2) + данные, шаг 2+cbUpx с выравниванием на чёт). Для stk=1
* (абзацный стиль) UPX[0] = UpxPapx (istd(2) + grpprlPapx), UPX[1] = * (абзацный стиль) UPX[0] = UpxPapx (istd(2) + grpprlPapx), UPX[1] =
* UpxChpx (grpprlChpx целиком), §2.9.267/.308/.309; для stk=3 (символьный * UpxChpx (grpprlChpx целиком), §2.9.338/.336; для stk=2 (символьный
* стиль) единственный UPX = UpxChpx целиком (§2.9.267) — читается в * стиль) единственный UPX = UpxChpx целиком (§2.9.263 StkCharGRLPUPX) —
* {@link #charChain} для sprmCIstd.</p> * читается в {@link #charChain} для sprmCIstd; stk=3 (табличный) не
* читается.</p>
* *
* <p>Цепочка свойств стиля — base-first: сначала grpprl предка по * <p>Цепочка свойств стиля — base-first: сначала grpprl предка по
* istdBase (0x0FFF — без предка), затем собственный grpprl (шаг 8 * istdBase (0x0FFF — без предка), затем собственный grpprl (шаг 8
@@ -31,11 +32,11 @@ final class Styles {
/** stk абзацного стиля (§2.9.260). */ /** stk абзацного стиля (§2.9.260). */
private static final int STK_PARAGRAPH = 1; private static final int STK_PARAGRAPH = 1;
/** stk символьного стиля (§2.9.260): UPX[0] = UpxChpx целиком. */ /** stk символьного стиля (§2.9.260, stk=2): UPX[0] = UpxChpx целиком. */
private static final int STK_CHARACTER = 3; private static final int STK_CHARACTER = 2;
/** Индекс UpxPapx в Std абзацного стиля (§2.9.308). */ /** Индекс UpxPapx в Std абзацного стиля (§2.9.338). */
private static final int UPX_PAPX = 0; private static final int UPX_PAPX = 0;
/** Индекс UpxChpx в Std абзацного стиля (§2.9.309). */ /** Индекс UpxChpx в Std абзацного стиля (§2.9.336). */
private static final int UPX_CHPX = 1; private static final int UPX_CHPX = 1;
/** istdBase без предка (§2.9.260). */ /** istdBase без предка (§2.9.260). */
private static final int NO_BASE = 0x0FFF; private static final int NO_BASE = 0x0FFF;
@@ -107,7 +108,7 @@ final class Styles {
return new Style(NO_BASE, stk, new byte[0], new byte[0]); return new Style(NO_BASE, stk, new byte[0], new byte[0]);
} }
int cch = CfbReader.u16(table, p); int cch = CfbReader.u16(table, p);
p += 2 + 2 * cch + 2; // xstzName: cch + строка + chTerm (§2.9.348) p += 2 + 2 * cch + 2; // xstzName: cch + строка + chTerm (§2.9.354)
byte[] papx = new byte[0]; byte[] papx = new byte[0];
byte[] chpx = new byte[0]; byte[] chpx = new byte[0];
for (int i = 0; i < cupx && p + 2 <= stdEnd; i++) { for (int i = 0; i < cupx && p + 2 <= stdEnd; i++) {
@@ -118,13 +119,13 @@ final class Styles {
} }
if (stk == STK_PARAGRAPH) { if (stk == STK_PARAGRAPH) {
if (i == UPX_PAPX && cbUpx >= 2) { if (i == UPX_PAPX && cbUpx >= 2) {
// UpxPapx: istd(2) + grpprlPapx (§2.9.345) // UpxPapx: istd(2) + grpprlPapx (§2.9.338)
papx = slice(table, p + 2, cbUpx - 2); papx = slice(table, p + 2, cbUpx - 2);
} else if (i == UPX_CHPX) { } else if (i == UPX_CHPX) {
chpx = slice(table, p, cbUpx); // UpxChpx (§2.9.343) chpx = slice(table, p, cbUpx); // UpxChpx (§2.9.336)
} }
} else if (stk == STK_CHARACTER && i == UPX_PAPX && cbUpx > 0) { } else if (stk == STK_CHARACTER && i == UPX_PAPX && cbUpx > 0) {
// Символьный стиль: единственный UPX = UpxChpx целиком (§2.9.267) // Символьный стиль: единственный UPX = UpxChpx целиком (§2.9.263)
chpx = slice(table, p, cbUpx); chpx = slice(table, p, cbUpx);
} }
p += cbUpx; p += cbUpx;
@@ -163,7 +164,7 @@ final class Styles {
/** /**
* Цепочка chpx символьного стиля для sprmCIstd (§2.6.1): только стили * Цепочка chpx символьного стиля для sprmCIstd (§2.6.1): только стили
* stk=3, иначе пусто (§2.4.6.5 — символьный стиль применяется к рану, * stk=2, иначе пусто (§2.4.6.5 — символьный стиль применяется к рану,
* стиль другого типа игнорируется снисходительно). * стиль другого типа игнорируется снисходительно).
*/ */
byte[] charChain(int istd) { byte[] charChain(int istd) {
@@ -7,17 +7,17 @@ package ru.pjandro.wordpdf.internal.doc;
* SystemIdentifier(4) CLSID(16) NumPropertySets(4) FMTID0(16) Offset0(4); * SystemIdentifier(4) CLSID(16) NumPropertySets(4) FMTID0(16) Offset0(4);
* PropertySet по Offset0 (§2.20): cbPropertySet(4) NumProperties(4) + массив * PropertySet по Offset0 (§2.20): cbPropertySet(4) NumProperties(4) + массив
* (pid, offset), где offset свойства — <b>относительно начала PropertySet</b> * (pid, offset), где offset свойства — <b>относительно начала PropertySet</b>
* (§2.2: «relative to the starting position of the PropertySet»), т.е. читать * (§2.19 PropertyIdentifierAndOffset: «relative to the starting position of the PropertySet»), т.е. читать
* по {@code Offset0 + offset}; свойство по offset — VT(4) + значение. Ищем PIDSI_PAGECOUNT * по {@code Offset0 + offset}; свойство по offset — VT(4) + значение. Ищем PIDSI_PAGECOUNT
* (0x0000000E, VT_I4=3) — аналог {@code <Pages>} из docProps/app.xml у .docx. * (0x0000000E, VT_I4=3) — аналог {@code <Pages>} из docProps/app.xml у .docx.
* Потока/свойства нет или оно не VT_I4 → 0 (оценка нижняя, как у docx).</p> * Потока/свойства нет или оно не VT_I4 → 0 (оценка нижняя, как у docx).</p>
*/ */
final class SummaryInfo { final class SummaryInfo {
/** PIDSI_PAGECOUNT (MS-OLEPS §2.4.2). */ /** PIDSI_PAGECOUNT (MS-OLEPS §3.1.15). */
private static final int PID_PAGE_COUNT = 0x0000000E; private static final int PID_PAGE_COUNT = 0x0000000E;
/** VT_I4 (MS-OLEPS §2.3.2). */ /** VT_I4 (MS-OLEPS §2.2). */
private static final int VT_I4 = 0x00000003; private static final int VT_I4 = 0x00000003;
/** Смещения заголовка PropertySetStream (§2.21). */ /** Смещения заголовка PropertySetStream (§2.21). */
@@ -16,20 +16,20 @@ import java.util.List;
* TableBordersOperand80 (§2.9.303, cb=0x18, 6 × Brc80 по 4 байта: * TableBordersOperand80 (§2.9.303, cb=0x18, 6 × Brc80 по 4 байта:
* dptLineWidth + brcType + ico + флаги). Порядок Brc: top, left, bottom, * dptLineWidth + brcType + ico + флаги). Порядок Brc: top, left, bottom,
* right, horizontalInside, verticalInside → w:top/w:left/w:bottom/w:right/ * right, horizontalInside, verticalInside → w:top/w:left/w:bottom/w:right/
* w:insideH/w:insideV (CT_TblBorders, ECMA-376 §17.4.40).</p> * w:insideH/w:insideV (CT_TblBorders, ECMA-376 §17.4.38).</p>
* *
* <p>brcType → ST_Border (§17.18.2) по таблице BrcType ([MS-DOC] §2.9.39, * <p>brcType → ST_Border (§17.18.2) по таблице BrcType ([MS-DOC] §2.9.22,
* колонка Reference); 0x00 — элемент не эмитится, нераспознанный — single. * колонка Reference); 0x00 — элемент не эмитится, нераспознанный — single.
* w:sz = dptLineWidth (1/8 пункта, ECMA-376 §17.18.15; минимум 2; при * w:sz = dptLineWidth (1/8 пункта, ECMA-376 §17.18.23; минимум 2; при
* brcType ≥ 0x40 ширина в целых пунктах → ×8). Цвет: Brc.cv fAuto * brcType ≥ 0x40 ширина в целых пунктах → ×8). Цвет: Brc.cv fAuto
* (байт 3 = 0xFF) не эмитится, иначе RRGGBB; Brc80.ico — по таблице Ico * (байт 3 = 0xFF) не эмитится, иначе RRGGBB; Brc80.ico — по таблице Ico
* (§2.9.171); 0 = auto, &gt; 0x10 — не эмитится.</p> * (§2.9.119); 0 = auto, &gt; 0x10 — не эмитится.</p>
* *
* <p>Горизонтальное объединение ячеек переносится сеткой <b>самой строки</b>: * <p>Горизонтальное объединение ячеек переносится сеткой <b>самой строки</b>:
* у TTP-абзаца каждой строки свой {@code sprmTDefTable} (§2.9.321), и * у TTP-абзаца каждой строки свой {@code sprmTDefTable} (§2.9.321), и
* автомат {@code DocxBody} по нему выдаёт {@code w:gridSpan}+{@code w:tcW} * автомат {@code DocxBody} по нему выдаёт {@code w:gridSpan}+{@code w:tcW}
* (сетка первой строки остаётся tblGrid). Явные поля ячеек * (сетка первой строки остаётся tblGrid). Явные поля ячеек
* ({@code sprmTCellPadding}/{@code sprmTCellPaddingDefault}, CSSA §2.9.209) * ({@code sprmTCellPadding}/{@code sprmTCellPaddingDefault}, CSSA §2.9.45)
* переносятся {@code w:tcMar}; при их отсутствии конвейер даёт дефолт * переносятся {@code w:tcMar}; при их отсутствии конвейер даёт дефолт
* 108/0 — он же дефолт Word (замер). {@code sprmTDxaGapHalf} не переносится * 108/0 — он же дефолт Word (замер). {@code sprmTDxaGapHalf} не переносится
* как поле: §2.6.3 — «not used to layout cell contents», это поправка * как поле: §2.6.3 — «not used to layout cell contents», это поправка
@@ -44,9 +44,9 @@ import java.util.List;
*/ */
final class Tables { final class Tables {
/** brcType ≥ этого порога: dptLineWidth задан в целых пунктах (§2.9.38). */ /** brcType ≥ этого порога: dptLineWidth задан в целых пунктах (§2.9.22). */
private static final int BRC_TYPE_POINT_UNITS = 0x40; private static final int BRC_TYPE_POINT_UNITS = 0x40;
/** Минимальный w:sz границы; значения Brc80 меньше эквивалентны 2 (§2.9.37). */ /** Минимальный w:sz границы; значения Brc80 меньше эквивалентны 2 (§2.9.17). */
private static final int MIN_BORDER_SZ = 2; private static final int MIN_BORDER_SZ = 2;
/** Минимум центров в TDefTable: ncols≥1 → centers[ncols+1]≥2 (§2.9.321). */ /** Минимум центров в TDefTable: ncols≥1 → centers[ncols+1]≥2 (§2.9.321). */
@@ -58,7 +58,7 @@ final class Tables {
private static final int MAX_CELL_MARGIN = 31680; private static final int MAX_CELL_MARGIN = 31680;
/** /**
* Поля ячеек из одного CSSAOperand (§2.9.209): стороны grfbrc (биты * Поля ячеек из одного CSSAOperand (§2.9.46): стороны grfbrc (биты
* top|left|bottom|right = 1|2|4|8) с шириной wWidth (dxa, ≥0) для ячеек * top|left|bottom|right = 1|2|4|8) с шириной wWidth (dxa, ≥0) для ячеек
* ряда с индексами [itcFirst, itcLim). Default-operand (0xD634) — весь * ряда с индексами [itcFirst, itcLim). Default-operand (0xD634) — весь
* ряд (itcLim = {@link Integer#MAX_VALUE}). * ряд (itcLim = {@link Integer#MAX_VALUE}).
@@ -86,15 +86,19 @@ final class Tables {
int[] centers() { int[] centers() {
int[] c = new int[colWidths.length + 1]; int[] c = new int[colWidths.length + 1];
c[0] = indent; c[0] = indent;
for (int i = 0; i < colWidths.length; i++) { int i = 1;
c[i + 1] = c[i] + colWidths[i]; // foreach: индексный for по компоненту рекорда валит ForLoopCanBeForeach
// на PMD 6.55.0 (ClassCastException в VariableNameDeclaration.isArray)
for (int w : colWidths) {
c[i] = c[i - 1] + w;
i++;
} }
return c; return c;
} }
} }
/** /**
* Ico → RRGGBB ([MS-DOC] §2.9.171). Индекс = ico. 0 — auto (не эмитится). * Ico → RRGGBB ([MS-DOC] §2.9.119). Индекс = ico. 0 — auto (не эмитится).
* В таблице спецификации строка 0x0D дублирует 0x0C (800080) — очевидная * В таблице спецификации строка 0x0D дублирует 0x0C (800080) — очевидная
* опечатка документа: icoRedDark в палитре Word = 800000, взято значение * опечатка документа: icoRedDark в палитре Word = 800000, взято значение
* Word (иначе 0x0C и 0x0D неразличимы). * Word (иначе 0x0C и 0x0D неразличимы).
@@ -120,7 +124,7 @@ final class Tables {
}; };
/** /**
* Ico (§2.9.171) → RRGGBB; 0/auto и вне таблицы (в т.ч. 0x1F = nil у * Ico (§2.9.119) → RRGGBB; 0/auto и вне таблицы (в т.ч. 0x1F = nil у
* Shd80) — {@code null}. Пользуется {@code DocxBody} для Shd80/ * Shd80) — {@code null}. Пользуется {@code DocxBody} для Shd80/
* затенений. * затенений.
*/ */
@@ -129,7 +133,7 @@ final class Tables {
} }
/** /**
* Имена ST_Border по brcType (§2.9.39, колонка Reference); 0 — none. * Имена ST_Border по brcType (§2.9.22, колонка Reference); 0 — none.
* package-private хук для юнита полного покрытия таблицы. * package-private хук для юнита полного покрытия таблицы.
*/ */
static String borderVal(int brcType) { static String borderVal(int brcType) {
@@ -156,7 +160,8 @@ final class Tables {
case 0x17 -> "dashDotStroked"; case 0x17 -> "dashDotStroked";
case 0x18 -> "threeDEmboss"; case 0x18 -> "threeDEmboss";
case 0x19 -> "threeDEngrave"; case 0x19 -> "threeDEngrave";
case 0x1A, 0x1B -> "outset"; case 0x1A -> "outset";
case 0x1B -> "inset";
default -> "single"; default -> "single";
}; };
} }
@@ -230,7 +235,7 @@ final class Tables {
} }
/** /**
* CSSAOperand (§2.9.209) полей ячеек: cb(1)=6 + itc(2, ItcFirstLim) + * CSSAOperand (§2.9.46) полей ячеек: cb(1)=6 + itc(2, ItcFirstLim) +
* grfbrc(1, маска сторон) + ftsWidth(1) + wWidth(2 XAS_nonNeg). * grfbrc(1, маска сторон) + ftsWidth(1) + wWidth(2 XAS_nonNeg).
* Переносится только ftsDxa (0x03) — ftsNil/percent/auto сторона не * Переносится только ftsDxa (0x03) — ftsNil/percent/auto сторона не
* задают (§2.6.3: wWidth ≤ 31680); битый операнд/пустая маска — null. * задают (§2.6.3: wWidth ≤ 31680); битый операнд/пустая маска — null.
@@ -283,7 +288,12 @@ final class Tables {
String[] names = {"top", "left", "bottom", "right", "insideH", "insideV"}; String[] names = {"top", "left", "bottom", "right", "insideH", "insideV"};
for (int i = 0; i < 6; i++) { for (int i = 0; i < 6; i++) {
int b = off + 1 + i * 8; int b = off + 1 + i * 8;
// Brc (§2.9.36): cv(4: R,G,B,fAuto) + dptLineWidth(1) + brcType(1) + флаги(2) // Brc (§2.9.16): cv(4: R,G,B,fAuto) + dptLineWidth(1) + brcType(1) + флаги(2);
// BrcMayBeNil (§2.9.20): последние 4 байта 0xFF…FF — NilBrc, границы нет
if ((buf[b + 4] & 0xFF) == 0xFF && (buf[b + 5] & 0xFF) == 0xFF
&& (buf[b + 6] & 0xFF) == 0xFF && (buf[b + 7] & 0xFF) == 0xFF) {
continue;
}
int type = buf[b + 5] & 0xFF; int type = buf[b + 5] & 0xFF;
if (type == 0) { if (type == 0) {
continue; continue;
@@ -303,6 +313,11 @@ final class Tables {
String[] names = {"top", "left", "bottom", "right", "insideH", "insideV"}; String[] names = {"top", "left", "bottom", "right", "insideH", "insideV"};
for (int i = 0; i < 6; i++) { for (int i = 0; i < 6; i++) {
int b = off + 1 + i * 4; int b = off + 1 + i * 4;
// Brc80MayBeNil (§2.9.18): все 4 байта 0xFF…FF — границы нет
if ((buf[b] & 0xFF) == 0xFF && (buf[b + 1] & 0xFF) == 0xFF
&& (buf[b + 2] & 0xFF) == 0xFF && (buf[b + 3] & 0xFF) == 0xFF) {
continue;
}
int type = buf[b + 1] & 0xFF; int type = buf[b + 1] & 0xFF;
if (type == 0) { if (type == 0) {
continue; continue;
@@ -318,10 +333,10 @@ final class Tables {
int dptLineWidth, String color) { int dptLineWidth, String color) {
int sz = dptLineWidth; int sz = dptLineWidth;
if (type >= BRC_TYPE_POINT_UNITS) { if (type >= BRC_TYPE_POINT_UNITS) {
sz *= 8; // ширина в целых пунктах (§2.9.38, таблица dptLineWidth) sz *= 8; // ширина в целых пунктах (§2.9.22, таблица dptLineWidth)
} }
if (sz < MIN_BORDER_SZ) { if (sz < MIN_BORDER_SZ) {
sz = MIN_BORDER_SZ; // Brc80: значения < 2 эквивалентны 2 (§2.9.37) sz = MIN_BORDER_SZ; // Brc80: значения < 2 эквивалентны 2 (§2.9.17)
} }
xml.append("<w:").append(name).append(" w:val=\"").append(borderVal(type)) xml.append("<w:").append(name).append(" w:val=\"").append(borderVal(type))
.append("\" w:sz=\"").append(sz).append('"'); .append("\" w:sz=\"").append(sz).append('"');
@@ -1161,7 +1161,7 @@
Патч: перемещаемый текст печатается (plain-text passthrough, move-правки не Патч: перемещаемый текст печатается (plain-text passthrough, move-правки не
раскрашиваются: их «принятое» состояние и есть перемещённый текст); раскрашиваются: их «принятое» состояние и есть перемещённый текст);
bidi-направление — принятая деградация (complex-script в FOP-форке нет). bidi-направление — принятая деградация (complex-script в FOP-форке нет).
Руби (w:rubyBase/w:rt, §17.3.3.19/.20/.21) тут не чинится: схема docx4j Руби (w:rubyBase/w:rt, §17.3.3.27/.24) тут не чинится: схема docx4j
не биндит эти элементы, unmarshaller выбрасывает их до XSLT — разбор не биндит эти элементы, unmarshaller выбрасывает их до XSLT — разбор
делает RubyNormalizer (правило 10) в байтах. делает RubyNormalizer (правило 10) в байтах.
Регрессии — WordPdfConverterTest#movedRevision_textPrinted, #bdoDir_textPrinted. --> Регрессии — WordPdfConverterTest#movedRevision_textPrinted, #bdoDir_textPrinted. -->
@@ -7,6 +7,7 @@ import java.nio.file.Files;
import java.nio.file.Path; import java.nio.file.Path;
import java.util.ArrayList; import java.util.ArrayList;
import java.util.List; import java.util.List;
import java.util.logging.Logger;
import java.util.zip.ZipEntry; import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream; import java.util.zip.ZipOutputStream;
@@ -34,6 +35,8 @@ public final class ChartTypesDocxGenerator {
private static final String A = "http://schemas.openxmlformats.org/drawingml/2006/main"; private static final String A = "http://schemas.openxmlformats.org/drawingml/2006/main";
private static final String R = "http://schemas.openxmlformats.org/officeDocument/2006/relationships"; private static final String R = "http://schemas.openxmlformats.org/officeDocument/2006/relationships";
private static final Logger LOG = Logger.getLogger(ChartTypesDocxGenerator.class.getName());
public static void main(String[] args) throws IOException { public static void main(String[] args) throws IOException {
Path out = Path.of(args[0]); Path out = Path.of(args[0]);
List<String> titles = List.of( List<String> titles = List.of(
@@ -109,7 +112,7 @@ public final class ChartTypesDocxGenerator {
} }
} }
Files.write(out, out2.toByteArray()); Files.write(out, out2.toByteArray());
System.out.println("written " + out + " " + out2.size() + " bytes"); LOG.info("written " + out + " " + out2.size() + " bytes");
} }
private static String space(String title, String groupWithAxes) { private static String space(String title, String groupWithAxes) {
@@ -0,0 +1,191 @@
package ru.pjandro.wordpdf;
import org.apache.pdfbox.Loader;
import org.apache.pdfbox.pdmodel.PDDocument;
import org.apache.pdfbox.pdmodel.PDResources;
import org.apache.pdfbox.pdmodel.font.PDFont;
import org.apache.pdfbox.cos.COSName;
import org.junit.jupiter.api.Test;
import java.io.IOException;
import java.io.ByteArrayOutputStream;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.util.HashSet;
import java.util.Set;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;
import static org.junit.jupiter.api.Assertions.assertThrows;
import static org.junit.jupiter.api.Assertions.assertTrue;
/**
* Инвариант «шрифты только бандла» после выноса JEuclid из класса путей:
* MathML-рендер FOP (jeuclid-fop) обращался к AWT-менеджеру шрифтов и
* тащил в вывод системные гарнитуры; формулы теперь рисуются собственным
* растером из jar-шрифтов (fontbox), поэтому JEuclid в classpath и
* протёкших системных имён в PDF быть не должно ни на одном хосте (в т.ч. без
* fontconfig — CI-образ). Регрессия — удаление jeuclid, 2026-11.
*/
class FontsBundledOnlyInvariantTest {
private static final String M_NS =
"http://schemas.openxmlformats.org/officeDocument/2006/math";
private static final String W_NS =
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
/**
* JEuclid обязан отсутствовать в классе путей (exclusion в pom):
* реальные FQCN обоих артефактов форка de.rototor (сверены по jar'ам
* 3.1.14) — вымышленное имя дало бы зелёный тест и без exclusion.
*/
@Test
void jeuclidAbsentFromClasspath() {
assertThrows(ClassNotFoundException.class,
() -> Class.forName("net.sourceforge.jeuclid.MathMLParserSupport"));
assertThrows(ClassNotFoundException.class,
() -> Class.forName("net.sourceforge.jeuclid.fop.JEuclidElementMapping"));
}
/**
* Исходники main не обращаются к AWT-шрифтам: ни {@code java.awt.Font},
* ни {@code GraphicsEnvironment}, ни {@code createFont(} вне комментариев
* и строк. Любое такое обращение инициализирует AWT-менеджер шрифтов
* (fontconfig на хосте) и рвёт инвариант «только бандл» — детект по
* тексту исходников работает и на хосте с шрифтами, и в CI-контейнере
* без fontconfig.
*/
@Test
void sourcesFreeOfAwtFonts() throws IOException {
Path root = Files.isDirectory(Path.of("src/main/java"))
? Path.of("src/main/java")
: Path.of("wordpdf-core/src/main/java");
assertTrue(Files.isDirectory(root), "нет каталога исходников: " + root.toAbsolutePath());
java.util.regex.Pattern createFont =
java.util.regex.Pattern.compile("\\bcreateFont\\s*\\(");
Set<String> hits = new HashSet<>();
try (var walk = Files.walk(root)) {
for (Path p : (Iterable<Path>) walk.filter(f -> f.toString().endsWith(".java"))::iterator) {
String effective = stripCommentsAndStrings(
new String(Files.readAllBytes(p), StandardCharsets.UTF_8));
if (effective.contains("java.awt.Font")
|| effective.contains("java.awt.GraphicsEnvironment")
|| createFont.matcher(effective).find()) {
hits.add(root.relativize(p).toString());
}
}
}
assertTrue(hits.isEmpty(), "AWT-шрифты в исходниках: " + hits);
}
/** Выкидывает комментарии и строковые/символьные литералы — остаётся код. */
private static String stripCommentsAndStrings(String src) {
StringBuilder out = new StringBuilder(src.length());
int i = 0;
int n = src.length();
while (i < n) {
char c = src.charAt(i);
if (c == '/' && i + 1 < n && src.charAt(i + 1) == '/') {
while (i < n && src.charAt(i) != '\n') {
i++;
}
} else if (c == '/' && i + 1 < n && src.charAt(i + 1) == '*') {
i += 2;
while (i + 1 < n && !(src.charAt(i) == '*' && src.charAt(i + 1) == '/')) {
i++;
}
i += 2;
} else if (c == '"' || c == '\'') {
char q = c;
i++;
while (i < n && src.charAt(i) != q) {
i += src.charAt(i) == '\\' ? 2 : 1;
}
i++;
out.append(' ');
} else {
out.append(c);
i++;
}
}
return out.toString();
}
/**
* Формула Word-кегля с {@code w:rFonts w:ascii="Cambria Math"}: растр
* рисуется бандлом, в PDF нет ни «Cambria Math», ни иного имени с
* Math-маркером (AWT-цепочка недоступна на без-fontconfig хостах в
* CI — тест одинаков на любом хосте).
*/
@Test
void mathEmbeddedFonts_bundledOnly() throws IOException {
String body = "<w:p><w:r><w:t>ТЕКСТ</w:t></w:r>"
+ "<m:oMath xmlns:m=\"" + M_NS + "\">"
+ "<m:r><w:rPr><w:rFonts w:ascii=\"Cambria Math\"/></w:rPr>"
+ "<m:t>∑x²</m:t></m:r></m:oMath></w:p>";
byte[] pdf = WordPdfConverter.convert(mathDocx(body), "тест",
new ConvertOptions(false, false, false, 5, 100));
Path out = Files.createTempFile("fonts-invariant-", ".pdf");
try {
Files.write(out, pdf);
Set<String> names = embeddedFontNames(out);
for (String n : names) {
assertTrue(!n.contains("Cambria") && !n.contains("Math"),
"системный math-шрифт встроился в PDF: " + n + " ⊆ " + names);
}
} finally {
Files.deleteIfExists(out);
}
}
/** Минимальный docx с формулой (идеома модуля: ZipOutputStream из литералов). */
private static byte[] mathDocx(String bodyXml) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
putZip(zos, "[Content_Types].xml",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
+ "<Override PartName=\"/word/document.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml\"/>"
+ "</Types>");
putZip(zos, "_rels/.rels",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
+ "<Relationship Id=\"rId1\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/officeDocument\" Target=\"word/document.xml\"/>"
+ "</Relationships>");
putZip(zos, "word/document.xml",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<w:document xmlns:w=\"" + W_NS + "\"><w:body>"
+ bodyXml
+ "<w:sectPr><w:pgSz w:w=\"11906\" w:h=\"16838\"/></w:sectPr>"
+ "</w:body></w:document>");
}
return out.toByteArray();
}
private static void putZip(ZipOutputStream zos, String name, String xml)
throws IOException {
zos.putNextEntry(new ZipEntry(name));
zos.write(xml.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
}
/** Имена встроенных шрифтов PDF (дублируется намеренно: утилит нет). */
private static Set<String> embeddedFontNames(Path pdf) throws IOException {
Set<String> names = new HashSet<>();
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
for (org.apache.pdfbox.pdmodel.PDPage page : doc.getPages()) {
PDResources res = page.getResources();
for (COSName name : res.getFontNames()) {
PDFont font = res.getFont(name);
if (font != null) {
names.add(font.getName());
}
}
}
}
return names;
}
}
@@ -0,0 +1,288 @@
package ru.pjandro.wordpdf;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.FileDescriptor;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.PrintStream;
import java.lang.management.ManagementFactory;
import java.lang.management.MemoryPoolMXBean;
import java.lang.management.MemoryType;
import java.net.URISyntaxException;
import java.net.URL;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.LinkedHashMap;
import java.util.Locale;
import java.util.Map;
import java.util.TreeMap;
import java.util.stream.Stream;
import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream;
/**
* Замер памяти конвейера (НЕ тест: имя не матчается surefire-includes; запускается
* {@code ./mise.sh run mem-bench} — см. {@code membench.sh} и
* {@code docs/MEM_USAGE_UPGRADE.md}).
*
* <p>Для каждой конвертации печатает строку TSV {@code label scenario name iteration
* peakBytes usedAfterBytes}: peakBytes — сумма пиков used всех heap-пулов
* ({@link MemoryPoolMXBean}, пики сбрасываются перед конвертацией), usedAfterBytes —
* used кучи сразу после конвертации без принудительного GC (тренд накопления;
* {@code System.gc()} намеренно не вызывается). Суммарные аллокации и RSS не здесь:
* JFR-{@code jdk.ObjectAllocationSample} пишет скрипт, VmHWM/VmRSS читаются из
* {@code /proc/self/status} в конце сценария.</p>
*
* <p>Артефакт замера «до/после»: сравнение делает человек по выводам прогонов
* с разными {@code MB_LABEL}; порогов внутри харнеса нет.</p>
*/
final class MemoryBench {
/**
* Вывод харнеса в stdout напрямую через {@link FileDescriptor#out}: TSV-строки
* парсит человек/скрипт из stdout; {@code System.out} не используется (PMD
* SystemPrintln для кода репозитория запрещён, а подавления запрещены политикой).
*/
private static final PrintStream OUT = new PrintStream(
new FileOutputStream(FileDescriptor.out), true, StandardCharsets.UTF_8);
/** Лимиты входа завышены: валидатор не должен отсекать big-сценарий. */
private static final ConvertOptions OPTIONS =
new ConvertOptions(false, false, false, 1024L, 1_000_000);
/** Минимально допустимое значение циклов/повторов из аргументов. */
private static final int MIN_POSITIVE = 1;
/** Повторов body в синтетическом big-docx (детерминированный размер входа). */
private static final int BODY_REPEATS = 400;
private MemoryBench() {
}
public static void main(String[] args) throws Exception {
String label = env("MB_LABEL", "run");
int loops = 10;
int bigLoops = 5;
String scenario = "all";
String dir = null;
int i = 0;
while (i < args.length) {
String a = args[i];
if ("--loops".equals(a)) {
loops = parsePositive(args, i);
i += 2;
} else if ("--big-loops".equals(a)) {
bigLoops = parsePositive(args, i);
i += 2;
} else if ("--scenario".equals(a)) {
scenario = args[i + 1];
i += 2;
} else if ("--dir".equals(a)) {
dir = args[i + 1];
i += 2;
} else {
OUT.printf(Locale.ROOT, "# unknown arg: %s%n", a);
System.exit(2);
}
}
OUT.printf(Locale.ROOT, "# java.version %s%n",
System.getProperty("java.version"));
boolean wantSuite = "suite".equals(scenario) || "all".equals(scenario);
boolean wantBig = "big".equals(scenario) || "all".equals(scenario);
if (wantSuite) {
runConversions(label, "suite", fixtures(), loops);
}
if (wantBig) {
byte[] base = readResource("samples/ru-plain.docx");
byte[] big = bigDocx(base);
OUT.printf(Locale.ROOT, "# big size %d%n", big.length);
Map<String, byte[]> docs = new TreeMap<>();
docs.put("big", big);
runConversions(label, "big", docs, bigLoops);
}
if (dir != null) {
runConversions(label, "dir", dirDocs(Paths.get(dir)), loops);
}
}
/** Прогон {@code loops} проходов по всем документам, TSV-строка на конвертацию. */
private static void runConversions(String label, String scenario,
Map<String, byte[]> docs, int loops) {
long checksum = 0;
for (int loop = 0; loop < loops; loop++) {
for (Map.Entry<String, byte[]> doc : docs.entrySet()) {
resetPeaks();
try {
byte[] pdf = WordPdfConverter.convert(doc.getValue(), "membench", OPTIONS);
checksum += pdf.length;
} catch (ConversionException e) {
// отказ конвертации не обрывает замер — строка-комментарий в вывод
OUT.printf(Locale.ROOT, "# error %s %s: %s%n",
scenario, doc.getKey(), e.getMessage());
}
OUT.printf(Locale.ROOT, "%s\t%s\t%s\t%d\t%d\t%d%n",
label, scenario, doc.getKey(), loop, sumPeakBytes(), heapUsedBytes());
}
}
OUT.printf(Locale.ROOT, "# %s checksum-total %d%n", scenario, checksum);
printProcMem();
}
/** Фикстуры из classpath {@code ru/pjandro/wordpdf/samples} (25 файлов), по имени. */
private static TreeMap<String, byte[]> fixtures() throws IOException, URISyntaxException {
URL dir = MemoryBench.class.getClassLoader().getResource("samples");
if (dir == null) {
throw new IllegalStateException("samples/ не найден в classpath");
}
TreeMap<String, byte[]> out = new TreeMap<>();
try (Stream<Path> files = Files.list(Paths.get(dir.toURI()))) {
for (Path p : (Iterable<Path>) files.filter(MemoryBench::isDoc)::iterator) {
out.put(p.getFileName().toString(), Files.readAllBytes(p));
}
}
return out;
}
/** Все {@code *.doc}/{@code *.docx} каталога PATH (реальные документы из develop/). */
private static TreeMap<String, byte[]> dirDocs(Path dir) throws IOException {
TreeMap<String, byte[]> out = new TreeMap<>();
if (!Files.isDirectory(dir)) {
OUT.printf(Locale.ROOT, "# dir %s отсутствует — пропущен%n", dir);
return out;
}
try (Stream<Path> files = Files.list(dir)) {
for (Path p : (Iterable<Path>) files.filter(MemoryBench::isDoc)::iterator) {
out.put(p.getFileName().toString(), Files.readAllBytes(p));
}
}
return out;
}
private static boolean isDoc(Path p) {
String n = p.getFileName().toString().toLowerCase(Locale.ROOT);
return n.endsWith(".doc") || n.endsWith(".docx");
}
/**
* Синтетический большой docx: body фикстуры ru-plain.docx (между {@code <w:body>}
* и финальным {@code <w:sectPr>}) повторён {@link #BODY_REPEATS} раз, zip пересобран
* DEFLATED в том же порядке записей. Детерминированно: тот же вход — тот же размер.
*/
private static byte[] bigDocx(byte[] base) throws IOException {
Map<String, byte[]> entries = unzip(base);
String xml = new String(entries.get("word/document.xml"), StandardCharsets.UTF_8);
int bodyStart = xml.indexOf("<w:body>");
int sectIdx = xml.lastIndexOf("<w:sectPr");
if (sectIdx <= bodyStart) {
// фикстура без секции (ru-plain.docx генератором) — якорь на закрытие body
sectIdx = xml.lastIndexOf("</w:body>");
}
if (bodyStart < 0 || sectIdx <= bodyStart) {
throw new IllegalStateException("в фикстуре не найден <w:body>...<w:sectPr>");
}
String inner = xml.substring(bodyStart + "<w:body>".length(), sectIdx);
String grown = xml.substring(0, bodyStart + "<w:body>".length())
+ inner.repeat(BODY_REPEATS)
+ xml.substring(sectIdx);
entries.put("word/document.xml", grown.getBytes(StandardCharsets.UTF_8));
return rezip(entries);
}
private static Map<String, byte[]> unzip(byte[] zip) throws IOException {
Map<String, byte[]> entries = new LinkedHashMap<>();
try (ZipInputStream zin = new ZipInputStream(new ByteArrayInputStream(zip))) {
ZipEntry e;
while ((e = zin.getNextEntry()) != null) {
ByteArrayOutputStream part = new ByteArrayOutputStream();
zin.transferTo(part);
entries.put(e.getName(), part.toByteArray());
}
}
return entries;
}
private static byte[] rezip(Map<String, byte[]> entries) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
for (Map.Entry<String, byte[]> e : entries.entrySet()) {
zos.putNextEntry(new ZipEntry(e.getKey()));
zos.write(e.getValue());
zos.closeEntry();
}
}
return out.toByteArray();
}
private static byte[] readResource(String name) throws IOException {
try (InputStream in = MemoryBench.class.getClassLoader().getResourceAsStream(name)) {
if (in == null) {
throw new IllegalStateException("ресурс не найден: " + name);
}
return in.readAllBytes();
}
}
private static void resetPeaks() {
for (MemoryPoolMXBean pool : ManagementFactory.getMemoryPoolMXBeans()) {
if (pool.getType() == MemoryType.HEAP) {
try {
pool.resetPeakUsage();
} catch (UnsupportedOperationException e) {
// пул без поддержки пиков (например «Tenured» в некоторых GC) — пропускаем
continue;
}
}
}
}
private static long sumPeakBytes() {
long sum = 0;
for (MemoryPoolMXBean pool : ManagementFactory.getMemoryPoolMXBeans()) {
if (pool.getType() == MemoryType.HEAP) {
try {
sum += pool.getPeakUsage().getUsed();
} catch (UnsupportedOperationException e) {
continue;
}
}
}
return sum;
}
private static long heapUsedBytes() {
return ManagementFactory.getMemoryMXBean().getHeapMemoryUsage().getUsed();
}
/** Память ОС: высокий water mark RSS процесса; на не-Linux — n/a. */
private static void printProcMem() {
try {
for (String line : Files.readAllLines(Paths.get("/proc/self/status"))) {
if (line.startsWith("VmHWM:") || line.startsWith("VmRSS:")) {
OUT.printf(Locale.ROOT, "# %s%n", line.trim());
}
}
} catch (IOException e) {
OUT.printf(Locale.ROOT, "# VmHWM n/a%n");
}
}
private static int parsePositive(String[] args, int i) {
int value = Integer.parseInt(args[i + 1]);
if (value < MIN_POSITIVE) {
OUT.printf(Locale.ROOT, "# %s должен быть >= %d%n", args[i], MIN_POSITIVE);
System.exit(2);
}
return value;
}
private static String env(String name, String def) {
String value = System.getenv(name);
return value == null || value.isEmpty() ? def : value;
}
}
@@ -35,6 +35,7 @@ import java.math.BigInteger;
import java.nio.file.Path; import java.nio.file.Path;
import java.nio.file.Paths; import java.nio.file.Paths;
import java.util.List; import java.util.List;
import java.util.logging.Logger;
/** /**
* ОДНОРАЗОВАЯ утилита: генерация готовых .docx для тестов (Apache POI). * ОДНОРАЗОВАЯ утилита: генерация готовых .docx для тестов (Apache POI).
@@ -59,6 +60,8 @@ public final class SampleDocxGenerator {
/** Путь основной части документа в zip. */ /** Путь основной части документа в zip. */
private static final String DOCUMENT_PART = "word/document.xml"; private static final String DOCUMENT_PART = "word/document.xml";
private static final Logger LOG = Logger.getLogger(SampleDocxGenerator.class.getName());
private SampleDocxGenerator() { private SampleDocxGenerator() {
} }
@@ -77,7 +80,7 @@ public final class SampleDocxGenerator {
tooManyPages(dir.resolve("too-many-pages.docx")); tooManyPages(dir.resolve("too-many-pages.docx"));
staleCache(dir.resolve("stale-cache.docx")); staleCache(dir.resolve("stale-cache.docx"));
System.out.println("Готово: " + dir.toAbsolutePath()); LOG.info("Готово: " + dir.toAbsolutePath());
} }
/** Русский текст, Calibri, заголовок + полужирный и курсивный run'ы. */ /** Русский текст, Calibri, заголовок + полужирный и курсивный run'ы. */
@@ -498,7 +501,7 @@ public final class SampleDocxGenerator {
try (FileOutputStream fos = new FileOutputStream(out.toFile())) { try (FileOutputStream fos = new FileOutputStream(out.toFile())) {
doc.write(fos); doc.write(fos);
} }
System.out.println(" создан: " + out.getFileName() LOG.info(" создан: " + out.getFileName()
+ " (" + new File(out.toString()).length() + " байт)"); + " (" + new File(out.toString()).length() + " байт)");
} }
} }
@@ -1,5 +1,6 @@
package ru.pjandro.wordpdf; package ru.pjandro.wordpdf;
import org.apache.fop.apps.FopFactory;
import org.apache.pdfbox.Loader; import org.apache.pdfbox.Loader;
import org.apache.pdfbox.cos.COSBase; import org.apache.pdfbox.cos.COSBase;
import org.apache.pdfbox.cos.COSName; import org.apache.pdfbox.cos.COSName;
@@ -16,6 +17,7 @@ import org.apache.pdfbox.text.PDFTextStripper;
import org.apache.poi.poifs.filesystem.POIFSFileSystem; import org.apache.poi.poifs.filesystem.POIFSFileSystem;
import org.docx4j.Docx4jProperties; import org.docx4j.Docx4jProperties;
import org.junit.jupiter.api.Test; import org.junit.jupiter.api.Test;
import ru.pjandro.wordpdf.fonts.BundledFonts;
import java.io.ByteArrayInputStream; import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream; import java.io.ByteArrayOutputStream;
@@ -44,6 +46,11 @@ import static org.junit.jupiter.api.Assertions.*;
*/ */
class WordPdfConverterTest { class WordPdfConverterTest {
/** Эквивалент прежних дефолтов ядра: без error-флагов, лимиты 5 МБ / 100 страниц. */
private static ConvertOptions opts() {
return new ConvertOptions(false, false, false, 5, 100);
}
/** Готовый тестовый документ (коммитится, создан SampleDocxGenerator). */ /** Готовый тестовый документ (коммитится, создан SampleDocxGenerator). */
private static byte[] sampleBytes(String name) throws IOException { private static byte[] sampleBytes(String name) throws IOException {
try (InputStream in = WordPdfConverterTest.class.getClassLoader() try (InputStream in = WordPdfConverterTest.class.getClassLoader()
@@ -96,7 +103,7 @@ class WordPdfConverterTest {
/** Конвертирует байты docx и пишет PDF во временный файл (PDFBox читает по пути). */ /** Конвертирует байты docx и пишет PDF во временный файл (PDFBox читает по пути). */
private static Path convertPdf(byte[] docxBytes, String title) throws IOException { private static Path convertPdf(byte[] docxBytes, String title) throws IOException {
Path out = Files.createTempFile("converted-", ".pdf"); Path out = Files.createTempFile("converted-", ".pdf");
Files.write(out, WordPdfConverter.convert(docxBytes, title)); Files.write(out, WordPdfConverter.convert(docxBytes, title, opts()));
return out; return out;
} }
@@ -270,38 +277,32 @@ class WordPdfConverterTest {
} }
/** /**
* errorOnCharts=true: находка диаграмм — {@link DrawingFoundException} * errorOnCharts=true: находка диаграмм — {@link ChartsFoundException},
* с {@code Kind.CHARTS}, документ отвергается целиком. Error-флаг SmartArt * документ отвергается целиком. Error-флаг SmartArt
* выключен — он конвертируется как обычно, бросок происходит на графике. * выключен — он конвертируется как обычно, бросок происходит на графике.
*/ */
@Test @Test
void drawingErrors_errorFlagRejectsCharts() throws Exception { void drawingErrors_errorFlagRejectsCharts() throws Exception {
ConversionException ex = assertThrows(ConversionException.class, () -> ChartsFoundException ex = assertThrows(ChartsFoundException.class, () ->
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart", convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
new ConvertOptions(true, false, false, new ConvertOptions(true, false, false,
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES))); 5, 100)));
assertTrue(ex instanceof DrawingFoundException dfe
&& dfe.kind() == DrawingFoundException.Kind.CHARTS,
"ожидался DrawingFoundException(CHARTS), получено: " + ex);
assertTrue(ex.getMessage().contains("диаграмм"), assertTrue(ex.getMessage().contains("диаграмм"),
"сообщение должно упоминать диаграммы: " + ex.getMessage()); "сообщение должно упоминать диаграммы: " + ex.getMessage());
} }
/** /**
* Зеркальный случай: errorOnSmartArt=true — {@code Kind.SMARTART}; * Зеркальный случай: errorOnSmartArt=true — {@link SmartArtFoundException};
* диаграммы конвертируются (их error-флаг выключен). * диаграммы конвертируются (их error-флаг выключен).
*/ */
@Test @Test
void drawingErrors_errorFlagRejectsSmartArt() throws Exception { void drawingErrors_errorFlagRejectsSmartArt() throws Exception {
ConversionException ex = assertThrows(ConversionException.class, () -> SmartArtFoundException ex = assertThrows(SmartArtFoundException.class, () ->
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart", convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
new ConvertOptions(false, true, false, new ConvertOptions(false, true, false,
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES))); 5, 100)));
assertTrue(ex instanceof DrawingFoundException dfe
&& dfe.kind() == DrawingFoundException.Kind.SMARTART,
"ожидался DrawingFoundException(SMARTART), получено: " + ex);
assertTrue(ex.getMessage().contains("SmartArt"), assertTrue(ex.getMessage().contains("SmartArt"),
"сообщение должно упоминать SmartArt: " + ex.getMessage()); "сообщение должно упоминать SmartArt: " + ex.getMessage());
} }
@@ -342,7 +343,7 @@ class WordPdfConverterTest {
} }
/** /**
* errorOnOle=true — {@link DrawingFoundException} с {@code Kind.OLE}, * errorOnOle=true — {@link OleFoundException},
* документ отвергается. Фикстура samples/ole-embedded.docx. * документ отвергается. Фикстура samples/ole-embedded.docx.
* *
* <p>Флаг действует только на .docx: в бинарном .doc OLE-объект — * <p>Флаг действует только на .docx: в бинарном .doc OLE-объект —
@@ -351,14 +352,11 @@ class WordPdfConverterTest {
*/ */
@Test @Test
void drawingErrors_errorFlagRejectsOle() throws Exception { void drawingErrors_errorFlagRejectsOle() throws Exception {
ConversionException ex = assertThrows(ConversionException.class, () -> OleFoundException ex = assertThrows(OleFoundException.class, () ->
convertPdf(sampleBytes("ole-embedded.docx"), "ole-embedded", convertPdf(sampleBytes("ole-embedded.docx"), "ole-embedded",
new ConvertOptions(false, false, true, new ConvertOptions(false, false, true,
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES))); 5, 100)));
assertTrue(ex instanceof DrawingFoundException dfe
&& dfe.kind() == DrawingFoundException.Kind.OLE,
"ожидался DrawingFoundException(OLE), получено: " + ex);
assertTrue(ex.getMessage().contains("OLE-объект"), assertTrue(ex.getMessage().contains("OLE-объект"),
"сообщение должно упоминать OLE-объекты: " + ex.getMessage()); "сообщение должно упоминать OLE-объекты: " + ex.getMessage());
} }
@@ -493,6 +491,62 @@ class WordPdfConverterTest {
"Carlito-BoldItalic не встроен (ран с w:b+w:i должен быть): " + fonts); "Carlito-BoldItalic не встроен (ран с w:b+w:i должен быть): " + fonts);
} }
/**
* Общая FopFactory строится из fopconf первого документа JVM, а docx4j
* декларирует в него только использованные начертания (частично или
* simulate-style) — FopFallbackFonts обязан дополнять семейства реальными
* начертаниями при каждом declare. Регрессия —
* FopFallbackFonts.declareFamily/hasRealFace (macOS-падения
* ruPlain_regularRunsUseRegularFont и strictOoxml_convertsNotRejected
* зависели от порядка документов в JVM). Здесь порядок задаётся явно:
* «ядовитый» doc (один regular-ран Carlito) замороживает фабрику с
* частичной декларацией семейства, четырёхначертательный Calibri-doc
* обязан получить все четыре Carlito-*; финальный doc без rFonts —
* кириллицу вшитым бандл-шрифтом, а не base-14 (симптом «СТРО*ИЙ» на
* macOS). Какое семейство выберет док без rFonts — решает docx4j
* (дефолт Aptos → Carlito), поэтому ассерт — «вшитый, не Helvetica»,
* а не конкретное имя. На Linux ни одна ядовитая комбинация (bold-only
* Calibri, regular-only Carlito, italic-only Calibri) этот тест не
* краснит: docx4j 17.3.2 здесь декларирует в fopconf полное семейство;
* на macOS та же последовательность была красной. Авторитетная
* регрессия полноты — FopFallbackFontsTest#declareWhenDocx4jDeclared*,
* здесь — smoke независимости вывода от порядка документов в JVM.
*/
@Test
void fopFactoryFrozenFromFirstDoc_fontsComplete() throws Exception {
resetSharedFopFactory();
String rPoison = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:i/></w:rPr>";
convertPdf(minimalDocx("<w:p><w:r>" + rPoison
+ "<w:t>ЯДОВИТЫЙКУРСИВ</w:t></w:r></w:p>"), "poison");
String rBold = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:b/></w:rPr>";
String rPlain = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/></w:rPr>";
String rItal = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:i/></w:rPr>";
String rBoldItal =
"<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:b/><w:i/></w:rPr>";
Set<String> fonts = embeddedFontNames(convertPdf(minimalDocx("<w:p>"
+ "<w:r>" + rPlain + "<w:t>ОбычныйКАЛ</w:t></w:r>"
+ "<w:r>" + rBold + "<w:t>ЖирныйКАЛ</w:t></w:r>"
+ "<w:r>" + rItal + "<w:t>КурсивКАЛ</w:t></w:r>"
+ "<w:r>" + rBoldItal + "<w:t>ЖирКурсивКАЛ</w:t></w:r></w:p>"),
"four-faces"));
for (String face : List.of("Carlito-Regular", "Carlito-Bold",
"Carlito-Italic", "Carlito-BoldItalic")) {
assertTrue(fonts.stream().anyMatch(n -> n.endsWith("+" + face)),
face + " не встроен (фабрика заморожена неполным конфигом): " + fonts);
}
Path strict = convertPdf(minimalDocx(
"<w:p><w:r><w:t>СТРОГИЙМАРКЕР таблица</w:t></w:r></w:p>"), "strict-like");
String t = norm(pdfText(strict));
assertTrue(t.contains("СТРОГИЙМАРКЕР таблица"), "артефакты в тексте: " + t);
String cyrFont = fontNameOf(strict, 'Г');
assertFalse(cyrFont.startsWith("Helvetica"),
"кириллица упала на base-14 (неполный конфиг фабрики): " + cyrFont);
assertTrue(embeddedFontNames(strict).contains(cyrFont),
"кириллица нарисована не вшитым шрифтом: " + cyrFont);
}
/** /**
* Regression: символы U+2000–U+2EFF (em-dash «—») docx4j * Regression: символы U+2000–U+2EFF (em-dash «—») docx4j
* {@code RunFontSelector} мапит на "Segoe UI Symbol", которого нет ни в * {@code RunFontSelector} мапит на "Segoe UI Symbol", которого нет ни в
@@ -627,7 +681,7 @@ class WordPdfConverterTest {
@Test @Test
void invalidInputRejected() { void invalidInputRejected() {
assertThrows(ValidationException.class, () -> assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(null, "x")); WordPdfConverter.convert(null, "x", opts()));
} }
/** /**
@@ -635,9 +689,9 @@ class WordPdfConverterTest {
*/ */
@Test @Test
void inputTooLarge() { void inputTooLarge() {
byte[] tooBig = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1]; byte[] tooBig = new byte[5 * 1024 * 1024 + 1];
ValidationException ex = assertThrows(ValidationException.class, () -> ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(tooBig, "too-big")); WordPdfConverter.convert(tooBig, "too-big", opts()));
assertTrue(ex.getMessage().contains("5 МБ"), assertTrue(ex.getMessage().contains("5 МБ"),
"сообщение должно упоминать лимит: " + ex.getMessage()); "сообщение должно упоминать лимит: " + ex.getMessage());
} }
@@ -652,7 +706,7 @@ class WordPdfConverterTest {
void inputNotAZip_rejectedBeforeRender() { void inputNotAZip_rejectedBeforeRender() {
byte[] junk = {1, 2, 3, 4, 5, 6, 7, 8}; byte[] junk = {1, 2, 3, 4, 5, 6, 7, 8};
ValidationException ex = assertThrows(ValidationException.class, () -> ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(junk, "junk")); WordPdfConverter.convert(junk, "junk", opts()));
assertTrue(ex.getMessage().contains("не похоже на .docx или .doc"), assertTrue(ex.getMessage().contains("не похоже на .docx или .doc"),
"сообщение должно перечислять форматы: " + ex.getMessage()); "сообщение должно перечислять форматы: " + ex.getMessage());
} }
@@ -671,7 +725,7 @@ class WordPdfConverterTest {
zos.closeEntry(); zos.closeEntry();
} }
ValidationException ex = assertThrows(ValidationException.class, () -> ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(out.toByteArray(), "x")); WordPdfConverter.convert(out.toByteArray(), "x", opts()));
assertTrue(ex.getMessage().contains("не является .docx"), assertTrue(ex.getMessage().contains("не является .docx"),
"сообщение должно указывать на не-.docx-контейнер: " + ex.getMessage()); "сообщение должно указывать на не-.docx-контейнер: " + ex.getMessage());
} }
@@ -686,7 +740,7 @@ class WordPdfConverterTest {
byte[] big = new byte[1024 * 1024 + 1]; byte[] big = new byte[1024 * 1024 + 1];
ValidationException ex = assertThrows(ValidationException.class, () -> ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(big, "x", WordPdfConverter.convert(big, "x",
new ConvertOptions(false, false, false, 1, WordPdfSettings.MAX_PAGES))); new ConvertOptions(false, false, false, 1, 100)));
assertTrue(ex.getMessage().contains("1 МБ"), assertTrue(ex.getMessage().contains("1 МБ"),
"сообщение должно упоминать переданный лимит: " + ex.getMessage()); "сообщение должно упоминать переданный лимит: " + ex.getMessage());
assertTrue(ex.getMessage().contains("1048576 байт"), assertTrue(ex.getMessage().contains("1048576 байт"),
@@ -709,7 +763,7 @@ class WordPdfConverterTest {
ValidationException ex = assertThrows(ValidationException.class, () -> ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert( WordPdfConverter.convert(
sampleBytes(fixture), baseName(fixture), sampleBytes(fixture), baseName(fixture),
new ConvertOptions(false, false, false, WordPdfSettings.MAX_INPUT_MB, 100))); new ConvertOptions(false, false, false, 5, 100)));
assertTrue(ex.getMessage().contains("100"), assertTrue(ex.getMessage().contains("100"),
fixture + ": сообщение должно упоминать лимит: " + ex.getMessage()); fixture + ": сообщение должно упоминать лимит: " + ex.getMessage());
} }
@@ -725,7 +779,7 @@ class WordPdfConverterTest {
void staleCachePageCountRejectedBeforeRender() { void staleCachePageCountRejectedBeforeRender() {
ValidationException ex = assertThrows(ValidationException.class, () -> ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(sampleBytes("stale-cache.docx"), "stale-cache", WordPdfConverter.convert(sampleBytes("stale-cache.docx"), "stale-cache",
new ConvertOptions(false, false, false, WordPdfSettings.MAX_INPUT_MB, 100))); new ConvertOptions(false, false, false, 5, 100)));
assertTrue(ex.getMessage().contains("100"), assertTrue(ex.getMessage().contains("100"),
"сообщение должно упоминать лимит: " + ex.getMessage()); "сообщение должно упоминать лимит: " + ex.getMessage());
} }
@@ -741,7 +795,7 @@ class WordPdfConverterTest {
@Test @Test
void staleCache_docConvertsByCacheOnly() throws Exception { void staleCache_docConvertsByCacheOnly() throws Exception {
Path pdf = convertPdf(sampleBytes("stale-cache.doc"), "stale-cache", Path pdf = convertPdf(sampleBytes("stale-cache.doc"), "stale-cache",
new ConvertOptions(false, false, false, WordPdfSettings.MAX_INPUT_MB, 100)); new ConvertOptions(false, false, false, 5, 100));
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) { try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
assertTrue(doc.getNumberOfPages() >= 1, "PDF не отрендерился"); assertTrue(doc.getNumberOfPages() >= 1, "PDF не отрендерился");
} }
@@ -1025,7 +1079,7 @@ class WordPdfConverterTest {
/** /**
* w:suff="space": Word пишет после номера обычный пробел (Part 1 * w:suff="space": Word пишет после номера обычный пробел (Part 1
* §17.3.1.28), docx4j разделитель не эмитит вовсе (дамп n4.fo). * §17.9.28), docx4j разделитель не эмитит вовсе (дамп n4.fo).
* NumberingSuffixNormalizer дописывает пробел в lvlText; FOP отдаёт * NumberingSuffixNormalizer дописывает пробел в lvlText; FOP отдаёт
* лейбл отдельными TextPosition («1», «.», « »), поэтому проверка — по * лейбл отдельными TextPosition («1», «.», « »), поэтому проверка — по
* склеенной последовательности TP (без нормализатора было бы «1.ITEM»: * склеенной последовательности TP (без нормализатора было бы «1.ITEM»:
@@ -1361,19 +1415,16 @@ class WordPdfConverterTest {
/** /**
* Error-флаг обязан сработать и для drawing без wp:extent: детект payload * Error-флаг обязан сработать и для drawing без wp:extent: детект payload
* идёт до extent-guard'а (иначе обход — DrawingFoundException(CHARTS)). * идёт до extent-guard'а (иначе обход — ChartsFoundException).
* Регрессия — DrawingPreRenderer#replaceDrawing. * Регрессия — DrawingPreRenderer#replaceDrawing.
*/ */
@Test @Test
void chartWithoutExtent_errorFlagRejects() throws Exception { void chartWithoutExtent_errorFlagRejects() throws Exception {
byte[] docx = chartDocx(0, 0, PLAIN_VALAX); byte[] docx = chartDocx(0, 0, PLAIN_VALAX);
ConversionException ex = assertThrows(ConversionException.class, () -> assertThrows(ChartsFoundException.class, () ->
convertPdf(docx, "no-extent", convertPdf(docx, "no-extent",
new ConvertOptions(true, false, false, new ConvertOptions(true, false, false,
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES))); 5, 100)));
assertTrue(ex instanceof DrawingFoundException dfe
&& dfe.kind() == DrawingFoundException.Kind.CHARTS,
"ожидался DrawingFoundException(CHARTS), получено: " + ex);
} }
/** /**
@@ -1410,7 +1461,7 @@ class WordPdfConverterTest {
"второй страницы нет"); "второй страницы нет");
assertThrows(ValidationException.class, () -> convertPdf(sampleBytes("doc-formats.doc"), assertThrows(ValidationException.class, () -> convertPdf(sampleBytes("doc-formats.doc"),
"doc-formats", new ConvertOptions(false, false, false, "doc-formats", new ConvertOptions(false, false, false,
WordPdfSettings.MAX_INPUT_MB, 1)), 5, 1)),
"лимит 1 страница не удержал двухстраничный .doc"); "лимит 1 страница не удержал двухстраничный .doc");
} }
@@ -1552,7 +1603,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC); put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1); put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9); put16(wd, 10, 1 << 9);
put16(wd, 62, 4); put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length); put32(wd, 64, wd.length);
put32(wd, 76, 14); // ccpText put32(wd, 76, 14); // ccpText
put32(wd, 80, 0); // ccpFtn put32(wd, 80, 0); // ccpFtn
@@ -1606,7 +1658,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC); put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1); put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9); put16(wd, 10, 1 << 9);
put16(wd, 62, 4); put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length); put32(wd, 64, wd.length);
put32(wd, 76, 2); // ccpText put32(wd, 76, 2); // ccpText
put32(wd, 80, 0); // ccpFtn put32(wd, 80, 0); // ccpFtn
@@ -1703,7 +1756,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC); put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1); put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9); put16(wd, 10, 1 << 9);
put16(wd, 62, 4); put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length); put32(wd, 64, wd.length);
put32(wd, 76, text.length()); put32(wd, 76, text.length());
put16(wd, 152, 98); put16(wd, 152, 98);
@@ -1806,7 +1860,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC); put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1); put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9); put16(wd, 10, 1 << 9);
put16(wd, 62, 4); put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length); put32(wd, 64, wd.length);
put32(wd, 76, text.length()); put32(wd, 76, text.length());
put16(wd, 152, 98); put16(wd, 152, 98);
@@ -1858,7 +1913,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC); put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1); put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9); put16(wd, 10, 1 << 9);
put16(wd, 62, 4); put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length); put32(wd, 64, wd.length);
put32(wd, 76, text.length()); put32(wd, 76, text.length());
put16(wd, 152, 98); put16(wd, 152, 98);
@@ -1930,7 +1986,7 @@ class WordPdfConverterTest {
System.arraycopy(grpprl, 0, wd, at + 3, grpprl.length); System.arraycopy(grpprl, 0, wd, at + 3, grpprl.length);
} }
/** SttbfFfn (§2.9.147): одно семейство на ftc0=0. */ /** SttbfFfn (§2.9.286): одно семейство на ftc0=0. */
private static byte[] sttbfFfn(String family) { private static byte[] sttbfFfn(String family) {
byte[] fam = (family + "\0").getBytes(StandardCharsets.UTF_16LE); byte[] fam = (family + "\0").getBytes(StandardCharsets.UTF_16LE);
byte[] t = new byte[4 + 1 + 39 + fam.length]; byte[] t = new byte[4 + 1 + 39 + fam.length];
@@ -2114,7 +2170,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC); put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1); put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9); put16(wd, 10, 1 << 9);
put16(wd, 62, 4); put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length); put32(wd, 64, wd.length);
put32(wd, 76, text.length()); put32(wd, 76, text.length());
put16(wd, 152, 98); put16(wd, 152, 98);
@@ -2184,7 +2241,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC); put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1); put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9); put16(wd, 10, 1 << 9);
put16(wd, 62, 4); put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length); put32(wd, 64, wd.length);
put32(wd, 76, 2); // ccpText put32(wd, 76, 2); // ccpText
put32(wd, 80, 0); // ccpFtn put32(wd, 80, 0); // ccpFtn
@@ -2315,7 +2373,7 @@ class WordPdfConverterTest {
/** Черный (ink) / желтый пиксели первой страницы при 150 dpi (замеры аудита). */ /** Черный (ink) / желтый пиксели первой страницы при 150 dpi (замеры аудита). */
private static int countPixels(byte[] docx, boolean yellow) throws IOException { private static int countPixels(byte[] docx, boolean yellow) throws IOException {
byte[] pdf = WordPdfConverter.convert(docx, "тест"); byte[] pdf = WordPdfConverter.convert(docx, "тест", opts());
try (PDDocument d = Loader.loadPDF(pdf)) { try (PDDocument d = Loader.loadPDF(pdf)) {
java.awt.image.BufferedImage img = new PDFRenderer(d).renderImageWithDPI(0, 150); java.awt.image.BufferedImage img = new PDFRenderer(d).renderImageWithDPI(0, 150);
int n = 0; int n = 0;
@@ -2340,7 +2398,7 @@ class WordPdfConverterTest {
* Скрытый текст не выводится: правило 9 (HiddenTextNormalizer) вырезает * Скрытый текст не выводится: правило 9 (HiddenTextNormalizer) вырезает
* раны с прямым truthy vanish и с rStyle на vanish-стиль; falsy vanish * раны с прямым truthy vanish и с rStyle на vanish-стиль; falsy vanish
* остаётся. Word при печати/PDF-export скрытое не печатает. * остаётся. Word при печати/PDF-export скрытое не печатает.
* Регрессия — аудит ECMA-376 2026-11 (Part 1 §17.3.2.30). * Регрессия — аудит ECMA-376 2026-11 (Part 1 §17.3.2.41).
*/ */
@Test @Test
void hiddenText_notPrinted() throws IOException { void hiddenText_notPrinted() throws IOException {
@@ -2361,17 +2419,40 @@ class WordPdfConverterTest {
assertTrue(t.contains("НЕТАЙНОЕ"), t); assertTrue(t.contains("НЕТАЙНОЕ"), t);
} }
/**
* Явный {@code w:vanish w:val="false"} перекрывает стилевой vanish
* (§17.7.3, §22.9.2.7): ран с перекрытием печатается, ран без — нет.
*/
@Test
void hiddenText_directVanishFalseOverridesStyle() throws IOException {
String body = "<w:p>"
+ "<w:r><w:rPr><w:rStyle w:val=\"Hidden\"/></w:rPr><w:t>СКРЫТОСТИЛЬМ</w:t></w:r>"
+ "<w:r><w:rPr><w:rStyle w:val=\"Hidden\"/><w:vanish w:val=\"false\"/></w:rPr>"
+ "<w:t>ПЕРЕКРЫТОМ</w:t></w:r></w:p>";
String styles = XML_PROLOG + "<w:styles xmlns:w=\"" + W_NS + "\">"
+ "<w:style w:type=\"character\" w:styleId=\"Hidden\"><w:name w:val=\"Hidden\"/>"
+ "<w:rPr><w:vanish/></w:rPr></w:style></w:styles>";
byte[] doc = docx("xmlns:w=\"" + W_NS + "\"", body, A4_SECT,
rels("<Relationship Id=\"rId2\" Type=\"" + REL_NS + "styles\" Target=\"styles.xml\"/>"),
"<Override PartName=\"/word/styles.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.styles+xml\"/>",
Map.of("word/styles.xml", styles));
String t = norm(pdfText(convertPdf(doc, "тест")));
assertFalse(t.contains("СКРЫТОСТИЛЬМ"), t);
assertTrue(t.contains("ПЕРЕКРЫТОМ"), t);
}
/** /**
* База руби печатается (правило 10, RubyNormalizer): схема docx4j не * База руби печатается (правило 10, RubyNormalizer): схема docx4j не
* биндит {@code w:rubyBase}/{@code w:rt} — unmarshaller терял их до * биндит {@code w:rubyBase}/{@code w:rt} — unmarshaller терял их до
* XSLT. Надстрочница удаляется (принятая деградация, §17.3.3.19/.20 — * XSLT. Надстрочница удаляется (принятая деградация, §17.3.3.24/.27 —
* ruby-разметки в FOP нет) и пинится негативом. * ruby-разметки в FOP нет) и пинится негативом.
*/ */
@Test @Test
void rubyBase_textPrinted() throws IOException { void rubyBase_textPrinted() throws IOException {
String body = "<w:p><w:r><w:t>ДО</w:t></w:r>" String body = "<w:p><w:r><w:t>ДО</w:t></w:r>"
+ "<w:r><w:rubyPr/><w:rubyBase><w:r><w:t>РУБИБАЗА</w:t></w:r></w:rubyBase>" + "<w:r><w:ruby><w:rubyPr/>"
+ "<w:rt><w:r><w:t>РУБИБАШКА</w:t></w:r></w:rt></w:r>" + "<w:rubyBase><w:r><w:t>РУБИБАЗА</w:t></w:r></w:rubyBase>"
+ "<w:rt><w:r><w:t>РУБИБАШКА</w:t></w:r></w:rt></w:ruby></w:r>"
+ "<w:r><w:t>ПОСЛЕ</w:t></w:r></w:p>"; + "<w:r><w:t>ПОСЛЕ</w:t></w:r></w:p>";
String t = norm(pdfText(convertPdf(minimalDocx(body), "тест"))); String t = norm(pdfText(convertPdf(minimalDocx(body), "тест")));
assertTrue(t.contains("РУБИБАЗА"), t); assertTrue(t.contains("РУБИБАЗА"), t);
@@ -2380,7 +2461,7 @@ class WordPdfConverterTest {
} }
/** /**
* {@code w:bdo}/{@code w:dir} (§17.3.2.4/.7): текст печатается * {@code w:bdo}/{@code w:dir} (§17.3.2.3/§17.3.2.8): текст печатается
* (AUDIT-FIX-2 в вендорном XSLT, до патча ловил catch-all); * (AUDIT-FIX-2 в вендорном XSLT, до патча ловил catch-all);
* bidi-направление — принятая деградация. * bidi-направление — принятая деградация.
*/ */
@@ -2395,7 +2476,8 @@ class WordPdfConverterTest {
/** /**
* Текст перемещённых правок ({@code w:moveFrom}/{@code w:moveTo}, * Текст перемещённых правок ({@code w:moveFrom}/{@code w:moveTo},
* §17.13.5.15/.17) печатается (AUDIT-FIX-2): до патча терялся целиком. * §17.13.5.21–.22/§17.13.5.25–.26) печатается (AUDIT-FIX-2): до патча
* терялся целиком.
*/ */
@Test @Test
void movedRevision_textPrinted() throws IOException { void movedRevision_textPrinted() throws IOException {
@@ -2600,20 +2682,147 @@ class WordPdfConverterTest {
} }
/** /**
* OMML-формула (§22.1) рисуется вектором (jeuclid-fop): чернила страницы * Формула внутри текстового бокса ({@code w:txbxContent}): обход
* с дробью a/b заметно плотнее чернил того же текста без формулы * {@code DrawingPreRenderer} в drawing-нагрузку не спускается, формула
* (замер аудита: +150 px при 150 dpi; текст формулы из PDF не извлекается). * доходит до FO, а там docx4j без JEuclid штатно фолбэкает
* {@code XsltFOFunctions.mathText} — конвертация обязана пройти, текст
* бокса напечатан, падения FOP (нет MathML-рендера) нет. Регрессия —
* удаление jeuclid без sweep'а, 2026-11.
*/ */
@Test @Test
void ommlMath_drawnAsVectors() throws IOException { void drawingTextBoxMath_convertsViaDocx4jTextFallback() throws IOException {
String marker = "<w:p><w:r><w:t>МАТЕМАРКЕР</w:t></w:r></w:p>"; String body = "<w:p><w:r><w:drawing><wp:inline distT=\"0\" distB=\"0\" distL=\"0\" distR=\"0\">"
String math = marker + "<w:p><m:oMath" + "<wp:extent cx=\"1000000\" cy=\"600000\"/><wp:docPr id=\"1\" name=\"b1\"/>"
+ " xmlns:m=\"http://schemas.openxmlformats.org/officeDocument/2006/math\">" + "<a:graphic xmlns:a=\"http://schemas.openxmlformats.org/drawingml/2006/main\">"
+ "<a:graphicData uri=\"http://schemas.openxmlformats.org/drawingml/2006/wordprocessingShape\">"
+ "<wps:wsp xmlns:wps=\"http://schemas.microsoft.com/office/word/2010/wordprocessingShape\">"
+ "<wps:spPr><a:xfrm><a:off x=\"0\" y=\"0\"/>"
+ "<a:ext cx=\"1000000\" cy=\"600000\"/></a:xfrm>"
+ "<a:prstGeom prst=\"rect\"><a:avLst/></a:prstGeom></wps:spPr>"
+ "<wps:txbx><w:txbxContent><w:p><w:r><w:t>БОКС</w:t></w:r>"
+ "<m:oMath xmlns:m=\"http://schemas.openxmlformats.org/officeDocument/2006/math\">"
+ "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>" + "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:oMath></w:p>"; + "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:oMath></w:p>"
int plainPx = countPixels(minimalDocx(marker), false); + "</w:txbxContent></wps:txbx></wps:wsp></a:graphicData></a:graphic></wp:inline>"
int mathPx = countPixels(minimalDocx(math), false); + "</w:drawing></w:r></w:p>";
assertTrue(mathPx - plainPx >= 100, "math=" + mathPx + " plain=" + plainPx); byte[] doc = docx("xmlns:w=\"" + W_NS + "\""
+ " xmlns:wp=\"http://schemas.openxmlformats.org/drawingml/2006/wordprocessingDrawing\"",
body, A4_SECT, null, null, null);
String t = norm(pdfText(convertPdf(doc, "тест")));
assertTrue(t.contains("БОКС"), t);
assertTrue(t.contains("ab"),
"docx4j-фолбэк обязан напечатать конкатенацию m:t формулы: " + t);
}
/**
* OMML-формула (§22.1) рисуется собственным растером (MathModel →
* MathRenderer в DrawingPreRenderer) и заменяется картинкой: inline
* {@code m:oMath} — на месте в абзаце, блок {@code m:oMathPara} —
* центрированным абзацем. Чернила формул — растровые XObject, символа
* формул в текстовом слое нет; поведение не зависит от fontconfig
* (jeuclid/AWT-шрифты в конвейере не участвуют). Регрессия —
* замена jeuclid-ветки на собственный рендер, 2026-11.
*/
@Test
void ommlMath_drawnAsRaster() throws IOException {
String mathNs = " xmlns:m=\"http://schemas.openxmlformats.org"
+ "/officeDocument/2006/math\"";
String frac = "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f>";
String body = "<w:p><w:r><w:t>МАТЕМАРКЕР</w:t></w:r>"
+ "<m:oMath" + mathNs + ">" + frac + "</m:oMath></w:p>"
+ "<m:oMathPara" + mathNs + "><m:oMath>" + frac
+ "</m:oMath></m:oMathPara>";
Path pdf = convertPdf(minimalDocx(body), "тест");
assertEquals(2, distinctImageCount(pdf),
"обе формулы (inline и display) обязаны стать растрами");
String t = norm(pdfText(pdf));
assertTrue(t.contains("МАТЕМАРКЕР"), t);
assertFalse(t.contains("a b") || t.contains("ab"),
"формула протекла в текстовый слой: " + t);
}
/**
* Inline-формула стоит на базовой линии строки, как в Word: FOP
* роняет нижний край инлайн-картинки на базовую линию, поэтому
* {@code DrawingPreRenderer} опускает ран с картинкой через
* {@code w:rPr/w:position} на её нижний запас (descent+PAD). Замер —
* попиксельно (144 dpi): чернила знаменателя без спуска (цифры)
* обязаны кончаться на строке базовой линии текста (±2 px). Без
* компенсации формула висела на ~3 pt выше базы. Регрессия —
* собственный рендер OMML, 2026-11.
*/
@Test
void ommlMathInline_sitsOnTextBaseline() throws IOException {
String body = "<w:p><w:r><w:t>ZZZ</w:t></w:r>"
+ "<m:oMath xmlns:m=\"http://schemas.openxmlformats.org"
+ "/officeDocument/2006/math\">"
+ "<m:f><m:num><m:r><m:t>7</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>1</m:t></m:r></m:den></m:f></m:oMath>"
+ "<w:r><w:t>YYY</w:t></w:r></w:p>";
Path pdf = convertPdf(minimalDocx(body), "тест");
final double[] baseY = {Double.NaN};
final double[] zEnd = {0};
final double[] yStart = {99999};
PDFTextStripper stripper = new PDFTextStripper() {
@Override
protected void writeString(String s,
List<org.apache.pdfbox.text.TextPosition> positions) {
for (org.apache.pdfbox.text.TextPosition tp : positions) {
if ("Z".equals(tp.getUnicode())) {
baseY[0] = tp.getYDirAdj();
zEnd[0] = Math.max(zEnd[0], tp.getXDirAdj() + tp.getWidth());
} else if ("Y".equals(tp.getUnicode())) {
yStart[0] = Math.min(yStart[0], tp.getXDirAdj());
}
}
}
};
float scale = 2f;
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
stripper.setStartPage(1);
stripper.setEndPage(1);
stripper.getText(doc);
java.awt.image.BufferedImage raster =
new PDFRenderer(doc).renderImage(0, scale);
int x0 = (int) (zEnd[0] * scale) + 2;
int x1 = (int) (yStart[0] * scale) - 2;
int baselineRow = (int) Math.round(baseY[0] * scale);
int inkBottom = -1;
final int inkMask = 0xFFFFFF;
final int inkMax = 0x808080;
for (int y = 0; y < raster.getHeight(); y++) {
for (int x = x0; x < x1; x++) {
if ((raster.getRGB(x, y) & inkMask) < inkMax) {
inkBottom = y;
break;
}
}
}
assertTrue(inkBottom > 0, "чернил формулы между ZZZ и YYY нет");
assertTrue(Math.abs(inkBottom - baselineRow) <= 2,
"низ чернил формулы row=" + inkBottom
+ " против базовой строки row=" + baselineRow);
}
}
/**
* Неизвестная math-конструкция (вне {@code MathModel.SUPPORTED}):
* MathFallbackNormalizer (правило 6) срезает блок в конкатенацию
* {@code m:t} ещё до загрузки docx4j — текст выводится (кириллица —
* бандлом, GlyphCoverage видит уже расплющенный ран), растра нет.
*/
@Test
void ommlUnsupported_degradesToText() throws IOException {
String body = "<w:p><m:oMath"
+ " xmlns:m=\"http://schemas.openxmlformats.org/officeDocument/2006/math\">"
+ "<m:fooBar><m:r><m:t>ФОРМУЛАДЕГРАД</m:t></m:r></m:fooBar>"
+ "</m:oMath></w:p>";
Path pdf = convertPdf(minimalDocx(body), "тест");
String t = norm(pdfText(pdf));
assertTrue(t.contains("ФОРМУЛАДЕГРАД"), t);
assertEquals(0, distinctImageCount(pdf),
"unsupported-формула не обязана давать растр");
} }
/** /**
@@ -2705,7 +2914,8 @@ class WordPdfConverterTest {
put16(wd, 0, 0xA5EC); put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1); put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9); put16(wd, 10, 1 << 9);
put16(wd, 62, 4); put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
put32(wd, 64, wd.length); put32(wd, 64, wd.length);
put32(wd, 76, 14); // ccpText put32(wd, 76, 14); // ccpText
put32(wd, 80, 0); // ccpFtn put32(wd, 80, 0); // ccpFtn
@@ -2746,4 +2956,188 @@ class WordPdfConverterTest {
} }
} }
/**
* Повторная конвертация обязана переиспользовать ту же FopFactory: разбор
* шрифтов форка дорог (GPOS-таблицы, ~140k объектов) и на общей фабрике
* выполняется один раз на JVM.
*/
@Test
void fopFactorySharedAcrossConversions() throws Exception {
WordPdfConverter.convert(sampleBytes("ru-plain.docx"), "ru-plain", opts());
FopFactory first = sharedFopFactoryRef();
WordPdfConverter.convert(sampleBytes("en-plain.docx"), "en-plain", opts());
assertSame(first, sharedFopFactoryRef(),
"повторная конвертация обязана переиспользовать ту же FopFactory");
}
/**
* После конвертации фабричные image-кеши FOP обязаны быть пусты: ключи
* записей ({@code file:/tmp/<uuid>…}) уникальны на каждую конвертацию,
* попаданий не бывает никогда, а непустой кеш — утечка декодированного
* растра до конца жизни JVM (замер 2026-11: ~1,5 ГБ живых byte[] после
* 30 конвертаций). Регрессия — этот тест, фикстура samples/chart-types.docx.
*/
@Test
void sharedImageCaches_clearedAfterConversion() throws Exception {
WordPdfConverter.convert(sampleBytes("chart-types.docx"), "chart-types", opts());
FopFactory factory = sharedFopFactoryRef();
Object imageCache = factory.getImageManager().getCache();
assertEquals(0, softMapSize(imageCache, "imageInfos"),
"ImageCache.imageInfos обязан быть пуст после конвертации");
assertEquals(0, softMapSize(imageCache, "images"),
"ImageCache.images обязан быть пуст после конвертации");
assertEquals(0, softMapSize(factory.getImageObjectCache(), "cache"),
"ImageObjectCacheImpl обязан быть пуст после конвертации");
}
/** Зеркало private-поля {@code WordPdfConverter.sharedFopFactory} (шов для теста). */
private static FopFactory sharedFopFactoryRef() throws Exception {
java.lang.reflect.Field f = WordPdfConverter.class.getDeclaredField("sharedFopFactory");
f.setAccessible(true);
return (FopFactory) f.get(null);
}
/** Обнуление общей FopFactory: следующий документ строит её заново (шов теста). */
private static void resetSharedFopFactory() throws Exception {
java.lang.reflect.Field f = WordPdfConverter.class.getDeclaredField("sharedFopFactory");
f.setAccessible(true);
f.set(null, null);
}
/** Размер внутренней {@code map} SoftMapCache (package-private поле). */
private static int softMapSize(Object cacheHolder, String field) throws Exception {
java.lang.reflect.Field f = cacheHolder.getClass().getDeclaredField(field);
f.setAccessible(true);
Object softCache = f.get(cacheHolder);
java.lang.reflect.Field m = softCache.getClass().getDeclaredField("map");
m.setAccessible(true);
return ((Map<?, ?>) m.get(softCache)).size();
}
/**
* Две конвертации из разных потоков обязаны обе отработать корректно:
* ядро сериализует их монитором класса (PhysicalFonts, общая FopFactory,
* сброс image-кешей в finally). Регрессия — этот тест,
* фикстуры samples/ru-plain.docx и samples/chart-types.docx.
*/
@Test
void concurrentConversions_twoThreadsBothSucceed() throws Exception {
byte[] plain = sampleBytes("ru-plain.docx");
byte[] chart = sampleBytes("chart-types.docx");
byte[][] out = new byte[2][];
Runnable[] jobs = {
() -> out[0] = WordPdfConverter.convert(plain, "ru-plain", opts()),
() -> out[1] = WordPdfConverter.convert(chart, "chart-types", opts()),
};
Thread[] ts = new Thread[2];
for (int i = 0; i < 2; i++) {
ts[i] = new Thread(jobs[i]);
ts[i].start();
}
for (Thread t : ts) {
t.join();
}
assertTrue(out[0] != null && "%PDF".equals(new String(out[0], 0, 4, StandardCharsets.US_ASCII)),
"поток 1 не вернул PDF");
assertTrue(out[1] != null && "%PDF".equals(new String(out[1], 0, 4, StandardCharsets.US_ASCII)),
"поток 2 не вернул PDF");
assertTrue(norm(pdfTextBytes(out[0])).contains("Привет, мир!"), "поток 1: текст потерян");
assertTrue(norm(pdfTextBytes(out[1])).contains("Типы диаграмм"), "поток 2: текст потерян");
}
/**
* Внешние мутаторы шрифтового реестра ({@code BundledFonts.init()},
* {@code restrictToBundled()}) рядом с идущими конвертациями не должны
* влиять на их вывод: все синхронизированные операции BundledFonts и
* сериализация конвертаций держат один монитор ({@code WordPdfConverter.class}),
* поэтому чистка реестра не может вырезать шрифт из-под идущего рендера.
* Регрессия — этот тест, фикстуры samples/ru-plain.docx и samples/chart-types.docx.
*/
@Test
void concurrentFontMutators_conversionsUnharmed() throws Exception {
byte[] plain = sampleBytes("ru-plain.docx");
byte[] chart = sampleBytes("chart-types.docx");
byte[][] out = new byte[2][];
Runnable[] jobs = {
() -> out[0] = WordPdfConverter.convert(plain, "ru-plain", opts()),
() -> out[1] = WordPdfConverter.convert(chart, "chart-types", opts()),
};
Thread[] ts = new Thread[3];
ts[0] = new Thread(jobs[0]);
ts[1] = new Thread(jobs[1]);
ts[2] = new Thread(() -> {
for (int i = 0; i < 50; i++) {
BundledFonts.init();
BundledFonts.restrictToBundled();
}
});
for (Thread t : ts) {
t.start();
}
for (Thread t : ts) {
t.join();
}
assertTrue(out[0] != null && "%PDF".equals(new String(out[0], 0, 4, StandardCharsets.US_ASCII)),
"поток 1 не вернул PDF");
assertTrue(out[1] != null && "%PDF".equals(new String(out[1], 0, 4, StandardCharsets.US_ASCII)),
"поток 2 не вернул PDF");
String t0 = norm(pdfTextBytes(out[0]));
String t1 = norm(pdfTextBytes(out[1]));
assertTrue(t0.contains("Привет, мир!"), "поток 1: текст потерян");
assertTrue(t1.contains("Типы диаграмм"), "поток 2: текст потерян");
}
/**
* XXE-pin: {@code word/document.xml} с DOCTYPE и внешней сущностью
* ({@code file://}) обязан быть отвергнут до разбора — StAX валидатора
* работает с {@code SUPPORT_DTD=false}, JAXB docx4j — с
* {@code disallow-doctype-decl}. Цель сущности не читается, секрет не
* попадает ни в PDF, ни в сообщение ошибки.
*/
@Test
void xxeExternalEntity_rejectedNotRead() throws Exception {
Path secret = Files.createTempFile("wordpdf-xxe-", ".txt");
Files.writeString(secret, "XXE-SECRET-42");
try {
String w = "http://schemas.openxmlformats.org/wordprocessingml/2006/main";
String doc = "<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<!DOCTYPE w:document [ <!ENTITY xxe SYSTEM \"file://"
+ secret.toAbsolutePath() + "\"> ]>"
+ "<w:document xmlns:w=\"" + w + "\"><w:body>"
+ "<w:p><w:r><w:t>&xxe;</w:t></w:r></w:p>"
+ "<w:sectPr><w:pgSz w:w=\"11906\" w:h=\"16838\"/></w:sectPr>"
+ "</w:body></w:document>";
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
putZip(zos, "[Content_Types].xml",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
+ "<Override PartName=\"/word/document.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml\"/>"
+ "</Types>");
putZip(zos, "_rels/.rels",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
+ "<Relationship Id=\"rId1\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/officeDocument\" Target=\"word/document.xml\"/>"
+ "</Relationships>");
putZip(zos, "word/document.xml", doc);
}
ConversionException e = assertThrows(ConversionException.class,
() -> WordPdfConverter.convert(out.toByteArray(), "xxe", opts()));
assertFalse(e.getMessage() != null && e.getMessage().contains("XXE-SECRET-42"),
"содержимое внешнего файла не должно попадать в сообщение ошибки");
} finally {
Files.deleteIfExists(secret);
}
}
/** Текст PDF из байтов (PDFBox) — для результатов прямого convert(). */
private static String pdfTextBytes(byte[] pdf) throws IOException {
try (PDDocument doc = Loader.loadPDF(pdf)) {
return new PDFTextStripper().getText(doc);
}
}
} }
@@ -22,6 +22,8 @@ class WordPdfValidatorTest {
/** Лимит страниц в тесте точной границы (99 разрывов проходят, 100 — нет). */ /** Лимит страниц в тесте точной границы (99 разрывов проходят, 100 — нет). */
private static final int PAGE_LIMIT = 100; private static final int PAGE_LIMIT = 100;
/** Эквивалент прежних дефолтов ядра: лимиты входа 5 МБ / 100 страниц. */
private static final ConvertOptions DEF_OPTS = new ConvertOptions(false, false, false, 5, 100);
/** Путь основной части документа в zip. */ /** Путь основной части документа в zip. */
private static final String DOCUMENT_PART = "word/document.xml"; private static final String DOCUMENT_PART = "word/document.xml";
@@ -41,14 +43,14 @@ class WordPdfValidatorTest {
@Test @Test
void checkInput_bytesWithinLimit() { void checkInput_bytesWithinLimit() {
assertDoesNotThrow(() -> assertDoesNotThrow(() ->
WordPdfValidator.checkInput(new byte[1024])); WordPdfValidator.checkInput(new byte[1024], 5));
} }
@Test @Test
void checkInput_bytesOverLimit() { void checkInput_bytesOverLimit() {
byte[] big = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1]; byte[] big = new byte[5 * 1024 * 1024 + 1];
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.checkInput(big)); () -> WordPdfValidator.checkInput(big, 5));
assertTrue(ex.getMessage().contains("5 МБ"), assertTrue(ex.getMessage().contains("5 МБ"),
"сообщение должно упоминать лимит: " + ex.getMessage()); "сообщение должно упоминать лимит: " + ex.getMessage());
} }
@@ -56,7 +58,7 @@ class WordPdfValidatorTest {
@Test @Test
void checkInput_bytesNull() { void checkInput_bytesNull() {
assertThrows(ValidationException.class, assertThrows(ValidationException.class,
() -> WordPdfValidator.checkInput((byte[]) null)); () -> WordPdfValidator.checkInput((byte[]) null, 5));
} }
/** /**
@@ -77,7 +79,7 @@ class WordPdfValidatorTest {
@Test @Test
void checkPageCount_bytesWithinLimit() throws Exception { void checkPageCount_bytesWithinLimit() throws Exception {
byte[] bytes = docxWithPageBreaks(5); byte[] bytes = docxWithPageBreaks(5);
assertDoesNotThrow(() -> WordPdfValidator.checkPageCount(bytes)); assertDoesNotThrow(() -> WordPdfValidator.checkPageCount(bytes, PAGE_LIMIT));
} }
@Test @Test
@@ -257,7 +259,7 @@ class WordPdfValidatorTest {
@Test @Test
void checkPageCount_bytesNull() { void checkPageCount_bytesNull() {
assertThrows(ValidationException.class, assertThrows(ValidationException.class,
() -> WordPdfValidator.checkPageCount((byte[]) null)); () -> WordPdfValidator.checkPageCount((byte[]) null, PAGE_LIMIT));
} }
// ===== validate(byte[], ConvertOptions) ===== // ===== validate(byte[], ConvertOptions) =====
@@ -269,14 +271,14 @@ class WordPdfValidatorTest {
@Test @Test
void validate_withinLimits() throws Exception { void validate_withinLimits() throws Exception {
assertDoesNotThrow(() -> WordPdfValidator.validate( assertDoesNotThrow(() -> WordPdfValidator.validate(
docxWithPageBreaks(5), ConvertOptions.defaults())); docxWithPageBreaks(5), DEF_OPTS));
} }
@Test @Test
void validate_bytesOverLimit() { void validate_bytesOverLimit() {
byte[] big = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1]; byte[] big = new byte[5 * 1024 * 1024 + 1];
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(big, ConvertOptions.defaults())); () -> WordPdfValidator.validate(big, DEF_OPTS));
assertTrue(ex.getMessage().contains("5 МБ"), assertTrue(ex.getMessage().contains("5 МБ"),
"размер проверяется первым: " + ex.getMessage()); "размер проверяется первым: " + ex.getMessage());
} }
@@ -285,7 +287,7 @@ class WordPdfValidatorTest {
void validate_notAZip() { void validate_notAZip() {
byte[] junk = {1, 2, 3, 4, 5}; byte[] junk = {1, 2, 3, 4, 5};
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(junk, ConvertOptions.defaults())); () -> WordPdfValidator.validate(junk, DEF_OPTS));
assertTrue(ex.getMessage().contains("не zip-архив"), assertTrue(ex.getMessage().contains("не zip-архив"),
"сообщение должно упоминать zip-подпись: " + ex.getMessage()); "сообщение должно упоминать zip-подпись: " + ex.getMessage());
} }
@@ -306,7 +308,7 @@ class WordPdfValidatorTest {
} }
byte[] zip = out.toByteArray(); byte[] zip = out.toByteArray();
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults())); () -> WordPdfValidator.validate(zip, DEF_OPTS));
assertTrue(ex.getMessage().contains("не является .docx"), assertTrue(ex.getMessage().contains("не является .docx"),
"zip без манифеста wordprocessingml — не .docx: " + ex.getMessage()); "zip без манифеста wordprocessingml — не .docx: " + ex.getMessage());
} }
@@ -325,14 +327,15 @@ class WordPdfValidatorTest {
} }
byte[] xlsx = out.toByteArray(); byte[] xlsx = out.toByteArray();
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(xlsx, ConvertOptions.defaults())); () -> WordPdfValidator.validate(xlsx, DEF_OPTS));
assertTrue(ex.getMessage().contains("не является .docx"), assertTrue(ex.getMessage().contains("не является .docx"),
"манифест xlsx — spreadsheetml: " + ex.getMessage()); "манифест xlsx — spreadsheetml: " + ex.getMessage());
} }
/** /**
* Zip-бомба: распакованный суммарный размер больше * Zip-бомба: распакованный суммарный размер больше бюджета распаковки
* {@link WordPdfSettings#MAX_DECOMPRESSED_MB} отсекается потоково — до * (из лимитов входа, см. {@link WordPdfValidator#maxDecompressedBytes})
* отсекается потоково — до
* {@code readAllBytes} в {@code checkPageCount} (без проверки валидатор * {@code readAllBytes} в {@code checkPageCount} (без проверки валидатор
* прочитал бы 200+ МБ в память). Регрессия — WordPdfValidator#checkDocxContainer. * прочитал бы 200+ МБ в память). Регрессия — WordPdfValidator#checkDocxContainer.
*/ */
@@ -344,27 +347,30 @@ class WordPdfValidatorTest {
zos.write(new byte[1024]); zos.write(new byte[1024]);
zos.closeEntry(); zos.closeEntry();
zos.putNextEntry(new ZipEntry("bomb.bin")); zos.putNextEntry(new ZipEntry("bomb.bin"));
zos.write(new byte[(int) (WordPdfSettings.MAX_DECOMPRESSED_MB * 1024 * 1024) + 1]); zos.write(new byte[(int) (WordPdfValidator.maxDecompressedBytes(5, 100) + 1)]);
zos.closeEntry(); zos.closeEntry();
} }
byte[] zip = out.toByteArray(); byte[] zip = out.toByteArray();
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults())); () -> WordPdfValidator.validate(zip, DEF_OPTS));
assertTrue(ex.getMessage().contains("zip-бомбы"), ex.getMessage()); assertTrue(ex.getMessage().contains("zip-бомбы"), ex.getMessage());
assertTrue(ex.getMessage().contains(String.valueOf(WordPdfSettings.MAX_DECOMPRESSED_MB)), assertTrue(ex.getMessage().contains(String.valueOf(
"сообщение должно упоминать лимит: " + ex.getMessage()); WordPdfValidator.maxDecompressedBytes(5,
100) / 1048576)),
"сообщение должно упоминать вычисленный бюджет: " + ex.getMessage());
} }
/** /**
* Бомба «много записей»: больше {@link WordPdfSettings#MAX_ZIP_ENTRIES} * Бомба «много записей»: больше {@link WordPdfValidator#maxZipEntries}
* записей отвергаются до разбора содержимого. * (при лимитах 5/100 — 5760) записей отвергаются до разбора содержимого.
* Регрессия — WordPdfValidator#checkDocxContainer. * Регрессия — WordPdfValidator#checkDocxContainer.
*/ */
@Test @Test
void validate_tooManyEntriesRejected() throws Exception { void validate_tooManyEntriesRejected() throws Exception {
int limit = (int) WordPdfValidator.maxZipEntries(5, 100);
ByteArrayOutputStream out = new ByteArrayOutputStream(); ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) { try (ZipOutputStream zos = new ZipOutputStream(out)) {
for (int i = 0; i <= WordPdfSettings.MAX_ZIP_ENTRIES; i++) { for (int i = 0; i <= limit; i++) {
zos.putNextEntry(new ZipEntry("e" + i + ".txt")); zos.putNextEntry(new ZipEntry("e" + i + ".txt"));
zos.write(new byte[] {1}); zos.write(new byte[] {1});
zos.closeEntry(); zos.closeEntry();
@@ -372,16 +378,295 @@ class WordPdfValidatorTest {
} }
byte[] zip = out.toByteArray(); byte[] zip = out.toByteArray();
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults())); () -> WordPdfValidator.validate(zip, DEF_OPTS));
assertTrue(ex.getMessage().contains("записей"), ex.getMessage()); assertTrue(ex.getMessage().contains("записей"), ex.getMessage());
} }
/**
* XML-бомба: распакованные XML-части больше
* {@link WordPdfValidator#maxDecompressedXmlBytes} — отказ по байтовому
* гейту XML (байтовый лимит архива ещё не исчерпан).
* Регрессия — WordPdfValidator#checkDocxContainer (xmlTotal).
*/
@Test
void validate_xmlPartsBombRejected() throws Exception {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
zos.putNextEntry(new ZipEntry("[Content_Types].xml"));
zos.write(CONTENT_TYPES.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
zos.putNextEntry(new ZipEntry("word/document.xml"));
zos.write(new byte[(int) (WordPdfValidator.maxDecompressedXmlBytes(5, 100) + 1)]);
zos.closeEntry();
}
byte[] zip = out.toByteArray();
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, DEF_OPTS));
assertTrue(ex.getMessage().contains("XML-частей"), ex.getMessage());
}
/**
* Мелким лимитам входа — пол бюджета: maxMb=1/maxPages=10 дают 11 МБ,
* поднимается до пола 16 МБ; 17 МБ распаковки отвергаются с числом «16».
* Бросок случается в цикле до проверки манифеста — архив без
* [Content_Types].xml доходит до throw'а бюджета. Регрессия —
* WordPdfValidator#maxDecompressedBytes.
*/
@Test
void validate_smallLimitsBudgetFloor() throws Exception {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
zos.putNextEntry(new ZipEntry("word/bomb.bin"));
zos.write(new byte[17 * 1024 * 1024]);
zos.closeEntry();
}
byte[] zip = out.toByteArray();
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, options(1, 10)));
assertTrue(ex.getMessage().contains("16 МБ"),
"бюджет мелких лимитов — пол 16 МБ: " + ex.getMessage());
}
/**
* Бюджет растёт с лимитами входа: maxMb=2/maxPages=20 дают ~21 МБ — 20 МБ
* non-XML-распаковки проходят; те же байты при maxMb=1/maxPages=10 (пол
* 16 МБ) отвергаются. Верхних крышек нет: при maxMb=10/maxPages=100 бюджет
* ~106 МБ — 65 МБ проходят (защита масштабируется вместе с лимитами).
* Регрессия — WordPdfValidator#maxDecompressedBytes.
*/
@Test
void validate_budgetScalesWithInputLimits() throws Exception {
byte[] zip = zipOf("word/bomb.bin", new byte[20 * 1024 * 1024]);
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, options(2, 20)));
ValidationException floor = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, options(1, 10)));
assertTrue(floor.getMessage().contains("16 МБ"), floor.getMessage());
byte[] big = zipOf("word/bomb.bin", new byte[65 * 1024 * 1024]);
assertDoesNotThrow(() -> WordPdfValidator.validate(big, options(10, 100)),
"крышек нет — бюджет догоняет лимиты входа");
}
/**
* Дубликаты имён записей — отказ: OPC требует уникальных имён, а партии
* с одним именем по-разному трактуются валидатором (первая) и парсером.
* {@code ZipOutputStream} дубли не пишет — контейнер собирается вручную
* (STORED, локальные заголовки + central directory + EOCD).
* Регрессия — WordPdfValidator#checkDocxContainer (Set names).
*/
@Test
void validate_duplicateEntriesRejected() throws Exception {
byte[] ct = CONTENT_TYPES.getBytes(StandardCharsets.UTF_8);
byte[] doc = MINIMAL_DOCUMENT.getBytes(StandardCharsets.UTF_8);
byte[] zip = rawZip(new String[] {"[Content_Types].xml", "word/document.xml",
"word/document.xml"},
new byte[][] {ct, doc, doc});
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, DEF_OPTS));
assertTrue(ex.getMessage().contains("Дубликаты записей"), ex.getMessage());
}
/** Минимальный zip: STORED-записи, central directory, EOCD. */
private static byte[] rawZip(String[] names, byte[][] data) {
ByteArrayOutputStream out = new ByteArrayOutputStream();
long[] offsets = new long[names.length];
java.util.zip.CRC32 crc = new java.util.zip.CRC32();
for (int i = 0; i < names.length; i++) {
byte[] name = names[i].getBytes(StandardCharsets.UTF_8);
crc.reset();
crc.update(data[i]);
offsets[i] = out.size();
le32(out, 0x04034b50);
le16(out, 20);
le16(out, 0);
le16(out, 0);
le16(out, 0);
le16(out, 0);
le32(out, (int) crc.getValue());
le32(out, data[i].length);
le32(out, data[i].length);
le16(out, name.length);
le16(out, 0);
out.writeBytes(name);
out.writeBytes(data[i]);
}
long cdStart = out.size();
for (int i = 0; i < names.length; i++) {
byte[] name = names[i].getBytes(StandardCharsets.UTF_8);
crc.reset();
crc.update(data[i]);
le32(out, 0x02014b50);
le16(out, 20);
le16(out, 20);
le16(out, 0);
le16(out, 0);
le16(out, 0);
le16(out, 0);
le32(out, (int) crc.getValue());
le32(out, data[i].length);
le32(out, data[i].length);
le16(out, name.length);
le16(out, 0);
le16(out, 0);
le16(out, 0);
le16(out, 0);
le32(out, 0);
le32(out, (int) offsets[i]);
out.writeBytes(name);
}
long cdLen = out.size() - cdStart;
le32(out, 0x06054b50);
le16(out, 0);
le16(out, 0);
le16(out, names.length);
le16(out, names.length);
le32(out, (int) cdLen);
le32(out, (int) cdStart);
le16(out, 0);
return out.toByteArray();
}
private static void le16(ByteArrayOutputStream out, int v) {
out.write(v & 0xFF);
out.write((v >>> 8) & 0xFF);
}
private static void le32(ByteArrayOutputStream out, int v) {
le16(out, v & 0xFFFF);
le16(out, (v >>> 16) & 0xFFFF);
}
/** Заготовки заголовков растров с площадью выше MAX_IMAGE_PIXELS. */
private static byte[][] rasterBombs() {
byte[] png = new byte[33];
System.arraycopy(new byte[] {(byte) 0x89, 'P', 'N', 'G', 0x0D, 0x0A, 0x1A, 0x0A}, 0, png, 0, 8);
png[12] = 'I';
png[13] = 'H';
png[14] = 'D';
png[15] = 'R';
putBe32(png, 16, 50000);
putBe32(png, 20, 50000);
byte[] gif = {'G', 'I', 'F', '8', '9', 'a',
(byte) 0xFF, (byte) 0xFF, (byte) 0xFF, (byte) 0xFF, 0, 0};
byte[] bmp = new byte[26];
bmp[0] = 'B';
bmp[1] = 'M';
putLe32(bmp, 18, 50000);
putLe32(bmp, 22, -50000); // top-down DIB — берётся abs высоты
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xC0,
0x00, 0x11, 0x08, (byte) 0xC3, 0x50, (byte) 0xC3, 0x50};
return new byte[][] {png, gif, bmp, jpeg};
}
private static void putBe32(byte[] b, int off, int v) {
b[off] = (byte) (v >>> 24);
b[off + 1] = (byte) (v >>> 16);
b[off + 2] = (byte) (v >>> 8);
b[off + 3] = (byte) v;
}
private static void putLe32(byte[] b, int off, int v) {
b[off] = (byte) v;
b[off + 1] = (byte) (v >>> 8);
b[off + 2] = (byte) (v >>> 16);
b[off + 3] = (byte) (v >>> 24);
}
private static byte[] zipOf(String name, byte[] media) throws Exception {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
zos.putNextEntry(new ZipEntry("[Content_Types].xml"));
zos.write(CONTENT_TYPES.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
zos.putNextEntry(new ZipEntry("word/document.xml"));
zos.write(MINIMAL_DOCUMENT.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
zos.putNextEntry(new ZipEntry(name));
zos.write(media);
zos.closeEntry();
}
return out.toByteArray();
}
/**
* Raster-bomb: заголовок растра (PNG/GIF/BMP/JPEG — каждый свой формат)
* объявляет площадь выше {@link WordPdfValidator#maxImagePixels(long)}
* (при лимите 5 МБ — 25 Мпикс) — отказ
* до любого декодирования. Регрессия — WordPdfValidator#rasterArea.
*/
@Test
void validate_rasterBombRejected() throws Exception {
String[] exts = {"word/media/b.png", "word/media/b.gif", "word/media/b.bmp",
"word/media/b.jpg"};
byte[][] bombs = rasterBombs();
for (int i = 0; i < bombs.length; i++) {
byte[] zip = zipOf(exts[i], bombs[i]);
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, DEF_OPTS),
"должно отклоняться: " + exts[i]);
assertTrue(ex.getMessage().contains("Изображение слишком большое"), ex.getMessage());
}
}
/** Легитимные растры малых размеров проходят валидацию. */
@Test
void validate_smallRastersAccepted() throws Exception {
byte[] png = new byte[33];
System.arraycopy(new byte[] {(byte) 0x89, 'P', 'N', 'G', 0x0D, 0x0A, 0x1A, 0x0A}, 0, png, 0, 8);
png[12] = 'I';
png[13] = 'H';
png[14] = 'D';
png[15] = 'R';
putBe32(png, 16, 10);
putBe32(png, 20, 10);
byte[] gif = {'G', 'I', 'F', '8', '9', 'a', 10, 0, 10, 0, 0, 0};
byte[] bmp = new byte[26];
bmp[0] = 'B';
bmp[1] = 'M';
putLe32(bmp, 18, 10);
putLe32(bmp, 22, -10);
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xC0,
0x00, 0x11, 0x08, 0x00, 0x0A, 0x00, 0x0A};
byte[][] ok = {png, gif, bmp, jpeg};
String[] exts = {"word/media/a.png", "word/media/a.gif", "word/media/a.bmp",
"word/media/a.jpeg"};
for (int i = 0; i < ok.length; i++) {
byte[] zip = zipOf(exts[i], ok[i]);
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, DEF_OPTS),
exts[i]);
}
}
/**
* Нераспознанный/неполный заголовок растра (подписи нет или dimensions
* не влезают) — не отклонять: площадь не объявлена, а реальный decode
* ограничен бюджетом распаковки из лимитов входа (крышка
* {@code MAX_DECOMPRESSED_MB}). Регрессия —
* WordPdfValidator#rasterArea (ветки «-1» каждого формата).
*/
@Test
void validate_rasterUnknownHeadsAccepted() throws Exception {
byte[] png = new byte[20];
System.arraycopy(new byte[] {(byte) 0x89, 'P', 'N', 'G', 0x0D, 0x0A, 0x1A, 0x0A},
0, png, 0, 8); // сигнатура есть, IHDR (offset 16..24) не прочитан
byte[] gif = {'G', 'I', 'F', '8', '9', 'a'}; // сигнатура есть, размеров нет
byte[] bmp = new byte[26]; // длина достаточна, подписи 'BM' нет
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, 0x00, 0x00}; // FFD8, следующий маркер не FF
String[] exts = {"word/media/u.png", "word/media/u.gif", "word/media/u.bmp",
"word/media/u.jpg"};
byte[][] heads = {png, gif, bmp, jpeg};
for (int i = 0; i < heads.length; i++) {
byte[] zip = zipOf(exts[i], heads[i]);
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, DEF_OPTS),
exts[i]);
}
}
@Test @Test
void validate_tooManyPages() throws Exception { void validate_tooManyPages() throws Exception {
byte[] bytes = docxWithPageBreaks(120); byte[] bytes = docxWithPageBreaks(120);
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(bytes, () -> WordPdfValidator.validate(bytes,
options(WordPdfSettings.MAX_INPUT_MB, 100))); options(5, 100)));
assertTrue(ex.getMessage().contains("не менее 121"), assertTrue(ex.getMessage().contains("не менее 121"),
"оценка = 1 + 120 разрывов: " + ex.getMessage()); "оценка = 1 + 120 разрывов: " + ex.getMessage());
} }
@@ -389,7 +674,7 @@ class WordPdfValidatorTest {
@Test @Test
void validate_nullBytes() { void validate_nullBytes() {
assertThrows(ValidationException.class, assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(null, ConvertOptions.defaults())); () -> WordPdfValidator.validate(null, DEF_OPTS));
} }
/** /**
@@ -426,6 +711,19 @@ class WordPdfValidatorTest {
} }
// ---- ветви lightweight-сканера и контейнера ---- // ---- ветви lightweight-сканера и контейнера ----
/** Манифест с маркером документа wordprocessingml (минимум для checkDocxContainer). */
private static final String CONTENT_TYPES =
"<?xml version=\"1.0\"?><Types xmlns=\"http://schemas.openxmlformats.org"
+ "/package/2006/content-types\"><Override PartName=\"/word/document.xml\""
+ " ContentType=\"application/vnd.openxmlformats-officedocument"
+ ".wordprocessingml.document.main+xml\"/></Types>";
/** Пустое transitional-тело: 1 страница, ни одного разрыва. */
private static final String MINIMAL_DOCUMENT =
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
+ "<w:document xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\">"
+ "<w:body></w:body></w:document>";
private static final String TRANSITIONAL_W = private static final String TRANSITIONAL_W =
"http://schemas.openxmlformats.org/wordprocessingml/2006/main"; "http://schemas.openxmlformats.org/wordprocessingml/2006/main";
@@ -553,7 +851,7 @@ class WordPdfValidatorTest {
DOCUMENT_PART, docPart(""))); DOCUMENT_PART, docPart("")));
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(docx, () -> WordPdfValidator.validate(docx,
options(WordPdfSettings.MAX_INPUT_MB, PAGE_LIMIT))); options(5, PAGE_LIMIT)));
assertTrue(ex.getMessage().contains("8 МБ"), ex.getMessage()); assertTrue(ex.getMessage().contains("8 МБ"), ex.getMessage());
} }
@@ -562,14 +860,14 @@ class WordPdfValidatorTest {
void validate_shortAndBrokenPkPrefixRejected() { void validate_shortAndBrokenPkPrefixRejected() {
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(new byte[]{'P', 'K'}, () -> WordPdfValidator.validate(new byte[]{'P', 'K'},
ConvertOptions.defaults())); DEF_OPTS));
assertTrue(ex.getMessage().contains("не zip"), ex.getMessage()); assertTrue(ex.getMessage().contains("не zip"), ex.getMessage());
assertThrows(ValidationException.class, assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(new byte[]{'P', 'K', 3, 9}, () -> WordPdfValidator.validate(new byte[]{'P', 'K', 3, 9},
ConvertOptions.defaults())); DEF_OPTS));
assertThrows(ValidationException.class, assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(new byte[]{'P', 'K', 0, 4}, () -> WordPdfValidator.validate(new byte[]{'P', 'K', 0, 4},
ConvertOptions.defaults())); DEF_OPTS));
} }
/** Фикстура samples/*.doc (бинарный .doc заказчика). */ /** Фикстура samples/*.doc (бинарный .doc заказчика). */
@@ -610,8 +908,8 @@ class WordPdfValidatorTest {
* ({@code internal.doc}) бросает {@code ConversionException}, вердикт * ({@code internal.doc}) бросает {@code ConversionException}, вердикт
* «вход некорректен» выносит только валидатор, оборачивая отказ в * «вход некорректен» выносит только валидатор, оборачивая отказ в
* {@link WordPdfValidator#checkPageCountDoc(byte[], int)}. Синтетика: * {@link WordPdfValidator#checkPageCountDoc(byte[], int)}. Синтетика:
* CFB-подпись + нули — sectorShift = 0, {@code CfbReader} отказывает * CFB-подпись + нули — ByteOrder = 0x0000 ≠ 0xFFFE ([MS-CFB] §2.2),
* до всякого разбора WordDocument-потока. * {@code CfbReader} отказывает до всякого разбора WordDocument-потока.
*/ */
@Test @Test
void checkPageCountDoc_brokenBridge_wrappedAsValidation() { void checkPageCountDoc_brokenBridge_wrappedAsValidation() {
@@ -621,7 +919,7 @@ class WordPdfValidatorTest {
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.checkPageCountDoc(bytes, 100)); () -> WordPdfValidator.checkPageCountDoc(bytes, 100));
assertSame(ValidationException.class, ex.getClass()); assertSame(ValidationException.class, ex.getClass());
assertTrue(ex.getMessage().contains("Неподдерживаемый размер сектора CFB"), assertTrue(ex.getMessage().contains("Неизвестный Byte Order контейнера .doc"),
ex.getMessage()); ex.getMessage());
} }
@@ -631,7 +929,7 @@ class WordPdfValidatorTest {
byte[] doc = sample("too-many-pages.doc"); byte[] doc = sample("too-many-pages.doc");
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(doc, () -> WordPdfValidator.validate(doc,
options(WordPdfSettings.MAX_INPUT_MB, PAGE_LIMIT))); options(5, PAGE_LIMIT)));
assertTrue(ex.getMessage().contains("не менее 151"), ex.getMessage()); assertTrue(ex.getMessage().contains("не менее 151"), ex.getMessage());
} }
} }
@@ -0,0 +1,71 @@
package ru.pjandro.wordpdf.fonts;
import org.docx4j.fonts.PhysicalFont;
import org.junit.jupiter.api.Test;
import java.lang.reflect.Field;
import java.util.HashMap;
import java.util.Map;
import static org.junit.jupiter.api.Assertions.*;
/**
* Таблица алиасов шрифтов (BundledFontAliases): прямое и обратное
* имя, fallback. Состояние «бандл не инициализирован» моделируется
* сохранением и восстановлением статического реестра BundledFonts.
*
* Класс намеренно не наследует BestMatchingMapper: обращение к его
* статикам не должно сканировать реестр шрифтов (см. javadoc класса).
*/
class BundledFontAliasesTest {
/** Выполнить body в состоянии «шрифты бандла не зарегистрированы», затем восстановить. */
private static void withoutBundledInit(Runnable body) throws Exception {
Field initedField = BundledFonts.class.getDeclaredField("inited");
initedField.setAccessible(true);
// VARIANTS package-private (тот же пакет) — снимок/очистка напрямую,
// типизированно, без reflection-каста.
Map<String, Map<String, PhysicalFont>> savedVariants = new HashMap<>(BundledFonts.VARIANTS);
boolean savedInited = initedField.getBoolean(null);
BundledFonts.VARIANTS.clear();
initedField.setBoolean(null, false);
try {
body.run();
} finally {
BundledFonts.VARIANTS.clear();
BundledFonts.VARIANTS.putAll(savedVariants);
initedField.setBoolean(null, savedInited);
}
}
/** Алиас + зарегистрированное семейство -> бандл-семейство (имя в любом регистре). */
@Test
void bundledFamilyKnownAliasMapsToBundle() {
BundledFonts.init();
assertEquals("carlito", BundledFontAliases.bundledFamily("Calibri"));
assertEquals("tinos", BundledFontAliases.bundledFamily("Times New Roman"));
assertEquals("dejavu sans", BundledFontAliases.bundledFamily("DejaVu Sans"));
}
/** Имени нет в таблице алиасов -> финальный fallback. */
@Test
void bundledFamilyUnknownFallsBack() {
BundledFonts.init();
assertEquals("dejavu sans", BundledFontAliases.bundledFamily("Zzz Not A Font"));
}
/** Алиас есть, но бандл не зарегистрирован (init() не вызван) -> fallback. */
@Test
void bundledFamilyWithoutInitFallsBack() throws Exception {
withoutBundledInit(() ->
assertEquals("dejavu sans", BundledFontAliases.bundledFamily("Calibri")));
}
/** Имя бандл-семейства для w:rFonts: отображаемое имя или само семейство. */
@Test
void documentFontNameMapsDisplayNames() {
assertEquals("DejaVu Sans", BundledFontAliases.documentFontName("dejavu sans"));
assertEquals("carlito", BundledFontAliases.documentFontName("carlito"),
"семейство без отображаемого имени возвращается как есть");
}
}
@@ -1,5 +1,6 @@
package ru.pjandro.wordpdf.fonts; package ru.pjandro.wordpdf.fonts;
import org.docx4j.Docx4jProperties;
import org.docx4j.fonts.PhysicalFont; import org.docx4j.fonts.PhysicalFont;
import org.docx4j.wml.Fonts; import org.docx4j.wml.Fonts;
import org.junit.jupiter.api.Test; import org.junit.jupiter.api.Test;
@@ -20,6 +21,22 @@ import static org.junit.jupiter.api.Assertions.*;
*/ */
class BundledFontMapperTest { class BundledFontMapperTest {
/**
* Гейт сканов docx4j: тот же, что {@code WordPdfConverter.<clinit>}
* (строки 85–86). Тест грузит {@code BundledFontMapper} напрямую, а
* инициализация класса-подкласса по JLS тянет {@code <clinit>}
* {@code BestMatchingMapper} — без арминга скан прошёл бы ungated.
* Package-private: PMD UnusedPrivateField не видит побочных эффектов
* инициализации, обращение к полю не нужно ни одному тесту.
*/
static final boolean ARMED = arm();
private static boolean arm() {
Docx4jProperties.setProperty("docx4j.fonts.discoverPhysicalFonts.enabled", "false");
Docx4jProperties.setProperty("docx4j.fonts.discoverJarFonts.enabled", "false");
return true;
}
/** Тело теста, кидающее checked-исключение (populateFontMappings throws Exception). */ /** Тело теста, кидающее checked-исключение (populateFontMappings throws Exception). */
private interface TestBody { private interface TestBody {
void run() throws Exception; void run() throws Exception;
@@ -44,29 +61,6 @@ class BundledFontMapperTest {
} }
} }
/** Алиас + зарегистрированное семейство -> бандл-семейство (имя в любом регистре). */
@Test
void bundledFamilyKnownAliasMapsToBundle() {
BundledFonts.init();
assertEquals("carlito", BundledFontMapper.bundledFamily("Calibri"));
assertEquals("tinos", BundledFontMapper.bundledFamily("Times New Roman"));
assertEquals("dejavu sans", BundledFontMapper.bundledFamily("DejaVu Sans"));
}
/** Имени нет в таблице алиасов -> финальный fallback. */
@Test
void bundledFamilyUnknownFallsBack() {
BundledFonts.init();
assertEquals("dejavu sans", BundledFontMapper.bundledFamily("Zzz Not A Font"));
}
/** Алиас есть, но бандл не зарегистрирован (init() не вызван) -> fallback. */
@Test
void bundledFamilyWithoutInitFallsBack() throws Exception {
withoutBundledInit(() ->
assertEquals("dejavu sans", BundledFontMapper.bundledFamily("Calibri")));
}
/** /**
* Имя документа == SYMBOL_FONT маппится сразу (до родительского поиска), * Имя документа == SYMBOL_FONT маппится сразу (до родительского поиска),
* алиасы — на бандл, нераспознанное — в fallback DejaVu Sans. * алиасы — на бандл, нераспознанное — в fallback DejaVu Sans.
@@ -106,11 +100,30 @@ class BundledFontMapperTest {
}); });
} }
/** Имя бандл-семейства для w:rFonts: отображаемое имя или само семейство. */ /**
* Варианты начертаний отдаются реальным sibling-файлом бандла, а не
* результатом registry-эвристики: на macOS без override
* {@code PhysicalFonts.getBoldForm} для «Carlito Regular» уходит в
* {@code MicrosoftFontsRegistry} (Mac-имя файла {@code null}) и возвращает
* {@code null} — на этой платформе тест красный. На Linux super тоже
* находит bold, поэтому сквозная регрессия macOS — конвертерные тесты
* {@code WordPdfConverterTest#strictOoxml_convertsNotRejected} и
* {@code #ruPlain_regularRunsUseRegularFont}, а этот фиксирует контракт
* маппера.
*/
@Test @Test
void documentFontNameMapsDisplayNames() { void variantForms_resolveBundleSibling() {
assertEquals("DejaVu Sans", BundledFontMapper.documentFontName("dejavu sans")); BundledFonts.init();
assertEquals("carlito", BundledFontMapper.documentFontName("carlito"), BundledFontMapper mapper = new BundledFontMapper();
"семейство без отображаемого имени возвращается как есть"); PhysicalFont regular = BundledFonts.regular("carlito");
assertSame(BundledFonts.bold("carlito"),
mapper.getBoldForm("Carlito Regular", regular), "bold-вариант");
assertSame(BundledFonts.italic("carlito"),
mapper.getItalicForm("Carlito Regular", regular), "italic-вариант");
assertSame(BundledFonts.boldItalic("carlito"),
mapper.getBoldItalicForm("Carlito Regular", regular), "bolditalic-вариант");
assertNull(mapper.getBoldForm("Unknown", null),
"путь super без physicalFont не должен падать");
} }
} }

Some files were not shown because too many files have changed in this diff Show More