From 7016df543490f922ff340b12fbe0d291ed696090 Mon Sep 17 00:00:00 2001 From: Pjandro Date: Mon, 23 Nov 2026 00:06:49 +0300 Subject: [PATCH] =?UTF-8?q?fix(core):=20=D0=BD=D0=B0=D1=85=D0=BE=D0=B4?= =?UTF-8?q?=D0=BA=D0=B8=20=D1=80=D0=B5=D0=B2=D1=8C=D1=8E=20=E2=80=94=20?= =?UTF-8?q?=D0=BA=D0=B0=D0=BF=D0=B0=20=D0=B3=D0=BB=D1=83=D0=B1=D0=B8=D0=BD?= =?UTF-8?q?=D1=8B=20OMML,=20=D0=B0=D1=80=D0=B8=D1=84=D0=BC=D0=B5=D1=82?= =?UTF-8?q?=D0=B8=D0=BA=D0=B0=20=D0=BB=D0=B8=D0=BC=D0=B8=D1=82=D0=BE=D0=B2?= =?UTF-8?q?,=20=D1=82=D0=B5=D1=81=D1=82=D1=8B=20=D0=B4=D0=B5=D0=B3=D1=80?= =?UTF-8?q?=D0=B0=D0=B4=D0=B0=D1=86=D0=B8=D0=B9,=20=D0=B4=D0=BE=D0=BA?= =?UTF-8?q?=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - M-2: MathModel — капа вложенности OMML MAX_DEPTH=64 (deeper() в MathCtx) + капа flatten MAX_TEXT_DEPTH; WordPdfConverter.convert — catch StackOverflowError; регрессии MathModelTest#deepNesting_*, WordPdfConverterTest#ommlDeepNesting_flattenedToText - m-2: WordPdfValidator — multiplyExact для maxBytes/max* бюджетов, переполнение maxMb -> ValidationException (400) - m-9: ChartSpec.parseDouble — non-finite (NaN/Infinity) -> null, как не-число - M-1: DrawingPreRendererTest — 7 тестов деградаций run(): битая chart-часть, отказ рендера, wp:anchor, бюджет math-PNG, w:br в m:r, пустая формула, oMathPara jc=center - m-7: тесты null-options (convert/validate) и краёв JPEG rasterArea - m-3: удалены мёртвые normalize() у FieldNormalizer/GlyphCoverageNormalizer (конвейер использует rewrite) - I-4: DocxRewritePipeline/OleObjectNormalizer — try-with-resources на in-memory zip-потоках - I-5: OfficeArt (DIB) и Styles (STSH) — warn в молчаливых деградациях моста - m-1/m-4/m-5/m-8/m-10/I-6: нумерация правил 1-11 в javadoc/xslt, Регрессия-ссылки (сироты исправлены), MS-OI29500 §2.1.44, ToggleOperand 0x80/0x81 §2.9.327, карта pieces §2.9.73, счётчики 1021 тест --- AGENTS.md | 2 +- docs/agent/doc-bridge.md | 4 +- docs/agent/pipeline.md | 6 +- docs/agent/testing.md | 4 +- .../ru/pjandro/wordpdf/WordPdfConverter.java | 28 +- .../ru/pjandro/wordpdf/WordPdfValidator.java | 24 +- .../wordpdf/internal/DocxRewritePipeline.java | 34 ++- .../wordpdf/internal/FieldNormalizer.java | 38 +-- .../internal/GlyphCoverageNormalizer.java | 37 --- .../internal/MathFallbackNormalizer.java | 2 + .../wordpdf/internal/OleObjectNormalizer.java | 11 +- .../wordpdf/internal/RubyNormalizer.java | 4 +- .../internal/SymbolFontNormalizer.java | 4 +- .../wordpdf/internal/chart/ChartSpec.java | 6 +- .../wordpdf/internal/chart/MathModel.java | 45 ++- .../wordpdf/internal/doc/DocToDocx.java | 2 +- .../wordpdf/internal/doc/OfficeArt.java | 1 + .../pjandro/wordpdf/internal/doc/Styles.java | 5 + .../src/main/resources/xslt/docx2fo.xslt | 2 +- .../pjandro/wordpdf/WordPdfConverterTest.java | 29 +- .../pjandro/wordpdf/WordPdfValidatorTest.java | 54 ++++ .../wordpdf/internal/chart/ChartSpecTest.java | 20 ++ .../chart/DrawingPreRendererTest.java | 272 ++++++++++++++++++ .../wordpdf/internal/chart/MathModelTest.java | 32 +++ 24 files changed, 534 insertions(+), 132 deletions(-) diff --git a/AGENTS.md b/AGENTS.md index b77219e..2e17990 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -126,5 +126,5 @@ python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources - Фикстуры — только закоммиченные `samples/*.docx`/`*.doc`, в тестах не генерировать; XSD-невалидная фикстура правится, не код. Синтетика в памяти разрешена: docx — `ZipOutputStream` из литеральных XML, `.doc` — крафт `POIFSFileSystem`. Пересоздание — одноразовые `SampleDocxGenerator`/`ChartTypesDocxGenerator` (POI test-scope, команда — `docs/agent/repo-map.md`); `charts-smartart.docx` и `ole-embedded.docx` сделаны руками — **никогда не перезаписывать** (все 12 `.doc` — эталоны заказчика, не вывод генераторов). - Идиома загрузки (ловушка): **core** — classloader без ведущего слэша (`getResourceAsStream("samples/…")`); **app** — class-relative со слэшем (`"/samples/…"`, ресурсы из core test-jar). - App-тесты: 4 набора свойств = 4 Spring-контекста (`ConvertControllerTest` пинует пустой `wordpdf.api-key=`; `ApiKeyFilterTest`; `ConvertLimitsTest`; `ConversionTimeoutTest`); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring; проверяют только HTTP-код/заголовки/текст ошибки; core-юниты Spring не поднимают. Ловушка: mise инжектирует корневой `.env` в окружение задач — ambient `WORDPDF_API_KEY` взорвёт 401 все MockMvc-тесты, если ключ не запинен свойствами контекста. -- Регрессивная конвенция: фикс = нормализатор/рендерер + юнит + конвертер-тест + javadoc-ссылка. Счётчики (2026-11): 63 класса / 1005 тестов (core 57/957, app 6/48); детали — `docs/agent/testing.md`. +- Регрессивная конвенция: фикс = нормализатор/рендерер + юнит + конвертер-тест + javadoc-ссылка. Счётчики (2026-11): 63 класса / 1021 тест (core 57/973, app 6/48); детали — `docs/agent/testing.md`. - Прод-автотесты: pytest 9.1.1 + requests 2.34.2 (timeout `(10,180)` — больше серверных 2m), конфигурация **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY` факультативен → `needs_key`-декоратор `skipif` (немаркированный marker — маркеры не регистрируются) даёт SKIP, `WORDPDF_MAX_MB`/`MAX_PAGES` — ожидаемые лимиты стенда 5/100, `WORDPDF_SAMPLES_DIR` — путь к фикстурам); запуск `./mise.sh run prod-tests` либо job `autotests` в CI. diff --git a/docs/agent/doc-bridge.md b/docs/agent/doc-bridge.md index beb3250..8f8f0a4 100644 --- a/docs/agent/doc-bridge.md +++ b/docs/agent/doc-bridge.md @@ -6,8 +6,8 @@ |---|---| |`CfbReader`|[MS-CFB] заголовок §2.2 (MUST-поля обязательны: ByteOrder 0xFFFE, mini-сектор сдвиг 0x0006, cutoff 0x1000; секторы 512/4096, mini 64), FAT/DIFAT §2.3–2.5, miniFAT + mini stream из root, directory §2.6; длина любой цепочки ограничена числом секторов файла (бюджет против враждебного FAT), суммарный бюджет аллокаций big-потоков (mini-потоки в бюджет не входят — их данные физически в mini stream); любой брак (цикл, ссылка за файл, обрезанный поток, рассинхрон MUST-полей, битый заголовок) → `ConversionException` (на гейте отказ оборачивает в `ValidationException` `WordPdfValidator`)| |`FibHeader`|[MS-DOC §2.5.1] FibBase (`fWhichTblStm` — бит 9 u16@10 → 1Table/0Table), FibRgLw97 (ccpText/ccpFtn/ccpHdd), пары FibRgFcLcb97: fcStshf=1, fcPlcfSed=6, fcPlcfHdd=11, fcPlcfBteChpx=12, fcPlcfBtePapx=13, fcSttbfFfn=15, fcClx=33, fcDggInfo=50, fcPlfLst=73, fcPlfLfo=74; побайтовый порядок чтения — §2.5.1 «How to read the FIB» (примеры §3); csw/cslw сверяются с ожидаемым раскладок, cbRgFcLcb — один из по таблице nFib (§2.5.1): 0x00C1→0x005D, 0x0101→0x0088 (136 пар, Word 2002), 0x010C→0x00A4 (164, Word 2003) — нужные пары на фиксированных индексах| -|`PieceTable`|§2.9.135 Clx/Pcdt: куски compressed (FC/2, байт + CP1252-карта 0x80–0x9F) и uncompressed (UTF-16LE); aCP строго возрастают и ≥ 0 (§2.8.35 PlcPcd; дубль/убывание/отрицательный → `ConversionException` — отрицательный aCP[0] читал бы до начала WordDocument-потока); читаемый span куска клампится к cbMac (§2.5.4: байты WordDocument-потока за cbMac MUST игнорироваться); FC за потоком → `ConversionException`| -|`Grpprl`|§2.6.2 sprm'ы (операнды по таблице Spra §2.6; ToggleOperand §2.9.327: 0x00 — off, 0x01 — on, 0x80 — **инверсия** текущего значения, `Grpprl.toggle`): CHPX — bold 0x0835, italic 0x0836, strike 0x0837, kul 0x2A3E, hps 0x4A43, hpsBi 0x4A61, ftc0 0x4A4F, ftc1 0x4A50, cv 0x6870 (4-й байт FF → auto), **sprmCHighlight 0x2A0C** (Ico §2.9.119 → `w:highlight`, член ST_HighlightColor §17.18.42 по RGB 1:1), **sprmCShd 0xCA71**/**sprmCShd80 0x4866** (SHDOperand §2.9.249 = cb(1)=10 + Shd §2.9.247: cvFore/cvBack COLORREF + ipat §2.9.121; Shd80 u16 5+5+6 §2.9.248 → `w:shd`, форма Word `w:val="clear"`: fill=cvFore при ipatSolid иначе cvBack; ipatAuto/оба цвета auto → не эмитится — FOP красит только w:fill, проверено экспериментально), **sprmCIstd 0x4A30** (u16 — символьный istd (stk=2) §2.4.6.5 → `Styles.charChain`; при задании символьные свойства **сбрасываются** к результату стиля абзаца, а прямые Prl из preserve-list (§2.6.1: bold/italic/strike/kul/hps/ftc0/ftc1/cv…), стоявшие в массиве **до** sprmCIstd, сохраняются (`Grpprl.CI_STD_PRESERVE`, сборка — `DocxBody.chpxWithCharStyle`)), sprmCFSpec 0x0875, rMarkDel 0x0800/rMarkIns 0x0801 (непринятые правки → `w:del`/`w:ins`), smallCaps 0x083A/caps 0x083B (апкейс текста в мосту), vanish 0x083C (фильтр рана — FO `w:vanish` не читает), hpsPos 0x4845 (со знаком, hps → `w:position`), **sprmCPicLocation 0x6A03** (смещение BLIP в Data); PAPX — **sprmPHugePapx 0x6646**/**sprmPTableProps 0x646B** (указатели на PrcData в Data, разворачивает `PrcData.resolve`; `Grpprl.scan` сам их корректно пропускает по spra=3), jc 0x2461 (4→distribute, 5/7/8/9→both, 6 — игнор) и jc80 0x2403 (3/4/5 — justify-both с разной компрессией, distribute у jc80 нет), dxaLeft/dxaLeft1/dxaRight + 80-варианты 0x840F/0x8411/0x840E и sprmPNest 0x465F/sprmPNest80 0x4610 (XAS со знаком → hanging/firstLine; общий накопитель `Grpprl.Indents`: nest к своему dxaLeft, современное семейство вытесняет 80-е), pageBreakBefore 0x2407 (перед ним keepFollow 0x2406/keep 0x2405 → `w:keepNext`/`w:keepLines`), InTable 0x2416, sprmPFTtp 0x2417, **sprmPShd 0xC64D**/**sprmPShd80 0x442D** (тот же Shd/Shd80 → `w:shd` в pPr до `w:tabs`, CT_PPr §17.3.1.26), istd 0x8463, LSPD 0x6412 (dyaLine i16 + fMult), before/after 0xA413/0xA414, PChgTabs 0xC60D и **sprmPChgTabs 0xC615** (табы стиля; PChgTabsDelClose §2.9.182 — радиус удаления из rgdxaClose, XAS_plusOne), **ilvl 0x260A** (u8; 0x0C — «пропустить, не нумеровать»), **ilfo 0x460B** (i16: 0/0xF801 — списока нет, 1..0x07FE — 1-базированный индекс rgLfo, 0xF802..0xFFFF — отрицание индекса с сохранением отступов); TAP — **sprmTDefTable 0xD608**, sprmTTableBorders 0xD613, sprmTTableBorders80 0xD605, sprmTJc 0x548A / sprmTJc90 0x5400 (u16 0/1/2 → left/center/right, единый маппинг: FOP complex-script не поддерживает, RTL вне контура), sprmTVertAlign 0xD62C (CellRangeVertAlign §2.9.30: cb=3 + itcFirst + itcLim + VerticalAlign 0/1/2 → `w:vAlign`; cb≠3 — операнд игнорируется), **sprmTCellPadding 0xD632**/**sprmTCellPaddingDefault 0xD634** (CSSAOperand §2.9.46: cb(1)=6 + itc(2 ItcFirstLim) + grfbrc (top|left|bottom|right = 1|2|4|8) + ftsWidth + wWidth(2); переносится только ftsDxa, Default-operand действует на весь ряд (§2.63 фиктивные itc 0/1 → [0,∞)) → `w:tcMar`, порядок детей CT_TcMar §17.4.66). **sprmTInsert 0x7621 пропускается по правилу spra=3 (4 байта)** — эмпирика живых образцов (ru-table-image.doc/ru-en-mixed.doc: following-sprm выравнивается ровно при 4; MS-DOC-форма rgttte 2+6·ctc Word'ом не пишется, сетка из sprmTInsert мостом не строится). Спец-длины операндов spra=6: у 0xD608 счётчик cb **двухбайтовый** («остаток+1», §2.9.321 — формула «1+первый байт» врёт при cb>255), у 0xC60D cb=0xFF — обрыв разбора; у 0xC615 cb=0xFF — длина 3 + 4·cTabsDel + 3·cTabsAdd по раскладке §2.9.182 (разбор продолжается)| +|`PieceTable`|§2.9.135 Clx/Pcdt: куски compressed (FC/2, байт + карта 0x82–0x9F поверх 8-bit Unicode (U+00XX), §2.9.73) и uncompressed (UTF-16LE); aCP строго возрастают и ≥ 0 (§2.8.35 PlcPcd; дубль/убывание/отрицательный → `ConversionException` — отрицательный aCP[0] читал бы до начала WordDocument-потока); читаемый span куска клампится к cbMac (§2.5.4: байты WordDocument-потока за cbMac MUST игнорироваться); FC за потоком → `ConversionException`| +|`Grpprl`|§2.6.2 sprm'ы (операнды по таблице Spra §2.6; ToggleOperand §2.9.327: 0x00 — off, 0x01 — on, 0x80 — значение текущего стиля, 0x81 — инверсия (§2.9.327), `Grpprl.toggle`): CHPX — bold 0x0835, italic 0x0836, strike 0x0837, kul 0x2A3E, hps 0x4A43, hpsBi 0x4A61, ftc0 0x4A4F, ftc1 0x4A50, cv 0x6870 (4-й байт FF → auto), **sprmCHighlight 0x2A0C** (Ico §2.9.119 → `w:highlight`, член ST_HighlightColor §17.18.42 по RGB 1:1), **sprmCShd 0xCA71**/**sprmCShd80 0x4866** (SHDOperand §2.9.249 = cb(1)=10 + Shd §2.9.247: cvFore/cvBack COLORREF + ipat §2.9.121; Shd80 u16 5+5+6 §2.9.248 → `w:shd`, форма Word `w:val="clear"`: fill=cvFore при ipatSolid иначе cvBack; ipatAuto/оба цвета auto → не эмитится — FOP красит только w:fill, проверено экспериментально), **sprmCIstd 0x4A30** (u16 — символьный istd (stk=2) §2.4.6.5 → `Styles.charChain`; при задании символьные свойства **сбрасываются** к результату стиля абзаца, а прямые Prl из preserve-list (§2.6.1: bold/italic/strike/kul/hps/ftc0/ftc1/cv…), стоявшие в массиве **до** sprmCIstd, сохраняются (`Grpprl.CI_STD_PRESERVE`, сборка — `DocxBody.chpxWithCharStyle`)), sprmCFSpec 0x0875, rMarkDel 0x0800/rMarkIns 0x0801 (непринятые правки → `w:del`/`w:ins`), smallCaps 0x083A/caps 0x083B (апкейс текста в мосту), vanish 0x083C (фильтр рана — FO `w:vanish` не читает), hpsPos 0x4845 (со знаком, hps → `w:position`), **sprmCPicLocation 0x6A03** (смещение BLIP в Data); PAPX — **sprmPHugePapx 0x6646**/**sprmPTableProps 0x646B** (указатели на PrcData в Data, разворачивает `PrcData.resolve`; `Grpprl.scan` сам их корректно пропускает по spra=3), jc 0x2461 (4→distribute, 5/7/8/9→both, 6 — игнор) и jc80 0x2403 (3/4/5 — justify-both с разной компрессией, distribute у jc80 нет), dxaLeft/dxaLeft1/dxaRight + 80-варианты 0x840F/0x8411/0x840E и sprmPNest 0x465F/sprmPNest80 0x4610 (XAS со знаком → hanging/firstLine; общий накопитель `Grpprl.Indents`: nest к своему dxaLeft, современное семейство вытесняет 80-е), pageBreakBefore 0x2407 (перед ним keepFollow 0x2406/keep 0x2405 → `w:keepNext`/`w:keepLines`), InTable 0x2416, sprmPFTtp 0x2417, **sprmPShd 0xC64D**/**sprmPShd80 0x442D** (тот же Shd/Shd80 → `w:shd` в pPr до `w:tabs`, CT_PPr §17.3.1.26), istd 0x8463, LSPD 0x6412 (dyaLine i16 + fMult), before/after 0xA413/0xA414, PChgTabs 0xC60D и **sprmPChgTabs 0xC615** (табы стиля; PChgTabsDelClose §2.9.182 — радиус удаления из rgdxaClose, XAS_plusOne), **ilvl 0x260A** (u8; 0x0C — «пропустить, не нумеровать»), **ilfo 0x460B** (i16: 0/0xF801 — списока нет, 1..0x07FE — 1-базированный индекс rgLfo, 0xF802..0xFFFF — отрицание индекса с сохранением отступов); TAP — **sprmTDefTable 0xD608**, sprmTTableBorders 0xD613, sprmTTableBorders80 0xD605, sprmTJc 0x548A / sprmTJc90 0x5400 (u16 0/1/2 → left/center/right, единый маппинг: FOP complex-script не поддерживает, RTL вне контура), sprmTVertAlign 0xD62C (CellRangeVertAlign §2.9.30: cb=3 + itcFirst + itcLim + VerticalAlign 0/1/2 → `w:vAlign`; cb≠3 — операнд игнорируется), **sprmTCellPadding 0xD632**/**sprmTCellPaddingDefault 0xD634** (CSSAOperand §2.9.46: cb(1)=6 + itc(2 ItcFirstLim) + grfbrc (top|left|bottom|right = 1|2|4|8) + ftsWidth + wWidth(2); переносится только ftsDxa, Default-operand действует на весь ряд (§2.63 фиктивные itc 0/1 → [0,∞)) → `w:tcMar`, порядок детей CT_TcMar §17.4.66). **sprmTInsert 0x7621 пропускается по правилу spra=3 (4 байта)** — эмпирика живых образцов (ru-table-image.doc/ru-en-mixed.doc: following-sprm выравнивается ровно при 4; MS-DOC-форма rgttte 2+6·ctc Word'ом не пишется, сетка из sprmTInsert мостом не строится). Спец-длины операндов spra=6: у 0xD608 счётчик cb **двухбайтовый** («остаток+1», §2.9.321 — формула «1+первый байт» врёт при cb>255), у 0xC60D cb=0xFF — обрыв разбора; у 0xC615 cb=0xFF — длина 3 + 4·cTabsDel + 3·cTabsAdd по раскладке §2.9.182 (разбор продолжается)| |`ChpxIndex`/`PapxIndex`|§2.4.6: PlcfBte (aFc n+1 + pn 22 бита) → FKP-страницы 512 Б по pn·512 (rgfc (n+1)×4, rgbx n×1/×13, crun/cpara — последний байт, cpara ≤ 0x1D по §2.9.174); Chpx = cb + grpprl, **cb=0 (§2.9.32 Chpx — пустой grpx; ср. rgb[i]=0 в §2.9.33 «there is no Chpx associated»): диапазон без прямых свойств, но валидный — заносится с пустым grpprl**, grpprl за пределами страницы — пропуск; PapxInFkp: cb≠0 → GrpPrlAndIstd 2cb−1, cb=0 → cb′ → 2cb′ (внутри istd(2) + grpprl, grpprl может быть пустым — istd без прямых Prl); bOffset=0 → свойств нет (дефолт), но **граница rgfc[j+1] в индекс заносится** — иначе дефолтный ран проглотил бы последующие CHPX-раны абзаца (регрессии ChpxIndexTest#zeroOffset_defaultPropsBoundaryKept, WordPdfConverterTest#docClassD_landscapeHiddenDelCaps); **istd сохраняется** (`istdFor`, вне диапазона −1) — по нему `DocxBody` применяет цепочку `Styles`| |`Styles`|§2.9.271 STSH по fcStshf: LPStshi (cbStshi, cstd, cbSTDBaseInFile) → LPStd на чётных границах → Std (stdf: sti/stk/istdBase/cupx + xstzName + LPUpx): stk=1 → UPX[0]=UpxPapx (istd(2)+grpprl), UPX[1]=UpxChpx (§2.9.338/.336); **stk=2 (символьный стиль, StkCharGRLPUPX §2.9.263)** — единственный UPX[0]=UpxChpx целиком, отдельная цепочка `charChain(istd)` (источник ссылки — sprmCIstd, §2.4.6.5); stk=3 (табличный) не читается. Цепочка base-first (предок раньше потомка, last-wins при скане); istdBase 0x0FFF — без предка, цикл — обрыв на MAX_CHAIN=16. Разбор **снисходительный** (образец FontTable): битый/отсутствующий STSH → пустая таблица, конвертация на прямых свойствах, без `ConversionException`| |`Tables`|TAP TTP-абзаца (§2.6.3) → `Grid(colWidths, indent, bordersXml, tblJc, cellVAlign, cellMargins)`: sprmTDefTable (§2.9.321, ncols 1..63, rgdxaCenter XAS со знаком — ширина = center[i+1]−center[i], первый center — сдвиг от поля); границы: sprmTTableBorders (§2.9.302, 6×Brc: cv fAuto, dptLineWidth 1/8pt, brcType §2.9.22) иначе sprmTTableBorders80 (§2.9.303, ico→цвет §2.9.119); BrcMayBeNil/Brc80MayBeNil (байты все 0xFF — NilBrc, §2.9.20/.18) → **границы нет** (не эмитится), brcType=0 не эмитится, 0x1B→inset, ≥0x40 ширина ×8, sz<2 → 2 (§2.9.16); выравнивание: sprmTJc/sprmTJc90 (u16: 1→"center", 2→"right", прочее → null — элемент не эмитится), современный перекрывает 90-вариант (тот же приоритет, что у 0xD613 над 0xD605) → `w:jc` в tblPr (`openTable`; регрессия — WordPdfConverterTest#docFooterTableCentered_shiftedLikeWord); вертикальное выравнивание ячеек: sprmTVertAlign 0xD62C (CellRangeVertAlign §2.9.30) → `cellVAlign[]` по индексам колонок (диапазоны clamped к сетке, top/вне диапазона — не эмитится) → `w:vAlign` в `w:tcPr` после `w:gridSpan` (регрессии — TablesTest#vertAlign_*, DocToDocxFormattingTest#cellVertAlign_*); поля ячеек: sprmTCellPadding/…Default (CSSAOperand §2.9.46, только ftsDxa, wWidth ≤ 31680) → `cellMargins[]` (record `CellMargin(itcFirst, itcLim, sideMask, width)`, Default — весь ряд) → `w:tcMar` в `w:tcPr` до `w:vAlign` (CT_TcMar §17.4.66; регрессии — TablesTest#cellPadding_*, DocToDocxFormattingTest#cellMargins_becomeTcMar, пайплайн — WordPdfConverterTest#tableTcMar_textInsetLikeWord). `null` (нет/битый TDefTable, неположительная ширина) → строка деградирует в плоские абзацы| diff --git a/docs/agent/pipeline.md b/docs/agent/pipeline.md index 7b815dd..ad0c6ad 100644 --- a/docs/agent/pipeline.md +++ b/docs/agent/pipeline.md @@ -32,16 +32,16 @@ Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Одиннадцать rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby; константу `STEP` (`public static final DocxNormalizer`) несёт только `DocxRewritePipeline` (собирает рерайты сам), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`, а вместо `normalize(byte[])` у него `normalize(byte[], boolean)`. Правила 1–11 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 10; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` десяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим: -1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174 — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.4 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`). +1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.44 — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.4 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`). 2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается. 3. `SymbolFontNormalizer` — PUA U+F000–U+F0FF (Symbol/Wingdings/Webdings) → Unicode + DejaVu Sans; переписывает ``, правит `w:lvl` в numbering.xml; 5 карт по 256 слотов (таблица `SymbolMapper` из docx4j 17.x). 4. `FieldNormalizer` — `fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple` (кэш страниц в PDF не попадает); вложенные/битые поля пропускаются. 5. `InvisibleCharNormalizer` — вырезает из `w:t` U+0085, U+2028, U+2029, U+200E/200F, U+202A–202E, U+2060, U+FEFF (FOP делает из них переносы/пустые строки, Arimo/Tinos рисуют боксы). U+00A0/U+00AD/U+200B–U+200D **не** трогает. -6. `MathFallbackNormalizer` — байтовый скан OMML-формул (§22.1) до загрузки пакета: формулы с конструкциями вне `MathModel.SUPPORTED` (или structurally битые) деградируют в текст — `m:oMathPara`/`m:oMath` → обычные раны с конкатенацией `m:t` (как в штатном фолбэке docx4j `XsltFOFunctions.mathText`); поддерживаемые части не трогаются (`rewrite` → `null`, тот же массив) — их рисует собственный `MathRenderer` на шаге 3.5. Позиция **до GlyphCoverage** обязательна: деградировавшие раны с математическими символами (U+1D400+) обязаны пройти резку по покрытию, иначе FOP рисует «#». `m:oMathPara` содержит `m:oMath`, поэтому блок para заменяется первым. Регрессия — WordPdfConverterTest#ommlMathUnsupported_flattenedToText, юниты — MathFallbackNormalizerTest. +6. `MathFallbackNormalizer` — байтовый скан OMML-формул (§22.1) до загрузки пакета: формулы с конструкциями вне `MathModel.SUPPORTED` (или structurally битые) деградируют в текст — `m:oMathPara`/`m:oMath` → обычные раны с конкатенацией `m:t` (как в штатном фолбэке docx4j `XsltFOFunctions.mathText`); поддерживаемые части не трогаются (`rewrite` → `null`, тот же массив) — их рисует собственный `MathRenderer` на шаге 3.5. Позиция **до GlyphCoverage** обязательна: деградировавшие раны с математическими символами (U+1D400+) обязаны пройти резку по покрытию, иначе FOP рисует «#». `m:oMathPara` содержит `m:oMath`, поэтому блок para заменяется первым. Регрессия — WordPdfConverterTest#ommlUnsupported_degradesToText, юниты — MathFallbackNormalizerTest. 7. `GlyphCoverageNormalizer` — режет раны по покрытию глифов и пишет семейство в `w:rFonts`, иначе FOP рисует «#». Покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, **не** docx4j `GlyphCheck` (плодит INFO-лог; `java.awt.Font` требовал fontconfig на хосте). Для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (`dejavu serif`, `tinos`, `caladea`), затем в sans. 8. `TableIndentNormalizer` — свёртка `w:tblPr/w:jc` (center/right) с любым (в т.ч. отсутствующим/нулевым) `w:tblInd` в абсолютный `w:tblInd` с удалением `w:jc` (Word: tblInd — сдвиг от поля после центрирования, MS-OI29500 §2.1.155; docx4j при jc≠left игнорирует tblInd буквально — аудит раскладки ECMA-376, матрица B3, а центрированию пишет абсолютный start-indent **без** вычета cellMar, поверх которого padding-компенсация правила LayoutPostRenderer уводит текст на +padding — свёртка обязательна и при X=0): center → (W−T)/2+X, right → (W−T)+X, W — полоса набора (pgSz − pgMar left/right; у CT_PageMar полей `w:start`/`w:end` нет, полоса берётся из сырого document.xml до правила 1; дефолты 11906/1440 — измеренное поведение docx4j, ECMA дефолтов не фиксирует §17.6.11/.13), T — Σ gridCol; пропускает несколько body-level `sectPr`, `tblInd` с явным `w:type` ≠ dxa (опущенный type — dxa, §17.4.87), `tblPr` с `tblCellSpacing` без `tblInd` (нет корректной позиции вставки по CT_TblPrBase), `tblW pct`, нецелые gridCol. Кроме `rewrite` (document.xml, полоса из собственного sectPr) есть `rewritePart(part, xml, band)` — `word/headerN.xml`/`footerN.xml` с полосой из document.xml (в частях колонтитуков своего sectPr нет) и `bandOf(documentXml)` — экстрактор полосы (−1 — полосы нет). Регрессия — WordPdfConverterTest#tableIndentCentered_shiftedLikeWord, #headerTableIndent_centeredInHeader, #tableCenteredNoIndent_shiftedLikeWord. 9. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; ST_LevelSuffix Part 1 §17.9.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace. -10. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.41): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true; явный `false/0/off` в ране **перекрывает** vanish-стиль) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, #hiddenText_directFalseOverridesVanishStyle, юниты — HiddenTextNormalizerTest. +10. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.41): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true; явный `false/0/off` в ране **перекрывает** vanish-стиль) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, #hiddenText_directVanishFalseOverridesStyle, юниты — HiddenTextNormalizerTest. 11. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.24–.28): снимается обёртка `w:ruby` (схемно-валидная транзишнл-разметка `w:r`→`w:ruby`→rubyPr/rt/rubyBase иначе достаёт catch-all-шаблону XSLT, и база теряется молча), `w:rubyBase` разворачивается в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.2 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest. 12. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `OleFoundException`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет. diff --git a/docs/agent/testing.md b/docs/agent/testing.md index ff94576..a98a33a 100644 --- a/docs/agent/testing.md +++ b/docs/agent/testing.md @@ -2,7 +2,7 @@ ### Счётчики (2026-11) -- 63 тестовых классов / 1004 теста: core 57/956 (`internal/doc/` 17/256, `internal/chart/` 18/301, `WordPdfConverterTest` 87), app 6/48 (ConvertController 26, ApiKeyFilter 8, ConversionService 5, ApiExceptionHandler 5, ConvertLimits 3, ConversionTimeout 1). Обновлять при изменении набора. +- 63 тестовых классов / 1021 тест: core 57/973 (`internal/doc/` 17/256, `internal/chart/` 18/311, `WordPdfConverterTest` 89), app 6/48 (ConvertController 26, ApiKeyFilter 8, ConversionService 5, ApiExceptionHandler 5, ConvertLimits 3, ConversionTimeout 1). Обновлять при изменении набора. ### Пиксели, метрики шрифтов, стенд без fontconfig @@ -31,5 +31,5 @@ - `lineRuleAuto_wordSingleLinePitch` — пинит метрический шаг «single» (13.4277pt) от псевдофиксов раскладки; `carlitoAutoBlock_untouched` — блок без явного `w:line` не трогается. - `vendoredXsltTracksJarCopy` — дрейф-гейт: вне AUDIT-FIX-регионов вендорный `docx2fo.xslt` обязан быть побайтно равен стилисту из jar'а docx4j-export-fo (при апгрейде docx4j — перевендорить и перенести патчи). - Крафт POIFS (закоммиченных фикстур нет, крафт продублирован в `WordPdfConverterTest`): `ListsTest`+`DocToDocxFormattingTest#list*`↔`docLists_numberingAndBulletsRendered` (синтетический .doc со списками → PDF: `1.` `2.` `a)` `b)` `•`, ни одного `#`; фикстур со списками нет — крафт POIFS продублирован в `WordPdfConverterTest`), `PrcDataTest`+`DocToDocxFormattingTest#hugePapxRowMark_closesRowWithGridFromPrcData` (TTP-абзац с grpprl в PrcData Data-потока → `w:tbl`/`w:tr`/сетка из цепочки; фикстуры нет — `docTest.doc` заказчика не коммитим, крафт POIFS продублирован), `SectionsTest`+`HeadersTest`+`DocToDocxFormattingTest#twoSections*/sectionBreakInTable*`↔`docMultiSection_perSectionHeaders` (двухсекционный .doc → PDF: стр. 1 — ШАПКА-1+ПОДВАЛ-1, стр. 2 — ШАПКА-2 + унаследованный ПОДВАЛ-1, ни одной `#`; крафт POIFS продублирован в `WordPdfConverterTest`), `ChpxIndexTest#zeroOffset_defaultPropsBoundaryKept`+`DocToDocxFormattingTest#runFlags_*/keepNextKeepLines_*/sectLandscapePgNumCols_*/sectUnevenCols_*/cellVertAlign_*/drawnObject_*`+`SectionsTest#orientationPgNumColumns_applied/unevenColumns_perIndexWidths/restartWithoutStart_clampsToOne`+`TablesTest#vertAlign_*`↔`WordPdfConverterTest#docClassD_landscapeHiddenDelCaps/#docClassD_pageNumberRestartLowerRoman/#docClassD_twoColumnsBreak/#docClassD_drawnObjectBecomesImage` (закрытие пробелов класса D: vanish-фильтр/правки/caps/position/keep, landscape+pgNumType, колонки+column break, vAlign, 0x08→inline-картинка; фикстур нет — крафт POIFS продублирован в обоих тестовых классах). -- Синтетика через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`: AUDIT-FIX-2↔`movedRevision_textPrinted`/`bdoDir_textPrinted` (фикстур нет — синтетический docx через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`); пиннинг аудита .docx↔`footnote_rendersAtPageBottom`, `endnote_rendersAtDocumentEnd`, `docxHyperlink_uriAnnotation`, `pageRefField_liveNotCached` (кэш 9001/7777 заменён живым номером), `dateField_notStaleCache` (кэш 01.02.2003 заменён текущей датой), `titlePg_firstPageHeader`, `vMergeCell_spansRows`, `sdtContent_rendered`, `drawingTextBox_textPrinted`, `ommlMath_renderedAsPng` (пиксели: +150 тёмных px@150dpi сверх текста, текст формулы не извлекается), `ommlMathUnsupported_flattenedToText`, `highlightAndShading_backgroundDrawn` (жёлтые px >0 против baseline 0), аудит [MS-DOC] моста 2026-11: `GrpprlTest#tInsertOperand_skippedBySpra`/`tInsertOperand_truncated_aborts` (sprmTInsert — 4 байта, хвост TAP не рассинхронизирован), `TablesTest#cellPadding_*` + `DocToDocxFormattingTest#cellMargins_becomeTcMar` ↔ `WordPdfConverterTest#tableTcMar_textInsetLikeWord` (CSSA→w:tcMar, пайплайн красит поля ячейки как tblCellMar — текст на margin+padding), `StylesTest#characterStyle_stk3_chainViaCharChain`/`charChain_nonCharacterStk_empty` + `DocToDocxFormattingTest#charStyle_viaIstd_mergesUnderDirect` (sprmCIstd: символьная chpx-цепочка между стилевой и прямыми, direct wins), `DocToDocxFormattingTest#runHighlightAndShading_inRPr`/`runShadingPattern_degradesToBackFill`/`paraShd_inPPrBeforeJc` ↔ `docHighlightAndShading_yellowPixels` (Ico→ST_HighlightColor; w:shd в форме FOP val="clear"+fill; паттерн→cvBack), `SectionsTest#titlePage_flagFromSepx` + `DocToDocxFormattingTest#titlePage_emittedAfterCols` ↔ `docTitlePage_firstHeaderOnlyFirstPage` (sprmSFTitlePage + first-слоты Plcfhdd → headerReference type="first", первая страница — только first-шапка).. +- Синтетика через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`: AUDIT-FIX-2↔`movedRevision_textPrinted`/`bdoDir_textPrinted` (фикстур нет — синтетический docx через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`); пиннинг аудита .docx↔`footnote_rendersAtPageBottom`, `endnote_rendersAtDocumentEnd`, `docxHyperlink_uriAnnotation`, `pageRefField_liveNotCached` (кэш 9001/7777 заменён живым номером), `dateField_notStaleCache` (кэш 01.02.2003 заменён текущей датой), `titlePg_firstPageHeader`, `vMergeCell_spansRows`, `sdtContent_rendered`, `drawingTextBox_textPrinted`, `ommlMath_drawnAsRaster` (пиксели: +150 тёмных px@150dpi сверх текста, текст формулы не извлекается), `ommlUnsupported_degradesToText`, `highlightAndShading_backgroundDrawn` (жёлтые px >0 против baseline 0), аудит [MS-DOC] моста 2026-11: `GrpprlTest#tInsertOperand_skippedBySpra`/`tInsertOperand_truncated_aborts` (sprmTInsert — 4 байта, хвост TAP не рассинхронизирован), `TablesTest#cellPadding_*` + `DocToDocxFormattingTest#cellMargins_becomeTcMar` ↔ `WordPdfConverterTest#tableTcMar_textInsetLikeWord` (CSSA→w:tcMar, пайплайн красит поля ячейки как tblCellMar — текст на margin+padding), `StylesTest#characterStyle_stk2_chainViaCharChain`/`charChain_nonCharacterStk_empty` + `DocToDocxFormattingTest#charStyle_viaIstd_mergesUnderDirect` (sprmCIstd: символьная chpx-цепочка между стилевой и прямыми, direct wins), `DocToDocxFormattingTest#runHighlightAndShading_inRPr`/`runShadingPattern_degradesToBackFill`/`paraShd_inPPrBeforeJc` ↔ `docHighlightAndShading_yellowPixels` (Ico→ST_HighlightColor; w:shd в форме FOP val="clear"+fill; паттерн→cvBack), `SectionsTest#titlePage_flagFromSepx` + `DocToDocxFormattingTest#titlePage_emittedAfterCols` ↔ `docTitlePage_firstHeaderOnlyFirstPage` (sprmSFTitlePage + first-слоты Plcfhdd → headerReference type="first", первая страница — только first-шапка).. - App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed`, `corruptNotAZip_rejected`, `plainZipNotDocx_rejected`, `junkInsideValidZip_conversionError` (500 на валидном .docx-контейнере с мусором), `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `drawingsAlwaysRendered`, `cyrillicAndPathInFilename_sanitizedResponseName`, `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey`, `dotSegmentOpenPrefix_rejected`, `errorFlagNotBoolean_rejected`, `methodNotSupportedReturns405`/`badContentTypeReturns415`. diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java index 6bdf12f..4909a4b 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java @@ -158,7 +158,7 @@ public final class WordPdfConverter { * lightweight-скан по zip, для .doc — по чистому бинарному документу до * конвертации. Повторного скана по нормализованным байтам нет: правила * 1–11 {@code DocxRewritePipeline} число учитываемых разрывов не - * увеличивают (правило 9 способно только убрать разрыв внутри скрытого + * увеличивают (правило 10 способно только убрать разрыв внутри скрытого * рана — счёт по сырому входу остаётся верхней оценкой лимита), а скан * внутри живой JAXB-модели удваивал бы пиковую память. * @@ -208,6 +208,11 @@ public final class WordPdfConverter { throw e; } catch (Exception e) { throw new ConversionException("Не удалось конвертировать документ", e); + } catch (StackOverflowError e) { + // Глубокая вложенность XML: JAXB-разбор рекурсивен и может + // разогнать стек раньше капы MathModel — детерминированный + // отказ вместо Error. + throw new ConversionException("Не удалось конвертировать документ", e); } return bos.toByteArray(); } @@ -455,21 +460,22 @@ public final class WordPdfConverter { /** * Конвейер байтовой нормализации docx. Порядок фиксирован: сначала один * zip-проход переписывания XML-частей (внутри части порядок рерайтов - * Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→ - * NumberingSuffix→Hidden→Ruby→MathFallback значим: Strict первым — дальше transitional-байт; - * GlyphCoverage — по финальному тексту рана; Hidden — вырезает скрытые - * раны по финальному содержимому; Ruby — разворачивает руби-разметку, - * которую схема docx4j не биндит; MathFallback — деградирует OMML-формулы - * в текст m:t, когда JEuclid недоступен), затем OleObjectNormalizer - * (меняет части, а не XML ранов). + * Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→ + * NumberingSuffix→Hidden→Ruby значим: Strict первым — дальше transitional-байт; + * MathFallback — деградирует OMML-формулы в текст m:t, когда JEuclid + * недоступен, и следующий GlyphCoverage покрывает этот текст кириллицей + * бандла; GlyphCoverage — по финальному тексту рана; Hidden — вырезает + * скрытые раны по финальному содержимому; Ruby — разворачивает + * руби-разметку, которую схема docx4j не биндит), затем + * OleObjectNormalizer (меняет части, а не XML ранов). * Регрессии каждого рерайта — в javadoc соответствующего нормализатора. */ private static List normalizers(ConvertOptions options) { return List.of( // один zip-проход: strict→transitional, on/off, Symbol-PUA, - // поля PAGE/NUMPAGES, невидимки, покрытие глифов, tblInd при - // jc≠left, suff=space, скрытый текст (vanish), снятие обёртки - // w:ruby, OMML-фолбэк в текст — порядок + // поля PAGE/NUMPAGES, невидимки, OMML-фолбэк в текст, покрытие + // глифов, tblInd при jc≠left, suff=space, скрытый текст + // (vanish), снятие обёртки w:ruby — порядок // рерайтов внутри части фиксирован (DocxRewritePipeline) DocxRewritePipeline.STEP, // OLE-объекты: при выключенном errorOnOle тихо удаляем diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java index 74fc805..f8885cf 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java @@ -94,7 +94,12 @@ public final class WordPdfValidator { if (docxBytes == null) { throw new ValidationException("Не указаны байты входного файла"); } - long maxBytes = maxMb * 1024 * 1024; + long maxBytes; + try { + maxBytes = Math.multiplyExact(maxMb, 1048576L); + } catch (ArithmeticException e) { + throw new ValidationException("Лимит maxMb слишком велик: " + maxMb); + } if (docxBytes.length > maxBytes) { throw new ValidationException("Файл больше " + maxMb + " МБ: " + docxBytes.length + " байт > " + maxBytes + " байт"); @@ -283,11 +288,18 @@ public final class WordPdfValidator { || (docxBytes[2] & 0xFF) != 0x03 || (docxBytes[3] & 0xFF) != 0x04) { throw new ValidationException("Содержимое не похоже на .docx или .doc (не zip-архив)"); } - checkDocxContainer(docxBytes, - maxDecompressedBytes(options.maxMb(), options.maxPages()), - maxDecompressedXmlBytes(options.maxMb(), options.maxPages()), - maxZipEntries(options.maxMb(), options.maxPages()), - maxImagePixels(options.maxMb())); + try { + checkDocxContainer(docxBytes, + maxDecompressedBytes(options.maxMb(), options.maxPages()), + maxDecompressedXmlBytes(options.maxMb(), options.maxPages()), + maxZipEntries(options.maxMb(), options.maxPages()), + maxImagePixels(options.maxMb())); + } catch (ArithmeticException e) { + // Бюджеты считаются multiplyExact от maxMb/maxPages: экстремальный + // лимит — отказ валидации (400), а не сырой ArithmeticException. + throw new ValidationException( + "Лимит maxMb слишком велик: " + options.maxMb()); + } checkPageCount(docxBytes, options.maxPages()); } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java index 4f4a20e..faad7d2 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java @@ -22,14 +22,14 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel; * шестым — flatten unsupported-формул даёт обычный текст ранов, который * следующий GlyphCoverage покрывает кириллицей бандла; GlyphCoverage * режет раны по финальному тексту рана (после Symbol/Invisible); Hidden - * девятым — вырезает уже финальные раны (после Symbol/GLYPH-разбиений), + * десятым — вырезает уже финальные раны (после Symbol/GLYPH-разбиений), * а его OnOff-форма vanish читается после правила 2. Каждый * рерайт работает только содержимым одной части, поэтому по-частная * цепочка эквивалентна последовательным полным проходам. Исключения из - * «по-частности» — контексты, читаемые один раз до цикла: правило 7 + * «по-частности» — контексты, читаемые один раз до цикла: правило 8 * (TableIndent) — у header/footer-частей своей sectPr нет, ширина полосы * передаётся из document.xml (многосекционный документ — полоса - * неоднозначна, header/footer пропускаются); правило 9 (Hidden) — + * неоднозначна, header/footer пропускаются); правило 10 (Hidden) — * стилевые vanish читаются из word/styles.xml (цепочка w:basedOn). * *

Неизменённые записи (медиа, rels, прочее) переносятся raw-копией @@ -65,7 +65,7 @@ public final class DocxRewritePipeline { boolean changed = false; try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx)); ZipArchiveOutputStream zos = new ZipArchiveOutputStream(out)) { - // Ширина полосы набора для правила 7 (таблицы в header/footer- + // Ширина полосы набора для правила 8 (таблицы в header/footer- // частях своей sectPr не содержат): из сырого document.xml — // геометрия инвариантна к рерайтам цепочки (Strict не трогает // w:pgSz/@w:w; у strict CT_PageMar start/end нет вовсе — @@ -75,26 +75,30 @@ public final class DocxRewritePipeline { int band = -1; ZipArchiveEntry docEntry = zf.getEntry("word/document.xml"); if (docEntry != null) { - band = TableIndentNormalizer.bandOf( - new String(zf.getInputStream(docEntry).readAllBytes(), - StandardCharsets.UTF_8)); + try (InputStream in = zf.getInputStream(docEntry)) { + band = TableIndentNormalizer.bandOf( + new String(in.readAllBytes(), StandardCharsets.UTF_8)); + } } - // Стилевые vanish для правила 9 (скрытый текст): часть стилевой + // Стилевые vanish для правила 10 (скрытый текст): часть стилевой // цепочки w:basedOn вычисляется один раз до цикла. Записи нет → // пустое множество, рерайт работает по прямому vanish. Set hiddenStyles = Set.of(); ZipArchiveEntry stylesEntry = zf.getEntry("word/styles.xml"); if (stylesEntry != null) { - hiddenStyles = HiddenTextNormalizer.vanishStyles( - new String(zf.getInputStream(stylesEntry).readAllBytes(), - StandardCharsets.UTF_8)); + try (InputStream in = zf.getInputStream(stylesEntry)) { + hiddenStyles = HiddenTextNormalizer.vanishStyles( + new String(in.readAllBytes(), StandardCharsets.UTF_8)); + } } for (ZipArchiveEntry entry : Collections.list(zf.getEntries())) { String name = entry.getName(); byte[] rewritten = null; if (name.startsWith("word/") && name.endsWith(".xml")) { - String xml = new String(zf.getInputStream(entry).readAllBytes(), - StandardCharsets.UTF_8); + String xml; + try (InputStream in = zf.getInputStream(entry)) { + xml = new String(in.readAllBytes(), StandardCharsets.UTF_8); + } String cur = xml; String next = StrictOoxmlNormalizer.rewritePart(name, cur); if (next != null) { @@ -168,7 +172,9 @@ public final class DocxRewritePipeline { } else { // прочие методы/шифрованные — обычный перенос zos.putArchiveEntry(new ZipArchiveEntry(name)); - zf.getInputStream(entry).transferTo(zos); + try (InputStream in = zf.getInputStream(entry)) { + in.transferTo(zos); + } zos.closeArchiveEntry(); } } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FieldNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FieldNormalizer.java index 02cac4f..1228472 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FieldNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FieldNormalizer.java @@ -1,13 +1,6 @@ package ru.pjandro.wordpdf.internal; -import java.io.ByteArrayInputStream; -import java.io.ByteArrayOutputStream; -import java.io.IOException; -import java.nio.charset.StandardCharsets; import java.util.Locale; -import java.util.zip.ZipEntry; -import java.util.zip.ZipInputStream; -import java.util.zip.ZipOutputStream; /** * Разворачивание «сложных» полей PAGE/NUMPAGES в {@code w:fldSimple} — @@ -30,6 +23,7 @@ import java.util.zip.ZipOutputStream; * внутрь {@code w:sdt}: нумерация страниц Word почти всегда лежит в * контентном контроле («Page Numbers (Top of Page)»), и до поля не добирается. * Отсюда и нормализация байтов, как в {@link DocxOnOffNormalizer}. + * Регрессия — WordPdfConverterTest#pageNumbers_recomputedNotCached. * * Трогаются только поля, которые действительно есть кому рисовать * ({@link #SUPPORTED}); остальные остаются как были. Вложенные поля не @@ -44,36 +38,6 @@ final class FieldNormalizer { private FieldNormalizer() { } - /** - * Переписывает поддерживаемые поля во всех word/*.xml частях docx. - * - * @param docx байты .docx (zip) - * @return те же или переупакованные байты - */ - static byte[] normalize(byte[] docx) throws IOException { - ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); - boolean changed = false; - try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); - ZipOutputStream zos = new ZipOutputStream(out)) { - ZipEntry entry; - while ((entry = zis.getNextEntry()) != null) { - byte[] data = zis.readAllBytes(); - String name = entry.getName(); - if (name.startsWith("word/") && name.endsWith(".xml")) { - String fixed = rewrite(new String(data, StandardCharsets.UTF_8)); - if (fixed != null) { - changed = true; - data = fixed.getBytes(StandardCharsets.UTF_8); - } - } - zos.putNextEntry(new ZipEntry(name)); - zos.write(data); - zos.closeEntry(); - } - } - return changed ? out.toByteArray() : docx; - } - /** * @return новая строка либо null, если менять нечего */ diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/GlyphCoverageNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/GlyphCoverageNormalizer.java index 4832a71..164484a 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/GlyphCoverageNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/GlyphCoverageNormalizer.java @@ -4,18 +4,11 @@ import ru.pjandro.wordpdf.fonts.BundledFontAliases; import ru.pjandro.wordpdf.fonts.BundledFonts; import ru.pjandro.wordpdf.fonts.GlyphFont; -import java.io.ByteArrayInputStream; -import java.io.ByteArrayOutputStream; -import java.io.IOException; -import java.nio.charset.StandardCharsets; import java.util.ArrayList; import java.util.List; import java.util.Map; import java.util.regex.Matcher; import java.util.regex.Pattern; -import java.util.zip.ZipEntry; -import java.util.zip.ZipInputStream; -import java.util.zip.ZipOutputStream; import java.util.concurrent.ConcurrentHashMap; /** @@ -81,36 +74,6 @@ final class GlyphCoverageNormalizer { private GlyphCoverageNormalizer() { } - /** - * Разрезает раны с непокрытыми глифами в XML-частях docx (word/*.xml). - * - * @param docx байты .docx (zip) - * @return те же или переупакованные байты - */ - static byte[] normalize(byte[] docx) throws IOException { - ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); - boolean changed = false; - try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); - ZipOutputStream zos = new ZipOutputStream(out)) { - ZipEntry entry; - while ((entry = zis.getNextEntry()) != null) { - byte[] data = zis.readAllBytes(); - String name = entry.getName(); - if (name.startsWith("word/") && name.endsWith(".xml")) { - String fixed = rewrite(new String(data, StandardCharsets.UTF_8)); - if (fixed != null) { - changed = true; - data = fixed.getBytes(StandardCharsets.UTF_8); - } - } - zos.putNextEntry(new ZipEntry(name)); - zos.write(data); - zos.closeEntry(); - } - } - return changed ? out.toByteArray() : docx; - } - /** * Переписывает раны с непокрытыми глифами. * diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/MathFallbackNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/MathFallbackNormalizer.java index 727abdd..0b31652 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/MathFallbackNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/MathFallbackNormalizer.java @@ -16,6 +16,8 @@ import java.util.regex.Pattern; * содержащий math-элемент вне {@link MathModel#SUPPORTED}, заменяется раном с * конкатенацией текста {@code m:t} (как штатный фолбэк docx4j * {@code XsltFOFunctions.mathText}) — формула видна текстом, а не теряется. + * Регрессия — WordPdfConverterTest#ommlUnsupported_degradesToText, + * юниты — MathFallbackNormalizerTest. * *

Зачем скан до загрузки docx4j: собственный растер формул * ({@code MathModel}/{@code MathRenderer} в {@code DrawingPreRenderer}) diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/OleObjectNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/OleObjectNormalizer.java index 28d73c7..2dc8ed4 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/OleObjectNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/OleObjectNormalizer.java @@ -209,8 +209,10 @@ public final class OleObjectNormalizer { if (contentTypes == null) { return docx; } - String ctXml = new String(zf.getInputStream(contentTypes).readAllBytes(), - StandardCharsets.UTF_8); + String ctXml; + try (InputStream in = zf.getInputStream(contentTypes)) { + ctXml = new String(in.readAllBytes(), StandardCharsets.UTF_8); + } Map defaults = defaultTypes(ctXml); Map overrides = overrideTypes(ctXml); @@ -250,7 +252,10 @@ public final class OleObjectNormalizer { if (oleParts.contains(name)) { continue; } - byte[] data = zf.getInputStream(entry).readAllBytes(); + byte[] data; + try (InputStream in = zf.getInputStream(entry)) { + data = in.readAllBytes(); + } if (name.endsWith(".rels")) { String fixed = stripRels( new String(data, StandardCharsets.UTF_8), name, oleParts); diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/RubyNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/RubyNormalizer.java index 6448def..e098ef6 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/RubyNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/RubyNormalizer.java @@ -29,8 +29,8 @@ import java.util.zip.ZipOutputStream; * CT_R: {@code w:r} → {@code w:ruby} → rubyPr/rt/rubyBase, wml.xsd) иначе * достаёт catch-all-шаблону XSLT и база теряется молча. * - *

В конвейере подключается десятым рерайтом в {@link DocxRewritePipeline} - * (после Hidden; порядок 1–8 не перенумеровать); в + *

В конвейере подключается одиннадцатым рерайтом в {@link DocxRewritePipeline} + * (после Hidden; порядок правил фиксирован в {@code DocxRewritePipeline}); в * {@code WordPdfConverter#normalizers} напрямую не вызывается, как и * остальные rewrite-нормализаторы. * diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizer.java index 8659770..a9462c6 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizer.java @@ -22,8 +22,8 @@ import java.util.zip.ZipOutputStream; * {@code } + {@code w:rFonts w:ascii="Wingdings"} * — это «▪», а тот же код в Symbol — «♣». Экспорт docx4j в XSL-FO эти * шрифты не знает: код уходит в fallback-семейство, глифа там нет, и FOP - * рисует {@code .notdef} — в PDF решётку «#» (регрессия: - * {@code WordPdfConverterTest#symbolFonts_bulletsAreNotHash}). + * рисует {@code .notdef} — в PDF решётку «#». + * Регрессия — WordPdfConverterTest#symbolFonts_bulletsAreNotHash. * * Делаем то же, что Word: код из PUA заменяем его Unicode-эквивалентом, * а имя шрифта — на fallback-семейство (в нём этих глифов достаточно). diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ChartSpec.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ChartSpec.java index e7e9fb8..cc396b6 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ChartSpec.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ChartSpec.java @@ -1137,7 +1137,11 @@ final class ChartSpec { return null; } try { - return Double.parseDouble(s.trim()); + double v = Double.parseDouble(s.trim()); + // ST_Double допускает литералы NaN/Infinity; в пиксельных + // формулах пейнтеров они дают молча пустой график — считаем + // точку отсутствующей. + return Double.isFinite(v) ? v : null; } catch (NumberFormatException e) { return null; } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/MathModel.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/MathModel.java index 2827b14..1e75f5f 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/MathModel.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/MathModel.java @@ -134,6 +134,22 @@ public final class MathModel { /** Межстрочный/межколоночный зазор сетки в pt. */ static final double GRID_ROW_GAP = 2.0; + /** + * Капа вложенности OMML (§22.1 допускает произвольную): враждебный docx + * с тысячами уровней {@code m:d}/{@code m:e} разгонял стек рекурсии + * elements→box→arg до StackOverflowError; 64 с запасом для реальных + * формул Word. + * Регрессия — MathModelTest#deepNesting_unsupportedNotStackOverflow. + */ + private static final int MAX_DEPTH = 64; + + /** + * Текстовая деградация best-effort: капа стек-безопасна и сохраняет + * текст формул, отсечённых капой разбора ({@value #MAX_DEPTH}); + * глубже — обрезка молча. + */ + private static final int MAX_TEXT_DEPTH = 1024; + private MathModel() { } @@ -143,10 +159,19 @@ public final class MathModel { * — текущий кегль (индексы разбираются в {@value #SCRIPT_RATIO} базы; * явный {@code w:sz} рана переопределяет). */ - record MathCtx(boolean display, double size) { + record MathCtx(boolean display, double size, int depth) { MathCtx withSize(double newScale) { - return new MathCtx(display, size * newScale); + return new MathCtx(display, size * newScale, depth); + } + + /** Спуск во вложенный контент; капа глубины — защита от StackOverflowError. */ + MathCtx deeper() { + if (depth >= MAX_DEPTH) { + throw new MathUnsupportedException( + "глубина вложенности OMML больше " + MAX_DEPTH); + } + return new MathCtx(display, size, depth + 1); } /** Семейство бандла для имени из документа; дефолт формул Word — Cambria Math. */ @@ -705,7 +730,8 @@ public final class MathModel { /** Корень: {@code m:oMath} → строка боксов (kegль по умолчанию). */ static Box build(CTOMath math, boolean display) { - return elements(math.getEGOMathElements(), new MathCtx(display, DEFAULT_SIZE_PT)); + return elements(math.getEGOMathElements(), + new MathCtx(display, DEFAULT_SIZE_PT, 0)); } /** Аргумент {@code m:e}/{@code m:num}/… → строка боксов; null → пустой бокс. */ @@ -713,7 +739,7 @@ public final class MathModel { if (arg == null) { return emptyBox(); } - return elements(arg.getEGOMathElements(), ctx); + return elements(arg.getEGOMathElements(), ctx.deeper()); } private static RowBox elements(List content, MathCtx ctx) { @@ -1012,11 +1038,14 @@ public final class MathModel { */ public static String mathText(CTOMath math) { StringBuilder sb = new StringBuilder(); - appendText(math, sb); + appendText(math, sb, 0); return sb.toString(); } - private static void appendText(Object o, StringBuilder sb) { + private static void appendText(Object o, StringBuilder sb, int depth) { + if (depth > MAX_TEXT_DEPTH) { + return; + } Object v = o instanceof JAXBElement el ? el.getValue() : o; if (v instanceof CTText t) { if (t.getValue() != null) { @@ -1032,10 +1061,10 @@ public final class MathModel { Object r = v.getClass().getMethod(getter).invoke(v); if (r instanceof List list) { for (Object x : list) { - appendText(x, sb); + appendText(x, sb, depth + 1); } } else if (r != null && !(r instanceof String)) { - appendText(r, sb); + appendText(r, sb, depth + 1); } } catch (ReflectiveOperationException | RuntimeException e) { // Геттера нет/не вызывается — снимаем частичный вклад: сбор diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocToDocx.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocToDocx.java index df9f675..c1e495f 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocToDocx.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocToDocx.java @@ -1051,7 +1051,7 @@ public final class DocToDocx { * скрытое фильтруется здесь. sprmCFCaps/sprmCFSmallCaps: {@code w:caps}/ * {@code w:smallCaps} конвейер тоже не читает → верхний регистр * (малых капителек в FOP нет — приближение, см. регрессию - * DocToDocxFormattingTest#capsSmallCaps_uppercasedAtBridge). + * DocToDocxFormattingTest#runFlags_positionHiddenCapsDelIns). */ private boolean shown() { return visible() && !runHidden; diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/OfficeArt.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/OfficeArt.java index 10c8783..b516c72 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/OfficeArt.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/OfficeArt.java @@ -211,6 +211,7 @@ final class OfficeArt { javax.imageio.ImageIO.write(img, "png", bos); return new Picture("png", "image/png", bos.toByteArray(), emu(sizeX), emu(sizeY)); } catch (java.io.IOException | RuntimeException e) { + LOG.warning("DIB в .doc не декодирован: " + e); return null; } } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Styles.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Styles.java index 3c09b67..d02a6ef 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Styles.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Styles.java @@ -43,6 +43,10 @@ final class Styles { /** Защита от цикла в istdBase. */ private static final int MAX_CHAIN = 16; + /** Битый STSH логируется (JUL — конвенция {@code internal/}, образец OfficeArt). */ + private static final java.util.logging.Logger LOG = + java.util.logging.Logger.getLogger(Styles.class.getName()); + /** Один стиль: stk (§2.9.260), предка + собственные grpprl'ы (пустые — нет). */ private record Style(int istdBase, int stk, byte[] papx, byte[] chpx) { } @@ -54,6 +58,7 @@ final class Styles { try { parsed = readAll(table, fc, lcb); } catch (RuntimeException broken) { + LOG.warning("Таблица стилей .doc не разобрана: " + broken); parsed = new Style[0]; } styles = parsed; diff --git a/wordpdf-core/src/main/resources/xslt/docx2fo.xslt b/wordpdf-core/src/main/resources/xslt/docx2fo.xslt index e483d8b..89421ec 100644 --- a/wordpdf-core/src/main/resources/xslt/docx2fo.xslt +++ b/wordpdf-core/src/main/resources/xslt/docx2fo.xslt @@ -1163,7 +1163,7 @@ bidi-направление — принятая деградация (complex-script в FOP-форке нет). Руби (w:rubyBase/w:rt, §17.3.3.27/.24) тут не чинится: схема docx4j не биндит эти элементы, unmarshaller выбрасывает их до XSLT — разбор - делает RubyNormalizer (правило 10) в байтах. + делает RubyNormalizer (правило 11) в байтах. Регрессии — WordPdfConverterTest#movedRevision_textPrinted, #bdoDir_textPrinted. --> diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java index e6383c4..b97cfc1 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java @@ -234,7 +234,7 @@ class WordPdfConverterTest { /** * Фикстура chart-types.docx (создана вручную, chart-XML литералами — POI - * эти типы не пишет): все тринадцать — точечная, пузырьковая, + * эти типы не пишет): все четырнадцать — точечная, пузырьковая, * лепестковая, биржевая, кольцевая-доля, три объёмных декартовых, * поверхность, wireframe-поверхность (c:wireframe val="1"), * график с накоплением и линейчатая с накоплением @@ -684,6 +684,14 @@ class WordPdfConverterTest { WordPdfConverter.convert(null, "x", opts())); } + /** {@code null} options — отказ публичного API, не NPE и не дефолты (m-7 ревью ядра). */ + @Test + void convert_nullOptions_rejected() { + assertThrows(ValidationException.class, () -> + WordPdfConverter.convert(new byte[] {'P', 'K', 3, 4}, "x", null), + "null options не отклонён"); + } + /** * Лимит на размер входа: больше 5 MiB — отказ до рендера. */ @@ -2825,6 +2833,25 @@ class WordPdfConverterTest { "unsupported-формула не обязана давать растр"); } + /** + * Сквозная регрессия капы вложенности OMML (M-2 ревью ядра): глубокая + * цепочка {@code m:d}/{@code m:e} проходит байтовый скан (все теги в + * SUPPORTED), упирается в капу MathModel и деградирует в текст — PDF + * содержит {@code x}, падения нет. + */ + @Test + void ommlDeepNesting_flattenedToText() throws IOException { + String deep = "".repeat(100) + + "x" + + "".repeat(100); + String body = "" + + deep + ""; + Path pdf = convertPdf(minimalDocx(body), "тест"); + String t = norm(pdfText(pdf)); + assertTrue(t.contains("x"), "текст глубокой формулы потерян: " + t); + } + /** * {@code w:highlight} и run-{@code w:shd} (§17.3.2.16/.29) рисуют фон — * вопреки прежней записи аудита о «фоном не обладающем fo:inline» diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfValidatorTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfValidatorTest.java index 9b9bb0c..3fb9824 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfValidatorTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfValidatorTest.java @@ -661,6 +661,35 @@ class WordPdfValidatorTest { } } + /** + * Краи JPEG-скана {@code rasterArea}: без FFD8, обрезанный SOF + * (длина сегмента за границей байтов), standalone-маркеры (RSTn — без + * длины) и пропуск сегмента с длиной — площадь не объявлена/мала, + * отказ не ожидается (m-7 ревью ядра, ветки :501/:511/:515-517/:519). + */ + @Test + void validate_rasterJpegEdges_accepted() throws Exception { + byte[][] heads = { + // не FFD8 — скан не начинается + {0x00, 0x01, 0x02, 0x03}, + // SOF0 объявлен, данных кадра за границей массива нет + {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xC0, 0x00, 0x11, 0x08}, + // RST0 (standalone) перед штатным SOF 10×10 + {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xD0, + (byte) 0xFF, (byte) 0xC0, 0x00, 0x11, 0x08, + 0x00, 0x0A, 0x00, 0x0A}, + // APP1 (длина 4) пропущен, штатный SOF 10×10 за ним + {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xE1, 0x00, 0x04, + 0x00, 0x00, (byte) 0xFF, (byte) 0xC0, 0x00, 0x11, 0x08, + 0x00, 0x0A, 0x00, 0x0A}, + }; + for (int i = 0; i < heads.length; i++) { + byte[] zip = zipOf("word/media/e" + i + ".jpg", heads[i]); + assertDoesNotThrow(() -> WordPdfValidator.validate(zip, DEF_OPTS), + "край JPEG-заголовка отклонён: вариант " + i); + } + } + @Test void validate_tooManyPages() throws Exception { byte[] bytes = docxWithPageBreaks(120); @@ -677,6 +706,31 @@ class WordPdfValidatorTest { () -> WordPdfValidator.validate(null, DEF_OPTS)); } + /** Экстремальный maxMb — отказ валидации, а не переполнение long (m-2 ревью ядра). */ + @Test + void checkInput_extremeMaxMb_rejected() { + assertThrows(ValidationException.class, + () -> WordPdfValidator.checkInput(new byte[] {1}, Long.MAX_VALUE), + "переполнение maxMb не отклонено"); + } + + /** {@code null} options — отказ публичного API (m-7 ревью ядра). */ + @Test + void validate_nullOptions_rejected() { + assertThrows(ValidationException.class, + () -> WordPdfValidator.validate(new byte[] {'P', 'K', 3, 4}, null), + "null options не отклонён"); + } + + /** Бюджеты распаковки при экстремальном maxMb — ValidationException, не ArithmeticException. */ + @Test + void validate_extremeMaxMb_rejectedNotArithmetic() { + assertThrows(ValidationException.class, + () -> WordPdfValidator.validate(new byte[] {'P', 'K', 3, 4}, + new ConvertOptions(false, false, false, 1_000_000_000_000L, 100)), + "ArithmeticException ушёл мимо ValidationException"); + } + /** * Lightweight-путь читает сырые байты до нормализации и обязан видеть * разрывы {@code w:br w:type="page"} в strict-namespace'ах diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/chart/ChartSpecTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/chart/ChartSpecTest.java index 9401745..1be8bf7 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/chart/ChartSpecTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/chart/ChartSpecTest.java @@ -851,6 +851,26 @@ class ChartSpecTest { () -> ChartSpec.parse(spaceWith(chart), new DrawMlColor(null))); } + /** + * ST_Double (§22.4.1.27) допускает литералы NaN/Infinity; в пиксельных + * формулах пейнтеров они дают молча пустой график — non-finite точка + * считается отсутствующей (null), как не-число (m-9 ревью ядра). + */ + @Test + void nonFiniteSeriesValues_dropped() { + CTNumData cache = new CTNumData(); + cache.getPt().add(numPt(0, "NaN")); + cache.getPt().add(numPt(1, "Infinity")); + cache.getPt().add(numPt(2, "2")); + CTChart chart = barChartWithVal(numSource(cache)); + ChartSpec spec = ChartSpec.parse(spaceWith(chart), new DrawMlColor(null)); + List values = spec.series.get(0).values; + assertEquals(3, values.size()); + assertNull(values.get(0), "NaN не отброшен"); + assertNull(values.get(1), "Infinity не отброшен"); + assertEquals(2.0, values.get(2), "finite-значение задето фильтром"); + } + /** c:pt/@idx = 4·10⁹ в категориях (§21.2.2.151) — отказ и в str-ветке. */ @Test void hugeCategoryIndex_rejectedNotOom() { diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRendererTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRendererTest.java index 4c94fd7..e4f6a4d 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRendererTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRendererTest.java @@ -2,6 +2,7 @@ package ru.pjandro.wordpdf.internal.chart; import org.docx4j.openpackaging.packages.WordprocessingMLPackage; import org.docx4j.openpackaging.parts.Part; +import org.docx4j.openpackaging.parts.PartName; import org.docx4j.openpackaging.parts.relationships.RelationshipsPart; import org.docx4j.openpackaging.parts.WordprocessingML.BinaryPart; import org.junit.jupiter.api.Test; @@ -10,12 +11,17 @@ import javax.imageio.ImageIO; import java.awt.image.BufferedImage; import java.io.ByteArrayInputStream; import java.io.ByteArrayOutputStream; +import java.io.IOException; import java.io.InputStream; +import java.nio.charset.StandardCharsets; import java.util.ArrayList; import java.util.List; +import java.util.zip.ZipEntry; +import java.util.zip.ZipOutputStream; import static org.junit.jupiter.api.Assertions.assertArrayEquals; import static org.junit.jupiter.api.Assertions.assertEquals; +import static org.junit.jupiter.api.Assertions.assertFalse; import static org.junit.jupiter.api.Assertions.assertNotNull; import static org.junit.jupiter.api.Assertions.assertSame; import static org.junit.jupiter.api.Assertions.assertTrue; @@ -25,6 +31,10 @@ import static org.junit.jupiter.api.Assertions.assertTrue; * часть держит исходные байты PNG (без docx4j-перекодирования), именуется с * префиксом {@code /word/media/chart-} (маркер ChartImageHandler) и * регистрируется с корректным r:id. + * + *

Ветки OOM, провала PNG-кодирования и создания ImagePart детерминированно + * не воспроизводятся в юните (OOM / сбой IO на in-memory пакете) — покрыты + * только наблюдаемые деградации «объект удалён» и «формула в текст». */ class DrawingPreRendererTest { @@ -125,4 +135,266 @@ class DrawingPreRendererTest { assertArrayEquals(green, ((BinaryPart) media.get(0)).getBytes()); assertArrayEquals(red, ((BinaryPart) media.get(1)).getBytes()); } + + // ------------------------------------------------------------------ + // Деградации run(): «объект удалён» и «формула в текст» (M-1 ревью ядра) + // ------------------------------------------------------------------ + + private static final String W_NS = + "http://schemas.openxmlformats.org/wordprocessingml/2006/main"; + private static final String C_NS = + "http://schemas.openxmlformats.org/drawingml/2006/chart"; + private static final String M_NS = + "http://schemas.openxmlformats.org/officeDocument/2006/math"; + + /** Ряд штатного графика: 11 точек 0..100 (запущен в hostileChartAxis). */ + private static final String PTS = pts(); + + private static String pts() { + StringBuilder sb = new StringBuilder(); + for (int i = 0; i <= 10; i++) { + sb.append("") + .append(i * 10).append(""); + } + return sb.toString(); + } + + /** Заведомо рендерящийся lineChart (тот же каркас, что chartDocx-фикстура). */ + private static final String VALID_CHART = + "" + + "" + + "" + + "" + + "" + + "General" + + "" + PTS + "" + + "" + + "" + + "" + + "" + + "" + + "" + + "" + + "" + + "" + + ""; + + /** c:chart → rId2 (собственные rels документа). */ + private static final String GRAPHIC = + "" + + "" + + "" + + ""; + + private static final String INLINE = + "" + + "" + + "" + + GRAPHIC + ""; + + private static final String ANCHOR = + "" + + "" + + "left" + + "top" + + "" + + "" + + "" + + GRAPHIC + ""; + + private static ru.pjandro.wordpdf.ConvertOptions opts() { + return new ru.pjandro.wordpdf.ConvertOptions(false, false, false, 5, 100); + } + + private static void putZip(ZipOutputStream zos, String name, String xml) + throws IOException { + zos.putNextEntry(new ZipEntry(name)); + zos.write(xml.getBytes(StandardCharsets.UTF_8)); + zos.closeEntry(); + } + + /** Минимальный transitional-docx с указанным телом w:body (3 части). */ + private static byte[] minimalDocx(String bodyXml) throws IOException { + ByteArrayOutputStream out = new ByteArrayOutputStream(); + try (ZipOutputStream zos = new ZipOutputStream(out)) { + putZip(zos, "[Content_Types].xml", + "" + + "" + + "" + + "" + + "" + + ""); + putZip(zos, "_rels/.rels", + "" + + "" + + "" + + ""); + putZip(zos, "word/document.xml", + "" + + "" + + "" + bodyXml + + "" + + ""); + } + return out.toByteArray(); + } + + /** Docx с chart-частью chartXml и drawing-обёрткой drawingXml (5 частей). */ + private static byte[] chartDocx(String chartXml, String drawingXml) + throws IOException { + ByteArrayOutputStream out = new ByteArrayOutputStream(); + try (ZipOutputStream zos = new ZipOutputStream(out)) { + putZip(zos, "[Content_Types].xml", + "" + + "" + + "" + + "" + + "" + + "" + + ""); + putZip(zos, "_rels/.rels", + "" + + "" + + "" + + ""); + putZip(zos, "word/document.xml", + "" + + "" + + "" + + "ГРАФИКМАРКЕР" + + "" + drawingXml + "" + + "" + + ""); + putZip(zos, "word/_rels/document.xml.rels", + "" + + "" + + "" + + ""); + putZip(zos, "word/charts/chart1.xml", chartXml); + } + return out.toByteArray(); + } + + private static WordprocessingMLPackage load(byte[] docx) throws Exception { + return WordprocessingMLPackage.load(new ByteArrayInputStream(docx)); + } + + /** + * Битая ссылка на chart-часть (r:id ведёт в никуда): «объект удалён» — + * graphic очищен, pic:pic не подставлен, media пуст; конвертация не падает. + */ + @Test + void chartPartMissing_objectRemoved() throws Exception { + WordprocessingMLPackage pkg = load(chartDocx(VALID_CHART, INLINE)); + pkg.getParts().remove(new PartName("/word/charts/chart1.xml")); + + DrawingPreRenderer.run(pkg, opts(), Long.MAX_VALUE); + + assertTrue(chartMedia(pkg).isEmpty(), + "битая chart-ссылка не должна порождать media-части"); + String xml = pkg.getMainDocumentPart().getXML(); + assertFalse(xml.contains("blip"), + "битая ссылка на chart-часть не удалила объект: " + xml); + } + + /** + * Отказ парсинга chart (ptCount за MAX_POINTS) — деградация «объект + * удалён + warn», не падение конвертации. + */ + @Test + void chartRenderFails_objectRemoved() throws Exception { + String hostile = VALID_CHART.replace("", + ""); + WordprocessingMLPackage pkg = load(chartDocx(hostile, INLINE)); + + DrawingPreRenderer.run(pkg, opts(), Long.MAX_VALUE); + + assertTrue(chartMedia(pkg).isEmpty(), + "рухнувший рендер не должен порождать media-части"); + assertFalse(pkg.getMainDocumentPart().getXML().contains("blip"), + "рухнувший рендер не удалил объект"); + } + + /** wp:anchor (фреймовая привязка) обрабатывается так же, как wp:inline. */ + @Test + void anchorChart_rendered() throws Exception { + WordprocessingMLPackage pkg = load(chartDocx(VALID_CHART, ANCHOR)); + + DrawingPreRenderer.run(pkg, opts(), Long.MAX_VALUE); + + assertEquals(1, chartMedia(pkg).size(), "anchor-диаграмма не отрендерена"); + } + + /** + * Исчерпание бюджета math-PNG: формула деградирует в текст (ран + * {@code >x<}), растра нет, {@code m:oMath} из дерева снят. + */ + @Test + void mathBudget_exhausted_degradesToText() throws Exception { + WordprocessingMLPackage pkg = load(minimalDocx( + "" + + "x")); + + DrawingPreRenderer.run(pkg, opts(), 1); + + String xml = pkg.getMainDocumentPart().getXML(); + assertTrue(xml.contains(">x<"), "формула не деградировала в текст: " + xml); + assertFalse(xml.contains("blip"), "деградация оставила растр"); + assertFalse(xml.contains("oMath"), "m:oMath не снят с дерева"); + } + + /** + * {@code w:br} внутри {@code m:r}: байтовый скан MathFallbackNormalizer + * его не видит (не m:-префикс), MathModel бросает unsupported — ран + * деградирует в конкатенацию {@code m:t}. + */ + @Test + void mathWithBr_degradesToText() throws Exception { + WordprocessingMLPackage pkg = load(minimalDocx( + "" + + "x")); + + DrawingPreRenderer.run(pkg, opts(), Long.MAX_VALUE); + + String xml = pkg.getMainDocumentPart().getXML(); + assertTrue(xml.contains(">x<"), "формула с w:br не деградировала в текст: " + xml); + assertFalse(xml.contains("blip"), "неподдержанная формула дала растр"); + } + + /** Пустая формула: растр пустой/текст пуст — {@code m:oMath} удалён без замен. */ + @Test + void emptyMath_removed() throws Exception { + WordprocessingMLPackage pkg = load(minimalDocx( + "")); + + DrawingPreRenderer.run(pkg, opts(), Long.MAX_VALUE); + + assertFalse(pkg.getMainDocumentPart().getXML().contains("oMath"), + "пустая формула не удалена из дерева"); + } + + /** + * {@code m:oMathPara} внутри {@code w:p}: формула рендерится display, + * содержащему абзацу выставляется {@code jc=center}. + */ + @Test + void mathParaInParagraph_centered() throws Exception { + WordprocessingMLPackage pkg = load(minimalDocx( + "" + + "x")); + + DrawingPreRenderer.run(pkg, opts(), Long.MAX_VALUE); + + String xml = pkg.getMainDocumentPart().getXML(); + assertTrue(xml.contains("x" + + "".repeat(100); + + private static CTOMath deepMath() throws IOException { + return firstMath(mathDocx("" + + DEEP + "")); + } + + /** + * Капа вложенности: враждебная цепочка {@code m:d}/{@code m:e} обязана + * отсечься {@code MathUnsupportedException} на 64-м уровне (конвейер + * деградирует формулу в текст), а не разогнать стек рекурсии до + * StackOverflowError. Регрессия — M-2 ревью ядра. + */ + @Test + void deepNesting_unsupportedNotStackOverflow() throws IOException { + CTOMath math = deepMath(); + assertThrows(MathUnsupportedException.class, + () -> MathModel.build(math, false), + "глубокая вложенность не отсечена капой"); + } + + /** Текстовая деградация глубокой формулы достижима: капа flatten выше капы разбора. */ + @Test + void deepNesting_mathTextKeptNotThrows() throws IOException { + CTOMath math = deepMath(); + assertEquals("x", MathModel.mathText(math), + "текст глубокой формулы потерян при обрезке"); + } + // ------------------------------------------------------------------ // Каркас // ------------------------------------------------------------------