fix(core): находки ревью — капа глубины OMML, арифметика лимитов, тесты деградаций, доки
PR checks / web (pull_request) Successful in 9s
PR checks / macos-sim (pull_request) Successful in 1m44s
PR checks / java (pull_request) Successful in 3m31s

- M-2: MathModel — капа вложенности OMML MAX_DEPTH=64 (deeper() в MathCtx) + капа flatten MAX_TEXT_DEPTH; WordPdfConverter.convert — catch StackOverflowError; регрессии MathModelTest#deepNesting_*, WordPdfConverterTest#ommlDeepNesting_flattenedToText
- m-2: WordPdfValidator — multiplyExact для maxBytes/max* бюджетов, переполнение maxMb -> ValidationException (400)
- m-9: ChartSpec.parseDouble — non-finite (NaN/Infinity) -> null, как не-число
- M-1: DrawingPreRendererTest — 7 тестов деградаций run(): битая chart-часть, отказ рендера, wp:anchor, бюджет math-PNG, w:br в m:r, пустая формула, oMathPara jc=center
- m-7: тесты null-options (convert/validate) и краёв JPEG rasterArea
- m-3: удалены мёртвые normalize() у FieldNormalizer/GlyphCoverageNormalizer (конвейер использует rewrite)
- I-4: DocxRewritePipeline/OleObjectNormalizer — try-with-resources на in-memory zip-потоках
- I-5: OfficeArt (DIB) и Styles (STSH) — warn в молчаливых деградациях моста
- m-1/m-4/m-5/m-8/m-10/I-6: нумерация правил 1-11 в javadoc/xslt, Регрессия-ссылки (сироты исправлены), MS-OI29500 §2.1.44, ToggleOperand 0x80/0x81 §2.9.327, карта pieces §2.9.73, счётчики 1021 тест
This commit is contained in:
Pjandro
2026-11-23 00:06:49 +03:00
parent b558fe1c30
commit 7016df5434
24 changed files with 534 additions and 132 deletions
+2 -2
View File
@@ -6,8 +6,8 @@
|---|---|
|`CfbReader`|[MS-CFB] заголовок §2.2 (MUST-поля обязательны: ByteOrder 0xFFFE, mini-сектор сдвиг 0x0006, cutoff 0x1000; секторы 512/4096, mini 64), FAT/DIFAT §2.3–2.5, miniFAT + mini stream из root, directory §2.6; длина любой цепочки ограничена числом секторов файла (бюджет против враждебного FAT), суммарный бюджет аллокаций big-потоков (mini-потоки в бюджет не входят — их данные физически в mini stream); любой брак (цикл, ссылка за файл, обрезанный поток, рассинхрон MUST-полей, битый заголовок) → `ConversionException` (на гейте отказ оборачивает в `ValidationException` `WordPdfValidator`)|
|`FibHeader`|[MS-DOC §2.5.1] FibBase (`fWhichTblStm` — бит 9 u16@10 → 1Table/0Table), FibRgLw97 (ccpText/ccpFtn/ccpHdd), пары FibRgFcLcb97: fcStshf=1, fcPlcfSed=6, fcPlcfHdd=11, fcPlcfBteChpx=12, fcPlcfBtePapx=13, fcSttbfFfn=15, fcClx=33, fcDggInfo=50, fcPlfLst=73, fcPlfLfo=74; побайтовый порядок чтения — §2.5.1 «How to read the FIB» (примеры §3); csw/cslw сверяются с ожидаемым раскладок, cbRgFcLcb — один из по таблице nFib (§2.5.1): 0x00C1→0x005D, 0x0101→0x0088 (136 пар, Word 2002), 0x010C→0x00A4 (164, Word 2003) — нужные пары на фиксированных индексах|
|`PieceTable`|§2.9.135 Clx/Pcdt: куски compressed (FC/2, байт + CP1252-карта 0x80–0x9F) и uncompressed (UTF-16LE); aCP строго возрастают и ≥ 0 (§2.8.35 PlcPcd; дубль/убывание/отрицательный → `ConversionException` — отрицательный aCP[0] читал бы до начала WordDocument-потока); читаемый span куска клампится к cbMac (§2.5.4: байты WordDocument-потока за cbMac MUST игнорироваться); FC за потоком → `ConversionException`|
|`Grpprl`|§2.6.2 sprm'ы (операнды по таблице Spra §2.6; ToggleOperand §2.9.327: 0x00 — off, 0x01 — on, 0x80 — **инверсия** текущего значения, `Grpprl.toggle`): CHPX — bold 0x0835, italic 0x0836, strike 0x0837, kul 0x2A3E, hps 0x4A43, hpsBi 0x4A61, ftc0 0x4A4F, ftc1 0x4A50, cv 0x6870 (4-й байт FF → auto), **sprmCHighlight 0x2A0C** (Ico §2.9.119 → `w:highlight`, член ST_HighlightColor §17.18.42 по RGB 1:1), **sprmCShd 0xCA71**/**sprmCShd80 0x4866** (SHDOperand §2.9.249 = cb(1)=10 + Shd §2.9.247: cvFore/cvBack COLORREF + ipat §2.9.121; Shd80 u16 5+5+6 §2.9.248 → `w:shd`, форма Word `w:val="clear"`: fill=cvFore при ipatSolid иначе cvBack; ipatAuto/оба цвета auto → не эмитится — FOP красит только w:fill, проверено экспериментально), **sprmCIstd 0x4A30** (u16 — символьный istd (stk=2) §2.4.6.5 → `Styles.charChain`; при задании символьные свойства **сбрасываются** к результату стиля абзаца, а прямые Prl из preserve-list (§2.6.1: bold/italic/strike/kul/hps/ftc0/ftc1/cv…), стоявшие в массиве **до** sprmCIstd, сохраняются (`Grpprl.CI_STD_PRESERVE`, сборка — `DocxBody.chpxWithCharStyle`)), sprmCFSpec 0x0875, rMarkDel 0x0800/rMarkIns 0x0801 (непринятые правки → `w:del`/`w:ins`), smallCaps 0x083A/caps 0x083B (апкейс текста в мосту), vanish 0x083C (фильтр рана — FO `w:vanish` не читает), hpsPos 0x4845 (со знаком, hps → `w:position`), **sprmCPicLocation 0x6A03** (смещение BLIP в Data); PAPX — **sprmPHugePapx 0x6646**/**sprmPTableProps 0x646B** (указатели на PrcData в Data, разворачивает `PrcData.resolve`; `Grpprl.scan` сам их корректно пропускает по spra=3), jc 0x2461 (4→distribute, 5/7/8/9→both, 6 — игнор) и jc80 0x2403 (3/4/5 — justify-both с разной компрессией, distribute у jc80 нет), dxaLeft/dxaLeft1/dxaRight + 80-варианты 0x840F/0x8411/0x840E и sprmPNest 0x465F/sprmPNest80 0x4610 (XAS со знаком → hanging/firstLine; общий накопитель `Grpprl.Indents`: nest к своему dxaLeft, современное семейство вытесняет 80-е), pageBreakBefore 0x2407 (перед ним keepFollow 0x2406/keep 0x2405 → `w:keepNext`/`w:keepLines`), InTable 0x2416, sprmPFTtp 0x2417, **sprmPShd 0xC64D**/**sprmPShd80 0x442D** (тот же Shd/Shd80 → `w:shd` в pPr до `w:tabs`, CT_PPr §17.3.1.26), istd 0x8463, LSPD 0x6412 (dyaLine i16 + fMult), before/after 0xA413/0xA414, PChgTabs 0xC60D и **sprmPChgTabs 0xC615** (табы стиля; PChgTabsDelClose §2.9.182 — радиус удаления из rgdxaClose, XAS_plusOne), **ilvl 0x260A** (u8; 0x0C — «пропустить, не нумеровать»), **ilfo 0x460B** (i16: 0/0xF801 — списока нет, 1..0x07FE — 1-базированный индекс rgLfo, 0xF802..0xFFFF — отрицание индекса с сохранением отступов); TAP — **sprmTDefTable 0xD608**, sprmTTableBorders 0xD613, sprmTTableBorders80 0xD605, sprmTJc 0x548A / sprmTJc90 0x5400 (u16 0/1/2 → left/center/right, единый маппинг: FOP complex-script не поддерживает, RTL вне контура), sprmTVertAlign 0xD62C (CellRangeVertAlign §2.9.30: cb=3 + itcFirst + itcLim + VerticalAlign 0/1/2 → `w:vAlign`; cb≠3 — операнд игнорируется), **sprmTCellPadding 0xD632**/**sprmTCellPaddingDefault 0xD634** (CSSAOperand §2.9.46: cb(1)=6 + itc(2 ItcFirstLim) + grfbrc (top|left|bottom|right = 1|2|4|8) + ftsWidth + wWidth(2); переносится только ftsDxa, Default-operand действует на весь ряд (§2.63 фиктивные itc 0/1 → [0,∞)) → `w:tcMar`, порядок детей CT_TcMar §17.4.66). **sprmTInsert 0x7621 пропускается по правилу spra=3 (4 байта)** — эмпирика живых образцов (ru-table-image.doc/ru-en-mixed.doc: following-sprm выравнивается ровно при 4; MS-DOC-форма rgttte 2+6·ctc Word'ом не пишется, сетка из sprmTInsert мостом не строится). Спец-длины операндов spra=6: у 0xD608 счётчик cb **двухбайтовый** («остаток+1», §2.9.321 — формула «1+первый байт» врёт при cb>255), у 0xC60D cb=0xFF — обрыв разбора; у 0xC615 cb=0xFF — длина 3 + 4·cTabsDel + 3·cTabsAdd по раскладке §2.9.182 (разбор продолжается)|
|`PieceTable`|§2.9.135 Clx/Pcdt: куски compressed (FC/2, байт + карта 0x82–0x9F поверх 8-bit Unicode (U+00XX), §2.9.73) и uncompressed (UTF-16LE); aCP строго возрастают и ≥ 0 (§2.8.35 PlcPcd; дубль/убывание/отрицательный → `ConversionException` — отрицательный aCP[0] читал бы до начала WordDocument-потока); читаемый span куска клампится к cbMac (§2.5.4: байты WordDocument-потока за cbMac MUST игнорироваться); FC за потоком → `ConversionException`|
|`Grpprl`|§2.6.2 sprm'ы (операнды по таблице Spra §2.6; ToggleOperand §2.9.327: 0x00 — off, 0x01 — on, 0x80 — значение текущего стиля, 0x81 — инверсия (§2.9.327), `Grpprl.toggle`): CHPX — bold 0x0835, italic 0x0836, strike 0x0837, kul 0x2A3E, hps 0x4A43, hpsBi 0x4A61, ftc0 0x4A4F, ftc1 0x4A50, cv 0x6870 (4-й байт FF → auto), **sprmCHighlight 0x2A0C** (Ico §2.9.119 → `w:highlight`, член ST_HighlightColor §17.18.42 по RGB 1:1), **sprmCShd 0xCA71**/**sprmCShd80 0x4866** (SHDOperand §2.9.249 = cb(1)=10 + Shd §2.9.247: cvFore/cvBack COLORREF + ipat §2.9.121; Shd80 u16 5+5+6 §2.9.248 → `w:shd`, форма Word `w:val="clear"`: fill=cvFore при ipatSolid иначе cvBack; ipatAuto/оба цвета auto → не эмитится — FOP красит только w:fill, проверено экспериментально), **sprmCIstd 0x4A30** (u16 — символьный istd (stk=2) §2.4.6.5 → `Styles.charChain`; при задании символьные свойства **сбрасываются** к результату стиля абзаца, а прямые Prl из preserve-list (§2.6.1: bold/italic/strike/kul/hps/ftc0/ftc1/cv…), стоявшие в массиве **до** sprmCIstd, сохраняются (`Grpprl.CI_STD_PRESERVE`, сборка — `DocxBody.chpxWithCharStyle`)), sprmCFSpec 0x0875, rMarkDel 0x0800/rMarkIns 0x0801 (непринятые правки → `w:del`/`w:ins`), smallCaps 0x083A/caps 0x083B (апкейс текста в мосту), vanish 0x083C (фильтр рана — FO `w:vanish` не читает), hpsPos 0x4845 (со знаком, hps → `w:position`), **sprmCPicLocation 0x6A03** (смещение BLIP в Data); PAPX — **sprmPHugePapx 0x6646**/**sprmPTableProps 0x646B** (указатели на PrcData в Data, разворачивает `PrcData.resolve`; `Grpprl.scan` сам их корректно пропускает по spra=3), jc 0x2461 (4→distribute, 5/7/8/9→both, 6 — игнор) и jc80 0x2403 (3/4/5 — justify-both с разной компрессией, distribute у jc80 нет), dxaLeft/dxaLeft1/dxaRight + 80-варианты 0x840F/0x8411/0x840E и sprmPNest 0x465F/sprmPNest80 0x4610 (XAS со знаком → hanging/firstLine; общий накопитель `Grpprl.Indents`: nest к своему dxaLeft, современное семейство вытесняет 80-е), pageBreakBefore 0x2407 (перед ним keepFollow 0x2406/keep 0x2405 → `w:keepNext`/`w:keepLines`), InTable 0x2416, sprmPFTtp 0x2417, **sprmPShd 0xC64D**/**sprmPShd80 0x442D** (тот же Shd/Shd80 → `w:shd` в pPr до `w:tabs`, CT_PPr §17.3.1.26), istd 0x8463, LSPD 0x6412 (dyaLine i16 + fMult), before/after 0xA413/0xA414, PChgTabs 0xC60D и **sprmPChgTabs 0xC615** (табы стиля; PChgTabsDelClose §2.9.182 — радиус удаления из rgdxaClose, XAS_plusOne), **ilvl 0x260A** (u8; 0x0C — «пропустить, не нумеровать»), **ilfo 0x460B** (i16: 0/0xF801 — списока нет, 1..0x07FE — 1-базированный индекс rgLfo, 0xF802..0xFFFF — отрицание индекса с сохранением отступов); TAP — **sprmTDefTable 0xD608**, sprmTTableBorders 0xD613, sprmTTableBorders80 0xD605, sprmTJc 0x548A / sprmTJc90 0x5400 (u16 0/1/2 → left/center/right, единый маппинг: FOP complex-script не поддерживает, RTL вне контура), sprmTVertAlign 0xD62C (CellRangeVertAlign §2.9.30: cb=3 + itcFirst + itcLim + VerticalAlign 0/1/2 → `w:vAlign`; cb≠3 — операнд игнорируется), **sprmTCellPadding 0xD632**/**sprmTCellPaddingDefault 0xD634** (CSSAOperand §2.9.46: cb(1)=6 + itc(2 ItcFirstLim) + grfbrc (top|left|bottom|right = 1|2|4|8) + ftsWidth + wWidth(2); переносится только ftsDxa, Default-operand действует на весь ряд (§2.63 фиктивные itc 0/1 → [0,∞)) → `w:tcMar`, порядок детей CT_TcMar §17.4.66). **sprmTInsert 0x7621 пропускается по правилу spra=3 (4 байта)** — эмпирика живых образцов (ru-table-image.doc/ru-en-mixed.doc: following-sprm выравнивается ровно при 4; MS-DOC-форма rgttte 2+6·ctc Word'ом не пишется, сетка из sprmTInsert мостом не строится). Спец-длины операндов spra=6: у 0xD608 счётчик cb **двухбайтовый** («остаток+1», §2.9.321 — формула «1+первый байт» врёт при cb>255), у 0xC60D cb=0xFF — обрыв разбора; у 0xC615 cb=0xFF — длина 3 + 4·cTabsDel + 3·cTabsAdd по раскладке §2.9.182 (разбор продолжается)|
|`ChpxIndex`/`PapxIndex`|§2.4.6: PlcfBte (aFc n+1 + pn 22 бита) → FKP-страницы 512 Б по pn·512 (rgfc (n+1)×4, rgbx n×1/×13, crun/cpara — последний байт, cpara ≤ 0x1D по §2.9.174); Chpx = cb + grpprl, **cb=0 (§2.9.32 Chpx — пустой grpx; ср. rgb[i]=0 в §2.9.33 «there is no Chpx associated»): диапазон без прямых свойств, но валидный — заносится с пустым grpprl**, grpprl за пределами страницы — пропуск; PapxInFkp: cb≠0 → GrpPrlAndIstd 2cb−1, cb=0 → cb′ → 2cb′ (внутри istd(2) + grpprl, grpprl может быть пустым — istd без прямых Prl); bOffset=0 → свойств нет (дефолт), но **граница rgfc[j+1] в индекс заносится** — иначе дефолтный ран проглотил бы последующие CHPX-раны абзаца (регрессии ChpxIndexTest#zeroOffset_defaultPropsBoundaryKept, WordPdfConverterTest#docClassD_landscapeHiddenDelCaps); **istd сохраняется** (`istdFor`, вне диапазона −1) — по нему `DocxBody` применяет цепочку `Styles`|
|`Styles`|§2.9.271 STSH по fcStshf: LPStshi (cbStshi, cstd, cbSTDBaseInFile) → LPStd на чётных границах → Std (stdf: sti/stk/istdBase/cupx + xstzName + LPUpx): stk=1 → UPX[0]=UpxPapx (istd(2)+grpprl), UPX[1]=UpxChpx (§2.9.338/.336); **stk=2 (символьный стиль, StkCharGRLPUPX §2.9.263)** — единственный UPX[0]=UpxChpx целиком, отдельная цепочка `charChain(istd)` (источник ссылки — sprmCIstd, §2.4.6.5); stk=3 (табличный) не читается. Цепочка base-first (предок раньше потомка, last-wins при скане); istdBase 0x0FFF — без предка, цикл — обрыв на MAX_CHAIN=16. Разбор **снисходительный** (образец FontTable): битый/отсутствующий STSH → пустая таблица, конвертация на прямых свойствах, без `ConversionException`|
|`Tables`|TAP TTP-абзаца (§2.6.3) → `Grid(colWidths, indent, bordersXml, tblJc, cellVAlign, cellMargins)`: sprmTDefTable (§2.9.321, ncols 1..63, rgdxaCenter XAS со знаком — ширина = center[i+1]−center[i], первый center — сдвиг от поля); границы: sprmTTableBorders (§2.9.302, 6×Brc: cv fAuto, dptLineWidth 1/8pt, brcType §2.9.22) иначе sprmTTableBorders80 (§2.9.303, ico→цвет §2.9.119); BrcMayBeNil/Brc80MayBeNil (байты все 0xFF — NilBrc, §2.9.20/.18) → **границы нет** (не эмитится), brcType=0 не эмитится, 0x1B→inset, ≥0x40 ширина ×8, sz<2 → 2 (§2.9.16); выравнивание: sprmTJc/sprmTJc90 (u16: 1→"center", 2→"right", прочее → null — элемент не эмитится), современный перекрывает 90-вариант (тот же приоритет, что у 0xD613 над 0xD605) → `w:jc` в tblPr (`openTable`; регрессия — WordPdfConverterTest#docFooterTableCentered_shiftedLikeWord); вертикальное выравнивание ячеек: sprmTVertAlign 0xD62C (CellRangeVertAlign §2.9.30) → `cellVAlign[]` по индексам колонок (диапазоны clamped к сетке, top/вне диапазона — не эмитится) → `w:vAlign` в `w:tcPr` после `w:gridSpan` (регрессии — TablesTest#vertAlign_*, DocToDocxFormattingTest#cellVertAlign_*); поля ячеек: sprmTCellPadding/…Default (CSSAOperand §2.9.46, только ftsDxa, wWidth ≤ 31680) → `cellMargins[]` (record `CellMargin(itcFirst, itcLim, sideMask, width)`, Default — весь ряд) → `w:tcMar` в `w:tcPr` до `w:vAlign` (CT_TcMar §17.4.66; регрессии — TablesTest#cellPadding_*, DocToDocxFormattingTest#cellMargins_becomeTcMar, пайплайн — WordPdfConverterTest#tableTcMar_textInsetLikeWord). `null` (нет/битый TDefTable, неположительная ширина) → строка деградирует в плоские абзацы|
+3 -3
View File
@@ -32,16 +32,16 @@
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Одиннадцать rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby; константу `STEP` (`public static final DocxNormalizer`) несёт только `DocxRewritePipeline` (собирает рерайты сам), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`, а вместо `normalize(byte[])` у него `normalize(byte[], boolean)`. Правила 1–11 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 10; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` десяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим:
1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174 — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.4 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`).
1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.44 — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.4 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`).
2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается.
3. `SymbolFontNormalizer` — PUA U+F000–U+F0FF (Symbol/Wingdings/Webdings) → Unicode + DejaVu Sans; переписывает `<w:sym>`, правит `w:lvl` в numbering.xml; 5 карт по 256 слотов (таблица `SymbolMapper` из docx4j 17.x).
4. `FieldNormalizer` — `fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple` (кэш страниц в PDF не попадает); вложенные/битые поля пропускаются.
5. `InvisibleCharNormalizer` — вырезает из `w:t` U+0085, U+2028, U+2029, U+200E/200F, U+202A–202E, U+2060, U+FEFF (FOP делает из них переносы/пустые строки, Arimo/Tinos рисуют боксы). U+00A0/U+00AD/U+200B–U+200D **не** трогает.
6. `MathFallbackNormalizer` — байтовый скан OMML-формул (§22.1) до загрузки пакета: формулы с конструкциями вне `MathModel.SUPPORTED` (или structurally битые) деградируют в текст — `m:oMathPara`/`m:oMath` → обычные раны с конкатенацией `m:t` (как в штатном фолбэке docx4j `XsltFOFunctions.mathText`); поддерживаемые части не трогаются (`rewrite` → `null`, тот же массив) — их рисует собственный `MathRenderer` на шаге 3.5. Позиция **до GlyphCoverage** обязательна: деградировавшие раны с математическими символами (U+1D400+) обязаны пройти резку по покрытию, иначе FOP рисует «#». `m:oMathPara` содержит `m:oMath`, поэтому блок para заменяется первым. Регрессия — WordPdfConverterTest#ommlMathUnsupported_flattenedToText, юниты — MathFallbackNormalizerTest.
6. `MathFallbackNormalizer` — байтовый скан OMML-формул (§22.1) до загрузки пакета: формулы с конструкциями вне `MathModel.SUPPORTED` (или structurally битые) деградируют в текст — `m:oMathPara`/`m:oMath` → обычные раны с конкатенацией `m:t` (как в штатном фолбэке docx4j `XsltFOFunctions.mathText`); поддерживаемые части не трогаются (`rewrite` → `null`, тот же массив) — их рисует собственный `MathRenderer` на шаге 3.5. Позиция **до GlyphCoverage** обязательна: деградировавшие раны с математическими символами (U+1D400+) обязаны пройти резку по покрытию, иначе FOP рисует «#». `m:oMathPara` содержит `m:oMath`, поэтому блок para заменяется первым. Регрессия — WordPdfConverterTest#ommlUnsupported_degradesToText, юниты — MathFallbackNormalizerTest.
7. `GlyphCoverageNormalizer` — режет раны по покрытию глифов и пишет семейство в `w:rFonts`, иначе FOP рисует «#». Покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, **не** docx4j `GlyphCheck` (плодит INFO-лог; `java.awt.Font` требовал fontconfig на хосте). Для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (`dejavu serif`, `tinos`, `caladea`), затем в sans.
8. `TableIndentNormalizer` — свёртка `w:tblPr/w:jc` (center/right) с любым (в т.ч. отсутствующим/нулевым) `w:tblInd` в абсолютный `w:tblInd` с удалением `w:jc` (Word: tblInd — сдвиг от поля после центрирования, MS-OI29500 §2.1.155; docx4j при jc≠left игнорирует tblInd буквально — аудит раскладки ECMA-376, матрица B3, а центрированию пишет абсолютный start-indent **без** вычета cellMar, поверх которого padding-компенсация правила LayoutPostRenderer уводит текст на +padding — свёртка обязательна и при X=0): center → (W−T)/2+X, right → (W−T)+X, W — полоса набора (pgSz − pgMar left/right; у CT_PageMar полей `w:start`/`w:end` нет, полоса берётся из сырого document.xml до правила 1; дефолты 11906/1440 — измеренное поведение docx4j, ECMA дефолтов не фиксирует §17.6.11/.13), T — Σ gridCol; пропускает несколько body-level `sectPr`, `tblInd` с явным `w:type` ≠ dxa (опущенный type — dxa, §17.4.87), `tblPr` с `tblCellSpacing` без `tblInd` (нет корректной позиции вставки по CT_TblPrBase), `tblW pct`, нецелые gridCol. Кроме `rewrite` (document.xml, полоса из собственного sectPr) есть `rewritePart(part, xml, band)` — `word/headerN.xml`/`footerN.xml` с полосой из document.xml (в частях колонтитуков своего sectPr нет) и `bandOf(documentXml)` — экстрактор полосы (−1 — полосы нет). Регрессия — WordPdfConverterTest#tableIndentCentered_shiftedLikeWord, #headerTableIndent_centeredInHeader, #tableCenteredNoIndent_shiftedLikeWord.
9. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; ST_LevelSuffix Part 1 §17.9.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace.
10. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.41): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true; явный `false/0/off` в ране **перекрывает** vanish-стиль) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, #hiddenText_directFalseOverridesVanishStyle, юниты — HiddenTextNormalizerTest.
10. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.41): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true; явный `false/0/off` в ране **перекрывает** vanish-стиль) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, #hiddenText_directVanishFalseOverridesStyle, юниты — HiddenTextNormalizerTest.
11. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.24–.28): снимается обёртка `w:ruby` (схемно-валидная транзишнл-разметка `w:r`→`w:ruby`→rubyPr/rt/rubyBase иначе достаёт catch-all-шаблону XSLT, и база теряется молча), `w:rubyBase` разворачивается в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.2 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest.
12. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `<w:object`; не-zip/нет центрального каталога → входной массив — прежняя снисходительность), переупаковка — только при находке. Детект OLE-бинарников — по `[Content_Types].xml`: тип `…oleObject` **или** ложный `+xml`-тип у `.bin` (XML в bin не бывает; `printerSettings` не трогается). Удаляются вместе с rels-ссылками (по типу, включая `TargetMode=External`) и Override удалённых частей. Элементы `<w:object>` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `OleFoundException`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет.
+2 -2
View File
@@ -2,7 +2,7 @@
### Счётчики (2026-11)
- 63 тестовых классов / 1004 теста: core 57/956 (`internal/doc/` 17/256, `internal/chart/` 18/301, `WordPdfConverterTest` 87), app 6/48 (ConvertController 26, ApiKeyFilter 8, ConversionService 5, ApiExceptionHandler 5, ConvertLimits 3, ConversionTimeout 1). Обновлять при изменении набора.
- 63 тестовых классов / 1021 тест: core 57/973 (`internal/doc/` 17/256, `internal/chart/` 18/311, `WordPdfConverterTest` 89), app 6/48 (ConvertController 26, ApiKeyFilter 8, ConversionService 5, ApiExceptionHandler 5, ConvertLimits 3, ConversionTimeout 1). Обновлять при изменении набора.
### Пиксели, метрики шрифтов, стенд без fontconfig
@@ -31,5 +31,5 @@
- `lineRuleAuto_wordSingleLinePitch` — пинит метрический шаг «single» (13.4277pt) от псевдофиксов раскладки; `carlitoAutoBlock_untouched` — блок без явного `w:line` не трогается.
- `vendoredXsltTracksJarCopy` — дрейф-гейт: вне AUDIT-FIX-регионов вендорный `docx2fo.xslt` обязан быть побайтно равен стилисту из jar'а docx4j-export-fo (при апгрейде docx4j — перевендорить и перенести патчи).
- Крафт POIFS (закоммиченных фикстур нет, крафт продублирован в `WordPdfConverterTest`): `ListsTest`+`DocToDocxFormattingTest#list*`↔`docLists_numberingAndBulletsRendered` (синтетический .doc со списками → PDF: `1.` `2.` `a)` `b)` `•`, ни одного `#`; фикстур со списками нет — крафт POIFS продублирован в `WordPdfConverterTest`), `PrcDataTest`+`DocToDocxFormattingTest#hugePapxRowMark_closesRowWithGridFromPrcData` (TTP-абзац с grpprl в PrcData Data-потока → `w:tbl`/`w:tr`/сетка из цепочки; фикстуры нет — `docTest.doc` заказчика не коммитим, крафт POIFS продублирован), `SectionsTest`+`HeadersTest`+`DocToDocxFormattingTest#twoSections*/sectionBreakInTable*`↔`docMultiSection_perSectionHeaders` (двухсекционный .doc → PDF: стр. 1 — ШАПКА-1+ПОДВАЛ-1, стр. 2 — ШАПКА-2 + унаследованный ПОДВАЛ-1, ни одной `#`; крафт POIFS продублирован в `WordPdfConverterTest`), `ChpxIndexTest#zeroOffset_defaultPropsBoundaryKept`+`DocToDocxFormattingTest#runFlags_*/keepNextKeepLines_*/sectLandscapePgNumCols_*/sectUnevenCols_*/cellVertAlign_*/drawnObject_*`+`SectionsTest#orientationPgNumColumns_applied/unevenColumns_perIndexWidths/restartWithoutStart_clampsToOne`+`TablesTest#vertAlign_*`↔`WordPdfConverterTest#docClassD_landscapeHiddenDelCaps/#docClassD_pageNumberRestartLowerRoman/#docClassD_twoColumnsBreak/#docClassD_drawnObjectBecomesImage` (закрытие пробелов класса D: vanish-фильтр/правки/caps/position/keep, landscape+pgNumType, колонки+column break, vAlign, 0x08→inline-картинка; фикстур нет — крафт POIFS продублирован в обоих тестовых классах).
- Синтетика через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`: AUDIT-FIX-2↔`movedRevision_textPrinted`/`bdoDir_textPrinted` (фикстур нет — синтетический docx через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`); пиннинг аудита .docx↔`footnote_rendersAtPageBottom`, `endnote_rendersAtDocumentEnd`, `docxHyperlink_uriAnnotation`, `pageRefField_liveNotCached` (кэш 9001/7777 заменён живым номером), `dateField_notStaleCache` (кэш 01.02.2003 заменён текущей датой), `titlePg_firstPageHeader`, `vMergeCell_spansRows`, `sdtContent_rendered`, `drawingTextBox_textPrinted`, `ommlMath_renderedAsPng` (пиксели: +150 тёмных px@150dpi сверх текста, текст формулы не извлекается), `ommlMathUnsupported_flattenedToText`, `highlightAndShading_backgroundDrawn` (жёлтые px >0 против baseline 0), аудит [MS-DOC] моста 2026-11: `GrpprlTest#tInsertOperand_skippedBySpra`/`tInsertOperand_truncated_aborts` (sprmTInsert — 4 байта, хвост TAP не рассинхронизирован), `TablesTest#cellPadding_*` + `DocToDocxFormattingTest#cellMargins_becomeTcMar` ↔ `WordPdfConverterTest#tableTcMar_textInsetLikeWord` (CSSA→w:tcMar, пайплайн красит поля ячейки как tblCellMar — текст на margin+padding), `StylesTest#characterStyle_stk3_chainViaCharChain`/`charChain_nonCharacterStk_empty` + `DocToDocxFormattingTest#charStyle_viaIstd_mergesUnderDirect` (sprmCIstd: символьная chpx-цепочка между стилевой и прямыми, direct wins), `DocToDocxFormattingTest#runHighlightAndShading_inRPr`/`runShadingPattern_degradesToBackFill`/`paraShd_inPPrBeforeJc` ↔ `docHighlightAndShading_yellowPixels` (Ico→ST_HighlightColor; w:shd в форме FOP val="clear"+fill; паттерн→cvBack), `SectionsTest#titlePage_flagFromSepx` + `DocToDocxFormattingTest#titlePage_emittedAfterCols` ↔ `docTitlePage_firstHeaderOnlyFirstPage` (sprmSFTitlePage + first-слоты Plcfhdd → headerReference type="first", первая страница — только first-шапка)..
- Синтетика через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`: AUDIT-FIX-2↔`movedRevision_textPrinted`/`bdoDir_textPrinted` (фикстур нет — синтетический docx через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`); пиннинг аудита .docx↔`footnote_rendersAtPageBottom`, `endnote_rendersAtDocumentEnd`, `docxHyperlink_uriAnnotation`, `pageRefField_liveNotCached` (кэш 9001/7777 заменён живым номером), `dateField_notStaleCache` (кэш 01.02.2003 заменён текущей датой), `titlePg_firstPageHeader`, `vMergeCell_spansRows`, `sdtContent_rendered`, `drawingTextBox_textPrinted`, `ommlMath_drawnAsRaster` (пиксели: +150 тёмных px@150dpi сверх текста, текст формулы не извлекается), `ommlUnsupported_degradesToText`, `highlightAndShading_backgroundDrawn` (жёлтые px >0 против baseline 0), аудит [MS-DOC] моста 2026-11: `GrpprlTest#tInsertOperand_skippedBySpra`/`tInsertOperand_truncated_aborts` (sprmTInsert — 4 байта, хвост TAP не рассинхронизирован), `TablesTest#cellPadding_*` + `DocToDocxFormattingTest#cellMargins_becomeTcMar` ↔ `WordPdfConverterTest#tableTcMar_textInsetLikeWord` (CSSA→w:tcMar, пайплайн красит поля ячейки как tblCellMar — текст на margin+padding), `StylesTest#characterStyle_stk2_chainViaCharChain`/`charChain_nonCharacterStk_empty` + `DocToDocxFormattingTest#charStyle_viaIstd_mergesUnderDirect` (sprmCIstd: символьная chpx-цепочка между стилевой и прямыми, direct wins), `DocToDocxFormattingTest#runHighlightAndShading_inRPr`/`runShadingPattern_degradesToBackFill`/`paraShd_inPPrBeforeJc` ↔ `docHighlightAndShading_yellowPixels` (Ico→ST_HighlightColor; w:shd в форме FOP val="clear"+fill; паттерн→cvBack), `SectionsTest#titlePage_flagFromSepx` + `DocToDocxFormattingTest#titlePage_emittedAfterCols` ↔ `docTitlePage_firstHeaderOnlyFirstPage` (sprmSFTitlePage + first-слоты Plcfhdd → headerReference type="first", первая страница — только first-шапка)..
- App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed`, `corruptNotAZip_rejected`, `plainZipNotDocx_rejected`, `junkInsideValidZip_conversionError` (500 на валидном .docx-контейнере с мусором), `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `drawingsAlwaysRendered`, `cyrillicAndPathInFilename_sanitizedResponseName`, `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey`, `dotSegmentOpenPrefix_rejected`, `errorFlagNotBoolean_rejected`, `methodNotSupportedReturns405`/`badContentTypeReturns415`.