diff --git a/AGENTS.md b/AGENTS.md index ab36b5d..346fd5d 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -43,7 +43,6 @@ - FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 (транзитив от `docx4j-export-fo`, в pom не пинится); расхождения с upstream-доками FOP нормальны; `lineRule=auto` не «чинить». - Chart-media префикс `/word/media/chart-*` — пакетный контракт с `ChartImageHandler` (отключение пересжатия); переименование молча вернёт мыльный ресемпл. - Стоп-лист «не чинить» (до любой попытки починить расхождение с Word — `docs/agent/render-limitations.md`): `jc="distribute"`, `suff="tab"`/`lvlJc`, кернинг, `framePr`, `REF`/`SEQ`/`TOC`-кэш, руби-надстрочница, `ptab`, U+2188/U+218A (GPL-шрифты не добавляем). -- Комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.2 (поведение описано верно). ## Key Directories @@ -77,7 +76,7 @@ python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources ``` - «Запусти тестовый сервер» (термин пользователя) = dev-стенд выше, **не** `java -jar`; гейт готовности — контейнеры healthy + корень SPA 200; `--force-recreate` обязателен. -- `mvn test` PMD/JaCoCo **не** запускает (оба на `verify`); `mvn -pl wordpdf-app` без `-am` падает (зависимость от core test-jar). +- `mvn test` PMD и проверки JaCoCo **не** запускает (оба на `verify`; сам агент JaCoCo подключается и на `test` — execution `prepare-agent` на `initialize`); `mvn -pl wordpdf-app` без `-am` падает (зависимость от core test-jar). - Деплой — push в `main` → Gitea Actions (детали — `docs/agent/ci-cd.md`); **перед деплоем/перезапуском прочитать `/home/pjandro/prod/java-word-pdf/DEPLOY.md`** (вне репо); ручных скриптов нет. ## Code Conventions & Common Patterns diff --git a/docs/agent/doc-bridge.md b/docs/agent/doc-bridge.md index 8d327e2..4ef5f84 100644 --- a/docs/agent/doc-bridge.md +++ b/docs/agent/doc-bridge.md @@ -4,21 +4,21 @@ |Класс|Спецификация| |---|---| -|`CfbReader`|[MS-CFB] заголовок (секторы 512/4096, mini 64), FAT/DIFAT (лимиты секторов + защита от циклов), miniFAT + mini stream из root, directory; любой брак (цикл, ссылка за файл, обрезанный поток, битый заголовок) → `ConversionException` (на гейте отказ оборачивает в `ValidationException` `WordPdfValidator`)| -|`FibHeader`|[MS-DOC §2.4.1/§2.6.1] FibBase (`fWhichTblStm` — бит 9 u16@10 → 1Table/0Table), FibRgLw97 (ccpText/ccpFtn/ccpHdd), пары FibRgFcLcb97: fcStshf=1, fcPlcfSed=6, fcPlcfHdd=11, fcPlcfBteChpx=12, fcPlcfBtePapx=13, fcSttbfFfn=15, fcClx=33, fcDggInfo=50, fcPlfLst=73, fcPlfLfo=74| -|`PieceTable`|§2.9.135 Clx/Pcdt: куски compressed (FC/2, байт + CP1252-карта 0x80–0x9F) и uncompressed (UTF-16LE); FC за потоком → `ConversionException`| -|`Grpprl`|§2.6.2 sprm'ы: CHPX — bold 0x0835, italic 0x0836, strike 0x0837, kul 0x2A3E, hps 0x4A43, hpsBi 0x4A61, ftc0 0x4A4F, ftc1 0x4A50, cv 0x6870 (4-й байт FF → auto), **sprmCHighlight 0x2A0C** (Ico §2.9.171 → `w:highlight`, член ST_HighlightColor §17.18.42 по RGB 1:1), **sprmCShd 0xCA71**/**sprmCShd80 0x4866** (SHDOperand §2.9.177 = cb(1)=10 + cvFore/cvBack COLORREF + ipat §2.9.178; Shd80 u16 5+5+6 §2.9.176 → `w:shd`, форма Word `w:val="clear"`: fill=cvFore при ipatSolid иначе cvBack; ipatAuto/оба цвета auto → не эмитится — FOP красит только w:fill, проверено экспериментально), **sprmCIstd 0x4A30** (ссылка на символьный стиль §2.4.6.5 → `Styles.charChain`), sprmCFSpec 0x0875, rMarkDel 0x0800/rMarkIns 0x0801 (непринятые правки → `w:del`/`w:ins`), smallCaps 0x083A/caps 0x083B (апкейс текста в мосту), vanish 0x083C (фильтр рана — FO `w:vanish` не читает), hpsPos 0x4845 (со знаком, hps → `w:position`), **sprmCPicLocation 0x6A03** (смещение BLIP в Data); PAPX — **sprmPHugePapx 0x6646**/**sprmPTableProps 0x646B** (указатели на PrcData в Data, разворачивает `PrcData.resolve`; `Grpprl.scan` сам их корректно пропускает по spra=3), jc 0x2461 (4→distribute, 5/7/8/9→both, 6 — игнор) и jc80 0x2403 (3/4/5 — justify-both с разной компрессией, distribute у jc80 нет), dxaLeft/dxaLeft1/dxaRight + 80-варианты 0x840F/0x8411/0x840E и sprmPNest 0x465F/sprmPNest80 0x4610 (XAS со знаком → hanging/firstLine; общий накопитель `Grpprl.Indents`: nest к своему dxaLeft, современное семейство вытесняет 80-е), pageBreakBefore 0x2407 (перед ним keepFollow 0x2406/keep 0x2405 → `w:keepNext`/`w:keepLines`), InTable 0x2416, sprmPFTtp 0x2417, **sprmPShd 0xC64D**/**sprmPShd80 0x442D** (тот же Shd/Shd80 → `w:shd` в pPr до `w:tabs`, CT_PPr §17.3.1.26), istd 0x8463, LSPD 0x6412 (dyaLine i16 + fMult), before/after 0xA413/0xA414, PChgTabs 0xC60D и **sprmPChgTabs 0xC615** (табы стиля; PChgTabsDelClose §2.9.182 — радиус удаления из rgdxaClose, XAS_plusOne), **ilvl 0x260A** (u8; 0x0C — «пропустить, не нумеровать»), **ilfo 0x460B** (i16: 0/0xF801 — списока нет, 1..0x07FE — 1-базированный индекс rgLfo, 0xF802..0xFFFF — отрицание индекса с сохранением отступов); TAP — **sprmTDefTable 0xD608**, sprmTTableBorders 0xD613, sprmTTableBorders80 0xD605, sprmTJc 0x548A / sprmTJc90 0x5400 (u16 0/1/2 → left/center/right, единый маппинг: FOP complex-script не поддерживает, RTL вне контура), sprmTVertAlign 0xD62C (CellRangeVertAlign §2.9.30: cb=3 + itcFirst + itcLim + VerticalAlign 0/1/2 → `w:vAlign`; cb≠3 — операнд игнорируется), **sprmTCellPadding 0xD632**/**sprmTCellPaddingDefault 0xD634** (CSSAOperand §2.9.209: cb(1)=6 + itc(2 ItcFirstLim) + grfbrc (top|left|bottom|right = 1|2|4|8) + ftsWidth + wWidth(2); переносится только ftsDxa, Default-operand действует на весь ряд (§2.63 фиктивные itc 0/1 → [0,∞)) → `w:tcMar`, порядок детей CT_TcMar §17.4.66). **sprmTInsert 0x7621 пропускается по правилу spra=3 (4 байта)** — эмпирика живых образцов (ru-table-image.doc/ru-en-mixed.doc: following-sprm выравнивается ровно при 4; MS-DOC-форма rgttte 2+6·ctc Word'ом не пишется, сетка из sprmTInsert мостом не строится). Спец-длины операндов spra=6: у 0xD608 счётчик cb **двухбайтовый** («остаток+1», §2.9.321 — формула «1+первый байт» врёт при cb>255), у 0xC60D cb=0xFF — обрыв разбора; у 0xC615 cb=0xFF — длина 3 + 4·cTabsDel + 3·cTabsAdd по раскладке §2.9.182 (разбор продолжается)| -|`ChpxIndex`/`PapxIndex`|§2.4.6: PlcfBte (aFc n+1 + pn 22 бита) → FKP-страницы 512 Б по pn·512 (rgfc (n+1)×4, rgbx n×1/×13, crun/cpara — последний байт); Chpx = cb + grpprl; PapxInFkp: cb≠0 → GrpPrlAndIstd 2cb−1, cb=0 → cb′ → 2cb′ (внутри istd(2) + grpprl, grpprl может быть пустым — istd без прямых Prl); bOffset=0 → свойств нет (дефолт), но **граница rgfc[j+1] в индекс заносится** — иначе дефолтный ран проглотил бы последующие CHPX-раны абзаца (регрессии ChpxIndexTest#zeroOffset_defaultPropsBoundaryKept, WordPdfConverterTest#docClassD_landscapeHiddenDelCaps); **istd сохраняется** (`istdFor`, вне диапазона −1) — по нему `DocxBody` применяет цепочку `Styles`| -|`Styles`|§2.9.271 STSH по fcStshf: LPStshi (cbStshi, cstd, cbSTDBaseInFile) → LPStd на чётных границах → Std (stdf: sti/stk/istdBase/cupx + xstzName + LPUpx): stk=1 → UPX[0]=UpxPapx (istd(2)+grpprl), UPX[1]=UpxChpx; **stk=3 (STCF — символьные стили Word 97+)** — единственный UPX[0]=UpxChpx целиком, отдельная цепочка `charChain(istd)` (источник ссылки — sprmCIstd, §2.4.6.5); stk=2 (легаси STDC) не читается. Цепочка base-first (предок раньше потомка, last-wins при скане); istdBase 0x0FFF — без предка, цикл — обрыв на MAX_CHAIN=16. Разбор **снисходительный** (образец FontTable): битый/отсутствующий STSH → пустая таблица, конвертация на прямых свойствах, без `ConversionException`| -|`Tables`|TAP TTP-абзаца (§2.6.3) → `Grid(colWidths, indent, bordersXml, tblJc, cellVAlign, cellMargins)`: sprmTDefTable (§2.9.321, ncols 1..63, rgdxaCenter XAS со знаком — ширина = center[i+1]−center[i], первый center — сдвиг от поля); границы: sprmTTableBorders (§2.9.302, 6×Brc: cv fAuto, dptLineWidth 1/8pt, brcType §2.9.39) иначе sprmTTableBorders80 (§2.9.303, ico→цвет §2.9.171); brcType=0 не эмитится, ≥0x40 ширина ×8, sz<2 → 2; выравнивание: sprmTJc/sprmTJc90 (u16: 1→"center", 2→"right", прочее → null — элемент не эмитится), современный перекрывает 90-вариант (тот же приоритет, что у 0xD613 над 0xD605) → `w:jc` в tblPr (`openTable`; регрессия — WordPdfConverterTest#docFooterTableCentered_shiftedLikeWord); вертикальное выравнивание ячеек: sprmTVertAlign 0xD62C (CellRangeVertAlign §2.9.30) → `cellVAlign[]` по индексам колонок (диапазоны clamped к сетке, top/вне диапазона — не эмитится) → `w:vAlign` в `w:tcPr` после `w:gridSpan` (регрессии — TablesTest#vertAlign_*, DocToDocxFormattingTest#cellVertAlign_*); поля ячеек: sprmTCellPadding/…Default (CSSAOperand §2.9.209, только ftsDxa, wWidth ≤ 31680) → `cellMargins[]` (record `CellMargin(itcFirst, itcLim, sideMask, width)`, Default — весь ряд) → `w:tcMar` в `w:tcPr` до `w:vAlign` (CT_TcMar §17.4.66; регрессии — TablesTest#cellPadding_*, DocToDocxFormattingTest#cellMargins_becomeTcMar, пайплайн — WordPdfConverterTest#tableTcMar_textInsetLikeWord). `null` (нет/битый TDefTable, неположительная ширина) → строка деградирует в плоские абзацы| +|`CfbReader`|[MS-CFB] заголовок §2.2 (MUST-поля обязательны: ByteOrder 0xFFFE, mini-сектор сдвиг 0x0006, cutoff 0x1000; секторы 512/4096, mini 64), FAT/DIFAT §2.3–2.5, miniFAT + mini stream из root, directory §2.6; длина любой цепочки ограничена числом секторов файла (бюджет против враждебного FAT), суммарный бюджет аллокаций big-потоков (mini-потоки в бюджет не входят — их данные физически в mini stream); любой брак (цикл, ссылка за файл, обрезанный поток, рассинхрон MUST-полей, битый заголовок) → `ConversionException` (на гейте отказ оборачивает в `ValidationException` `WordPdfValidator`)| +|`FibHeader`|[MS-DOC §2.5.1] FibBase (`fWhichTblStm` — бит 9 u16@10 → 1Table/0Table), FibRgLw97 (ccpText/ccpFtn/ccpHdd), пары FibRgFcLcb97: fcStshf=1, fcPlcfSed=6, fcPlcfHdd=11, fcPlcfBteChpx=12, fcPlcfBtePapx=13, fcSttbfFfn=15, fcClx=33, fcDggInfo=50, fcPlfLst=73, fcPlfLfo=74; побайтовый порядок чтения — §2.5.1 «How to read the FIB» (примеры §3); csw/cslw сверяются с ожидаемым раскладок, cbRgFcLcb — один из по таблице nFib (§2.5.1): 0x00C1→0x005D, 0x0101→0x0088 (136 пар, Word 2002), 0x010C→0x00A4 (164, Word 2003) — нужные пары на фиксированных индексах| +|`PieceTable`|§2.9.135 Clx/Pcdt: куски compressed (FC/2, байт + CP1252-карта 0x80–0x9F) и uncompressed (UTF-16LE); aCP строго возрастают и ≥ 0 (§2.8.35 PlcPcd; дубль/убывание/отрицательный → `ConversionException` — отрицательный aCP[0] читал бы до начала WordDocument-потока); читаемый span куска клампится к cbMac (§2.5.4: байты WordDocument-потока за cbMac MUST игнорироваться); FC за потоком → `ConversionException`| +|`Grpprl`|§2.6.2 sprm'ы (операнды по таблице Spra §2.6; ToggleOperand §2.9.327: 0x00 — off, 0x01 — on, 0x80 — **инверсия** текущего значения, `Grpprl.toggle`): CHPX — bold 0x0835, italic 0x0836, strike 0x0837, kul 0x2A3E, hps 0x4A43, hpsBi 0x4A61, ftc0 0x4A4F, ftc1 0x4A50, cv 0x6870 (4-й байт FF → auto), **sprmCHighlight 0x2A0C** (Ico §2.9.119 → `w:highlight`, член ST_HighlightColor §17.18.42 по RGB 1:1), **sprmCShd 0xCA71**/**sprmCShd80 0x4866** (SHDOperand §2.9.249 = cb(1)=10 + Shd §2.9.247: cvFore/cvBack COLORREF + ipat §2.9.121; Shd80 u16 5+5+6 §2.9.248 → `w:shd`, форма Word `w:val="clear"`: fill=cvFore при ipatSolid иначе cvBack; ipatAuto/оба цвета auto → не эмитится — FOP красит только w:fill, проверено экспериментально), **sprmCIstd 0x4A30** (u16 — символьный istd (stk=2) §2.4.6.5 → `Styles.charChain`; при задании символьные свойства **сбрасываются** к результату стиля абзаца, а прямые Prl из preserve-list (§2.6.1: bold/italic/strike/kul/hps/ftc0/ftc1/cv…), стоявшие в массиве **до** sprmCIstd, сохраняются (`Grpprl.CI_STD_PRESERVE`, сборка — `DocxBody.chpxWithCharStyle`)), sprmCFSpec 0x0875, rMarkDel 0x0800/rMarkIns 0x0801 (непринятые правки → `w:del`/`w:ins`), smallCaps 0x083A/caps 0x083B (апкейс текста в мосту), vanish 0x083C (фильтр рана — FO `w:vanish` не читает), hpsPos 0x4845 (со знаком, hps → `w:position`), **sprmCPicLocation 0x6A03** (смещение BLIP в Data); PAPX — **sprmPHugePapx 0x6646**/**sprmPTableProps 0x646B** (указатели на PrcData в Data, разворачивает `PrcData.resolve`; `Grpprl.scan` сам их корректно пропускает по spra=3), jc 0x2461 (4→distribute, 5/7/8/9→both, 6 — игнор) и jc80 0x2403 (3/4/5 — justify-both с разной компрессией, distribute у jc80 нет), dxaLeft/dxaLeft1/dxaRight + 80-варианты 0x840F/0x8411/0x840E и sprmPNest 0x465F/sprmPNest80 0x4610 (XAS со знаком → hanging/firstLine; общий накопитель `Grpprl.Indents`: nest к своему dxaLeft, современное семейство вытесняет 80-е), pageBreakBefore 0x2407 (перед ним keepFollow 0x2406/keep 0x2405 → `w:keepNext`/`w:keepLines`), InTable 0x2416, sprmPFTtp 0x2417, **sprmPShd 0xC64D**/**sprmPShd80 0x442D** (тот же Shd/Shd80 → `w:shd` в pPr до `w:tabs`, CT_PPr §17.3.1.26), istd 0x8463, LSPD 0x6412 (dyaLine i16 + fMult), before/after 0xA413/0xA414, PChgTabs 0xC60D и **sprmPChgTabs 0xC615** (табы стиля; PChgTabsDelClose §2.9.182 — радиус удаления из rgdxaClose, XAS_plusOne), **ilvl 0x260A** (u8; 0x0C — «пропустить, не нумеровать»), **ilfo 0x460B** (i16: 0/0xF801 — списока нет, 1..0x07FE — 1-базированный индекс rgLfo, 0xF802..0xFFFF — отрицание индекса с сохранением отступов); TAP — **sprmTDefTable 0xD608**, sprmTTableBorders 0xD613, sprmTTableBorders80 0xD605, sprmTJc 0x548A / sprmTJc90 0x5400 (u16 0/1/2 → left/center/right, единый маппинг: FOP complex-script не поддерживает, RTL вне контура), sprmTVertAlign 0xD62C (CellRangeVertAlign §2.9.30: cb=3 + itcFirst + itcLim + VerticalAlign 0/1/2 → `w:vAlign`; cb≠3 — операнд игнорируется), **sprmTCellPadding 0xD632**/**sprmTCellPaddingDefault 0xD634** (CSSAOperand §2.9.46: cb(1)=6 + itc(2 ItcFirstLim) + grfbrc (top|left|bottom|right = 1|2|4|8) + ftsWidth + wWidth(2); переносится только ftsDxa, Default-operand действует на весь ряд (§2.63 фиктивные itc 0/1 → [0,∞)) → `w:tcMar`, порядок детей CT_TcMar §17.4.66). **sprmTInsert 0x7621 пропускается по правилу spra=3 (4 байта)** — эмпирика живых образцов (ru-table-image.doc/ru-en-mixed.doc: following-sprm выравнивается ровно при 4; MS-DOC-форма rgttte 2+6·ctc Word'ом не пишется, сетка из sprmTInsert мостом не строится). Спец-длины операндов spra=6: у 0xD608 счётчик cb **двухбайтовый** («остаток+1», §2.9.321 — формула «1+первый байт» врёт при cb>255), у 0xC60D cb=0xFF — обрыв разбора; у 0xC615 cb=0xFF — длина 3 + 4·cTabsDel + 3·cTabsAdd по раскладке §2.9.182 (разбор продолжается)| +|`ChpxIndex`/`PapxIndex`|§2.4.6: PlcfBte (aFc n+1 + pn 22 бита) → FKP-страницы 512 Б по pn·512 (rgfc (n+1)×4, rgbx n×1/×13, crun/cpara — последний байт, cpara ≤ 0x1D по §2.9.174); Chpx = cb + grpprl, **cb=0 (§2.9.32 Chpx — пустой grpx; ср. rgb[i]=0 в §2.9.33 «there is no Chpx associated»): диапазон без прямых свойств, но валидный — заносится с пустым grpprl**, grpprl за пределами страницы — пропуск; PapxInFkp: cb≠0 → GrpPrlAndIstd 2cb−1, cb=0 → cb′ → 2cb′ (внутри istd(2) + grpprl, grpprl может быть пустым — istd без прямых Prl); bOffset=0 → свойств нет (дефолт), но **граница rgfc[j+1] в индекс заносится** — иначе дефолтный ран проглотил бы последующие CHPX-раны абзаца (регрессии ChpxIndexTest#zeroOffset_defaultPropsBoundaryKept, WordPdfConverterTest#docClassD_landscapeHiddenDelCaps); **istd сохраняется** (`istdFor`, вне диапазона −1) — по нему `DocxBody` применяет цепочку `Styles`| +|`Styles`|§2.9.271 STSH по fcStshf: LPStshi (cbStshi, cstd, cbSTDBaseInFile) → LPStd на чётных границах → Std (stdf: sti/stk/istdBase/cupx + xstzName + LPUpx): stk=1 → UPX[0]=UpxPapx (istd(2)+grpprl), UPX[1]=UpxChpx (§2.9.338/.336); **stk=2 (символьный стиль, StkCharGRLPUPX §2.9.263)** — единственный UPX[0]=UpxChpx целиком, отдельная цепочка `charChain(istd)` (источник ссылки — sprmCIstd, §2.4.6.5); stk=3 (табличный) не читается. Цепочка base-first (предок раньше потомка, last-wins при скане); istdBase 0x0FFF — без предка, цикл — обрыв на MAX_CHAIN=16. Разбор **снисходительный** (образец FontTable): битый/отсутствующий STSH → пустая таблица, конвертация на прямых свойствах, без `ConversionException`| +|`Tables`|TAP TTP-абзаца (§2.6.3) → `Grid(colWidths, indent, bordersXml, tblJc, cellVAlign, cellMargins)`: sprmTDefTable (§2.9.321, ncols 1..63, rgdxaCenter XAS со знаком — ширина = center[i+1]−center[i], первый center — сдвиг от поля); границы: sprmTTableBorders (§2.9.302, 6×Brc: cv fAuto, dptLineWidth 1/8pt, brcType §2.9.22) иначе sprmTTableBorders80 (§2.9.303, ico→цвет §2.9.119); BrcMayBeNil/Brc80MayBeNil (байты все 0xFF — NilBrc, §2.9.20/.18) → **границы нет** (не эмитится), brcType=0 не эмитится, 0x1B→inset, ≥0x40 ширина ×8, sz<2 → 2 (§2.9.16); выравнивание: sprmTJc/sprmTJc90 (u16: 1→"center", 2→"right", прочее → null — элемент не эмитится), современный перекрывает 90-вариант (тот же приоритет, что у 0xD613 над 0xD605) → `w:jc` в tblPr (`openTable`; регрессия — WordPdfConverterTest#docFooterTableCentered_shiftedLikeWord); вертикальное выравнивание ячеек: sprmTVertAlign 0xD62C (CellRangeVertAlign §2.9.30) → `cellVAlign[]` по индексам колонок (диапазоны clamped к сетке, top/вне диапазона — не эмитится) → `w:vAlign` в `w:tcPr` после `w:gridSpan` (регрессии — TablesTest#vertAlign_*, DocToDocxFormattingTest#cellVertAlign_*); поля ячеек: sprmTCellPadding/…Default (CSSAOperand §2.9.46, только ftsDxa, wWidth ≤ 31680) → `cellMargins[]` (record `CellMargin(itcFirst, itcLim, sideMask, width)`, Default — весь ряд) → `w:tcMar` в `w:tcPr` до `w:vAlign` (CT_TcMar §17.4.66; регрессии — TablesTest#cellPadding_*, DocToDocxFormattingTest#cellMargins_becomeTcMar, пайплайн — WordPdfConverterTest#tableTcMar_textInsetLikeWord). `null` (нет/битый TDefTable, неположительная ширина) → строка деградирует в плоские абзацы| |`Lists`|§2.9.200/.201 PlfLst/PlfLfo → `word/numbering.xml`: PlfLst — cLst SHORT (2 Б) при `fc`, rgLstf с `fc+2` (§2.9.201, Figure 56); LSTF (28 Б, fSimpleList→1 LVL иначе 9, массив LVL приложен за `fc+lcb`) + LVL (LVLF 28 Б: iStartAt/nfc/jc/ixchFollow/cbGrpprl'ы; Xst: плейсхолдеры 0x00–0x08 → `%{n+1}`, литеральный `%` → `%%`) → `w:abstractNum` (MSONFC [MS-OSHARED §2.2.1.3] → ST_NumberFormat §17.18.59, общий `numFmt` с `DocxBody.appendPgNumType`, экзотика CJK → decimal — нет глифов в бандле; ixchFollow 1/2 → `w:suff` space/nothing, 0=tab не эмитится; grpprlPapx уровня → `w:ind`, grpprlChpx → `w:rPr` rFonts/b/sz); LFO (lsid→первый LSTF) + LFOLVL (fStartAt → `w:startOverride`, fFormatting → полный `w:lvl`) → `w:num` (numId = 1-базированный ilfo). Снисходительно (образец `Styles`): битая таблица/обрыв LVL → пустой/неполный результат; `hasNum` — numId разрешается в валидный abstractNum, иначе абзацы деградируют в плоские| -|`Sections`|PlcfSed (§2.8.26): aCP n+1 + Sed n (12 Б) + Sepx (cb + секционные sprm) → `list()` — список record'ов `Section` (CP-диапазон, геометрия секции, `continuous` из sprmSBkc, `landscape` из sprmSBOrientation 0x301D (§2.9.236: 1/2), нумерация страниц — `pgNumStart` (0 = не задан; sprmSFPgnRestart 0x3011 + sprmSPgnStart97 0x501C, restart без start клампится к 1) и `nfcPgn` (sprmSNfcPgn 0x300E, MSONFC), колонки — sprmSCcolumns 0x500B (число − 1, кап 44), sprmSFEvenlySpaced 0x3005 (Bool8, дефолт true), sprmSDxaColumns 0x900C; при неравных колонках per-column ширины/зазоры из sprmSDxaColWidth 0xF203/sprmSDxaColSpacing 0xF204 (SDxaColWidthOperand/SDxaColSpacingOperand §2.9.241/.242: iCol+dxa)); `titlePage` из sprmSFTitlePage 0x300A (Bool8)); невозрастающие aCP → `ConversionException`; финальный aCP реальные файлы пишут за ccpText (PLC покрывает весь текстовый поток) — конец последней секции клампится к ccpText; `pageWidth()`/`header()`/`footer()` — геометрия последней секции (полоса набора для правила 7), `continuousSectionEnds()` — вычитание из подсчёта страниц (последняя секция не считается)| -|`FontTable`|SttbfFfn (§2.9.147): индекс ftc → имя семейства в `w:rFonts`| +|`Sections`|PlcfSed (§2.8.26): aCP n+1 + Sed n (12 Б) + Sepx (cb + секционные sprm) → `list()` — список record'ов `Section` (CP-диапазон, геометрия секции, `continuous` — sprmSBkc ∈ bkcContinuous/bkcNewColumn (§2.9.235) описывает разрыв, **ЗАКАНЧИВАЮЩИЙ эту** секцию (OOXML `w:type` — разрыв перед секцией §17.6.22, `DocxBody.sectPrXml` берёт значение секции i−1), `landscape` из sprmSBOrientation 0x301D (§2.9.236: 1/2), нумерация страниц — `pgNumStart` (0 = не задан; sprmSFPgnRestart 0x3011 + sprmSPgnStart97 0x501C, restart без start клампится к 1), `nfcPgn` (sprmSNfcPgn 0x300E, MSONFC) и gutter-поле (sprmSDzaGutter → `w:gutter` в pgMar), поля XAS_nonNeg (§2.6.3), верх/низ/header/footer — **YAS знаковый** (§2.9.355: минус — минимальное поле, Word пишет yаPage положительно), колонки — sprmSCcolumns 0x500B (число − 1, кап 44), sprmSFEvenlySpaced 0x3005 (Bool8, дефолт true), sprmSDxaColumns 0x900C; при неравных колонках per-column ширины/зазоры из sprmSDxaColWidth 0xF203/sprmSDxaColSpacing 0xF204 (SDxaColWidthOperand/SDxaColSpacingOperand §2.9.241/.242: iCol+dxa)); `titlePage` из sprmSFTitlePage 0x300A (Bool8)); свойств в Sepx нет (или Sepx битый) — дефолты Word 97: Letter 12240×15840, поля 1440, колонтитуки 720 (§2.6.4 «By default» sprmSXaPage/sprmSYaPage); невозрастающие aCP → `ConversionException` (§2.8.26 «MUST NOT contain duplicate CPs»); финальный aCP реальные файлы пишут за ccpText (PLC покрывает весь текстовый поток) — конец последней секции клампится к ccpText; `pageWidth()`/`header()`/`footer()` — геометрия последней секции (полоса набора для правила 7), `continuousSectionEnds()` — вычитание из подсчёта страниц (последняя секция не считается; отсутствие sprmSBkc не вычитается — дефолт bkcNewPage)| +|`FontTable`|SttbfFfn (§2.9.286): индекс ftc → имя семейства в `w:rFonts`| |`SummaryInfo`|[MS-OLEPS §2.2] PropertySet-поток `\x01SummaryInformation`; **offset'ы заголовка относительны начала PropertySet-потока** (`abs = Offset0 + offset`); PIDSI_PAGECOUNT=0x0E| |`Headers`|Plcfhdd (§2.4.1): 6 разделителей + по 6 историй на секцию (even/odd/first × hdr/ftr); odd hdr/ftr **каждой** секции → своя часть `headerN.xml`/`footerN.xml` (нумерация независимая по типу) и `headerReference`/`footerReference` type="default" в её sectPr; **first hdr/ftr (слоты 4/5 §2.8.22)** — только когда у секции Sepx задал sprmSFTitlePage → `type="first"` (нумерация общая с first-частями; регрессия — DocToDocxFormattingTest#titlePage_emittedAfterCols, WordPdfConverterTest#docTitlePage_firstHeaderOnlyFirstPage); пустая история [x,x) → части нет, docx4j наследует колонтитук предыдущей секции; guard-¶ отрезается; PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple` (та же семантика, что `FieldNormalizer` в docx-пути)| -|`OfficeArt`|[MS-ODRAW] PICF @ fcDggInfo/lcbDggInfo (Table-поток), delay-поток = WordDocument; DggContainer → BStoreContainer(0xF004)/BStoreContainerDelay(0xF007)/инлайн → FBSE → BLIP: 0xF01A EMF / 0xF01B WMF / 0xF01C PICT / 0xF01D JPEG (=0xF02A) / 0xF01E PNG / 0xF01F DIB; PNG/JPEG дословно, DIB → ImageIO → PNG, EMF/WMF/PICT → пропуск + warn (EMF-рендера в Java2D нет)| +|`OfficeArt`|[MS-ODRAW] PICF @ fcDggInfo/lcbDggInfo (Table-поток), delay-поток = WordDocument; DggContainer → BStoreContainer(0xF004)/BStoreContainerDelay(0xF007)/инлайн → FBSE → BLIP: 0xF01A EMF / 0xF01B WMF / 0xF01C PICT / 0xF01D JPEG (=0xF02A, [MS-ODRAW] Appendix A примечание <5> к §2.2.23) / 0xF01E PNG / 0xF01F DIB / 0xF029 TIFF (§2.2.30); **recInstance со вторым UID** (Appendix A <5>: 0x217 PICT 1 UID, 0x3D5 EMF, 0x46B JPEG RGB, 0x543 PICT, 0x6E1 PNG, 0x6E3 JPEG CMYK, 0x6E5 TIFF, 0x7A9 DIB — два UID) — второй UID идёт после первого в заголовке FBSE, сдвиг данных на 16 байт; PNG/JPEG/TIFF дословно, DIB → ImageIO → PNG, EMF/WMF/PICT → пропуск + warn (EMF-рендера в Java2D нет)| |`PrcData`|§2.9.210 PrcData в Data-потоке (`[cbGrpprl:2][grpprl]`, капа cb 0x3FA2, поля `next` нет): `resolve(data, grpprl)` разворачивает grpprl абзаца, чьи свойства Word вынес за FKP-страницу PAPX, — одиночный Prl `sprmPHugePapx` (0x6646; в grpprl GrpPrlAndIstd — единственный Prl при istd=0, §2.6.2) и `sprmPTableProps` (0x646B — цепочка продолжается в указанном PrcData). Оба указателя разворачиваются на своей позиции **без обрыва** текущего массива, не-спец-спрмы сохраняются (union): spec §2.6.2 велит хвост за PTableProps игнорировать, но Word пишет в нём легаси-зеркало (в `samples/ru-table-image.doc` — единственный `sprmTDefTable`, Appendix A <9>), а `sprmTInsert` из PrcData конвертер не читает — замещение ломало бы сетку; спец-спрмов нет → **тот же массив** (по ссылке); любой брак (ptr за Data, cb вне [1, 0x3FA2], цикл A→B→A — бюджет 32 PrcData) → останов без исключения, снисходительно (образец `Styles`/`Lists`). Подключается единственной точкой — `DocxBody.buildRange` (покрывает тело, колонтитуки, TTP-ветку и обычные huge-PAPX абзацы). Регрессия — `DocToDocxFormattingTest#hugePapxRowMark_closesRowWithGridFromPrcData` | -|`DocToDocx`|Оркестратор + вложенный `DocxBody`: текст → раны (CHPX+стилевой chpx-цепочка +chpx-цепочка символьного стиля по **sprmCIstd** (`Styles.charChain` — между стилевой цепочкой и прямыми, §2.4.6.5) → rPr (в т.ч. `w:highlight`/`w:shd`), прямой PAPX — после `PrcData.resolve` — +стилевая papx-цепочка (отступы через `Grpprl.Indents`, 80-варианты включительно; `sprmPChgTabsPapx`/`sprmPChgTabs` → `w:tabs`, у стилевого варианта радиус удаления из `rgdxaClose`) + sprmPIlfo/sprmPIlvl → pPr + `w:numPr` (между pageBreakBefore и tabs, CT_PPr §17.3.1.26; ilfo=0 перекрывает стилевой, ilvl=0x0C и неразрешённый numId → без numPr), base→derived→direct last-wins; флаги рана: vanish — мост фильтрует вывод рана (`w:vanish` в FO мёртв), caps/smallCaps — `Character.toUpperCase` в мосту (`w:caps`/`w:smallCaps` конвейер не читает, FOP без font-variant), rMarkIns/rMarkDel — ран оборачивается в `w:ins`/`w:del`+`w:delText` (шаблоны docx2fo рисуют правки — вид «Show Markup»), hpsPos → `w:position` (вендорный AUDIT-FIX → baseline-shift)), ¶ → ``; TAB/0x0B → `w:tab`/`w:br`, 0x0E → `w:br type="column"` (конец колонки при sprmSCcolumns), 0x0C в ране → `w:br type="page"`, 0x0C в конце абзаца — **разрыв секции**: `sectPr` соответствующей `Sections.Section` (матчинг по конечному CP) в pPr этого абзаца, внутри таблицы деградирует в `w:br type="page"`; body-level `sectPr` — последняя секция; `w:type continuous` из sprmSBkc; `w:pgSz w:orient="landscape"` со сменой w/h местами, `w:pgNumType` (`w:start` при restart, `w:fmt` только для числовых nfc — общий маппинг `Lists.numFmt`), `w:cols` (evenly → `w:num`+`w:space`, иначе per-column `w:col`; неравные/неполные ширины → деградация в одноколонную), `w:titlePg` из `Section.titlePage` (после w:cols, CT_SectPrBase §17.2.3) — `DocxBody.sectPrXml`/`appendPgNumType`/`appendCols`; pPr: `w:shd` из sprmPShd/…80 перед `w:tabs` (CT_PPr §17.3.1.26), `w:keepNext`/`w:keepLines` перед `w:pageBreakBefore` (CT_PPr §17.3.1.26); 0x1E → U+2011, 0x1F → U+00AD, 0x02/0x03/0x04 (сноски) → пропуск; U+0001/U+0008 со sprmCPicLocation → DrawingML `pic` (общий путь с картинками и OLE-fallback; 0x08 — якорь плавающей картинки §2.9.267, переносится inline-приближением: PlcfSpa не читается, позиция/обтекание теряются); field-символы в основном тексте: инструкция скрыта, кэшированный результат после разделителя видим; **табличный автомат**: абзац с 0x07 без TTP закрывает ячейку, 0x07+sprmPFTtp — конец строки (`Tables.parse` по TAP → `w:tbl`/`w:tr`/`w:tc`, сам маркер не эмитится), sprmPFInTable открывает ячейку; без корректного TDefTable строка деградирует в плоские абзацы (прежнее поведение); сетка первой строки действует на всю таблицу как `tblGrid`, ширины/объединение ячеек каждой строки — из её собственного TDefTable (горизонтальное слияние → `w:gridSpan`)| +|`DocToDocx`|Оркестратор + вложенный `DocxBody`: текст → раны (CHPX+стилевой chpx-цепочка +символьный стиль по **sprmCIstd** (`DocxBody.chpxWithCharStyle`: сброс прямых к результату стиля абзаца с сохранением preserve-list до sprmCIstd + цепочка `Styles.charChain` (stk=2) + Prl после sprmCIstd, §2.6.1/§2.4.6.5) → rPr (в т.ч. `w:highlight`/`w:shd`), прямой PAPX — после `PrcData.resolve` — +стилевая papx-цепочка (отступы через `Grpprl.Indents`, 80-варианты включительно; `sprmPChgTabsPapx`/`sprmPChgTabs` → `w:tabs`, у стилевого варианта радиус удаления из `rgdxaClose`) + sprmPIlfo/sprmPIlvl → pPr + `w:numPr` (между pageBreakBefore и tabs, CT_PPr §17.3.1.26; ilfo=0 перекрывает стилевой, ilvl=0x0C и неразрешённый numId → без numPr), base→derived→direct last-wins; флаги рана: vanish — мост фильтрует вывод рана (`w:vanish` в FO мёртв), caps/smallCaps — `Character.toUpperCase` в мосту (`w:caps`/`w:smallCaps` конвейер не читает, FOP без font-variant), rMarkIns/rMarkDel — ран оборачивается в `w:ins`/`w:del`+`w:delText` (шаблоны docx2fo рисуют правки — вид «Show Markup»), hpsPos → `w:position` (вендорный AUDIT-FIX → baseline-shift)), ¶ → ``; TAB/0x0B → `w:tab`/`w:br`, 0x0E → `w:br type="column"` (конец колонки при sprmSCcolumns), 0x0C в ране → `w:br type="page"`, 0x0C в конце абзаца — **разрыв секции**: `sectPr` соответствующей `Sections.Section` (матчинг по конечному CP) в pPr этого абзаца, внутри таблицы деградирует в `w:br type="page"`; body-level `sectPr` — последняя секция; `w:type continuous` — из sprmSBkc **предыдущей** секции (§17.6.22 — w:type описывает разрыв перед секцией); `w:pgSz w:orient="landscape"` со сменой w/h местами, `w:pgNumType` (`w:start` при restart, `w:fmt` только для числовых nfc — общий маппинг `Lists.numFmt`), `w:pgMar` с `w:gutter` из sprmSDzaGutter, `w:cols` (evenly → `w:num`+`w:space`, иначе per-column `w:col`; неравные/неполные ширины → деградация в одноколонную), `w:titlePg` из `Section.titlePage` (после w:cols, CT_SectPrBase §17.6.18) — `DocxBody.sectPrXml`/`appendPgNumType`/`appendCols`; pPr: `w:shd` из sprmPShd/…80 перед `w:tabs` (CT_PPr §17.3.1.26), `w:keepNext`/`w:keepLines` перед `w:pageBreakBefore` (CT_PPr §17.3.1.26); 0x1E → U+2011, 0x1F → U+00AD, 0x02/0x03/0x04 (сноски) → пропуск; U+0001/U+0008 со sprmCPicLocation → DrawingML `pic` (общий путь с картинками и OLE-fallback; 0x08 — якорь плавающей картинки §2.9.267, переносится inline-приближением: PlcfSpa не читается, позиция/обтекание теряются); field-символы в основном тексте: инструкция скрыта, кэшированный результат после разделителя видим; **табличный автомат**: абзац с 0x07 без TTP закрывает ячейку, 0x07+sprmPFTtp — конец строки (`Tables.parse` по TAP → `w:tbl`/`w:tr`/`w:tc`, сам маркер не эмитится), sprmPFInTable открывает ячейку; без корректного TDefTable строка деградирует в плоские абзацы (прежнее поведение); сетка первой строки действует на всю таблицу как `tblGrid`, ширины/объединение ячеек каждой строки — из её собственного TDefTable (горизонтальное слияние → `w:gridSpan`)| |`DocxWriter`|Мульти-частный zip: `[Content_Types].xml` (hdr/ftr/numbering/png/jpg), `_rels/.rels`, `word/document.xml` (посекционные sectPr + headerReference; tblPr таблиц: tblW → jc (из sprmTJc) → tblInd → tblBorders), `word/_rels/document.xml.rels`, `word/numbering.xml`, `word/headerN.xml`/`footerN.xml` (по одной на непустую историю секции), `word/media/imageN.(png|jpg)`; корневые namespaces w/r/wp/a/pic| ## Остаток моста diff --git a/docs/agent/pipeline.md b/docs/agent/pipeline.md index 9e4468d..952ecc9 100644 --- a/docs/agent/pipeline.md +++ b/docs/agent/pipeline.md @@ -6,7 +6,7 @@ |---|---|---| | 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j | | 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера (static `BestMatchingMapper`) регистрирует в `PhysicalFonts` только symbol-шрифты из `docx4j-export-fo-fonts-symbol` (сканы системы и jar'ов отключены в static-блоке `WordPdfConverter` гейт-свойствами — всё найденное всё равно выбрасывает `restrictToBundled()`); `init()` вызывает `dropNonBundled()` **до** регистрации бандла, `restrictToBundled()` оставляет реестр = бандл + встроенные в docx. Порядок `init()` после конструктора — инвариант: `addPhysicalFont` не перезаписывает занятый ключ (иначе системный Calibri ломает em-dash-fallback) | -|2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–10 — раздел «Нормализаторы: контракт и правила 1–11» в этом файле) + условная OLE-вычистка (правило 11)| +|2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–11 — раздел «Нормализаторы: контракт и правила 1–12» в этом файле) + условная OLE-вычистка (правило 12)| | 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF | | 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет) | | 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные | @@ -22,24 +22,25 @@ ### Валидация входа и подсчёт страниц -Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + явные разрывы)`; явные — 0x0C в основном тексте + `sprmPFPageBreakBefore` из PAPX. Тот же метод — вход приложения. Скан выполняется ровно один раз по сырому входу, до аллокаций docx4j: правила 1–10 число учитываемых разрывов не увеличивают (правило 9 способно только убрать разрыв внутри скрытого рана — счёт по сырому входу остаётся верхней оценкой лимита). +Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + разрывы 0x0C − непрерывные межсекционные (sprmSBkc 0/1) + sprmPFPageBreakBefore)` (код — `DocFile.countPages`). Тот же метод — вход приложения. Скан выполняется ровно один раз по сырому входу, до аллокаций docx4j: правила 1–11 число учитываемых разрывов не увеличивают (правило 9 способно только убрать разрыв внутри скрытого рана — счёт по сырому входу остаётся верхней оценкой лимита). - Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `w:sectPr` в body + `w:br type="page"` + `pageBreakBefore` (включая таблицы и `w:sdt`). Единственный путь — lightweight (StAX по zip, secure-ридер без DTD/external entities; `WordPdfValidator` не зависит от docx4j): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитуках — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy `val`: `null|true|1|on`). На не-zip молчит — подпись проверяет вызывающий. `checkPageCount` — один стриминговый проход `ZipInputStream` без буферизации частей (хелпер `noClose` глушит `close()` сканеров): потребление O(одной части) вместо O(суммы XML-частей). -### Нормализаторы: контракт и правила 1–11 (детали) +### Нормализаторы: контракт и правила 1–12 (детали) -Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Десять rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby; константу `STEP` (`public static final DocxNormalizer`) выставляют девять из десяти (нет только у `RubyNormalizer` — он цепочный, подключается внутри пайплайна), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`. Правила 1–10 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 9; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` десяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим: +Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Одиннадцать rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby→MathFallback; константу `STEP` (`public static final DocxNormalizer`) несёт только `DocxRewritePipeline` (собирает рерайты сам), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`, а вместо `normalize(byte[])` у него `normalize(byte[], boolean)`. Правила 1–11 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 9; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` десяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим: -1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174a — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.7 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`). +1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174 — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.4 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`). 2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается. 3. `SymbolFontNormalizer` — PUA U+F000–U+F0FF (Symbol/Wingdings/Webdings) → Unicode + DejaVu Sans; переписывает ``, правит `w:lvl` в numbering.xml; 5 карт по 256 слотов (таблица `SymbolMapper` из docx4j 17.x). 4. `FieldNormalizer` — `fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple` (кэш страниц в PDF не попадает); вложенные/битые поля пропускаются. 5. `InvisibleCharNormalizer` — вырезает из `w:t` U+0085, U+2028, U+2029, U+200E/200F, U+202A–202E, U+2060, U+FEFF (FOP делает из них переносы/пустые строки, Arimo/Tinos рисуют боксы). U+00A0/U+00AD/U+200B–U+200D **не** трогает. 6. `GlyphCoverageNormalizer` — режет раны по покрытию глифов и пишет семейство в `w:rFonts`, иначе FOP рисует «#». Покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, **не** docx4j `GlyphCheck` (плодит INFO-лог; `java.awt.Font` требовал fontconfig на хосте). Для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (`dejavu serif`, `tinos`, `caladea`), затем в sans. -7. `TableIndentNormalizer` — свёртка `w:tblPr/w:jc` (center/right) с любым (в т.ч. отсутствующим/нулевым) `w:tblInd` в абсолютный `w:tblInd` с удалением `w:jc` (Word: tblInd — сдвиг от поля после центрирования, MS-OI29500 §2.1.155; docx4j при jc≠left игнорирует tblInd буквально — Part 1 §17.4.50, а центрированию пишет абсолютный start-indent **без** вычета cellMar, поверх которого padding-компенсация правила LayoutPostRenderer уводит текст на +padding — свёртка обязательна и при X=0): center → (W−T)/2+X, right → (W−T)+X, W — полоса набора (pgSz − pgMar left/right в transitional и `w:start`/`w:end` в strict; дефолты 11906/1440 — измеренное поведение docx4j, не ECMA-1800), T — Σ gridCol; пропускает несколько body-level `sectPr`, не-dxa `tblInd`, `tblPr` с `tblCellSpacing` без `tblInd` (нет корректной позиции вставки по CT_TblPrBase), `tblW pct`, нецелые gridCol. Кроме `rewrite`/`STEP` (document.xml, полоса из собственного sectPr) есть `rewritePart(part, xml, band)` — `word/headerN.xml`/`footerN.xml` с полосой из document.xml (в частях колонтитуков своего sectPr нет) и `bandOf(documentXml)` — экстрактор полосы (−1 — полосы нет). Регрессия — WordPdfConverterTest#tableIndentCentered_shiftedLikeWord, #headerTableIndent_centeredInHeader, #tableCenteredNoIndent_shiftedLikeWord. -8. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; Part 1 §17.3.1.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace. -9. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.30): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, юниты — HiddenTextNormalizerTest. -10. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.18/.19/.20/.21): `w:rubyBase`/`w:rubyBaseText` разворачиваются в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.2 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest. -11. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `OleFoundException`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет. +7. `TableIndentNormalizer` — свёртка `w:tblPr/w:jc` (center/right) с любым (в т.ч. отсутствующим/нулевым) `w:tblInd` в абсолютный `w:tblInd` с удалением `w:jc` (Word: tblInd — сдвиг от поля после центрирования, MS-OI29500 §2.1.155; docx4j при jc≠left игнорирует tblInd буквально — аудит раскладки ECMA-376, матрица B3, а центрированию пишет абсолютный start-indent **без** вычета cellMar, поверх которого padding-компенсация правила LayoutPostRenderer уводит текст на +padding — свёртка обязательна и при X=0): center → (W−T)/2+X, right → (W−T)+X, W — полоса набора (pgSz − pgMar left/right; у CT_PageMar полей `w:start`/`w:end` нет, полоса берётся из сырого document.xml до правила 1; дефолты 11906/1440 — измеренное поведение docx4j, ECMA дефолтов не фиксирует §17.6.11/.13), T — Σ gridCol; пропускает несколько body-level `sectPr`, `tblInd` с явным `w:type` ≠ dxa (опущенный type — dxa, §17.4.87), `tblPr` с `tblCellSpacing` без `tblInd` (нет корректной позиции вставки по CT_TblPrBase), `tblW pct`, нецелые gridCol. Кроме `rewrite` (document.xml, полоса из собственного sectPr) есть `rewritePart(part, xml, band)` — `word/headerN.xml`/`footerN.xml` с полосой из document.xml (в частях колонтитуков своего sectPr нет) и `bandOf(documentXml)` — экстрактор полосы (−1 — полосы нет). Регрессия — WordPdfConverterTest#tableIndentCentered_shiftedLikeWord, #headerTableIndent_centeredInHeader, #tableCenteredNoIndent_shiftedLikeWord. +8. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; ST_LevelSuffix Part 1 §17.9.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace. +9. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.41): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true; явный `false/0/off` в ране **перекрывает** vanish-стиль) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, #hiddenText_directFalseOverridesVanishStyle, юниты — HiddenTextNormalizerTest. +10. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.24–.28): снимается обёртка `w:ruby` (схемно-валидная транзишнл-разметка `w:r`→`w:ruby`→rubyPr/rt/rubyBase иначе достаёт catch-all-шаблону XSLT, и база теряется молча), `w:rubyBase` разворачивается в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.2 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest. +11. `MathFallbackNormalizer` — деградация OMML-формул (§22.1) в текст на хостах без fontconfig: `m:oMathPara`/`m:oMath` → обычные раны с конкатенацией `m:t` (как в штатном фолбэке docx4j `XsltFOFunctions.mathText`). JEuclid (`jeuclid-fop`) при первой формуле обращается к AWT-менеджеру шрифтов, которому на Linux нужен fontconfig; без него — `InternalError: Fontconfig head is null` (контейнерный рантайм проекта без fontconfig — Containerfile). На хосте с fontconfig рерайт не срабатывает (`rewrite` → `null`, тот же массив). `m:oMathPara` содержит `m:oMath`, поэтому блок para заменяется первым. Регрессия — WordPdfConverterTest#ommlMath_drawnAsVectors. +12. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `OleFoundException`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет. `mc-preprocessor.xslt` docx4j (в jar `docx4j-core`) перебивает strict-namespace'ы в transitional и конвертит `pt` в twips/half-points, но ветку перевода процентов в тысячные для namespace'ных атрибутов содержит с закомментированным `` (для атрибутов без namespace — она активна), а `w:start`/`w:end` в `w:left`/`w:right` не маппит вовсе. Поэтому собственный рерайт URI ломать нельзя — он сломал бы pt-конверсию preprocessor'а (FOP получил бы «10pt»). diff --git a/docs/agent/render-limitations.md b/docs/agent/render-limitations.md index d4ec640..f462d56 100644 --- a/docs/agent/render-limitations.md +++ b/docs/agent/render-limitations.md @@ -4,6 +4,6 @@ - Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно). -- Аудит раскладки по ECMA-376 Part 1 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается, свойства `text-align-last` в форке нет (в docx4j-fo-renderer отсутствуют классы TextAlign*); `w:suff="tab"` и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab; suff=space чинит правило 8, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер: advance A→V = A→A — Carlito 6.369pt, DejaVu Sans 7.524pt@11pt): 22 TTF — GPOS-only, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19; при отсутствии `w:kern` Office не кернит — MS-OI29500 §21.1.2.3.9a) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 7), `w:suff="space"` (правило 8). +- Аудит раскладки по ECMA-376 Part 1 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается, свойства `text-align-last` в форке нет (в docx4j-fo-renderer отсутствуют классы TextAlign*); `w:suff="tab"` и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab; suff=space чинит правило 8, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер: advance A→V = A→A — Carlito 6.369pt, DejaVu Sans 7.524pt@11pt): 22 TTF — GPOS-only, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19: кернинг применяется, только когда элемент задан; при отсутствии `w:kern` не кернит; MS-OI29500 §2.1.83 уточняет лишь диапазон `w:val`) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 7), `w:suff="space"` (правило 8). -- Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.13.1.35), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23), OMML-формулы рисуются вектором jeuclid-fop (§22.1 — текст из PDF не извлекается, пинь пикселями), фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 9); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 10 + AUDIT-FIX-2). Остаток (не чиним): `w:framePr` игнорируется — текст печатается в общем потоке, геометрия фрейма теряется (ни XSLT, ни `createBlockForPPr` не читают); `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 10 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура). +- Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.10.6), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23), OMML-формулы: на хосте с fontconfig рисуются вектором jeuclid-fop (§22.1 — текст из PDF не извлекается, пинь пикселями), без fontconfig — деградация в текст `m:t` (правило 11; контейнерный рантайм без fontconfig), фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 9); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 10 + AUDIT-FIX-2). Остаток (не чиним): `w:framePr` игнорируется — текст печатается в общем потоке, геометрия фрейма теряется (ни XSLT, ни `createBlockForPPr` не читают); `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 10 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура). diff --git a/docs/agent/repo-map.md b/docs/agent/repo-map.md index be56924..db0c8e4 100644 --- a/docs/agent/repo-map.md +++ b/docs/agent/repo-map.md @@ -6,7 +6,7 @@ |---|---| | `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String,ConvertOptions)`), `WordPdfValidator` (`checkInput`/`validate` наружу; `checkPageCount`/`checkPageCountDoc`/`isBinaryDoc` — package-private, всё без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `ChartsFoundException`/`SmartArtFoundException`/`OleFoundException` (по error-флагам), `ConvertOptions` (record; дефолтов в ядре нет). Пороги защиты — производные от лимитов входа: `WordPdfValidator.maxDecompressedBytes`/`maxDecompressedXmlBytes` (`max(MIN_*×MiB, maxMb×10/4MiB + maxPages×64/32KiB)`, крышек нет), `maxZipEntries` (`max(2048, maxMb×512 + maxPages×32)`), `maxImagePixels` (`maxMb×5_000_000`); коэффициенты и полы — package-private литералы `WordPdfConverter` (`DECOMPRESS_*`, `MIN_DECOMPRESSED_*`, `IMAGE_PIXELS_PER_MAX_MB`, `ZIP_ENTRIES_*`, javac их инлайнит — валидатор не инициализирует конвертер) | | `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontMapper` (алиасы, self-map, `DISPLAY_NAMES`, `bundledFamily`), `GlyphFont` (глиф-движок fontbox) | -| `…/wordpdf/internal/` | 11 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–10, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы package-private; `public` — `DocxNormalizer`, `DocxRewritePipeline` (наружу только `STEP`, `normalize` package-private), `OleObjectNormalizer`, `FopFallbackFonts` (`declare`), `LayoutPostRenderer` (`register`), `DependencyGuard` (`check`), остальные нормализаторы полностью package-private; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `OleFoundException` | +| `…/wordpdf/internal/` | 12 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–11, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы package-private; `public` — `DocxNormalizer`, `DocxRewritePipeline` (наружу только `STEP`, `normalize` package-private), `OleObjectNormalizer`, `FopFallbackFonts` (`declare`), `LayoutPostRenderer` (`register`), `DependencyGuard` (`check`), остальные нормализаторы полностью package-private; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `OleFoundException` | | `…/wordpdf/internal/doc/` | Мост `.doc` → `.docx`: 18 классов (детали — `docs/agent/doc-bridge.md`) — `CfbReader`, `FibHeader`, `PieceTable`, `Grpprl`, `ChpxIndex`, `PapxIndex`, `Styles`, `Tables`, `Lists`, `Sections`, `FontTable`, `SummaryInfo`, `Headers`, `OfficeArt`, `PrcData`, `DocFile`, `DocxWriter`, `DocToDocx` (публичные `convert`/`countPages`; вложенный `DocxBody` — рендер текста и табличного автомата в XML) | | `…/wordpdf/internal/chart/` |18 классов Java2D-рендера диаграмм/SmartArt в PNG (public: `DrawingPreRenderer.run` и `ChartImageHandler` — второй инстанцируется из `WordPdfConverter`)| | `wordpdf-core/src/main/resources/fonts/` | 30 TTF + 3 лицензии — бинарные фикстуры, часть jar | @@ -107,9 +107,9 @@ unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-expo PMD: `failurePriority` в плагине не задан — на практике `verify` валит нарушение любой приоритетности; закрытый список правил — единственный источник `pmd-ruleset.xml` (в AGENTS.md не дублируется). Четыре правила `*MustUseBraces` деприкейтед в 6.55.0 — предупреждения «Discontinue using…» в логе verify ожидаемы. -- Нормализаторы — единый контракт `internal/DocxNormalizer` + константа `STEP`; цепочка `WordPdfConverter.normalizers()` = `DocxRewritePipeline.STEP` (правила 1–10 одним zip-проходом) + лямбда `OleObjectNormalizer`; нечего менять → **тот же массив**; package-private хук `static String rewrite(String xml)` для юнит-тестов (возвращает `null` при отсутствии изменений; есть у 10 из 11 — у многочастного `OleObjectNormalizer` нет); у `StrictOoxmlNormalizer` есть также `rewritePart(entryName, xml)`, у `TableIndentNormalizer` — `rewritePart(name, xml, band)` (per-part-логика, хуки пайплайна); правятся только части `word/*.xml`. +- Нормализаторы — единый контракт `internal/DocxNormalizer`; константа `STEP` только у `DocxRewritePipeline` (сам собирает цепочку); цепочка `WordPdfConverter.normalizers()` = `DocxRewritePipeline.STEP` (правила 1–11 одним zip-проходом) + лямбда `OleObjectNormalizer`; нечего менять → **тот же массив**; package-private хук `static String rewrite(String xml)` для юнит-тестов (возвращает `null` при отсутствии изменений; есть у 11 из 12 — у многочастного `OleObjectNormalizer` нет); у `StrictOoxmlNormalizer` есть также `rewritePart(entryName, xml)`, у `TableIndentNormalizer` — `rewritePart(name, xml, band)` (per-part-логика, хуки пайплайна); правятся только части `word/*.xml`. -- Классы в `internal` — `public` (иначе родительский пакет не вызвал бы), но публичные члены наружу только `normalize`/`STEP`/`declare`/`DrawingPreRenderer.run`/`DependencyGuard.check` (`rewrite`, карты — package-private); в `wordpdf-app` всё package-private кроме `WordPdfApplication`. +- Классы в `internal` — package-private; `public` только контракт наружу: `DocxNormalizer`, `DocxRewritePipeline`(+`STEP`), `OleObjectNormalizer`, `FopFallbackFonts`(+`declare`), `LayoutPostRenderer`(+`register`), `DependencyGuard`(+`check`) и `DrawingPreRenderer`(+`run`); `rewrite`-хуки и карты — package-private; в `wordpdf-app` всё package-private кроме `WordPdfApplication`. - Гейт JaCoCo `0.8.15`: `jacoco:check` (правило BUNDLE, LINE COVEREDRATIO `0.90` — обоих модулей; в `wordpdf-core/pom.xml` execution `check` переопределён и добавляет BRANCH COVEREDRATIO `0.85` — только для core) на `verify`; агент подключается в surefire через `argLine` = `@{argLine} -Djava.awt.headless=true` (свойство `argLine` в корневом pom по умолчанию пусто и перезаписывается `prepare-agent` — `mvn test -Djacoco.skip=true` без агента работоспособно); `report` и `check` оба на `verify`, report раньше — при провале порога отчёт уже на диске; отчёты `target/site/jacoco/` (html+xml, xml нужен CI-сводке). Плотность покрытия держат тесты, а не заглушки: промахи в основном недостижимые IOException/catch-ветки (`GlyphFont`, `BundledFonts`) и защитные ветви сканеров нормализаторов/валидатора. - Счётчики тестов и описание блока аудита .docx 2026-11 — `docs/agent/testing.md`. JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true`; только `Assertions` (Mockito/AssertJ не использовать; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`), тестовые классы package-private, зеркалят main-пакеты; только `@Test` + два `@BeforeAll` (warm-up шрифтов в `GlyphCoverageNormalizerTest` и `BundledFonts.init()` в `BundledFontsTest`) + `@AfterEach drainWorker` в `ConversionTimeoutTest` (дренировать отменённый FOP-рендер до следующего класса — гонка глобального `PhysicalFonts`). diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java index ffe36fe..6bdf12f 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java @@ -157,7 +157,7 @@ public final class WordPdfConverter { * считаются ровно раз по сырому входу, до аллокаций docx4j: для .docx — * lightweight-скан по zip, для .doc — по чистому бинарному документу до * конвертации. Повторного скана по нормализованным байтам нет: правила - * 1–10 {@code DocxRewritePipeline} число учитываемых разрывов не + * 1–11 {@code DocxRewritePipeline} число учитываемых разрывов не * увеличивают (правило 9 способно только убрать разрыв внутри скрытого * рана — счёт по сырому входу остаётся верхней оценкой лимита), а скан * внутри живой JAXB-модели удваивал бы пиковую память. @@ -401,7 +401,8 @@ public final class WordPdfConverter { LayoutPostRenderer.register(foSettings); // 4.5 Вендорный xslt/docx2fo.xslt = копия из docx4j-export-fo + - // AUDIT-FIX-патч (w:rPr position) — стилист jar'а не + // AUDIT-FIX-патчи (w:rPr/w:position→baseline-shift; + // AUDIT-FIX-2: moveFrom/moveTo/bdo/dir) — стилист jar'а не // используется. foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES); @@ -430,13 +431,13 @@ public final class WordPdfConverter { } resetSharedImageCaches(); BundledFonts.restrictToBundled(); - // Примечание: в docx4j 11.x OpcPackage.close() отсутствует — + // Примечание: в docx4j 17.x OpcPackage.close() отсутствует — // пакет загружается в память и ничего не закрывает. } } /** - * Нормализация входных байтов (цепочка {@link #normalizers}: правила 1–10 + * Нормализация входных байтов (цепочка {@link #normalizers}: правила 1–11 * одним zip-проходом {@code DocxRewritePipeline} + условная OLE-вычистка) * и {@code WordprocessingMLPackage.load} полученного transitional-байта. * Нормализация переиспользует слот {@code bytes}: каждая замена массива @@ -455,10 +456,11 @@ public final class WordPdfConverter { * Конвейер байтовой нормализации docx. Порядок фиксирован: сначала один * zip-проход переписывания XML-частей (внутри части порядок рерайтов * Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→ - * NumberingSuffix→Hidden→Ruby значим: Strict первым — дальше transitional-байт; + * NumberingSuffix→Hidden→Ruby→MathFallback значим: Strict первым — дальше transitional-байт; * GlyphCoverage — по финальному тексту рана; Hidden — вырезает скрытые * раны по финальному содержимому; Ruby — разворачивает руби-разметку, - * которую схема docx4j не биндит), затем OleObjectNormalizer + * которую схема docx4j не биндит; MathFallback — деградирует OMML-формулы + * в текст m:t, когда JEuclid недоступен), затем OleObjectNormalizer * (меняет части, а не XML ранов). * Регрессии каждого рерайта — в javadoc соответствующего нормализатора. */ @@ -466,7 +468,8 @@ public final class WordPdfConverter { return List.of( // один zip-проход: strict→transitional, on/off, Symbol-PUA, // поля PAGE/NUMPAGES, невидимки, покрытие глифов, tblInd при - // jc≠left, suff=space, скрытый текст (vanish) — порядок + // jc≠left, suff=space, скрытый текст (vanish), снятие обёртки + // w:ruby, OMML-фолбэк в текст — порядок // рерайтов внутри части фиксирован (DocxRewritePipeline) DocxRewritePipeline.STEP, // OLE-объекты: при выключенном errorOnOle тихо удаляем @@ -476,7 +479,8 @@ public final class WordPdfConverter { } /** - * Вендорный docx2fo.xslt (копия из docx4j-export-fo + AUDIT-FIX-патч). + * Вендорный docx2fo.xslt (копия из docx4j-export-fo + AUDIT-FIX-патчи: + * w:rPr/w:position→baseline-shift; AUDIT-FIX-2: moveFrom/moveTo/bdo/dir). * {@code AbstractXsltExporterDelegate.getTemplates} кастит значение * {@code setCustomXsltTemplates} в {@code Templates} — компилируем заранее; * {@code Templates} неизменяем и потокобезопасен, один экземпляр на процесс. diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxOnOffNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxOnOffNormalizer.java index 8cf485b..360782a 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxOnOffNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxOnOffNormalizer.java @@ -13,7 +13,7 @@ import java.util.regex.Pattern; /** * Нормализация ST_OnOff-значений в docx перед загрузкой docx4j. * - * docx4j 11.x теряет атрибуты {@code w:val="off"} / {@code w:val="on"} + * docx4j 17.x теряет атрибуты {@code w:val="off"} / {@code w:val="on"} * при JAXB-разборе (тип поля {@code Boolean} не принимает "on"/"off", * поле остаётся null и {@code BooleanDefaultTrue.isVal()} считается * true). Из-за этого явные {@code } и @@ -22,6 +22,11 @@ import java.util.regex.Pattern; * docx4j разбирает корректно, поэтому заменяем "off"->"false", * "on"->"true" в XML-частях word/*.xml. * + *

Исключение — {@code w:scrollbar} (свойство фрейма, §17.15.2.37): его + * {@code w:val} — ST_FrameScrollbar (none/left/right/leftAndRight, + * §17.18.32), единственный не-ST_OnOff носитель on/off в WML; переписывать + * его нельзя — вывод станет невалидным. + * * Если совпадений нет, возвращает исходный массив без переупаковки zip. */ final class DocxOnOffNormalizer { @@ -33,15 +38,12 @@ final class DocxOnOffNormalizer { * {@code w:t} не правится. Регрессия — DocxOnOffNormalizerTest#onOffInTextNotTouched. */ private static final Pattern ON_OFF = Pattern.compile( - "(<[A-Za-z][A-Za-z0-9:]*(?:\\s[^<>]*)?)w:val=([\"'])(on|off)\\2", + "(<(?!w:scrollbar\\b)[A-Za-z][A-Za-z0-9:]*(?:\\s[^<>]*)?)w:val=([\"'])(on|off)\\2", Pattern.CASE_INSENSITIVE); private DocxOnOffNormalizer() { } - /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ - static final DocxNormalizer STEP = DocxOnOffNormalizer::normalize; - /** * Заменяет в XML-частях docx (word/*.xml) w:val="off"/"on" * на "false"/"true". diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java index e6c51fe..58188fb 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java @@ -20,7 +20,7 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel; * Порядок значим: Strict первым — дальше части в transitional-виде * (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage * режет раны по финальному тексту рана (после Symbol/Invisible); Hidden - * последним — вырезает уже финальные раны (после Symbol/GLYPH-разбиений), + * девятым — вырезает уже финальные раны (после Symbol/GLYPH-разбиений), * а его OnOff-форма vanish читается после правила 2. Каждый * рерайт работает только содержимым одной части, поэтому по-частная * цепочка эквивалентна последовательным полным проходам. Исключения из @@ -66,7 +66,8 @@ public final class DocxRewritePipeline { // Ширина полосы набора для правила 7 (таблицы в header/footer- // частях своей sectPr не содержат): из сырого document.xml — // геометрия инвариантна к рерайтам цепочки (Strict не трогает - // w:pgSz/@w:w, а pgMar-чередование left|start покрывает strict). + // w:pgSz/@w:w; у strict CT_PageMar start/end нет вовсе — + // только left/right). // Записи нет/несколько секций → −1, header/footer консервативно // пропускаются (та же неоднозначность полосы, что для body). int band = -1; diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FieldNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FieldNormalizer.java index 78a26d1..02cac4f 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FieldNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FieldNormalizer.java @@ -44,9 +44,6 @@ final class FieldNormalizer { private FieldNormalizer() { } - /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ - static final DocxNormalizer STEP = FieldNormalizer::normalize; - /** * Переписывает поддерживаемые поля во всех word/*.xml частях docx. * diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/GlyphCoverageNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/GlyphCoverageNormalizer.java index dfdda09..60c9e38 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/GlyphCoverageNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/GlyphCoverageNormalizer.java @@ -81,9 +81,6 @@ final class GlyphCoverageNormalizer { private GlyphCoverageNormalizer() { } - /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ - static final DocxNormalizer STEP = GlyphCoverageNormalizer::normalize; - /** * Разрезает раны с непокрытыми глифами в XML-частях docx (word/*.xml). * diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizer.java index 44d762c..d7506a9 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizer.java @@ -24,7 +24,7 @@ import org.apache.commons.compress.archivers.zip.ZipFile; import org.apache.commons.compress.utils.SeekableInMemoryByteChannel; /** - * Вырезание скрытых ранов ({@code w:rPr/w:vanish}, Part 1 §17.3.2.30) из + * Вырезание скрытых ранов ({@code w:rPr/w:vanish}, Part 1 §17.3.2.41) из * XML-частей — до загрузки docx4j. * *

Word по умолчанию не выводит скрытый текст ни на экран, ни на печать, @@ -39,8 +39,13 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel; * правило 2 к моменту запуска уже привело on/off к true/false, но обе формы * принимаются) либо {@code w:rStyle} ссылается на стиль с vanish — по * цепочке {@code w:basedOn} (капа 16, цикл — обрыв; тот же приём, что - * {@code internal/doc/Styles}). Прямой vanish ранa перекрывает стилевой; - * вложенные раны ({@code w:rubyBase}/{@code w:rt}, текстовые боксы) + * {@code internal/doc/Styles}). Прямой vanish ранa перекрывает стилевой + * (§17.7.3: в конфликте toggle выигрывает direct formatting); принятое + * упрощение стилевого слоя — явный falsy {@code w:val} у стиля + * (vanish=false поверх vanish-предка по {@code w:basedOn}) не + * разворачивается: стиль с {@code w:vanish} делает раны скрытыми + * независимо от {@code w:val}; вложенные раны + * ({@code w:rubyBase}/{@code w:rt}, текстовые боксы) * оцениваются независимо, но ран внутри уже удалённого внешнего не * вырезается повторно (диапазоны сливаются при сборке). * @@ -101,9 +106,6 @@ final class HiddenTextNormalizer { private HiddenTextNormalizer() { } - /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ - static final DocxNormalizer STEP = HiddenTextNormalizer::normalize; - /** * Вырезает скрытые раны (только прямой {@code w:vanish}) из XML-частей * docx; {@code word/styles.xml}/{@code word/numbering.xml} пропускаются. @@ -313,6 +315,9 @@ final class HiddenTextNormalizer { if (hasTruthyVanish(region)) { return true; } + if (hasExplicitFalsyVanish(region)) { + return false; // явный w:val=false/0/off перекрывает стилевой vanish (§17.7.3) + } if (!vanishStyleIds.isEmpty()) { Matcher r = RSTYLE.matcher(region); if (r.find() && vanishStyleIds.contains(r.group(1))) { @@ -364,7 +369,7 @@ final class HiddenTextNormalizer { String tag = end < 0 ? region.substring(i) : region.substring(i, end + 1); Matcher v = VAL_ATTR.matcher(tag); if (!v.find()) { - return true; // вал опущен — default true (Part 1 §17.3.2.30) + return true; // вал опущен — default true (Part 1 §17.3.2.41) } if (truthy(v.group(1))) { return true; @@ -376,11 +381,21 @@ final class HiddenTextNormalizer { return false; } - /** truthy по Part 1 §17.18.69 ST_OnOff: false/0/off — выключено, прочее — включено. */ + /** truthy по Part 1 §22.9.2.7 ST_OnOff: false/0/off — выключено, прочее — включено. */ private static boolean truthy(String val) { return !"false".equalsIgnoreCase(val) && !"0".equals(val) && !"off".equalsIgnoreCase(val); } + /** Явный falsy {@code w:vanish} (val=false/0/off) — перекрытие стилевого. */ + private static final Pattern FALSY_VANISH = + Pattern.compile("]*w:val=\"(?:false|0|off)\"", + Pattern.CASE_INSENSITIVE); + + /** Есть ли в регионе явный falsy {@code w:vanish} (val=false/0/off). */ + private static boolean hasExplicitFalsyVanish(String region) { + return FALSY_VANISH.matcher(region).find(); + } + /** Есть ли защищённый элемент в содержимом рана [from, to). */ private static boolean hasProtected(String xml, int from, int to) { for (String p : PROTECTED) { diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/InvisibleCharNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/InvisibleCharNormalizer.java index 96839b7..360e272 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/InvisibleCharNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/InvisibleCharNormalizer.java @@ -27,9 +27,10 @@ import java.util.zip.ZipOutputStream; * в невидимый DejaVu — FOP рисует «тофу» прямо в тексте. * * - * Zero-width знаки, значимые для shaping и переносов (U+00A0, U+00AD, - * U+200B, U+200C, U+200D), НЕ трогаем: во всех шрифтах бандла они - * нулевой ширины и пустых строк не создают. + * NBSP (U+00A0, ширина пробела — не zero-width) и zero-width знаки, значимые + * для shaping и переносов (U+00AD, U+200B, U+200C, U+200D), НЕ трогаем: + * во всех шрифтах бандла NBSP широк, остальное нулевой ширины, и ни то ни + * другое пустых строк не создаёт. * * Правим байты zip до JAXB-разбора, как остальные нормализаторы; запускается * до {@link GlyphCoverageNormalizer}, чтобы тот не искал шрифт для уже @@ -86,9 +87,6 @@ final class InvisibleCharNormalizer { private InvisibleCharNormalizer() { } - /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ - static final DocxNormalizer STEP = InvisibleCharNormalizer::normalize; - /** * Вырезает невидимые символы из текстовых узлов XML-частей docx * (word/*.xml). diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/MathFallbackNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/MathFallbackNormalizer.java index ce9d253..68500c2 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/MathFallbackNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/MathFallbackNormalizer.java @@ -17,7 +17,8 @@ import java.util.regex.Pattern; * {@code XsltFOFunctions.mathText}) — формула видна, приложение не падает. * *

На хосте с fontconfig рерайт не срабатывает (возвращается {@code null}, - * пайплайн отдаёт тот же массив). Позиция в цепочке — после Ruby (правило 11): + * пайплайн отдаёт тот же массив). Позиция в цепочке — после Ruby (правило 10), + * одиннадцатый рерайт: * {@code m:oMathPara} содержит {@code m:oMath}, поэтому блок para заменяется * первым, иначе остался бы несбалансированный каркас. Префикс {@code m:} * предполагается (Word и strict-OOXML используют его; StrictOoxmlNormalizer diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/NumberingSuffixNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/NumberingSuffixNormalizer.java index 77ad413..15aae4b 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/NumberingSuffixNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/NumberingSuffixNormalizer.java @@ -16,7 +16,8 @@ import java.util.zip.ZipOutputStream; * * Word рисует после номера лейбла разделитель по {@code w:suff}: tab — * табуляция до позиционного отступа, space — обычный пробел, nothing — ничего - * (Part 1 §17.3.1.28). docx4j/export-fo разделитель не эмитит вовсе: в FO + * (Part 1 §17.9.28, тип — ST_LevelSuffix §17.18.46). docx4j/export-fo + * разделитель не эмитит вовсе: в FO * уходит только текст лейбла («1.»), хинт {@code docx4j:label-suffix} — * заготовка без обработчика (дамп n4.fo аудита раскладки). Для suff=tab это * отдельный Class C-остаток (нужна per-item ширина), а suff=space чинится @@ -38,9 +39,6 @@ final class NumberingSuffixNormalizer { private NumberingSuffixNormalizer() { } - /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ - static final DocxNormalizer STEP = NumberingSuffixNormalizer::normalize; - /** * Дописывает пробел в lvlText у уровней с suff=space. * diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/OleObjectNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/OleObjectNormalizer.java index 7970c24..28d73c7 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/OleObjectNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/OleObjectNormalizer.java @@ -42,7 +42,8 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel; * по ECMA-376 §15.2.10 у каждого внедрённого объекта обязан быть «associated * image, which appears in the document as a placeholder» — именно его показывает * Word вместо объекта, — поэтому {@code w:object} заменяется его статичным - * представлением (картинкой-плейсхолдером, §17.3.3.3); без плейсхолдера блок + * представлением (картинкой-плейсхолдером, §17.3.3.19; картинка — §17.3.3.9); + * без плейсхолдера блок * удаляется. OLE-бинарники при этом никогда не читаются — байты только * удаляются, так что содержимое объекта (вплоть до враждебного архива) на * вывод не влияет.

@@ -392,7 +393,7 @@ public final class OleObjectNormalizer { /** * Заменяет в word/*.xml каждый w:object его статичным представлением - * (плейсхолдером, ECMA-376 §15.2.10/§17.3.3.3): блок с `w:control` + * (плейсхолдером, ECMA-376 §15.2.10/§17.3.3.19): блок с `w:control` * (ActiveX) удаляется целиком — property bag всё равно остаётся сиротой; * блок с `w:drawing` (ветка mc:Choice) заменяется этим drawing дословно; * блок с `v:imagedata r:id` заменяется inline-DrawingML на ту же diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/RubyNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/RubyNormalizer.java index d0b4a75..6448def 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/RubyNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/RubyNormalizer.java @@ -10,8 +10,9 @@ import java.util.zip.ZipInputStream; import java.util.zip.ZipOutputStream; /** - * Разбор руби-разметки ({@code w:rubyBase}/{@code w:rt}/{@code w:rubyPr}, - * Part 1 §17.3.3.19/.20/.21) в байтах до загрузки docx4j. + * Разбор руби-разметки ({@code w:ruby}/{@code w:rubyBase}/{@code w:rt}/ + * {@code w:rubyPr}/{@code w:rubyAlign}, Part 1 §17.3.3.25/.27/.24/.28/.26) + * в байтах до загрузки docx4j. * *

Джинябиндованные схемы docx4j 17.3.2 {@code w:rubyBase}/{@code w:rt} * в {@code w:r} не содержат (unmarshaller сообщает «unexpected @@ -20,11 +21,13 @@ import java.util.zip.ZipOutputStream; * (в отличие от {@code w:moveFrom}/{@code w:moveTo}/{@code w:bdo}/{@code w:dir}, * которые схема знает). Единственный слой починки — байтовый нормализатор. * - *

Деградация принята: база ({@code w:rubyBase}/{@code w:rubyBaseText}) - * разворачивается в обычные раны ранa — текст печатается; надстрочница - * ({@code w:rt}) и форматирование руби ({@code w:rubyPr}, {@code w:rubyAlign}) - * удаляются вместе с содержимым — ruby-разметки в XSL-FO у FOP нет, а потеря - * текста хуже потери аннотации. + *

Деградация принята: база ({@code w:rubyBase}) разворачивается в обычные + * раны ранa — текст печатается; надстрочница ({@code w:rt}) и форматирование + * руби ({@code w:rubyPr}, {@code w:rubyAlign}) удаляются вместе с содержимым + * — ruby-разметки в XSL-FO у FOP нет, а потеря текста хуже потери аннотации. + * Снимается и обёртка {@code w:ruby}: схемно-валидная разметка (транзишнл + * CT_R: {@code w:r} → {@code w:ruby} → rubyPr/rt/rubyBase, wml.xsd) иначе + * достаёт catch-all-шаблону XSLT и база теряется молча. * *

В конвейере подключается десятым рерайтом в {@link DocxRewritePipeline} * (после Hidden; порядок 1–8 не перенумеровать); в @@ -46,18 +49,21 @@ final class RubyNormalizer { private static final Pattern RUBY_PR_BLOCK = Pattern.compile("]*)?(?:/>|>.*?)", Pattern.DOTALL); - /** Одиночный {@code w:rubyPr}. */ + /** Одиночный {@code w:rubyAlign}. */ private static final Pattern RUBY_ALIGN = Pattern.compile("]*)?(?:/>|>\\s*)", Pattern.DOTALL); private static final Pattern RUBY_BASE_OPEN = Pattern.compile("]*)?>"); - private static final Pattern RUBY_BASE_TEXT_OPEN = - Pattern.compile("]*)?>"); + + /** Обёртка {@code w:ruby} (снимается: ран разворачивается в обычные раны). */ + private static final Pattern RUBY_OPEN = + Pattern.compile("]*)?>"); + private static final String RUBY_CLOSE = ""; /** - * Рерайт одной XML-строки: разворачивает {@code w:rubyBase}/ - * {@code w:rubyBaseText}, вырезает {@code w:rt}/{@code w:rubyPr}/ + * Рерайт одной XML-строки: разворачивает {@code w:rubyBase}, снимает + * обёртку {@code w:ruby}, вырезает {@code w:rt}/{@code w:rubyPr}/ * {@code w:rubyAlign}. Руби-токенов нет / ничего не поменялось → {@code null}. */ static String rewrite(String xml) { @@ -67,10 +73,10 @@ final class RubyNormalizer { String out = RT_BLOCK.matcher(xml).replaceAll(""); out = RUBY_PR_BLOCK.matcher(out).replaceAll(""); out = RUBY_ALIGN.matcher(out).replaceAll(""); - out = RUBY_BASE_TEXT_OPEN.matcher(out).replaceAll(""); - out = out.replace("", ""); out = RUBY_BASE_OPEN.matcher(out).replaceAll(""); out = out.replace("", ""); + out = RUBY_OPEN.matcher(out).replaceAll(""); + out = out.replace(RUBY_CLOSE, ""); return out.equals(xml) ? null : out; } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java index dff652b..89c077b 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java @@ -26,14 +26,17 @@ import java.util.zip.ZipOutputStream; * {@code w14:fillToRect w14:t="130%"} — JAXB падает на * {@code NumberFormatException: Not a number: 130%}; *

  • текстовые проценты в {@code wp14:pctWidth}/{@code wp14:pctHeight};
  • - *
  • границы и отступы в элементах {@code w:start}/{@code w:end} - * (в transitional они называются {@code w:left}/{@code w:right}) — - * JAXB сообщает «unexpected element» и границы теряются;
  • + *
  • границы и отступы в элементах {@code w:start}/{@code w:end} — в + * strict-схеме это единственные имена, transitional-схема допускает + * обе пары детей (wml.xsd CT_TcMar/CT_TblCellMar), но strict-часть их + * не пишет — JAXB transitional-модели сообщает «unexpected element» + * и границы теряются;
  • *
  • атрибуты {@code w:start}/{@code w:end} у {@code w:ind} и значения * {@code start}/{@code end} у {@code w:jc}/{@code w:tab} — в strict-модели * это единственные имена, а transitional-модель docx4j их не принимает * (значения {@code w:tab} — и подавно: enum {@code STTabJc} в docx4j - * 17.3.2 содержит только left/right).
  • + * 17.3.2 содержит только left/center/right; в спековом ST_TabJc + * §17.18.84 start/end есть, но JAXB-enum их не принимает). * * *

    Полный strict→transitional рерайт не делается: mc-preprocessor уже @@ -72,7 +75,9 @@ import java.util.zip.ZipOutputStream; * RTL; ST_Jc §17.18.44); RTL вне контура конвейера (FOP без complex-script, * direction docx4j не выставляет — start и так рендерился как left). *

  • значения {@code start}/{@code end} у {@code w:tab} правятся всегда - * (enum без start/end).
  • + * (enum {@code STTabJc} docx4j — left/center/right, без start/end; + * спека ST_TabJc §17.18.84 их содержит, но JAXB-биндинг их не + * принимает). * * * Регрессия — WordPdfConverterTest#strictOoxml_convertsNotRejected. @@ -121,9 +126,6 @@ final class StrictOoxmlNormalizer { private StrictOoxmlNormalizer() { } - /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ - static final DocxNormalizer STEP = StrictOoxmlNormalizer::normalize; - /** * Приводит strict-OOXML в XML-частях docx (word/*.xml) к виду, который * разбирает JAXB-модель transitional (детали — в javadoc класса). @@ -219,13 +221,14 @@ final class StrictOoxmlNormalizer { /** * Атрибуты {@code w:start→w:left}/{@code w:end→w:right} только внутри - * открывающего тега {@code w:ind} (MS-OI29500 §2.1.174a: start/end как - * псевдонимы left/right в strict — единственный носитель w:ind) и только + * открывающего тега {@code w:ind} (MS-OI29500 §2.1.44 (ind) плюс + * strict wml.xsd: {@code CT_Ind} знает только start/end — единственный + * носитель w:ind в strict) и только * при отсутствии в нём {@code w:left}/{@code w:right}: CT_Ind * (transitional) допускает обе пары, дубль атрибута — не well-formed * XML; литеральный текст {@code w:val}-вида в {@code w:t} не * затрагивается. У {@code w:pgNumType} атрибут {@code w:start} — старт - * нумерации страниц, легален в transitional (Part 1 §17.13.7), — не + * нумерации страниц, легален в transitional (Part 1 §17.6.12), — не * трогается (регрессия — pgNumTypeStartAttrUntouched). */ private static String renameStartEndAttrs(String xml) { diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizer.java index cdf26a2..8659770 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizer.java @@ -51,8 +51,9 @@ final class SymbolFontNormalizer { * Имя шрифта (lowercase) -> таблица из 256 слотов по 4 hex-цифры: * младший байт кода из PUA -> Unicode-код цели (0 — соответствия нет). * Источник — SymbolMapper из docx4j 17.x; сгенерировано, см. javadoc - * класса. Коды вне U+F000–U+F0FF (обычная ASCII-часть символьного - * шрифта) не переписываются. + * класса. Прямые коды {@code w:sym} (≤0xFF, вне PUA) маппятся по той же + * таблице как индекс символной cmap (§17.3.3.30); слот без маппинга, код + * >0xFF вне PUA или отсутствие font-map — элемент сохраняется как есть. */ private static final Map SYMBOL_MAPS = buildMaps(); @@ -70,9 +71,6 @@ final class SymbolFontNormalizer { private SymbolFontNormalizer() { } - /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ - static final DocxNormalizer STEP = SymbolFontNormalizer::normalize; - /** * Заменяет символьные шрифты в XML-частях docx (word/*.xml). * @@ -311,14 +309,20 @@ final class SymbolFontNormalizer { char mapped = 0; if (charHex != null && fontMap != null) { char code = (char) Integer.parseInt(charHex, 16); - if (code >= 0xF000 && code <= 0xF0FF) { - mapped = mapped(fontMap, code & 0xFF); - } + // PUA-форма (U+F0xx) и прямая (код ≤0xFF — индекс в символной + // cmap, §17.3.3.30) маппятся по одной таблице + int slot = (code >= 0xF000 && code <= 0xF0FF) ? code & 0xFF + : (code <= 0xFF ? code : -1); + mapped = slot >= 0 ? mapped(fontMap, slot) : 0; } if (mapped != 0) { sb.append(openTag).append(fallbackRPr) .append("").append(mapped) .append(""); + } else if (charHex != null) { + // неразрешимый, но схемно-валидный w:sym (§17.3.3.30) — + // сохраняем verbatim: удалять валидный контент нельзя + sb.append(openTag).append(rPr).append(m.group()).append(""); } pos = m.end(); } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/TableIndentNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/TableIndentNormalizer.java index ec65e32..e73c4e9 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/TableIndentNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/TableIndentNormalizer.java @@ -14,7 +14,9 @@ import java.util.zip.ZipOutputStream; * Свёртка {@code w:tblPr/w:jc} (center/right) с ненулевым {@code w:tblInd} в * абсолютный {@code w:tblInd} — до загрузки docx4j. * - * Word (Part 1 §17.4.50 в чтении MS-OI29500 §2.1.155): при {@code w:jc}≠left + * Word (MS-OI29500 §2.1.155; Part 1 §17.4.28 {@code w:jc} + §17.4.50 + * {@code w:tblInd} описывают без аддитивной семантики — «сдвиг от поля после + * центрирования/прижимания» есть измеренное поведение Word): при {@code w:jc}≠left * таблица центрируется/прижимается, а {@code w:tblInd} добавляется сдвигом от * поля. docx4j же при {@code w:jc}≠left {@code w:tblInd} игнорирует буквально * (аудит раскладки ECMA-376, матрица B3) — таблица рендерилась без учёта @@ -31,12 +33,17 @@ import java.util.zip.ZipOutputStream; *

    Пропускается (не ломая существующее поведение): документы без * единственного body-level {@code w:sectPr} (несколько секций — полоса * неоднозначна), {@code w:tblW type="pct"} и таблицы с gridCol без целого - * {@code w:w} (фактическая ширина неизвестна), {@code w:tblInd} не-dxa и + * {@code w:w} (фактическая ширина неизвестна), {@code w:tblInd} с явным + * {@code w:type}≠dxa (опущенный type — dxa, §17.4.87) и * {@code w:tblPr} с {@code w:tblCellSpacing} без {@code w:tblInd} (вставить * тег в корректную позицию CT_TblPrBase некуда). Дефолты при отсутствии - * pgSz/pgMar — 11906 и 1440/1440: измеренное поведение docx4j при отсутствующем - * {@code w:pgMar} (левый край текста = 72pt = 1440 twips), а не ECMA-дефолт - * 1800 — нормализатор обязан считать ту же полосу, что рендерит стек. + * pgSz/pgMar — 11906 и 1440/1440: ECMA дефолтов {@code w:pgSz}/{@code w:pgMar} + * не фиксирует (§17.6.13/§17.6.11), а 11906/1440 — измеренное поведение + * docx4j при отсутствующем {@code w:pgMar} (левый край текста = 72pt = + * 1440 twips) — нормализатор обязан считать ту же полосу, что рендерит стек. + * Band берётся из сырого {@code word/document.xml}: геометрия инвариантна + * к рерайтам (Strict-схема у {@code CT_PageMar} не имеет start/end, rule 1 + * {@code w:pgSz}/{@code w:pgMar} не трогает). * *

    {@link #normalize} трогает только {@code word/document.xml} (признак — * {@code ]*w:w=\"(\\d+)\""); - // strict-OOXML пишет поля как w:start/w:end; band считается из СЫРОГО - // document.xml (до rule 1, которая их переименует) — чередование - // обязательно, иначе полоса строгого документа молча возьмётся из дефолтов + // полоса считается из СЫРОГО document.xml; чередование left|start не + // нужен: CT_PageMar не имеет start/end ни в strict-, ни в transitional- + // схеме (wml.xsd), StrictOoxmlNormalizer w:pgSz/w:pgMar не трогает — + // геометрия инвариантна к рерайтам private static final Pattern PG_MAR_LEFT = - Pattern.compile("]*w:(?:left|start)=\"(\\d+)\""); + Pattern.compile("]*w:left=\"(\\d+)\""); private static final Pattern PG_MAR_RIGHT = - Pattern.compile("]*w:(?:right|end)=\"(\\d+)\""); + Pattern.compile("]*w:right=\"(\\d+)\""); private static final Pattern JC = Pattern.compile("]*w:val=\"(center|right)\"[^>]*/>"); private static final Pattern TBL_IND = Pattern.compile("]*/>"); @@ -74,9 +82,6 @@ final class TableIndentNormalizer { private TableIndentNormalizer() { } - /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ - static final DocxNormalizer STEP = TableIndentNormalizer::normalize; - /** * Переписывает jc+tblInd в абсолютный tblInd в {@code word/document.xml}. * @@ -186,10 +191,18 @@ final class TableIndentNormalizer { if (hasInd) { String indTag = ind.group(); Matcher indW = TBL_IND_W.matcher(indTag); - if (!indW.find() || !indTag.contains("w:type=\"dxa\"")) { - continue; // не-dxa — величина сдвига неизвестна + // CT_TblWidth (§17.4.87): опущенный w:type = dxa; + // явный не-dxa (pct и т.п.) — величина сдвига неизвестна + boolean nonDxa = indTag.contains("w:type=") && !indTag.contains("w:type=\"dxa\""); + if (!indW.find() || nonDxa) { + continue; } x = Integer.parseInt(indW.group(1)); + } else if (pr.contains(" buildFaces(Color color, String shape, double t, double u0, double u1, double v0, double v1, @@ -600,7 +600,7 @@ final class Cartesian3dPainter { } /** Подписи: значения — вдоль переднего левого ребра, категории — нижнего, - * ряды — правого; c:delete (§21.2.2.38) убирает подписи оси. + * ряды — правого; c:delete (§21.2.2.40) убирает подписи оси. * Регрессия — Cartesian3dPainterTest#bar3d_seriesAxisLabelsDrawn. */ private static void drawLabels(Graphics2D g, ChartSpec spec, List tickValues, List valueAnchors, int nCat, diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ChartRenderer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ChartRenderer.java index 17004cf..34183b1 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ChartRenderer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ChartRenderer.java @@ -52,7 +52,7 @@ final class ChartRenderer { /** Порог «значение целое» при форматировании подписей. */ private static final double INTEGER_EPSILON = 1e-9; - /** Позиции легенды (ECMA-376 §21.2.2.144 ST_LegendPos): снизу/сверху. */ + /** Позиции легенды (ECMA-376 §21.2.2.95 legendPos, ST_LegendPos §21.2.3.24): снизу/сверху. */ private static final String LEGEND_BOTTOM = "b"; private static final String LEGEND_TOP = "t"; diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ChartSpec.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ChartSpec.java index 2a4dcf7..e7e9fb8 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ChartSpec.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ChartSpec.java @@ -117,7 +117,7 @@ final class ChartSpec { final List xValues = new ArrayList<>(); /** bubble: размеры пузырей (c:bubbleSize). */ final List bubbleSizes = new ArrayList<>(); - /** c:shape ряда bar3D (MS-OI29500 §2.1.1545(b)); null = дефолт диаграммы ({@link #shape3d}). */ + /** c:shape ряда bar3D (MS-OI29500 §2.1.1546(b)); null = дефолт диаграммы ({@link #shape3d}). */ String shape3d; /** Способ отрисовки ряда в combo-диаграмме (несколько групп в одном c:plotArea, * ECMA-376 §21.2.2.145): BAR/BAR_HORIZONTAL/LINE/AREA по группе-источнику. diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawMlColor.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawMlColor.java index b19e297..ed9366c 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawMlColor.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawMlColor.java @@ -29,12 +29,13 @@ import java.util.Map; * Палитра цветов DrawingML: цвета схемы из word/theme/theme1.xml плюс * разбор {@code a:color} (srgbClr / scrgbClr / hslClr / sysClr / * schemeClr / prstClr) с полным набором трансформаций EG_ColorTransform - * (§20.1.2.3.2-28: lum/sat/hue Mod/Off и абсолютные, tint/shade, + * (§20.1.2.3.2-34: lum/sat/hue Mod/Off и абсолютные, tint §20.1.2.3.34 / + * shade §20.1.2.3.31, * alpha/alphaMod/alphaOff, red/green/blue + Mod/Off, comp, inv, gray, * gamma/invGamma). * * tint/shade — модуляция светлоты в HSL (L' = L·p + (1−p) / L·p, - * MS-OI29500 §17.3.2.6(a) — поведение Word); ECMA-примеры именно для + * MS-OI29500 §2.1.72 — поведение Word); ECMA-примеры именно для * tint/shade (00BC00) противоречат его же примерам семейства lum/sat — * расхождение на стороне спецификации. * @@ -432,7 +433,7 @@ final class DrawMlColor { rgb = toRgb(hsl); } // §20.1.2.3.31/.34: Office-семантика — модуляция - // светлоты в HSL (MS-OI29500 §17.3.2.6(a)), не + // светлоты в HSL (MS-OI29500 §2.1.72), не // гамма-микс; ECMA-примеры tint/shade противоречат // собственному семейству lum/sat (§20.1.2.3.19-28). case "tint" -> { diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawMlText.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawMlText.java index f3f0635..c56fd1c 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawMlText.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawMlText.java @@ -43,7 +43,7 @@ final class DrawMlText { /** * Один абзац: текст + начертание + выравнивание + межстрочный интервал - * из {@code a:lnSpc} (ECMA-376 §21.1.2.4): {@code spacingPct} — доля + * из {@code a:lnSpc} (ECMA-376 §21.1.2.2.5): {@code spacingPct} — доля * одинарного (a:spcPct/100000), {@code spacingPts} — фиксированная * высота строки в pt (a:spcPts/100); оба null — одинарный. */ @@ -255,7 +255,7 @@ final class DrawMlText { /** * Высота строки абзаца: a:lnSpc/a:spcPts — фиксированная в pt, * a:spcPct — доля одинарного (ascent+descent+leading), ничего — - * одинарный (ECMA-376 §21.1.2.4 CT_TextLineSpacing). + * одинарный (ECMA-376 §21.1.2.2.5 CT_TextLineSpacing). */ private static double lineFor(Paragraph p, double single) { if (p.spacingPts() != null) { diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/OfPiePainter.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/OfPiePainter.java index 16a829d..9efacf8 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/OfPiePainter.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/OfPiePainter.java @@ -11,11 +11,11 @@ import java.util.List; import java.util.Set; /** - * Комбинированная диаграмма (c:ofPieChart, ECMA-376 §21.2.2.108): главный + * Комбинированная диаграмма (c:ofPieChart, ECMA-376 §21.2.2.126): главный * пирог из первичных точек + вторичная круговая (c:ofPieType="pie") либо * вертикальный стек ("bar") из вторичных. Разбиение по c:splitType - * (auto|cust|percent|pos|val, §21.2.2.155; семантика splitPos — - * MS-OI29500 §2.1.1554a/b): auto/pos — последние ceil(n/3) (или splitPos) + * (auto|cust|percent|pos|val, §21.2.2.196; семантика splitPos — + * MS-OI29500 §2.1.1553): auto/pos — последние ceil(n/3) (или splitPos) * точек, val/percent — точки ниже splitPos, cust — c:secondPiePt. * Вторичных точек нет → обычная круговая через {@link PiePainter}. * «Other»-сектор (MS-OI29500 §2.1.1507(a)) замыкает главный пирог и обращён к @@ -37,7 +37,7 @@ final class OfPiePainter { * калибровка — OfPiePainterTest). */ private static final double GAP_FIT = 0.25; - /** c:ofPieType="bar" — вторичная часть столбчатая (§21.2.2.134). */ + /** c:ofPieType="bar" — вторичная часть столбчатая (§21.2.2.127). */ private static final String SECONDARY_BAR = "bar"; private OfPiePainter() { diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/RadarPainter.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/RadarPainter.java index 9f15eb3..4f8d2e5 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/RadarPainter.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/RadarPainter.java @@ -9,9 +9,9 @@ import java.util.ArrayList; import java.util.List; /** - * Лепестковая диаграмма (c:radarChart, ECMA-376 §21.2.2.143): категории — + * Лепестковая диаграмма (c:radarChart, ECMA-376 §21.2.2.153): категории — * спицы от 12 часов по часовой, значения — радиус по оси значений. - * c:radarStyle (§21.2.2.119): standard — контур, marker — контур + маркеры, + * c:radarStyle (§21.2.2.154): standard — контур, marker — контур + маркеры, * filled — полупрозрачная заливка без контура (вид как у AREA). * Сетка — концентрические многоугольники по делениям оси значений (паутина * прямыми звеньями, как в Word) и спицы. diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ScatterPainter.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ScatterPainter.java index 3949ac3..8a36579 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ScatterPainter.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/ScatterPainter.java @@ -15,9 +15,9 @@ import java.util.List; * ChartSpecTest#scatterFirstValAxisIsX). * * scatter: маркеры по c:marker ряда, линия по c:scatterStyle (line/smooth — - * ECMA-376 §21.2.2.136, сглаживание — кривая Жозефа де Кастельно не + * ECMA-376 §21.2.2.162, сглаживание — кривая Жозефа де Кастельно не * имитируется, ломаная с JOIN_ROUND). bubble: круги без обводки, радиус - * sqrt(|size|/maxSize) при c:sizeRepresents="area" (§21.2.2.128) и линейно + * sqrt(|size|/maxSize) при c:sizeRepresents="area" (§21.2.2.193) и линейно * при "w", масштаб c:bubbleScale. Ограничения: c:bubble3D рисуется плоско. * * Регрессия — ScatterPainterTest, фикстура samples/chart-types.docx diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/SmartArtRenderer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/SmartArtRenderer.java index 6fd40a9..ca84d41 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/SmartArtRenderer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/SmartArtRenderer.java @@ -278,8 +278,9 @@ final class SmartArtRenderer { if (paragraphs.isEmpty()) { return; } - // autofit по ECMA-376 §21.1.2.1.2/.3: noAutofit, spAutoFit (§21.1.2.1.4 — - // под размер текста ресайзится фигура, сам текст не масштабируется) + // autofit по ECMA-376 §21.1.2.1.2 noAutofit / §21.1.2.1.3 normAutofit / + // §21.1.2.1.4 spAutoFit (под размер текста ресайзится фигура, + // сам текст не масштабируется) // или отсутствие autofit-элемента (отсутствие имплицирует noAutofit) — // текст рисуется заявленным кеглем. normAutofit — применяем запечённые // Word-ом fontScale/lnSpcReduction из XML; если fontScale не запечён diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/StockPainter.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/StockPainter.java index e1dceb2..571e1e0 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/StockPainter.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/StockPainter.java @@ -9,7 +9,7 @@ import java.util.ArrayList; import java.util.List; /** - * Биржевая диаграмма (c:stockChart, ECMA-376 §21.2.2.153): ряды — линии + * Биржевая диаграмма (c:stockChart, ECMA-376 §21.2.2.198): ряды — линии * (CT_LineSer, обычно open/high/low/close), плюс факультативные * c:hiLowLines (вертикаль min..max по всем рядам категории), * c:upDownBars (столбик между первым и последним рядом: вверх — зелёный, diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/Surface3dPainter.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/Surface3dPainter.java index acb3f79..78a075e 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/Surface3dPainter.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/Surface3dPainter.java @@ -464,7 +464,7 @@ final class Surface3dPainter { project(0.5, v, floorW, rotX, rotY, depthScale, persp), fit); } // сетка значений: левая стенка (от переднего левого ребра в глубину) - // и дальней стенка — обе рисует Word; c:delete (§21.2.2.38) убирает ось + // и дальней стенка — обе рисует Word; c:delete (§21.2.2.40) убирает ось // целиком — сетка удалённой оси не рисуется. if (valAxis.gridlines && !valAxis.deleted) { for (double v = lo; v <= hi + unit / 2; v += unit) { diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/CfbReader.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/CfbReader.java index e62bb15..222b68e 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/CfbReader.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/CfbReader.java @@ -33,9 +33,6 @@ final class CfbReader { private static final long FREESECT = 0xFFFFFFFFL; private static final long MAX_SECT = 0xFFFFFFFAL; - /** Разумный потолок mini-sector shift: 2^16 = 64 KiB (MS-CFB §2.2). */ - private static final int MAX_MINI_SECTOR_SHIFT = 16; - /** Типы записей directory (MS-CFB §2.6, Object Type). */ private static final int TYPE_STREAM = 0x02; private static final int TYPE_ROOT = 0x05; @@ -44,6 +41,7 @@ final class CfbReader { private static final int ENTRY_SIZE = 128; /** Смещения полей заголовка (MS-CFB §2.2: сигнатура 8 + CLSID 16). */ + private static final int OFF_BYTE_ORDER = 0x1C; private static final int OFF_SECTOR_SHIFT = 0x1E; private static final int OFF_MINI_SECTOR_SHIFT = 0x20; private static final int OFF_FIRST_DIR = 0x30; @@ -63,6 +61,16 @@ final class CfbReader { /** Минимальный заголовок — 512 байт (сектор v3). */ private static final int HEADER_SIZE = 512; + /** ByteOrder MUST быть little-endian ([MS-CFB] §2.2). */ + private static final int BYTE_ORDER_LITTLE = 0xFFFE; + /** SectorShift: 9 (v3, 512 Б) или 12 (v4, 4096 Б) ([MS-CFB] §2.2). */ + private static final int SECTOR_SHIFT_V3 = 9; + private static final int SECTOR_SHIFT_V4 = 12; + /** MiniSectorShift MUST быть 6 (64 Б) ([MS-CFB] §2.2). */ + private static final int MINI_SECTOR_SHIFT_MUST = 6; + /** Mini Stream Cutoff MUST быть 0x1000 ([MS-CFB] §2.2). */ + private static final int MINI_STREAM_CUTOFF_MUST = 0x1000; + private CfbReader() { } @@ -77,18 +85,26 @@ final class CfbReader { if (cfb == null || cfb.length < HEADER_SIZE || !startsWithSignature(cfb)) { throw new ConversionException("Содержимое не похоже на .doc Word 97–2003"); } + // MUST-поля заголовка ([MS-CFB] §2.2): не-равенство — чужой/битый + // формат, разбор дал бы мусор вместо отказа + if (u16(cfb, OFF_BYTE_ORDER) != BYTE_ORDER_LITTLE) { + throw new ConversionException("Неизвестный Byte Order контейнера .doc"); + } int sectorShift = u16(cfb, OFF_SECTOR_SHIFT); int miniSectorShift = u16(cfb, OFF_MINI_SECTOR_SHIFT); - if (sectorShift != 9 && sectorShift != 12) { + if (sectorShift != SECTOR_SHIFT_V3 && sectorShift != SECTOR_SHIFT_V4) { throw new ConversionException("Неподдерживаемый размер сектора CFB: 2^" + sectorShift); } - if (miniSectorShift > MAX_MINI_SECTOR_SHIFT) { + if (miniSectorShift != MINI_SECTOR_SHIFT_MUST) { // §2.2: «MUST be set to 0x0006» throw new ConversionException("Неподдерживаемый размер mini-сектора CFB: 2^" + miniSectorShift); } int sectorSize = 1 << sectorShift; int miniSectorSize = 1 << miniSectorShift; long firstDir = u32(cfb, OFF_FIRST_DIR); long cutoff = u32(cfb, OFF_CUTOFF); + if (cutoff != MINI_STREAM_CUTOFF_MUST) { // §2.2: «MUST be set to 0x00001000» + throw new ConversionException("Неподдерживаемый Mini Stream Cutoff контейнера .doc"); + } long firstMiniFat = u32(cfb, OFF_FIRST_MINI_FAT); long firstDifat = u32(cfb, OFF_FIRST_DIFAT); long difatCount = u32(cfb, OFF_DIFAT_COUNT); @@ -144,22 +160,27 @@ final class CfbReader { } } - // второй проход: содержимое потоков + // второй проход: содержимое потоков. + // Суммарный бюджет аллокаций big-потоков: FAT легально шарит сектора + // между записями, поэтому пер-запись «size <= cfb.length» не + // ограничивает итог — N записей с size ≈ cfb.length аллоцировали бы + // N×файл (OOM с одного враждебного контейнера). В легитимном + // контейнере big-потоки не перекрываются: rootSize + Σ big ≤ файл + + // служебные сектора (FAT/dir/докругление) ≈ 1.1×файла; 1.5× — запас. + // Mini-потоки (size < cutoff) в бюджет НЕ идут: их данные физически + // лежат внутри rootSize ([MS-CFB] §2.1/§2.4 — «The space for these + // objects comes from a special stream that is called the mini + // stream»), учёт их размеров второй раз удваивал бы rootSize и + // ложно отвергал контейнер из одних мелких потоков. Map result = new HashMap<>(); - // Суммарный бюджет аллокаций: FAT легально шарит сектора между - // записями, поэтому пер-запись «size <= cfb.length» не ограничивает - // итог — N записей с size ≈ cfb.length аллоцировали бы N×файл - // (OOM с одного враждебного контейнера). В легитимном контейнере - // потоки не перекрываются: rootSize + Σ sizes ≤ файл + служебные - // сектора (FAT/dir/докругление mini) ≈ 1.1×файла; 1.5× — запас. long allocated = rootSize; for (Entry e : entries) { - if (allocated + e.size() > 3L * cfb.length / 2) { - throw new ConversionException("Суммарный размер потоков .doc больше лимита контейнера"); - } - allocated += e.size(); byte[] data; if (e.size() >= cutoff) { + if (allocated + e.size() > 3L * cfb.length / 2) { + throw new ConversionException("Суммарный размер потоков .doc больше лимита контейнера"); + } + allocated += e.size(); data = readChain(cfb, fat, e.start(), e.size(), sectorSize, sectorTotal, "цепочка потока «" + e.name() + "»"); } else { @@ -242,7 +263,15 @@ final class CfbReader { return fat; } - /** Цепочка секторов по FAT; цикл/выход за FAT → {@link ConversionException}. */ + /** + * Цепочка секторов по FAT; цикл/выход за FAT → {@link ConversionException}. + * Капа min(fat.length, sectorTotal): sectorOffset=(sector+1)·sectorSize + * обязан остаться положительным int — сектор «за файлом» дал бы оффлоу + * и обход проверок base+n>cfb.length; капка fat.length — ещё и на + * индексацию fat[] при FAT, покрывающем меньше файла (битый DIFAT). + * Регрессия — CfbReaderTest#streamChainBeyondFile_rejected, + * #rootChainBeyondFile_rejected. + */ private static int[] chain(int[] fat, long start, int sectorTotal, String what) { List sectors = new ArrayList<>(); long sect = start; @@ -251,7 +280,7 @@ final class CfbReader { if (sectors.size() > limit) { throw new ConversionException("Циклическая " + what + " в .doc"); } - if (sect >= fat.length) { + if (sect >= limit - 1) { throw new ConversionException("Сектор за концом FAT в .doc: " + what); } sectors.add((int) sect); @@ -324,11 +353,15 @@ final class CfbReader { } private static int sectorOffset(int sector, int sectorSize) { - return (sector + 1) * sectorSize; + long off = (long) (sector + 1) * sectorSize; + if (off > Integer.MAX_VALUE) { + throw new ConversionException("Сектор за концом файла в .doc"); + } + return (int) off; } private static void requireInFile(int offset, int len, int fileLen, String what) { - if (offset < HEADER_SIZE || offset + len > fileLen) { + if (offset < HEADER_SIZE || (long) offset + len > fileLen) { throw new ConversionException("Ссылка за конец файла в .doc: " + what); } } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/ChpxIndex.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/ChpxIndex.java index 37da02c..c00aa55 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/ChpxIndex.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/ChpxIndex.java @@ -58,13 +58,19 @@ final class ChpxIndex { if (bx != 0) { int chpxOff = (int) pageOff + bx * 2; int cb = wordDocument[chpxOff] & 0xFF; - if (cb == 0 || chpxOff + 1 + cb > pageOff + FKP_PAGE_SIZE) { - continue; + // cb=0 (§2.9.32 Chpx — пустой grpx; ср. rgb[i]=0 в + // §2.9.33 «there is no Chpx associated»): диапазон без + // прямых свойств, но валидный — заносим с пустым grpprl + if (cb > 0) { + if (chpxOff + 1 + cb > pageOff + FKP_PAGE_SIZE) { + continue; // grpprl не влезает в страницу — пропуск + } + grpprl = new byte[cb]; + System.arraycopy(wordDocument, chpxOff + 1, grpprl, 0, cb); } - grpprl = new byte[cb]; - System.arraycopy(wordDocument, chpxOff + 1, grpprl, 0, cb); } - // bOffset=0 (§2.4.2 «no properties») — диапазон без свойств, НО + // bOffset=0 (§2.9.33 «there is no Chpx associated») — диапазон + // без свойств, НО // граница rgfc[j+1] значима: без записи в ranges rangeEnd для // дефолтного рана вернул бы конец абзаца, и ран, следующий за // plain-участком (жирное слово в простом тексте — норма Word), diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocFile.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocFile.java index 210c688..c78d2bd 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocFile.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocFile.java @@ -42,7 +42,8 @@ final class DocFile { throw new ConversionException("В .doc нет потока " + (fib.use1Table() ? "1Table" : "0Table")); } - pieces = PieceTable.read(table, fib.fcClx(), fib.lcbClx(), wordDocument); + pieces = PieceTable.read(table, fib.fcClx(), fib.lcbClx(), wordDocument, + fib.cbMac() & 0xFFFF_FFFFL); } static DocFile open(byte[] docBytes) { @@ -78,7 +79,8 @@ final class DocFile { + papx.countPageBreakBefore()); } - /** Число символов 0x0C (разрыв страницы/колонки/секции, §2.2) в основном тексте. */ + /** Число символов 0x0C (разрыв страницы/секции, §2.8.26) в основном тексте; + * разрыв колонки — 0x0E (§2.6.3), страниц не добавляет. */ int countPageBreaks() { int count = 0; for (int cp = 0; cp < fib.ccpText(); cp++) { diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocToDocx.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocToDocx.java index 0ca1ed3..dbc03fd 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocToDocx.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocToDocx.java @@ -5,6 +5,7 @@ import ru.pjandro.wordpdf.WordPdfValidator; import java.nio.charset.StandardCharsets; import java.util.ArrayDeque; import java.util.ArrayList; +import java.util.Arrays; import java.util.Deque; import java.util.HashMap; import java.util.Iterator; @@ -12,6 +13,7 @@ import java.util.List; import java.util.Locale; import java.util.Map; import java.util.Set; +import java.util.logging.Logger; import java.util.regex.Pattern; /** @@ -24,9 +26,9 @@ import java.util.regex.Pattern; * {@link PieceTable} (§2.4.1), прямые * свойства — {@link ChpxIndex}/{@link PapxIndex} (§2.4.6.1/.2), стили — * {@link Styles} (STSH, цепочка по istd, §2.4.6.5), списки — {@link Lists} - * (PlfLst/PlfLfo → numbering.xml + w:numPr, §2.4.6.5 «Determining List + * (PlfLst/PlfLfo → numbering.xml + w:numPr, §2.4.6.3 «Determining List * Formatting»), сетка таблиц — {@link Tables} (TAP, §2.6.3), полоса набора — - * {@link Sections} (§2.8.26), колонтитуки — {@link Headers} (§2.4.1, + * {@link Sections} (§2.8.26), колонтитуки — {@link Headers} (§2.3.3, * нечётные полосы каждой секции → свой {@code w:sectPr} с * {@code headerReference}/{@code footerReference} в pPr абзаца с * межсекционным разрывом + body-level sectPr последней секции), @@ -43,7 +45,7 @@ import java.util.regex.Pattern; * объектов (0x08 — inline-приближение, PlcfSpa не переносится), * текстовыделитель (sprmCHighlight → w:highlight), затенения рана/абзаца * (sprmCShd/sprmCShd80 → rPr, sprmPShd/sprmPShd80 → pPr — w:shd), прямые - * символьные стили (sprmCIstd + stk=3 в STSH → цепочка chpx в rPr), поля + * символьные стили (sprmCIstd + stk=2 в STSH → цепочка chpx в rPr), поля * ячеек (sprmTCellPadding/sprmTCellPaddingDefault → w:tcMar; по умолчанию * конвейер даёт дефолт Word 108/0), титульная страница секции * (sprmSFTitlePage → w:titlePg + first-колонтитуки Plcfhdd). Не переносятся: @@ -52,14 +54,14 @@ import java.util.regex.Pattern; * (sprmPBrc* 0xC64E–0xC652 — конвейер не читает w:pBdr) и ячейки * (sprmTSetBrc — не читает w:tcBorders), высота строк (sprmTDyaRowHeight — * не читает w:trHeight), - * «шапка-repeat»/cantSplit/widowControl, типы подчёркивания и цвет линии - * (sprmCKul/sprmCCvUl — всегда single), эффетки шрифта, отступы Dxc + * цвет линии подчёркивания + * (sprmCCvUl — w:u без w:color), эффетки шрифта, отступы Dxc * (hundredths of a character — пайплайн не читает w:*Chars); * сноски/комментарии * (0x02/0x05) и инструкции полей (0x13–0x14) выбрасываются, * результат поля (0x14–0x15) остаётся; поле {@code HYPERLINK} в основном * тексте переносится как {@code w:hyperlink} с внешней rels-связью на URL из - * инструкции ([MS-DOC] §2.4.4; деградации в плоский текст: якорный + * инструкции ([MS-DOC] §2.9.115 HFD; деградации в плоский текст: якорный * переключатель {@code \l}, URL без схемы RFC 3986, ссылки в колонтитуках); * прочие управляющие символы не эмитятся.

    * @@ -69,7 +71,9 @@ import java.util.regex.Pattern; */ public final class DocToDocx { - /** Символы .doc (§2.2/§2.4). */ + private static final Logger LOG = Logger.getLogger(DocToDocx.class.getName()); + + /** Символы .doc (§2.8.26/§2.4). */ private static final char CELL_MARK = 0x07; private static final char EMBEDDED_OBJECT = 0x01; private static final char ANNOTATION_REF = 0x05; @@ -84,7 +88,7 @@ public final class DocToDocx { private static final char FIELD_SEPARATOR = 0x14; private static final char FIELD_END = 0x15; - /** Ниже — управляющие символы без текстового смысла (§2.2) → граница рана. */ + /** Ниже — управляющие символы без текстового смысла (§2.8.26) → граница рана. */ private static final char CONTROL_LIMIT = 0x20; private static final char NON_BREAKING_HYPHEN = 0x1E; private static final char SOFT_HYPHEN = 0x1F; @@ -159,7 +163,7 @@ public final class DocToDocx { String[] firstFtrRel = new String[secs.size()]; // Odd header/footer каждой секции → type="default" (FOP не различает // чётные/нечётные); guard-абзац истории отбрасывается. История - // cpStart == cpEnd не определена (§2.4.4) — ни части, ни ссылки: + // cpStart == cpEnd не определена (§2.3.3) — ни части, ни ссылки: // docx4j наследует полосы предыдущей секции. Guard-only история — // часть с единственным (явно пустой колонтитул, обрывающий // наследование; пустой w:hdr невалиден — ≥1 блочный элемент). @@ -231,7 +235,7 @@ public final class DocToDocx { /** Текст CP 0..ccpText → XML-тело {@code }. */ static final class DocxBody { - /** Длина операнда LSPD: dyaLine (i16) + fMultLinespace (i16), §2.9.181. */ + /** Длина операнда LSPD: dyaLine (i16) + fMultLinespace (i16), §2.9.146. */ private static final int LSPD_OPERAND_LEN = 4; /** fMultLinespace=1: dyaLine — множитель интервала в 240-х долях. */ private static final int FMULT_MULTIPLIER = 1; @@ -324,7 +328,7 @@ public final class DocToDocx { * {@code w:sectPr} в pPr абзаца с разрывом 0x0C + body-level sectPr * последней секции. {@code w:type} секции описывает разрыв ПЕРЕД ней * (ECMA-376 §17.6.22), поэтому берётся из sprmSBkc ПРЕДЫДУЩЕЙ секции - * ([MS-DOC] §2.6.3 SBkcOperand — «break that terminates the section»). + * ([MS-DOC] sprmSBkc §2.6.4, SBkcOperand §2.9.235 — «break that terminates the section»). */ String build(List secs, String[] hdrRel, String[] ftrRel, String[] firstHdrRel, String[] firstFtrRel) { @@ -336,14 +340,14 @@ public final class DocToDocx { && pieces.charAt(endCp) == PAGE_OR_SECTION_BREAK) { sectByEndCp.put(endCp, sectPrXml(secs.get(i), hdrRel[i], ftrRel[i], firstHdrRel[i], firstFtrRel[i], - i > 0 && secs.get(i - 1).continuous())); + i > 0 ? secs.get(i - 1) : null)); } } Sections.Section last = secs.get(n - 1); return buildRange(0, ccpText, false, sectByEndCp) + sectPrXml(last, hdrRel[n - 1], ftrRel[n - 1], firstHdrRel[n - 1], firstFtrRel[n - 1], - n > 1 && secs.get(n - 2).continuous()); + n > 1 ? secs.get(n - 2) : null); } /** @@ -386,7 +390,25 @@ public final class DocToDocx { int cp = from; while (cp < to) { int paraStart = cp; - long paraFc = pieces.fcOf(paraStart); + // PAPX-ключ — FC ПОСЛЕДНЕГО символа абзаца (маркера): bucket + // PlcBtePapx и rgfc PapxFkp определяются последним символом + // (§2.8.6, §2.4.6.1 «Determining Paragraph Boundaries» → + // Direct Paragraph Formatting шаг 1); граница bucket'а внутри + // абзаца иначе обрезает диапазон выше первого FC и теряются + // grpprl + istd (регрессия — + // DocToDocxFormattingTest#papxBucketBoundary_insideParagraph_propsKept) + int markCp = paraStart; + while (markCp < to) { + char chMark = pieces.charAt(markCp); + // 0x0C, завершающий секцию, и есть ¶-маркер абзаца + // (тот же предикат, что обрывает абзац в цикле ниже) + if (chMark == PARA_MARK || chMark == CELL_MARK + || sectByEndCp.containsKey(markCp)) { + break; + } + markCp++; + } + long paraFc = pieces.fcOf(markCp < to ? markCp : Math.max(paraStart, markCp - 1)); // grpprl абзаца может быть вынесен Word в PrcData (Data-поток) // через sprmPHugePapx/sprmPTableProps — разворачиваем до // потребления: InTable/TTP/TAP видят автомат и paraProps (§2.9.210) @@ -528,7 +550,7 @@ public final class DocToDocx { } } - /** Открытие w:tbl: tblPr (tblW → jc → tblInd → tblBorders) + tblGrid (§17.4.49). */ + /** Открытие w:tbl: tblPr (tblW → jc → tblInd → tblBorders) + tblGrid (§17.4.48). */ private static String openTable(Tables.Grid g) { StringBuilder xml = new StringBuilder(""); int total = 0; @@ -554,7 +576,7 @@ public final class DocToDocx { * w:tr: ширина/объединение ячейки — из собственной сетки строки * (§2.9.321: у TTP-абзаца свой sprmTDefTable; объединённая ячейка — * центр, покрывающий несколько колонок tblGrid → w:gridSpan + - * суммарный w:tcW, ECMA-376 §17.4.65, порядок детей CT_TcPrBase: + * суммарный w:tcW, ECMA-376 §17.4.17, порядок детей CT_TcPrBase: * tcW → gridSpan). Строка без согласованной сетки (центров не на 1 * больше числа ячеек) или с невыровненными с tblGrid границами — * прежнее поведение: ячейка i получает tcW i-й колонки, лишние — @@ -565,7 +587,7 @@ public final class DocToDocx { int[] table = grid.centers(); int[] row = rowGrid == null ? null : rowGrid.centers(); // собственная сетка строки согласована с автоматом, только если - // центров ровно на 1 больше ячеек (§2.4.4: число ячеек = число определений) + // центров ровно на 1 больше ячеек (§2.4.3: число ячеек = число определений) boolean perRow = row != null && row.length == cells.size() + 1; int i = 0; for (List cell : cells) { @@ -583,7 +605,7 @@ public final class DocToDocx { tcPr.append(""); } - // sprmTCellPadding/…Default (CT_TcPr, §17.4.72: tcMar до vAlign) + // sprmTCellPadding/…Default (CT_TcPr, §17.4.69: tcMar до vAlign) String tcMar = tcMarXml(rowGrid, i); if (tcMar != null) { tcPr.append(tcMar); @@ -598,7 +620,7 @@ public final class DocToDocx { xml.append("").append(tcPr).append(""); } if (cell.isEmpty()) { - xml.append(""); // ≥1 абзац в ячейке обязательно (§17.4.42) + xml.append(""); // ≥1 абзац в ячейке обязательно (§17.4.65) } else { for (Para p : cell) { xml.append(paraXml(p)); @@ -625,7 +647,7 @@ public final class DocToDocx { * пересечение диапазона [itcFirst, itcLim) с индексом ячейки, позже * заданный операнд перекрывает сторону ранее заданного (порядок * скана TAP = last-wins). Стороны только явные, порядок детей - * CT_TcMar (§17.4.66): top → left → bottom → right. Нет явных + * CT_TcMar (§17.4.68): top → left → bottom → right. Нет явных * полей — null (конвейер даёт дефолт 108/0 — он же дефолт Word). */ private static String tcMarXml(Tables.Grid rowGrid, int i) { @@ -680,7 +702,7 @@ public final class DocToDocx { boolean[] in = {false}; Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> { if (sprm == Grpprl.SPRM_P_F_IN_TABLE) { - in[0] = Grpprl.toggleOn(buf, off); + in[0] = Grpprl.toggle(false, buf[off]); } }); return in[0]; @@ -803,7 +825,7 @@ public final class DocToDocx { break; case EMBEDDED_OBJECT: case DRAWN_OBJECT: - // Якорь плавающей картинки 0x08 (§2.9.267) несёт тот же + // Якорь плавающей картинки 0x08 (PlcfSpa §2.8.27) несёт тот же // sprmCPicLocation, что 0x01 → inline-приближение // (позиционирование/обтекание PlcfSpa не переносится) flushText(text, content); @@ -847,7 +869,8 @@ public final class DocToDocx { /** * Закрыть накопленный {@code }: fldSimple обязан лежать вне рана; * непринятая правка (sprmCFRMark*) оборачивает ран в {@code w:del}/ - * {@code w:ins} (атрибуты w:id/w:author/w:date опциональны — не эмитятся). + * {@code w:ins}. Атрибуты w:id и w:author обязательны (CT_Markup/ + * CT_TrackChange, wml.xsd — оба use="required", w:date опционален). */ private void closeRun(StringBuilder runs, String rPr, StringBuilder content, StringBuilder text) { @@ -859,9 +882,16 @@ public final class DocToDocx { } } + /** Счётчик w:id правок (CT_TrackChange.@w:id). */ + private int markupSeq; + /** Открывающая обёртка правки текущего рана; обычный ран — пустая строка. */ private String markupOpen() { - return runMarkup == MARKUP_DEL ? "" : runMarkup == MARKUP_INS ? "" : ""; + if (runMarkup == MARKUP_NONE) { + return ""; + } + String tag = runMarkup == MARKUP_DEL ? "w:del" : "w:ins"; + return "<" + tag + " w:id=\"" + (++markupSeq) + "\" w:author=\"\">"; } /** Закрывающая обёртка правки; см. {@link #markupOpen()}. */ @@ -878,6 +908,12 @@ public final class DocToDocx { * простираться дальше картинки. */ private void emitPicture(StringBuilder runs, String rPr, int cp) { + if (fieldsAsSimple) { + // колонтитулы: rels per-story (word/_rels/headerN.xml.rels) мост + // не пишет → r:embed висел бы над несуществующей связью + LOG.warning("Картинка в колонтитуле пропущена (нет per-story rels)"); + return; + } long picLoc = picLocationFor(chpx.grpprlFor(pieces.fcOf(cp))); if (picLoc < 0) { return; @@ -938,7 +974,7 @@ public final class DocToDocx { } /** - * URL из инструкции поля HYPERLINK ([MS-DOC] §2.4.4: токен, затем + * URL из инструкции поля HYPERLINK ([MS-DOC] §2.9.115 HFD: токен, затем * {@code "url"} или url без кавычек, затем switch'и). Схема обязательна * (RFC 3986 §3.1) — {@code readme.txt}/{@code #bookmark} ссылкой не * считаются. Якорный переключатель {@code \l} — {@code null}: закладки @@ -1057,7 +1093,7 @@ public final class DocToDocx { boolean[] ttp = {false}; Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> { if (sprm == Grpprl.SPRM_P_F_TTP) { - ttp[0] = Grpprl.toggleOn(buf, off); + ttp[0] = Grpprl.toggle(false, buf[off]); } }); return ttp[0]; @@ -1068,14 +1104,20 @@ public final class DocToDocx { RunProps p = new RunProps(); Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> { switch (sprm) { - case Grpprl.SPRM_C_F_BOLD -> p.bold = Grpprl.toggleOn(buf, off); - case Grpprl.SPRM_C_F_ITALIC -> p.italic = Grpprl.toggleOn(buf, off); - case Grpprl.SPRM_C_F_STRIKE -> p.strike = Grpprl.toggleOn(buf, off); - case Grpprl.SPRM_C_KUL -> p.underline = Grpprl.operandInt(buf, off, len) != 0; + // ToggleOperand (§2.9.327): current = накопленное значение + // (цепочка стиля сканируется раньше прямого grpprl) + case Grpprl.SPRM_C_F_BOLD -> p.bold = Grpprl.toggle(p.bold, buf[off]); + case Grpprl.SPRM_C_F_ITALIC -> p.italic = Grpprl.toggle(p.italic, buf[off]); + case Grpprl.SPRM_C_F_STRIKE -> p.strike = Grpprl.toggle(p.strike, buf[off]); + case Grpprl.SPRM_C_KUL -> + p.underline = Grpprl.underlineVal(Grpprl.operandInt(buf, off, len)); case Grpprl.SPRM_C_HPS -> p.sz = Grpprl.operandInt(buf, off, len); case Grpprl.SPRM_C_HPS_BI -> p.szCs = Grpprl.operandInt(buf, off, len); - case Grpprl.SPRM_C_RG_FTC0 -> p.ftc0 = Grpprl.operandInt(buf, off, len); - case Grpprl.SPRM_C_RG_FTC1 -> p.ftc1 = Grpprl.operandInt(buf, off, len); + case Grpprl.SPRM_C_RG_FTC0 -> p.ftc0 = signedXas(buf, off, len); + case Grpprl.SPRM_C_RG_FTC1 -> p.ftc1 = signedXas(buf, off, len); + case Grpprl.SPRM_C_RG_FTC2 -> p.ftc2 = signedXas(buf, off, len); + case Grpprl.SPRM_C_FTC_BI -> p.ftcBi = signedXas(buf, off, len); + case Grpprl.SPRM_C_ISS -> p.iss = Grpprl.operandInt(buf, off, len); case Grpprl.SPRM_C_CV -> p.color = colorOf(buf, off, len); case Grpprl.SPRM_C_HIGHLIGHT -> p.highlight = highlightName(Grpprl.operandInt(buf, off, len)); @@ -1083,11 +1125,12 @@ public final class DocToDocx { case Grpprl.SPRM_C_SHD80 -> p.shd = shdAttrs80(Grpprl.operandInt(buf, off, len)); case Grpprl.SPRM_C_HPS_POS -> p.pos = signedXas(buf, off, len); - case Grpprl.SPRM_C_F_VANISH -> p.hidden = Grpprl.toggleOn(buf, off); - case Grpprl.SPRM_C_F_CAPS -> p.caps = Grpprl.toggleOn(buf, off); - case Grpprl.SPRM_C_F_SMALL_CAPS -> p.smallCaps = Grpprl.toggleOn(buf, off); - case Grpprl.SPRM_C_RMARK_DEL -> p.del = Grpprl.toggleOn(buf, off); - case Grpprl.SPRM_C_RMARK_INS -> p.ins = Grpprl.toggleOn(buf, off); + case Grpprl.SPRM_C_F_VANISH -> p.hidden = Grpprl.toggle(p.hidden, buf[off]); + case Grpprl.SPRM_C_F_CAPS -> p.caps = Grpprl.toggle(p.caps, buf[off]); + case Grpprl.SPRM_C_F_SMALL_CAPS -> + p.smallCaps = Grpprl.toggle(p.smallCaps, buf[off]); + case Grpprl.SPRM_C_RMARK_DEL -> p.del = Grpprl.toggle(p.del, buf[off]); + case Grpprl.SPRM_C_RMARK_INS -> p.ins = Grpprl.toggle(p.ins, buf[off]); default -> { } } }); @@ -1096,17 +1139,26 @@ public final class DocToDocx { /** * rPr по CT_RPr-порядку (§17.3.2.28): rFonts, b, i, strike, color, - * position, sz, szCs, highlight, u, shd. + * position, sz, szCs, highlight, u, shd, vertAlign. */ private String runXml(RunProps p) { StringBuilder xml = new StringBuilder(); + // Слоты шрифта (ms-doc-full.md §2.6.1): ftc0→ascii, ftc1→eastAsia, + // ftc2→hAnsi (перекрывает ascii-значение ftc0), ftcBi→cs String ascii = p.ftc0 >= 0 ? fonts.font(p.ftc0) : null; - String cs = p.ftc1 >= 0 ? fonts.font(p.ftc1) : null; - if (ascii != null || cs != null) { + String hAnsi = p.ftc2 >= 0 ? fonts.font(p.ftc2) : ascii; + String eastAsia = p.ftc1 >= 0 ? fonts.font(p.ftc1) : null; + String cs = p.ftcBi >= 0 ? fonts.font(p.ftcBi) : null; + if (ascii != null || hAnsi != null || eastAsia != null || cs != null) { xml.append(""); } - if (p.underline) { - xml.append(""); + if (p.underline != null) { + xml.append(""); } if (p.shd != null) { xml.append(""); } + if (p.iss == RunProps.ISS_SUPERSCRIPT) { + xml.append(""); + } else if (p.iss == RunProps.ISS_SUBSCRIPT) { + xml.append(""); + } return xml.length() == 0 ? "" : "" + xml + ""; } @@ -1186,17 +1243,17 @@ public final class DocToDocx { jc80[0] = false; } case Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE -> pageBreak[0] = - Grpprl.toggleOn(buf, off); + Grpprl.toggle(false, buf[off]); case Grpprl.SPRM_P_F_KEEP_FOLLOW -> keepNext[0] = - Grpprl.toggleOn(buf, off); + Grpprl.toggle(false, buf[off]); case Grpprl.SPRM_P_F_KEEP -> keepLines[0] = - Grpprl.toggleOn(buf, off); + Grpprl.toggle(false, buf[off]); case Grpprl.SPRM_P_DYA_BEFORE -> before[0] = Grpprl.operandInt(buf, off, len); case Grpprl.SPRM_P_DYA_AFTER -> after[0] = Grpprl.operandInt(buf, off, len); case Grpprl.SPRM_P_DYA_LINE -> { if (len >= LSPD_OPERAND_LEN) { - // LSPD (§2.9.181): dyaLine (i16) + fMultLinespace (i16) + // LSPD (§2.9.146): dyaLine (i16) + fMultLinespace (i16) dyaLine[0] = signedXas(buf, off, 2); fMult[0] = Grpprl.operandInt(buf, off + 2, 2); } @@ -1241,11 +1298,11 @@ public final class DocToDocx { spacing.append(" w:after=\"").append(after[0]).append('"'); } if (dyaLine[0] != Integer.MIN_VALUE && dyaLine[0] != 0) { - // LSPD → w:spacing (§2.9.181): fMult=1 — множитель в 240-х + // LSPD → w:spacing (§2.9.146): fMult=1 — множитель в 240-х // (lineRule="auto"); fMult=0, dyaLine>0 — «не меньше» (atLeast, // max(dyaLine, одиночный интервал)); dyaLine<0 — точная высота // (exact, |dyaLine|). См. grfhicPapx.fSuppressTopSpacingMac5 / - // fExactOnTop ([MS-DOC] §2.4.6, отсылки к lineRule). + // fExactOnTop — бит A Copts80 ([MS-DOC] §2.7.12, отсылки к lineRule). if (fMult[0] == FMULT_MULTIPLIER) { spacing.append(" w:line=\"").append(dyaLine[0]) .append("\" w:lineRule=\"auto\""); @@ -1395,7 +1452,7 @@ public final class DocToDocx { } } - /** w:tabs: TBD.jc → ST_TabVal (§17.18.78), TBD.tlc → ST_Leader (§17.18.57). */ + /** w:tabs: TBD.jc → ST_TabJc (§17.18.84), TBD.tlc → ST_TabTlc (§17.18.85). */ private static String tabsXml(List tabs) { StringBuilder inner = new StringBuilder(); for (int[] t : tabs) { @@ -1458,7 +1515,7 @@ public final class DocToDocx { } /** - * Ico (§2.9.171) → член ST_HighlightColor (§17.18.42) — соответствие + * Ico (§2.9.119) → член ST_HighlightColor (§17.18.40) — соответствие * 1:1 по RGB палитры (teal 00FFFF = cyan, dark teal 008080 = darkCyan, * gray50 = darkGray, gray25 = lightGray). 0/auto/вне 1..16 → null * (не эмитится). @@ -1486,8 +1543,8 @@ public final class DocToDocx { } /** - * SHDOperand (§2.9.177): cb(1)=10 + Shd(10: cvFore/cvBack COLORREF + - * ipat u16, §2.9.178) → атрибуты w:shd; cb≠10/обрезок → null. + * SHDOperand (§2.9.249): cb(1)=10 + Shd(10: cvFore/cvBack COLORREF + + * ipat u16, §2.9.121) → атрибуты w:shd; cb≠10/обрезок → null. */ private static String shdAttrs10(byte[] buf, int off, int len) { if (len < 11 || (buf[off] & 0xFF) != 10) { @@ -1498,7 +1555,7 @@ public final class DocToDocx { } /** - * Shd80 (§2.9.176, u16: icoFore(5) icoBack(5) ipat(6)) → атрибуты + * Shd80 (§2.9.248, u16: icoFore(5) icoBack(5) ipat(6)) → атрибуты * w:shd; Shd80Nil (0x1F/0x1F/0x3F) даёт null (цвета вне палитры). */ private static String shdAttrs80(int v) { @@ -1512,7 +1569,7 @@ public final class DocToDocx { * w:fill (зонд 2026-11: w:val="solid" w:color=RRGGBB w:fill="auto" * не рисует ничего); паттерны Ipat≥2 в FOP неразличимы — деградация * в фон cvBack (MS-DOC Ipat: вне ST_Shd паттерны «lost if converted - * to ECMA-376»). ShdAuto/ShdNil (оба цвета auto, §2.9.178) и + * to ECMA-376»). ShdAuto/ShdNil (оба цвета auto, §2.9.249) и * нечем-красить (fill auto) → null. */ private static String shdAttrs(int ipat, String fore, String back) { @@ -1525,43 +1582,51 @@ public final class DocToDocx { } /** - * Grpprl рана с учётом sprmCIstd (§2.6.1): цепочка chpx символьного - * стиля (stk=3) вставляется между цепочкой стиля абзаца и прямыми - * CHPX — §2.4.6.5: символьные свойства сначала возвращаются к - * результату стиля абзаца, затем символьный стиль, затем прямые. - * Без sprmCIstd — прежняя конкатенация. + * Grpprl рана с учётом sprmCIstd (§2.6.1): символьные свойства + * возвращаются к результату стиля абзаца (прямые до sprmCIstd + * сбрасываются, кроме preserv-list {@link Grpprl#CI_STD_PRESERVE}), + * затем цепочка chpx символьного стиля (stk=2), затем Prl после + * sprmCIstd. sprmCIstd нет или istd вне STSH (Prl невалиден — + * спекулятивный сброс не делается) — прежняя конкатенация. */ private byte[] chpxWithCharStyle(byte[] grpprl, byte[] styleChpx) { int[] istd = {-1}; + int[] ciStdStart = {-1}; + int[] ciStdEnd = {-1}; Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> { - if (sprm == Grpprl.SPRM_C_ISTD) { + if (sprm == Grpprl.SPRM_C_ISTD && ciStdStart[0] < 0) { + ciStdStart[0] = off - 2; + ciStdEnd[0] = off + len; int v = Grpprl.operandInt(buf, off, len); istd[0] = v < styles.count() ? v : -1; } }); - byte[] chStyle = istd[0] >= 0 ? styles.charChain(istd[0]) : new byte[0]; - if (chStyle.length == 0) { + if (istd[0] < 0) { return styleChpx.length == 0 ? grpprl : concat(styleChpx, grpprl); } - return concat(concat(styleChpx, chStyle), grpprl); + byte[] chStyle = styles.charChain(istd[0]); + byte[] before = Grpprl.filterOnly(grpprl, ciStdStart[0], + Grpprl.CI_STD_PRESERVE); + byte[] after = Arrays.copyOfRange(grpprl, ciStdEnd[0], grpprl.length); + return concat(concat(concat(styleChpx, chStyle), before), after); } /** * w:sectPr секции: ссылки на части колонтитуков (null — элемент не * пишется, docx4j наследует полосы предыдущей секции), затем w:type, * затем pgSz/pgMar её геометрии. Порядок детей — CT_SectPr: - * EG_HdrFtrReferences → type → pgSz → pgMar (ECMA-376 §17.2.3). + * EG_HdrFtrReferences → type → pgSz → pgMar (ECMA-376 §17.6.18). * - * @param typeContinuous разрыв ПЕРЕД секцией не начинает новую - * страницу (§17.6.22 — w:type описывает - * предыдущий разрыв; источник — sprmSBkc - * предыдущей секции, [MS-DOC] §2.6.3) + * @param prev разрыв ПЕРЕД секцией (null — первая секция): его + * SBkcOperand даёт {@code w:type} (§17.6.22 — w:type + * описывает предыдущий разрыв; источник — sprmSBkc + * предыдущей секции, [MS-DOC] §2.6.4) */ private static String sectPrXml(Sections.Section s, String headerRelId, String footerRelId, String firstHeaderRelId, String firstFooterRelId, - boolean typeContinuous) { + Sections.Section prev) { StringBuilder xml = new StringBuilder(""); - // EG_HdrFtrReferences — до содержимого секции (CT_SectPr, ECMA-376 §17.2.3) + // EG_HdrFtrReferences — до содержимого секции (CT_SectPr, ECMA-376 §17.6.18) if (headerRelId != null) { xml.append(""); @@ -1578,8 +1643,9 @@ public final class DocToDocx { xml.append(""); } - if (typeContinuous) { - xml.append(""); + String typeVal = prev == null ? null : prev.wTypeName(); + if (typeVal != null) { + xml.append(""); } // sprmSBOrientation: Word пишет dxa уже перевёрнутыми; max/min — // защита от генераторов, оставивших портретные размеры при landscape @@ -1600,10 +1666,10 @@ public final class DocToDocx { .append("\" w:left=\"").append(s.marginLeft()) .append("\" w:header=\"").append(s.header()) .append("\" w:footer=\"").append(s.footer()) - .append("\" w:gutter=\"0\"/>"); + .append("\" w:gutter=\"").append(s.gutter()).append("\"/>"); appendPgNumType(xml, s); appendCols(xml, s); - // w:titlePg — после w:cols (CT_SectPrBase, §17.2.3): первая страница + // w:titlePg — после w:cols (CT_SectPrBase, §17.6.18): первая страница // секции использует first-части (ссылки w:type="first" выше) if (s.titlePage()) { xml.append(""); @@ -1617,7 +1683,7 @@ public final class DocToDocx { * w:start — при сбросе нумерации, w:fmt — из подмножества * ST_NumberFormat, допустимого для номеров страниц (decimal — * формат по умолчанию, не эмитится; bullet/none/экзотика — вне - * смысла w:fmt). Порядок CT_SectPr §17.2.3: после pgMar. + * смысла w:fmt). Порядок CT_SectPr §17.6.18: после pgMar. */ private static void appendPgNumType(StringBuilder xml, Sections.Section s) { int start = s.pgNumStart(); @@ -1712,11 +1778,19 @@ public final class DocToDocx { private boolean bold; private boolean italic; private boolean strike; - private boolean underline; + /** sprmCKul → ST_Underline-имя; null — без подчёркивания. */ + private String underline; private int sz; private int szCs; private int ftc0 = -1; private int ftc1 = -1; + private int ftc2 = -1; + private int ftcBi = -1; + /** sprmCIss: 0 нормальный, 1 надстрочный, 2 подстрочный. */ + private int iss; + /** Значения sprmCIss ([MS-DOC] §2.6.1): надстрочный/подстрочный. */ + private static final int ISS_SUPERSCRIPT = 1; + private static final int ISS_SUBSCRIPT = 2; private String color; /** sprmCHpsPos: вертикальный сдвиг в hps со знаком ( надострочный, <0 подстрочный). */ private int pos; @@ -1728,7 +1802,7 @@ public final class DocToDocx { /** sprmCFRMarkDel/sprmCFRMarkIns: непринятая правка → w:del/w:ins. */ private boolean del; private boolean ins; - /** sprmCHighlight: член ST_HighlightColor (§17.18.42); null — нет. */ + /** sprmCHighlight: член ST_HighlightColor (§17.18.40); null — нет. */ private String highlight; /** sprmCShd/sprmCShd80: готовые атрибуты w:shd; null — нет затенения. */ private String shd; diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/FibHeader.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/FibHeader.java index 4aa1d8f..f5cfade 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/FibHeader.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/FibHeader.java @@ -8,7 +8,9 @@ import ru.pjandro.wordpdf.ConversionException; *

    По [MS-DOC] §2.5: Fib = FibBase (32) + csw + FibRgW97 + cslw + FibRgLw97 * + cbRgFcLcb + FibRgFcLcbBlob (§2.5.1). Читаются только нужные поля; * порядок и смещения — §2.5.15 «How to read the FIB», побайтовые примеры — - * §3 (Figure 22/30). Число 136 пар в blob (Word 2003+) не мешает: нужные + * §3 (Figure 22/30). cbRgFcLcb — один из по таблице nFib (§2.5.1): + * 0x00C1→0x005D (88 пар, Word 97), 0x0101→0x0088 (136, Word 2002), + * 0x010C→0x00A4 (164, Word 2003) — сверяется при чтении; нужные * пары стоят на фиксированных индексах.

    */ final class FibHeader { @@ -29,10 +31,12 @@ final class FibHeader { /** Значение бита флага «включён» (§2.5.2, grpprl FIB). */ private static final int BIT_ON = 1; - /** Минимум FibRgW97 (4 коротких значения, §2.5.4). */ - private static final int MIN_CSLW = 4; + /** MUST-значения счётчиков (§2.5.1 Fib, Word 97+): csw=14 коротких, cslw=22 длинных. */ + private static final int C_SW = 0x000E; + private static final int C_SLW = 0x0016; /** Смещения после FibBase (§2.5.1). */ + private static final int OFF_CSW = 32; private static final int OFF_CSLW = 62; private static final int OFF_FIB_RG_LW = 64; private static final int OFF_CB_MAC = OFF_FIB_RG_LW; @@ -91,8 +95,13 @@ final class FibHeader { throw new ConversionException("Документ зашифрован (пароль на открытие) — конвертация невозможна"); } use1Table = ((flags >> BIT_F_WHICH_TBL_STM) & BIT_ON) == BIT_ON; + // §2.5.1 Fib: csw «MUST be 0x000E», cslw «MUST be 0x0016» — + // фиксированный layout FibRgW97/FibRgLw97, любое другое + // значение = чужая версия FIB, чтение по константным смещениям дало + // бы мусор + int csw = (int) CfbReader.u32(wd, OFF_CSW) & 0xFFFF; int cslw = (int) CfbReader.u32(wd, OFF_CSLW) & 0xFFFF; - if (cslw < MIN_CSLW) { + if (csw != C_SW || cslw != C_SLW) { throw new ConversionException("Обрезанный FIB в .doc"); } cbMac = (int) CfbReader.u32(wd, OFF_CB_MAC); @@ -102,35 +111,35 @@ final class FibHeader { if (ccpText < 0) { throw new ConversionException("Отрицательная длина текста в .doc"); } - int cbRgFcLcb = (int) CfbReader.u32(wd, OFF_CB_RG_FC_LCB) & 0xFFFF; + int cbRgFcLcb = CfbReader.u16(wd, OFF_CB_RG_FC_LCB); if (cbRgFcLcb <= PAIR_CLX) { throw new ConversionException("Устаревшая структура FIB в .doc"); } - long[] stshf = pair(wd, PAIR_STSHF); + long[] stshf = pair(wd, PAIR_STSHF, cbRgFcLcb); fcStshf = stshf[0]; lcbStshf = stshf[1]; - long[] sed = pair(wd, PAIR_PLCF_SED); + long[] sed = pair(wd, PAIR_PLCF_SED, cbRgFcLcb); fcPlcfSed = sed[0]; lcbPlcfSed = sed[1]; - long[] hdd = pair(wd, PAIR_PLCF_HDD); + long[] hdd = pair(wd, PAIR_PLCF_HDD, cbRgFcLcb); fcPlcfHdd = hdd[0]; lcbPlcfHdd = hdd[1]; - long[] chpx = pair(wd, PAIR_PLCF_BTE_CHPX); + long[] chpx = pair(wd, PAIR_PLCF_BTE_CHPX, cbRgFcLcb); fcPlcfBteChpx = chpx[0]; lcbPlcfBteChpx = chpx[1]; - long[] papx = pair(wd, PAIR_PLCF_BTE_PAPX); + long[] papx = pair(wd, PAIR_PLCF_BTE_PAPX, cbRgFcLcb); fcPlcfBtePapx = papx[0]; lcbPlcfBtePapx = papx[1]; - long[] ffn = pair(wd, PAIR_STTBF_FFN); + long[] ffn = pair(wd, PAIR_STTBF_FFN, cbRgFcLcb); fcSttbfFfn = ffn[0]; lcbSttbfFfn = ffn[1]; - long[] clx = pair(wd, PAIR_CLX); + long[] clx = pair(wd, PAIR_CLX, cbRgFcLcb); fcClx = clx[0]; lcbClx = clx[1]; - long[] lst = pair(wd, PAIR_PLF_LST); + long[] lst = pair(wd, PAIR_PLF_LST, cbRgFcLcb); fcPlfLst = lst[0]; lcbPlfLst = lst[1]; - long[] lfo = pair(wd, PAIR_PLF_LFO); + long[] lfo = pair(wd, PAIR_PLF_LFO, cbRgFcLcb); fcPlfLfo = lfo[0]; lcbPlfLfo = lfo[1]; } @@ -143,7 +152,16 @@ final class FibHeader { return new FibHeader(wordDocument); } - private static long[] pair(byte[] wd, int index) { + /** + * Пара (fc,lcb) с индексом {@code index} в FibRgFcLcbBlob. Индекс за + * объявленным числом пар (§2.5.1: cbRgFcLcb «MUST be one of» — + * 0x005D при nFib=0x00C1 … 0x00B7 при 0x0112; старые FIB короче) — поле + * отсутствует: fc=0/lcb=0, потребитель трактует как «нет структуры». + */ + private static long[] pair(byte[] wd, int index, int pairCount) { + if (index >= pairCount) { + return new long[] {0, 0}; + } int off = OFF_BLOB + index * 8; if (off + 8 > wd.length) { throw new ConversionException("Обрезанный FIB в .doc"); diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Grpprl.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Grpprl.java index 1b8e156..ffece19 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Grpprl.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Grpprl.java @@ -1,5 +1,8 @@ package ru.pjandro.wordpdf.internal.doc; +import java.io.ByteArrayOutputStream; +import java.util.Set; + /** * Разбор Grpprl — массива Prl (sprm + операнд), [MS-DOC] §2.6. * @@ -9,8 +12,8 @@ package ru.pjandro.wordpdf.internal.doc; * 3 = 4, 4 = 2, 5 = 2, 6 = переменный (первый байт — длина остального), * 7 = 3. Неизвестный sprm пропускается по spra (ms-doc.md:1809).

    * - *

    Значения sprm — таблицы §2.6.1/2.6.2/2.6.3 dated-.docx [MS-DOC] 12.5 - * (в md репозитория потеряны как [TABLE]); кросс-чек с примерами §3: + *

    Значения sprm — таблицы §2.6.1/§2.6.2/§2.6.3/§2.6.4 полного [MS-DOC] + * (ms-doc-full.md); кросс-чек с примерами §3: * sprmPJc = 0x2461, sprmSDxaLeft = 0xB021, sprmCKul ispmd 0x3E fSpec 1.

    */ final class Grpprl { @@ -29,7 +32,7 @@ final class Grpprl { * sprmCPicLocation (§2.6.1, 4 байта): offset в Data-потоке — * PICFAndOfficeArtData (картинка) или NilPICFAndBinData (OLE-бинарник, * {@code picf.cbHeader≠0x44} → {@link OfficeArt#read} вернёт null). - * sprmCFSpec=0x0875/sprmCFData=0x0806/sprmCFOle2=0x084B не читаем: + * sprmCFSpec=0x0855/sprmCFData=0x0806/sprmCFOle2=0x080A не читаем: * фикстуры пишут их непоследовательно (ole-embedded — без CFSpec), * а различает картинку/бинарник сам cbHeader. */ @@ -53,26 +56,39 @@ final class Grpprl { /** sprmCHpsPos (§2.6.1, 2 байта со знаком): вертикальный сдвиг в hps. */ static final int SPRM_C_HPS_POS = 0x4845; /** - * sprmCHighlight (§2.6.1, 1 байт Ico): текстовыделитель. Ico (§2.9.171) + * sprmCHighlight (§2.6.1, 1 байт Ico): текстовыделитель. Ico (§2.9.119) * → w:highlight в порядке CT_RPr — конвейер рисует фон рана (пинь * WordPdfConverterTest#highlightAndShading_backgroundDrawn). */ static final int SPRM_C_HIGHLIGHT = 0x2A0C; /** * sprmCShd/sprmCShd80 (§2.6.1): затенение рана → w:shd в rPr. - * SHDOperand (§2.9.177) = cb(1)=10 + Shd(10): cvFore/cvBack COLORREF - * + ipat (§2.9.178); Shd80 (§2.9.176) — 2 байта: icoFore(5) icoBack(5) + * SHDOperand (§2.9.249) = cb(1)=10 + Shd(10): cvFore/cvBack COLORREF + * + ipat (§2.9.121); Shd80 (§2.9.248) — 2 байта: icoFore(5) icoBack(5) * ipat(6). */ static final int SPRM_C_SHD = 0xCA71; static final int SPRM_C_SHD80 = 0x4866; /** - * sprmCIstd (§2.6.1, u16): istd прямого символьного стиля (stk=3 в STSH). + * sprmCIstd (§2.6.1, u16): istd прямого символьного стиля (stk=2 в STSH). * По §2.4.6.5 символьные свойства возвращаются к результату стиля абзаца, * затем накладывается цепочка chpx символьного стиля, затем прямые CHPX — * порядок конкатенации в {@code DocxBody.chpxWithCharStyle}. */ static final int SPRM_C_ISTD = 0x4A30; + /** + * sprmCRgFtc2 (§2.6.1, 2 байта со знаком): индекс SttbfFfn для текста вне + * U+0020–U+007F, когда ftc1/ftcBi не применимы → {@code w:hAnsi} + * (перекрывает ftc0-значение). + */ + static final int SPRM_C_RG_FTC2 = 0x4A51; + /** sprmCFtcBi (§2.6.1, 2 байта со знаком): RTL/complex-шрифт → {@code w:cs}. */ + static final int SPRM_C_FTC_BI = 0x4A5E; + /** + * sprmCIss (§2.6.1, 1 байт): 0x01 надстрочный, 0x02 подстрочный → + * {@code w:vertAlign} (0x00 нормальный — элемент не эмитится). + */ + static final int SPRM_C_ISS = 0x2A48; // Paragraph Properties (§2.6.2, sgc 1) static final int SPRM_P_ISTD = 0x4600; @@ -179,7 +195,7 @@ final class Grpprl { static final int SPRM_T_VERT_ALIGN = 0xD62C; /** * sprmTCellPadding/sprmTCellPaddingDefault (§2.6.3): поля ячеек — - * CSSAOperand (§2.9.209): cb(1)=6 + CSSA (§2.9.96): itc(2, ItcFirstLim) + * CSSAOperand (§2.9.46): cb(1)=6 + CSSA (§2.9.45): itc(2, ItcFirstLim) * + grfbrc(1: маска сторон top|left|bottom|right = 1|2|4|8) + ftsWidth(1) * + wWidth(2). Поля переносятся только при ftsWidth=ftsDxa(0x03); * ftsNil(0) — сторона не задана. Default-вариант действует на весь ряд @@ -191,7 +207,7 @@ final class Grpprl { static final int SPRM_T_CELL_PADDING_DEFAULT = 0xD634; /** * sprmTInsert (§2.6.3): вставка определений ячеек ряда — пропускается - * правилом spra=3 (4 байта: itcFirst(1)+ctc(1)+dxaCol(2 XAS), §2.9.322; + * правилом spra=3 (4 байта: itcFirst(1)+ctc(1)+dxaCol(2 XAS), §2.9.324; * ECMA-376 Part 4 описывал прежнюю форму rgttte ctc×6 байт, но [MS-DOC] * и реальные файлы Word сходятся на 4 байтах: в TAP образцов * ru-table-image.doc/ru-en-mixed.doc following-sprm выравниваются ровно @@ -222,11 +238,15 @@ final class Grpprl { static final int SPRM_S_C_COLUMNS = 0x500B; /** sprmSPgnStart97 (§2.6.4, 2 байта): стартовый номер страниц (Word 97+). */ static final int SPRM_S_PGN_START97 = 0x501C; + /** sprmSPgnStart (§2.6.4, 4 байта, u32): стартовый номер (32-бит вариант). */ + static final int SPRM_S_PGN_START = 0x7044; + /** sprmSDzaGutter (§2.6.4, XAS_nonNeg 2 байта): поле переплёта → w:gutter. */ + static final int SPRM_S_DZA_GUTTER = 0xB025; /** sprmSDxaColumns (§2.6.4, XAS_nonNeg): зазор между колонками при evenly-spaced. */ static final int SPRM_S_DXA_COLUMNS = 0x900C; /** - * sprmSDxaColWidth/sprmSDxaColSpacing (§2.6.4, SDxaColWidthOperand / - * SDxaColSpacingOperand §2.9.241/.242: iCol(1)+dxaCol(2)) — ширина + * sprmSDxaColWidth/sprmSDxaColSpacing (§2.6.4, SDxaColWidthOperand + * §2.9.242 / SDxaColSpacingOperand §2.9.241: iCol(1)+dxaCol(2)) — ширина * колонки iCol / зазор ПОСЛЕ колонки iCol при неравных колонках. */ static final int SPRM_S_DXA_COL_WIDTH = 0xF203; @@ -262,19 +282,20 @@ final class Grpprl { /** Кормить каждым Prl скана PAPX; не-отступные sprm игнорируются. */ void prl(int sprm, byte[] buf, int off, int len) { + // XAS — 16-битное СО ЗНАКОМ значение (§2.9.349), не unsigned switch (sprm) { case SPRM_P_DXA_LEFT -> { modern = true; - left = operandInt(buf, off, len); + left = signedXas(buf, off, len); } case SPRM_P_NEST -> { modern = true; - nest = operandInt(buf, off, len); + nest = signedXas(buf, off, len); } - case SPRM_P_DXA_LEFT80 -> left80 = operandInt(buf, off, len); - case SPRM_P_NEST80 -> nest80 = operandInt(buf, off, len); + case SPRM_P_DXA_LEFT80 -> left80 = signedXas(buf, off, len); + case SPRM_P_NEST80 -> nest80 = signedXas(buf, off, len); case SPRM_P_DXA_RIGHT, SPRM_P_DXA_RIGHT80 -> - right = operandInt(buf, off, len); + right = signedXas(buf, off, len); case SPRM_P_DXA_LEFT1, SPRM_P_DXA_LEFT180 -> left1 = signedXas(buf, off, len); default -> { } @@ -340,6 +361,36 @@ final class Grpprl { } } + /** + * Preserv-list sprmCIstd (§2.6.1): значения этих свойств предшествуют + * применению символьного стиля при сбросе прямого форматирования к + * результату стиля абзаца. Значения — таблица §2.6.1: CFRMarkDel + * 0x0800, CFRMarkIns 0x0801, CFFldVanish 0x0802, CFData 0x0806, + * CFOle2 0x080A, CFWebHidden 0x0811, CFSpec 0x0855, CFObj 0x0856, + * CFBiDi 0x085A, CFComplexScripts 0x0882, CIdctHint 0x286F, + * CHighlight 0x2A0C, CWall 0x2A83, CIdslRMark 0x4807, CPicLocation + * 0x6A03, CSymbol 0x6A09, CPropRMark 0xCA89. + */ + static final Set CI_STD_PRESERVE = Set.of( + 0x0800, 0x0801, 0x0802, 0x0806, 0x080A, 0x0811, 0x0855, 0x0856, + 0x085A, 0x0882, 0x286F, 0x2A0C, 0x2A83, 0x4807, 0x6A03, 0x6A09, + 0xCA89); + + /** + * Байты Prl-ей, целиком лежащих в {@code [0, endExclusive)} и имеющих + * sprm из {@code keep} (§2.6.1 — выборка preserve-list до sprmCIstd); + * битый хвост обрывается как в {@link #scan}. + */ + static byte[] filterOnly(byte[] grpprl, int endExclusive, Set keep) { + ByteArrayOutputStream out = new ByteArrayOutputStream(); + scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> { + if (keep.contains(sprm) && off + len <= endExclusive) { + out.write(buf, off - 2, len + 2); + } + }); + return out.toByteArray(); + } + /** Длина операнда по spra; -1 — переменный формат битый. */ private static int operandSize(int sprm, byte[] buf, int p, int end) { int spra = sprm >> 13; @@ -352,6 +403,8 @@ final class Grpprl { case 5: return 2; case 3: + // §2.8.4: «A value of 0x3 specifies that operand is four + // bytes long» (ms-doc.md:14495) — не путать с S16=2 return 4; case 7: return 3; @@ -404,8 +457,47 @@ final class Grpprl { return v; } - /** Toggle-операнд: бит 0 = on; чётное («переключить от предыдущего») = off. */ - static boolean toggleOn(byte[] buf, int off) { - return (buf[off] & 1) == 1; + /** + * ToggleOperand (§2.9.327): 0x00 — off, 0x01 — on, 0x80 — значение + * свойства текущего стиля (текущее накопленное {@code current}), 0x81 — + * инверсия стилевого; иное (вне перечисления) — консервативно current. + */ + static boolean toggle(boolean current, byte operand) { + int v = operand & 0xFF; + return switch (v) { + case 0x00 -> false; + case 0x01 -> true; + case 0x80 -> current; + case 0x81 -> !current; + default -> current; + }; + } + + /** + * Kul (§2.9.127) → ST_Underline (wml.xsd): 0 — без подчёркивания + * ({@code null}), нераспознанный ≠0 — single. + */ + static String underlineVal(int kul) { + return switch (kul) { + case 0x00 -> null; + case 0x01 -> "single"; + case 0x02 -> "words"; + case 0x03 -> "double"; + case 0x04 -> "dotted"; + case 0x06 -> "thick"; + case 0x07 -> "dash"; + case 0x09 -> "dotDash"; + case 0x0A -> "dotDotDash"; + case 0x0B -> "wave"; + case 0x14 -> "dottedHeavy"; + case 0x17 -> "dashedHeavy"; + case 0x19 -> "dashDotHeavy"; + case 0x1A -> "dashDotDotHeavy"; + case 0x1B -> "wavyHeavy"; + case 0x27 -> "dashLong"; + case 0x2B -> "wavyDouble"; + case 0x37 -> "dashLongHeavy"; + default -> "single"; + }; } } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Headers.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Headers.java index d1cddb1..4d6808c 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Headers.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Headers.java @@ -4,11 +4,11 @@ import ru.pjandro.wordpdf.ConversionException; /** * Header Document (.doc): истории колонтитуков по {@code Plcfhdd} - * ([MS-DOC] §2.8.22 — PLC из одних CP; §2.4.4 — порядок историй). + * ([MS-DOC] §2.8.22 — PLC из одних CP; §2.3.3 — порядок историй). * - *

    Массив aCP размечает подряд идущие CP-диапазоны: первые шесть — пустые - * абзацы-разделители, далее на каждую секцию шесть историй - * [even header, odd header, even footer, odd footer, first-page header, + *

    Массив aCP размечает подряд идущие CP-диапазоны: первые шесть — + * footnote/endnote separator-истории (§2.4.4), далее на каждую секцию шесть + * историй [even header, odd header, even footer, odd footer, first-page header, * first-page footer]; последний aCP (§2.8.22 «the last CP is ignored») в * расчёт не входит. Каждая история заканчивается guard-абзацем (¶), который * в вывод не попадает.

    @@ -19,7 +19,7 @@ import ru.pjandro.wordpdf.ConversionException; * {@code sprmSFTitlePage} (w:titlePg, конвейер различает first/default — * пинь {@code titlePg_firstPageHeader}). История с {@code cpStart == cpEnd} * не определена — часть и ссылка не эмитятся, docx4j наследует полосы - * предыдущей секции (§2.4.4 «Same as Previous»).

    + * предыдущей секции (§2.3.3 «Same as Previous»).

    */ final class Headers { @@ -27,7 +27,7 @@ final class Headers { record Story(int cpStart, int cpEnd) { /** - * История НЕ определена (§2.4.4: «Stories are considered empty if + * История НЕ определена (§2.3.3: «Stories are considered empty if * they have no contents and no guard paragraph mark … the beginning * CP being the same as the next CP») — Word показывает полосы * предыдущей секции (Same as Previous). Пустая часть с guard-¶ при @@ -49,14 +49,14 @@ final class Headers { } } - /** Пустых абзацев-разделителей перед историями первой секции (§2.4.4). */ + /** Footnote/endnote separator-историй перед историями первой секции (§2.4.4). */ private static final int SEPARATOR_STORIES = 6; - /** Историй на секцию (§2.4.4). */ + /** Историй на секцию (§2.3.3). */ private static final int STORIES_PER_SECTION = 6; /** Индексы внутри группы секции: 0 even hdr, 1 odd hdr, 2 even ftr, 3 odd ftr… */ private static final int ODD_HEADER = 1; private static final int ODD_FOOTER = 3; - /** Первая страница (истории 4/5, применяются при sprmSFTitlePage, §2.4.4). */ + /** Первая страница (истории 4/5, применяются при sprmSFTitlePage, §2.3.3). */ private static final int FIRST_HEADER = 4; private static final int FIRST_FOOTER = 5; @@ -89,22 +89,22 @@ final class Headers { return new Headers(table, fcPlcfHdd, lcbPlcfHdd, baseCp); } - /** Заголовок нечётных полос набора секции {@code section} (§2.4.4). */ + /** Заголовок нечётных полос набора секции {@code section} (§2.3.3). */ Story oddHeader(int section) { return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + ODD_HEADER); } - /** Колонтитул нечётных полос набора секции {@code section} (§2.4.4). */ + /** Колонтитул нечётных полос набора секции {@code section} (§2.3.3). */ Story oddFooter(int section) { return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + ODD_FOOTER); } - /** Заголовок первой страницы секции {@code section} (titlePg, §2.4.4). */ + /** Заголовок первой страницы секции {@code section} (titlePg, §2.3.3). */ Story firstHeader(int section) { return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + FIRST_HEADER); } - /** Колонтитул первой страницы секции {@code section} (titlePg, §2.4.4). */ + /** Колонтитул первой страницы секции {@code section} (titlePg, §2.3.3). */ Story firstFooter(int section) { return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + FIRST_FOOTER); } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Lists.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Lists.java index ca88e93..2e235cd 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Lists.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Lists.java @@ -158,8 +158,13 @@ final class Lists { /** abstractNumId (1-базированный индекс LSTF) для LFO; −1 — нет валидного. */ private int abstractIdOf(int lfoIndex) { - // lfos[·] всегда непустой: readPlfLfo присваивает out[i] до обхода LFOData - Integer lstfIndex = lstfByLsid.get(lfos[lfoIndex].lsid()); + // обрыв LFOData оставляет lfos[i+1..] null (readPlfLfo выходит по + // границе потока) — null LFO = «номера нет», без NPE + Lfo lfo = lfos[lfoIndex]; + if (lfo == null) { + return -1; + } + Integer lstfIndex = lstfByLsid.get(lfo.lsid()); if (lstfIndex == null || !isValid(lstfs[lstfIndex])) { return -1; } @@ -194,7 +199,9 @@ final class Lists { boolean simple = (table[rec + 26] & 1) != 0; Level[] levels = new Level[simple ? 1 : LEVEL_COUNT]; for (int j = 0; j < levels.length; j++) { - Level lv = readLevel(table, cursor); + // массив LVL приложен ЗА lcbPlfLst (§2.5.6) — граница одна + // длина потока, lcb здесь не ограничитель + Level lv = readLevel(table, cursor, table.length); if (lv == null) { // обрыв: этот LSTF — с разобранными уровнями, остальные — без out[i] = new Lstf(lsid, levels); @@ -208,9 +215,9 @@ final class Lists { return out; } - /** LVL по {@code at}; null — поля за пределами потока. */ - private static Level readLevel(byte[] table, int at) { - if (at < 0 || at + LVLF_SIZE > table.length) { + /** LVL по {@code at}; null — поля за пределами {@code limit}. */ + private static Level readLevel(byte[] table, int at, int limit) { + if (at < 0 || at + LVLF_SIZE > limit) { return null; } int startAt = (int) CfbReader.u32(table, at); @@ -220,19 +227,19 @@ final class Lists { int cbChpx = table[at + 24] & 0xFF; int cbPapx = table[at + 25] & 0xFF; int p = at + LVLF_SIZE; - if (p + cbPapx + cbChpx > table.length) { + if (p + cbPapx + cbChpx > limit) { return null; } byte[] papx = slice(table, p, cbPapx); p += cbPapx; byte[] chpx = slice(table, p, cbChpx); p += cbChpx; - if (p + 2 > table.length) { + if (p + 2 > limit) { return null; } int cch = CfbReader.u16(table, p); p += 2; - if (cch > MAX_XST_CHARS || p + 2 * cch > table.length) { + if (cch > MAX_XST_CHARS || p + 2 * cch > limit) { return null; } String xst = new String(table, p, 2 * cch, StandardCharsets.UTF_16LE); @@ -259,6 +266,10 @@ final class Lists { int fit = (int) ((end - fc - 4) / LFO_SIZE); mac = Math.min(Math.min(mac, fit), MAX_ENTRIES); Lfo[] out = new Lfo[mac]; + // LFOData лежит ВНУТРИ lcbPlfLfo (§2.5.6/§2.9.132) — обход ограничен + // end, а не длиной потока: короткий lcb не должен уводить парсер в + // чужие записи табличного потока + int limit = (int) end; int cursor = (int) (fc + 4) + mac * LFO_SIZE; for (int i = 0; i < mac; i++) { int rec = (int) fc + 4 + i * LFO_SIZE; @@ -266,12 +277,12 @@ final class Lists { int clfolvl = table[rec + 12] & 0xFF; LfoLvl[] overrides = new LfoLvl[clfolvl]; out[i] = new Lfo(lsid, overrides); - if (cursor + 4 > table.length) { + if (cursor + 4 > limit) { return out; // обрыв LFOData — остаток без переопределений } cursor += 4; // cp — не переносится (осознанный остаток) for (int j = 0; j < clfolvl; j++) { - if (cursor + 8 > table.length) { + if (cursor + 8 > limit) { return out; } int startAt = (int) CfbReader.u32(table, cursor); @@ -282,7 +293,7 @@ final class Lists { boolean fFormatting = (bits >>> 5 & 1) != 0; Level formatting = null; if (fFormatting) { - formatting = readLevel(table, cursor); + formatting = readLevel(table, cursor, limit); if (formatting == null) { return out; } @@ -398,7 +409,7 @@ final class Lists { Grpprl.scan(chpx, 0, chpx.length, (sprm, buf, off, len) -> { switch (sprm) { case Grpprl.SPRM_C_RG_FTC0 -> ftc0[0] = Grpprl.operandInt(buf, off, len); - case Grpprl.SPRM_C_F_BOLD -> bold[0] = Grpprl.toggleOn(buf, off); + case Grpprl.SPRM_C_F_BOLD -> bold[0] = Grpprl.toggle(bold[0], buf[off]); case Grpprl.SPRM_C_HPS -> hps[0] = Grpprl.operandInt(buf, off, len); default -> { } } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/OfficeArt.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/OfficeArt.java index 65cdd2f..10c8783 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/OfficeArt.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/OfficeArt.java @@ -4,8 +4,9 @@ package ru.pjandro.wordpdf.internal.doc; * Извлечение растровой картинки из {@code PICFAndOfficeArtData} * ([MS-DOC] §2.9.192, операнд {@code sprmCPicLocation} = offset в Data-потоке) * по [MS-ODRAW]: PICF (68 байт, §2.9.190) → OfficeArt-записи → BLIP - * (§2.2.23–.31: recType 0xF01A EMF / 0xF01B WMF / 0xF01C PICT / 0xF01D JPEG / - * 0xF01E PNG / 0xF01F DIB; нечётный recInstance — второй UID, §2.2.24). + * (§2.2.23–.30: recType 0xF01A EMF / 0xF01B WMF / 0xF01C PICT / 0xF01D JPEG / + * 0xF01E PNG / 0xF01F DIB / 0xF029 TIFF; recInstance с вторым UID — + * §2.2.24–.30). * *

    Word кладёт BLIP в разные места (BStoreContainer 0xF004, * BStoreContainerDelay 0xF007, инлайн-контейнер), а POI-продукция пишет @@ -17,8 +18,9 @@ package ru.pjandro.wordpdf.internal.doc; * потоку их плодит, скан по картинному диапазону нет.

    * *

    EMF/WMF/PICT в PDF не рендерятся (Java2D-движка для метафайлов в ядре - * нет) — {@code null} (объект исчезает, как удалённый {@code w:object}). - * DIB перекодируется в PNG через ImageIO.

    + * нет) — {@code null} с JUL-warning (объект исчезает, как удалённый + * {@code w:object}; потеря контента должна быть видна в логе). + * DIB перекодируется в PNG через ImageIO, TIFF проходит как есть.

    */ final class OfficeArt { @@ -39,20 +41,29 @@ final class OfficeArt { /** Границы отображаемого размера, twips (§2.9.193: 15…31680). */ private static final int DXA_MIN = 15; private static final int DXA_MAX = 31_680; - /** twips → EMU (ECMA-376 §20.1.8: 1 twip = 635 EMU). */ + /** twips → EMU (ST_TwipsMeasure §22.9.2.14: 1 twip = 635 EMU). */ private static final int EMU_PER_TWIP = 635; private static final int BLIP_EMF = 0xF01A; private static final int BLIP_WMF = 0xF01B; private static final int BLIP_PICT = 0xF01C; private static final int BLIP_JPEG = 0xF01D; - private static final int BLIP_JPEG_ALT = 0xF02A; // [MS-ODRAW] A.1: = 0xF01D + private static final int BLIP_JPEG_ALT = 0xF02A; // [MS-ODRAW] Appendix A, примечание <5> к §2.2.23 private static final int BLIP_PNG = 0xF01E; private static final int BLIP_DIB = 0xF01F; + private static final int BLIP_TIFF = 0xF029; // §2.2.30 - /** recInstance с двумя UID ([MS-ODRAW] §2.2.24–.31). */ + /** Пропуск метафайлов логируется (JUL — конвенция {@code internal/}). */ + private static final java.util.logging.Logger LOG = + java.util.logging.Logger.getLogger(OfficeArt.class.getName()); + + /** + * recInstance с двумя UID ([MS-ODRAW] §2.2.24–.30): EMF 0x3D5, WMF 0x217, + * PICT 0x543, JPEG CMYK 0x6E3, JPEG RGB 0x46B, PNG 0x6E1, DIB 0x7A9, + * TIFF 0x6E5. + */ private static final java.util.Set TWO_UIDS = - java.util.Set.of(0x217, 0x3D5, 0x543, 0x6E1, 0x6E3, 0x6E5, 0x7A9); + java.util.Set.of(0x217, 0x3D5, 0x46B, 0x543, 0x6E1, 0x6E3, 0x6E5, 0x7A9); private OfficeArt() { } @@ -97,9 +108,8 @@ final class OfficeArt { if (cb < 17 || p + 8 + cb > end) { return null; } - // Второй UID — только перечисленные recInstance (§2.2.24–.31: - // EMF 0x3D5, WMF 0x217, PICT 0x543, JPEG 0x6E3, PNG 0x6E1, - // DIB 0x7A9, EMF+ 0x6E5; JPEG 0x46B — нечётный, но ОДИН UID). + // Второй UID — только перечисленные recInstance (§2.2.24–.30, + // таблица выше: 0x46B = JPEG RGB с ДВУМЯ UID, 0x6E5 = TIFF). // Word/POI кладут значение в raw verInstance (0x06E1), спека — // в 12-битное поле (0x6E10): проверяем обе формы. int uidSize = (TWO_UIDS.contains(verInstance >>> 4) || TWO_UIDS.contains(verInstance)) @@ -119,12 +129,26 @@ final class OfficeArt { ? new Picture("jpg", "image/jpeg", slice(data, dataOff, dataLen), emu(sizeX), emu(sizeY)) : null; + case BLIP_TIFF -> isTiff(data, dataOff, dataLen) + ? new Picture("tif", "image/tiff", slice(data, dataOff, dataLen), + emu(sizeX), emu(sizeY)) + : null; case BLIP_DIB -> dibToPng(data, dataOff, dataLen, sizeX, sizeY, maxPixels); - case BLIP_EMF, BLIP_WMF, BLIP_PICT -> null; // метафайлы не рендерим + case BLIP_EMF, BLIP_WMF, BLIP_PICT -> { + // метафайлы не рендерим — пропуск с warn (деградация видна в логе) + LOG.warning("Метафайл в .doc пропущен (EMF/WMF/PICT в PDF не рендерятся)"); + yield null; + } default -> null; }; } + /** TIFF-сигнатура II*\\0 или MM\\0* ([TIFF] §2, little/big endian). */ + private static boolean isTiff(byte[] data, int off, int len) { + return startsWith(data, off, len, new byte[] {'I', 'I', '*', 0}) + || startsWith(data, off, len, new byte[] {'M', 'M', 0, '*'}); + } + /** PICMID отсутствует/битый — размер из PNG IHDR @96 dpi (1 px = 15 twips). */ private static int pngDxa(byte[] data, int pngOff, boolean width) { if (pngOff + 24 > data.length) { @@ -171,8 +195,9 @@ final class OfficeArt { // бросает OutOfMemoryError (Error, не ловится catch ниже). Отказ по // площади — та же семантика «битый → объект пропущен»; порог // приходит параметром (WordPdfValidator.maxImagePixels). - long area = (long) Math.abs((int) CfbReader.u32(data, off + 4)) - * Math.abs((int) CfbReader.u32(data, off + 8)); + // abs в long: Math.abs(Integer.MIN_VALUE) отрицателен и обходил бы guard + long area = Math.abs((long) (int) CfbReader.u32(data, off + 4)) + * Math.abs((long) (int) CfbReader.u32(data, off + 8)); if (area > maxPixels) { return null; } @@ -190,7 +215,14 @@ final class OfficeArt { } } - /** DIB → BMP: BITMAPFILEHEADER(14) + как есть (§2.2.29 — DIB без хедера). */ + /** + * DIB → BMP: BITMAPFILEHEADER(14) + как есть (§2.2.29 — DIB без хедера). + * dataOff: BITMAPINFOHEADER + палитра (biClrUsed, offset 32: 0 — полное + * 2^bits, иначе объявленное число записей, [MS-WMF] §2.2.2.8) + для + * BI_BITFIELDS (biCompression=3, 16/32 bpp) ещё 12 байт масок после + * хедера ([MS-WMF] §2.2.1.6.3). CoreHeader (12 байт) не поддерживаем — + * ImageIO отвергнет, деградация в null. + */ private static byte[] wrapAsBmp(byte[] data, int off, int len) { byte[] bmp = new byte[14 + len]; bmp[0] = 'B'; @@ -202,8 +234,18 @@ final class OfficeArt { bmp[5] = (byte) (fileSize >>> 24); int bits = (int) (CfbReader.u32(data, off + 14) & 0xFFFF); int headerSize = (int) CfbReader.u32(data, off); - int dataOff = 14 + headerSize - + (bits == 1 || bits == 4 || bits == 8 ? (1 << bits) * 4 : 0); + int palette = 0; + int bitfields = 0; + if (headerSize >= BITMAPINFOHEADER_SIZE) { + if (bits == 1 || bits == 4 || bits == 8) { + int clrUsed = (int) CfbReader.u32(data, off + 32); + palette = 4 * (clrUsed > 0 && clrUsed < (1 << bits) ? clrUsed : 1 << bits); + } + if ((int) CfbReader.u32(data, off + 16) == 3 && (bits == 16 || bits == 32)) { + bitfields = 12; + } + } + int dataOff = 14 + headerSize + palette + bitfields; bmp[10] = (byte) dataOff; bmp[11] = (byte) (dataOff >>> 8); System.arraycopy(data, off, bmp, 14, len); diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/PapxIndex.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/PapxIndex.java index 3faa0e5..1004b36 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/PapxIndex.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/PapxIndex.java @@ -11,8 +11,9 @@ import java.util.List; *

    Алгоритм [MS-DOC] §2.4.6.1 (Direct Paragraph Formatting): PlcfBtePapx — * PLC (aFc n+1, PnFkpPapx n по 4 байта: pn 22 бита); PapxFkp-страница по * {@code pn*512} в WordDocument-потоке: rgfc (cpara+1 × 4), rgbx (cpara × - * BxPap — по 13 байт: bOffset 1 + reserved 12, §2.9.16; PapxInFkp по - * {@code bOffset*2}), cpara — последний байт. BxPap.bOffset=0 → абзац по + * BxPap — по 13 байт: bOffset 1 + reserved 12, §2.9.23; PapxInFkp по + * {@code bOffset*2}), cpara — последний байт (§2.9.174: cpara ≥ 0x01 и ≤ 0x1D, + * больше — PapxFkp не влезает в 512). BxPap.bOffset=0 → абзац по * умолчанию (ms-doc.md:5635). PapxInFkp (§2.9.175): * cb (1 байт); при cb≠0 GrpPrlAndIstd занимает 2×cb−1 байт, при cb=0 — * следующий байт cb' и 2×cb' байт; GrpPrlAndIstd = istd(2) + grpprl. @@ -45,9 +46,14 @@ final class PapxIndex { throw new ConversionException("PapxFkp вне WordDocument-потока в .doc"); } int cpara = wordDocument[(int) (pageOff + FKP_PAGE_SIZE - 1)] & 0xFF; - if (cpara < 1 || cpara > 0x60) { + // §2.9.174: cpara MUST NOT exceed 0x1D (иначе rgfc+rgbx расширяют + // PapxFkp за 512 байт) + if (cpara < 1 || cpara > 0x1D) { throw new ConversionException("Битый cpara в PapxFkp .doc"); } + if (4 * (cpara + 1) + 13 * cpara > FKP_PAGE_SIZE) { + throw new ConversionException("Битый PapxFkp .doc"); + } for (int j = 0; j < cpara; j++) { long rgfcStart = CfbReader.u32(wordDocument, (int) pageOff + j * 4); long rgfcEnd = CfbReader.u32(wordDocument, (int) pageOff + (j + 1) * 4); @@ -105,7 +111,8 @@ final class PapxIndex { int[] count = {0}; for (Range r : ranges) { Grpprl.scan(r.grpprl(), 0, r.grpprl().length, (sprm, buf, off, len) -> { - if (sprm == Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE && Grpprl.toggleOn(buf, off)) { + if (sprm == Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE + && Grpprl.toggle(false, buf[off])) { count[0]++; } }); diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/PieceTable.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/PieceTable.java index fe4ab38..470be99 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/PieceTable.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/PieceTable.java @@ -25,7 +25,7 @@ final class PieceTable { private static final long F_COMPRESSED = 0x4000_0000L; private static final long FC_MASK = 0x3FFF_FFFFL; - /** Байты 0x80–0x9F сжатого текста → Unicode (§2.4.1, таблица Pcd.fc). */ + /** Байты 0x82–0x9F сжатого текста → Unicode (FcCompressed §2.9.73). */ private static final char[] COMPRESSED_MAP = new char[32]; static { @@ -46,8 +46,10 @@ final class PieceTable { private final int[] aCp; private final long[] fc; private final boolean[] compressed; + /** Читаемый размер куска в байтах после клампа по cbMac (§2.5.4). */ + private final long[] readable; - private PieceTable(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument) { + private PieceTable(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument, long cbMac) { this.wordDocument = wordDocument; if (lcbClx <= 0) { throw new ConversionException("В .doc нет piece table"); @@ -95,8 +97,13 @@ final class PieceTable { compressed = new boolean[n]; for (int i = 0; i <= n; i++) { aCp[i] = (int) CfbReader.u32(tableStream, plcStart + i * 4); - if (i > 0 && aCp[i] < aCp[i - 1]) { - throw new ConversionException("Невозрастающие aCP в PlcPcd .doc"); + // §2.8.35 PlcPcd: «All CPs MUST be greater than or equal to + // zero», «aCP MUST be sorted in ascending order and MUST NOT + // contain duplicate CPs» — дубль/отрицательный CP = битый кусок; + // отрицательный aCP[0] сдвигал бы delta и читал бы до начала + // WordDocument-потока + if (aCp[0] < 0 || (i > 0 && aCp[i] <= aCp[i - 1])) { + throw new ConversionException("Битые aCP в PlcPcd .doc"); } } int pcdBase = plcStart + (n + 1) * 4; @@ -105,17 +112,25 @@ final class PieceTable { fc[i] = fcw & FC_MASK; compressed[i] = (fcw & F_COMPRESSED) != 0; } + // cbMac (§2.5.4): «All bytes in the WordDocument stream at offset + // cbMac and greater MUST be ignored» — читаемый span куска клампится + // к min(cbMac, длина потока); кусок целиком за cbMac даёт readable=0 + // (charAt вернёт 0, fcOf не меняется — свойства там всё равно нет). + long textLimit = Math.min(Math.max(cbMac, 0), wordDocument.length); + readable = new long[n]; for (int i = 0; i < n; i++) { long start = compressed[i] ? fc[i] / 2 : fc[i]; long span = (long) (aCp[i + 1] - aCp[i]) * (compressed[i] ? 1 : 2); if (start + span > wordDocument.length) { throw new ConversionException("Кусок piece table .doc выходит за WordDocument"); } + readable[i] = start >= textLimit ? 0 : Math.min(span, textLimit - start); } } - static PieceTable read(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument) { - return new PieceTable(tableStream, fcClx, lcbClx, wordDocument); + static PieceTable read(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument, + long cbMac) { + return new PieceTable(tableStream, fcClx, lcbClx, wordDocument, cbMac); } /** Символ по CP (§2.4.1); {@code cp} вне [0, ccpText) не запрашивается. */ @@ -123,6 +138,9 @@ final class PieceTable { int i = pieceOf(cp); int delta = cp - aCp[i]; if (compressed[i]) { + if (delta >= readable[i]) { + return 0; // за cbMac (§2.5.4) — байты игнорируются + } int b = wordDocument[(int) (fc[i] / 2) + delta] & 0xFF; if (b >= 0x80 && b < 0xA0) { char mapped = COMPRESSED_MAP[b - 0x80]; @@ -130,6 +148,9 @@ final class PieceTable { } return (char) b; } + if (2L * (delta + 1) > readable[i]) { + return 0; + } int off = (int) fc[i] + 2 * delta; return (char) ((wordDocument[off] & 0xFF) | ((wordDocument[off + 1] & 0xFF) << 8)); } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/PrcData.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/PrcData.java index d8acd0a..9c1249f 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/PrcData.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/PrcData.java @@ -13,27 +13,26 @@ import java.io.ByteArrayOutputStream; * при istd=0), а сами свойства — с {@code sprmPFInTable}/{@code sprmPFTtp}/ * {@code sprmTDefTable}/бордюрами — лежат в PrcData в Data-потоке. Внутри * PrcData цепочка продолжается через {@code sprmPTableProps (0x646B)}. - * Оба указателя разворачиваются на позиции указателя без обрыва - * текущего массива; цепочка обязана завершиться PrcData без обоих - * спец-спрмов (§2.6.2).

    - * - *

    Отступление от spec: §2.6.2 велит массив, содержащий PTableProps, - * «не читать дальше» — Word так и делает, потому что потребляет из PrcData - * полный TAP (включая {@code sprmTInsert}), а хвост массива — легаси-зеркало - * для Word 97/2000 (Appendix A <9>). Конвертер {@code sprmTInsert} - * не читает и живёт на этом зеркале: в {@code samples/ru-table-image.doc} - * единственный {@code sprmTDefTable} (сетка) стоит именно ПОСЛЕ - * {@code sprmPTableProps} в PAPX-массиве, а в PrcData его нет вовсе. - * Поэтому свойства объединяются (union), а не замещаются: без цепочки - * теряются её sprm'ы, без зеркал — сетка.

    + * {@code sprmPHugePapx} не первым в массиве игнорируется (§2.6.2); после + * разворачивания PrcData по любому указателю дальнейшие Prl содержащего + * массива не обрабатываются (§2.6.2: «MUST NOT process any more + * Prl elements in the array» — одинаково для HugePapx и PTableProps); + * цепочка обязана завершиться PrcData без обоих спец-спрмов (§2.6.2). + * Хвост исходного массива за указателем — легаси-зеркало для Word + * 97/2000, не читающих sprmPTableProps (Appendix A <9>); по общему + * правилу оно не потребляется, кроме единственного исключения + * {@code sprmTDefTable}: конвертер строит сетку ячеек именно из + * TDefTable (§2.4.3: «SHOULD use sprmTDefTable to define table cells for + * applications that do not process sprmPTableProps»), а из PrcData + * {@code sprmTInsert} не читает — без зеркала {@code + * samples/ru-table-image.doc} терял бы таблицу целиком (Регрессия — + * DocToDocxTest#tableFixture_becomesTblWithImage).

    * *

    Снисходительность — по образцу {@link Styles}/{@link Lists}: любой * брак (ptr за Data, битый cbGrpprl, цикл A→B→A) останавливает цепочку, * накопленное возвращается — без {@code ConversionException}. Спец-спрмы * из результата всегда вырезаются (потребители {@code Grpprl.scan} их всё - * равно не понимают); прочие Prl исходного массива сохраняются в исходном - * порядке (при многосprl-массиве с HugePapx — сверхспецификацией: валидный - * Word пишет HugePapx единственным Prl).

    + * равно не понимают); не-первый HugePapx — игнор по §2.6.2.

    */ final class PrcData { @@ -99,18 +98,39 @@ final class PrcData { /** * Копирует Prl массива {@code buf[off..off+len)} в {@code out}: - * обычные — дословно (sprm + операнд), оба указательных — разворачивают - * целевой PrcData на позиции указателя, разбор массива продолжается - * (union зеркала и цепочки — см. javadoc класса). + * обычные — дословно (sprm + операнд). По §2.6.2 после разворачивания + * PrcData по указателю дальнейшие Prl этого массива + * не обрабатываются («MUST NOT process any more Prl elements in the + * array», sprmPHugePapx и sprmPTableProps), поэтому развёрнутое + * содержимое — последнее, что попало в выход из этого массива. + * {@code sprmPHugePapx} не первым в массиве — игнорируется целиком + * (§2.6.2: «if … not the first element … MUST be ignored»), массив + * читается дальше; {@code sprmPTableProps} правила первой позиции не + * имеет. Единственное исключение из стопа — {@code sprmTDefTable} + * (легаси-зеркало сетки, Appendix A <9>, см. javadoc класса): + * он переносится и после указателя. */ private static void copyPrls(byte[] buf, int off, int len, byte[] data, ByteArrayOutputStream out, int[] hops) { + int[] index = new int[1]; + boolean[] stop = new boolean[1]; Grpprl.scan(buf, off, len, (sprm, b, operandOff, operandLen) -> { - if (sprm == Grpprl.SPRM_P_HUGE_PAPX || sprm == Grpprl.SPRM_P_TABLE_PROPS) { - follow(Grpprl.operandInt(b, operandOff, operandLen), data, out, hops); - return; + if (stop[0] && sprm != Grpprl.SPRM_T_DEF_TABLE) { + return; // хвост после указателя — вне области обработки } - out.write(b, operandOff - 2, operandLen + 2); + if (sprm == Grpprl.SPRM_P_HUGE_PAPX) { + if (index[0] == 0) { + follow(Grpprl.operandInt(b, operandOff, operandLen), + data, out, hops); + stop[0] = true; + } + } else if (sprm == Grpprl.SPRM_P_TABLE_PROPS) { + follow(Grpprl.operandInt(b, operandOff, operandLen), data, out, hops); + stop[0] = true; + } else { + out.write(b, operandOff - 2, operandLen + 2); + } + index[0]++; }); } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Sections.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Sections.java index 5610d8d..aa225f4 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Sections.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Sections.java @@ -20,10 +20,10 @@ import ru.pjandro.wordpdf.ConversionException; * покрывает весь текстовый поток), поэтому конец последней секции * клампится к ccpText. Свойств в Sepx нет (или Sepx битый) — дефолты * Word 97: Letter 12240×15840, поля 1440, колонтитуки - * 720 (значения §2.6.3 «By default» для sprmSXaPage/sprmSYaPage).

    + * 720 (значения §2.6.4 «By default» для sprmSXaPage/sprmSYaPage).

    * *

    {@link Section#continuous()} — sprmSBkc секции со значением - * bkcContinuous/bkcNewColumn (§2.6.3, SBkcOperand: «the type of the section + * bkcContinuous/bkcNewColumn (§2.6.4, SBkcOperand §2.9.235: «the type of the section * break that terminates the section»), т.е. разрыв, ЗАКАНЧИВАЮЩИЙ эту * секцию. В OOXML {@code w:type} описывает разрыв ПЕРЕД секцией (§17.6.22), * поэтому {@code w:type} секции i берётся из {@code continuous()} секции @@ -40,16 +40,34 @@ final class Sections { * финальный символ — 0x0C, §2.8.26) + геометрия из её Sepx + признак * «разрыв, заканчивающий секцию, не начинает новую страницу» + * ориентация (sprmSBOrientation), нумерация страниц (sprmSFPgnRestart/ - * sprmSPgnStart97/sprmSNfcPgn — pgNumStart=0 «не задан», nfcPgn — MSONFC), - * колонки (sprmSCcolumns/…; colWidths/colSpacings заполнены только при - * evenlySpaced=false, индекс — номер колонки) и титульная страница - * (sprmSFTitlePage → w:titlePg, §2.6.4). + * sprmSPgnStart97/sprmSPgnStart/sprmSNfcPgn — pgNumStart=0 «не задан», + * nfcPgn — MSONFC), + * (sprmSCcolumns/…; colWidths/colSpacings заполнены только при + * evenlySpaced=false, индекс — номер колонки), титульная страница + * (sprmSFTitlePage → w:titlePg, §2.6.4), gutter-поле (sprmSDzaGutter → + * w:gutter) и сырое значение SBkcOperand (§2.9.235 — evenPage/oddPage + * для w:type). */ record Section(int cpStart, int cpEnd, int pageWidth, int pageHeight, int marginLeft, int marginRight, int marginTop, int marginBottom, - int header, int footer, boolean continuous, boolean landscape, + int header, int footer, int gutter, boolean continuous, boolean landscape, int pgNumStart, int nfcPgn, int columnCount, boolean evenlySpaced, - int dxaColumns, int[] colWidths, int[] colSpacings, boolean titlePage) { + int dxaColumns, int[] colWidths, int[] colSpacings, boolean titlePage, + int bkc) { + + /** + * ST_SectType (§17.6.22) для разрыва, ЗАКАНЧИВАЮЩЕГО эту секцию: + * bkcContinuous/bkcNewColumn → continuous, bkcEvenPage/bkcOddPage → + * evenPage/oddPage; bkcNewPage (дефолт) — атрибут не эмитится. + */ + String wTypeName() { + return switch (bkc) { + case 0, 1 -> "continuous"; + case 3 -> "evenPage"; + case 4 -> "oddPage"; + default -> null; + }; + } } /** Дефолты Word 97 (§2.6.3, twips). */ @@ -77,12 +95,17 @@ final class Sections { private int marginBottom = DEFAULT_MARGIN; private int header = DEFAULT_HEADER_FOOTER; private int footer = DEFAULT_HEADER_FOOTER; + private int gutter; private boolean continuous; private boolean landscape; private boolean titlePage; private boolean pgnRestart; private int pgnStart97; + private int pgnStart; private int nfcPgn; + /** SBkcOperand (§2.9.235): 0 continuous, 1 newColumn, 2 newPage + * (дефолт), 3 evenPage, 4 oddPage. */ + private int bkc = 2; private int columnCount = 1; private boolean evenlySpaced = true; private int dxaColumns = -1; @@ -91,21 +114,26 @@ final class Sections { private void apply(int sprm, int value) { if (sprm == Grpprl.SPRM_S_XA_PAGE) { - pageWidth = value; + pageWidth = value; // U16 [144, 31680] (§2.6.3) } else if (sprm == Grpprl.SPRM_S_YA_PAGE) { - pageHeight = value; + pageHeight = value; // U16 (§2.6.3) } else if (sprm == Grpprl.SPRM_S_DXA_LEFT) { - marginLeft = value; + marginLeft = value; // XAS_nonNeg (§2.6.3) } else if (sprm == Grpprl.SPRM_S_DXA_RIGHT) { - marginRight = value; + marginRight = value; // XAS_nonNeg (§2.6.3) } else if (sprm == Grpprl.SPRM_S_DYA_TOP) { - marginTop = value; + // YAS знаковый (§2.9.355): плюс — минимальное поле, минус — + // фиксированное («MUST be the absolute value») — знак в OOXML + // не выражается, величина берётся по модулю + marginTop = Math.abs((short) value); } else if (sprm == Grpprl.SPRM_S_DYA_BOTTOM) { - marginBottom = value; + marginBottom = Math.abs((short) value); } else if (sprm == Grpprl.SPRM_S_DYA_HDR_TOP) { - header = value; + header = value; // YAS_nonNeg (§2.6.3) } else if (sprm == Grpprl.SPRM_S_DYA_HDR_BOTTOM) { - footer = value; + footer = value; // YAS_nonNeg (§2.6.3) + } else if (sprm == Grpprl.SPRM_S_DZA_GUTTER) { + gutter = value; // U16 twips (§2.6.4), беззнаковый } else if (sprm == Grpprl.SPRM_S_B_ORIENTATION) { // SBOrientationOperand (§2.9.236): 0x01 portrait, 0x02 landscape landscape = value == 2; @@ -113,6 +141,8 @@ final class Sections { pgnRestart = value != 0; // Bool8 } else if (sprm == Grpprl.SPRM_S_PGN_START97) { pgnStart97 = value; + } else if (sprm == Grpprl.SPRM_S_PGN_START) { + pgnStart = value; // U32 (§2.6.4), pre-97-вариант того же } else if (sprm == Grpprl.SPRM_S_NFC_PGN) { nfcPgn = value; // MSONFC ([MS-OSHARED] §2.2.1.3) } else if (sprm == Grpprl.SPRM_S_F_EVENLY_SPACED) { @@ -130,7 +160,7 @@ final class Sections { /** iCol(1) + dxaCol(2) — минимальная длина SDxaColWidth/Spacing-операнда. */ private static final int COL_OPERAND_LEN = 3; - /** SDxaColWidthOperand/SDxaColSpacingOperand: iCol(1)+dxaCol(2), §2.9.241/.242. */ + /** SDxaColSpacingOperand/SDxaColWidthOperand: iCol(1)+dxaCol(2), §2.9.241/.242. */ private void applyCol(int sprm, byte[] buf, int off, int len) { if (len < COL_OPERAND_LEN) { return; @@ -191,10 +221,12 @@ final class Sections { } int v = Grpprl.operandInt(buf, off, len); g.apply(sprm, v); - // bkcContinuous=0 / bkcNewColumn=1 (§2.6.3 SBkcOperand): - // разрыв, заканчивающий секцию, не начинает страницу - if (sprm == Grpprl.SPRM_S_BKC && v <= 1) { - g.continuous = true; + // SBkcOperand (§2.9.235): 0 continuous / 1 newColumn — + // разрыв, заканчивающий секцию, не начинает страницу; + // сырое значение нужно и для w:type=evenPage/oddPage + if (sprm == Grpprl.SPRM_S_BKC) { + g.bkc = v; + g.continuous = v <= 1; } }); } @@ -208,11 +240,13 @@ final class Sections { int cpEnd = i == n - 1 ? Math.min(aCp[i + 1], ccpText) : aCp[i + 1]; list.add(new Section(aCp[i], cpEnd, g.pageWidth, g.pageHeight, g.marginLeft, g.marginRight, g.marginTop, g.marginBottom, - g.header, g.footer, g.continuous, g.landscape, - g.pgnRestart ? Math.max(1, g.pgnStart97) : 0, + g.header, g.footer, g.gutter, g.continuous, g.landscape, + g.pgnRestart + ? Math.max(1, g.pgnStart97 != 0 ? g.pgnStart97 : g.pgnStart) + : 0, g.nfcPgn, g.columnCount, g.evenlySpaced, g.dxaColumns, Arrays.copyOf(g.colWidths, g.columnCount), - Arrays.copyOf(g.colSpacings, g.columnCount), g.titlePage)); + Arrays.copyOf(g.colSpacings, g.columnCount), g.titlePage, g.bkc)); } sections = List.copyOf(list); continuousEnds = cont; @@ -221,8 +255,8 @@ final class Sections { private static Section defaultSection(int cpStart, int cpEnd) { return new Section(cpStart, cpEnd, DEFAULT_PAGE_WIDTH, DEFAULT_PAGE_HEIGHT, DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN, - DEFAULT_HEADER_FOOTER, DEFAULT_HEADER_FOOTER, false, - false, 0, 0, 1, true, -1, new int[0], new int[0], false); + DEFAULT_HEADER_FOOTER, DEFAULT_HEADER_FOOTER, 0, false, + false, 0, 0, 1, true, -1, new int[0], new int[0], false, 2); } static Sections read(byte[] tableStream, long fcSed, long lcbSed, byte[] wordDocument, diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Styles.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Styles.java index 7565a1e..3c09b67 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Styles.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Styles.java @@ -6,15 +6,16 @@ package ru.pjandro.wordpdf.internal.doc; * *

    Разбор: LPStshi (cbStshi(2) + STSHI: cstd(2) + cbSTDBaseInFile(2), * §2.9.272/.274) → rglpstd со смещения {@code fc + 2 + cbStshi} (LPStd - * хранятся на чётных границах, §2.9.207). Каждая LPStd: cbStd(2) + Std + * хранятся на чётных границах, §2.9.135). Каждая LPStd: cbStd(2) + Std * (cbStd байт): stdf (cbSTDBaseInFile байт: StdfBase §2.9.260 — в первых * 4 байтах sti(12)|A–D(4)|stk(4)|istdBase(12), cupx — младший нибл байта 4) - * + xstzName (cch(2)+2·cch+терминатор(2), §2.9.348) + cupx × LPUpx + * + xstzName (cch(2)+2·cch+терминатор(2), §2.9.354) + cupx × LPUpx * (cbUpx(2) + данные, шаг 2+cbUpx с выравниванием на чёт). Для stk=1 * (абзацный стиль) UPX[0] = UpxPapx (istd(2) + grpprlPapx), UPX[1] = - * UpxChpx (grpprlChpx целиком), §2.9.267/.308/.309; для stk=3 (символьный - * стиль) единственный UPX = UpxChpx целиком (§2.9.267) — читается в - * {@link #charChain} для sprmCIstd.

    + * UpxChpx (grpprlChpx целиком), §2.9.338/.336; для stk=2 (символьный + * стиль) единственный UPX = UpxChpx целиком (§2.9.263 StkCharGRLPUPX) — + * читается в {@link #charChain} для sprmCIstd; stk=3 (табличный) не + * читается.

    * *

    Цепочка свойств стиля — base-first: сначала grpprl предка по * istdBase (0x0FFF — без предка), затем собственный grpprl (шаг 8 @@ -31,11 +32,11 @@ final class Styles { /** stk абзацного стиля (§2.9.260). */ private static final int STK_PARAGRAPH = 1; - /** stk символьного стиля (§2.9.260): UPX[0] = UpxChpx целиком. */ - private static final int STK_CHARACTER = 3; - /** Индекс UpxPapx в Std абзацного стиля (§2.9.308). */ + /** stk символьного стиля (§2.9.260, stk=2): UPX[0] = UpxChpx целиком. */ + private static final int STK_CHARACTER = 2; + /** Индекс UpxPapx в Std абзацного стиля (§2.9.338). */ private static final int UPX_PAPX = 0; - /** Индекс UpxChpx в Std абзацного стиля (§2.9.309). */ + /** Индекс UpxChpx в Std абзацного стиля (§2.9.336). */ private static final int UPX_CHPX = 1; /** istdBase без предка (§2.9.260). */ private static final int NO_BASE = 0x0FFF; @@ -107,7 +108,7 @@ final class Styles { return new Style(NO_BASE, stk, new byte[0], new byte[0]); } int cch = CfbReader.u16(table, p); - p += 2 + 2 * cch + 2; // xstzName: cch + строка + chTerm (§2.9.348) + p += 2 + 2 * cch + 2; // xstzName: cch + строка + chTerm (§2.9.354) byte[] papx = new byte[0]; byte[] chpx = new byte[0]; for (int i = 0; i < cupx && p + 2 <= stdEnd; i++) { @@ -118,13 +119,13 @@ final class Styles { } if (stk == STK_PARAGRAPH) { if (i == UPX_PAPX && cbUpx >= 2) { - // UpxPapx: istd(2) + grpprlPapx (§2.9.345) + // UpxPapx: istd(2) + grpprlPapx (§2.9.338) papx = slice(table, p + 2, cbUpx - 2); } else if (i == UPX_CHPX) { - chpx = slice(table, p, cbUpx); // UpxChpx (§2.9.343) + chpx = slice(table, p, cbUpx); // UpxChpx (§2.9.336) } } else if (stk == STK_CHARACTER && i == UPX_PAPX && cbUpx > 0) { - // Символьный стиль: единственный UPX = UpxChpx целиком (§2.9.267) + // Символьный стиль: единственный UPX = UpxChpx целиком (§2.9.263) chpx = slice(table, p, cbUpx); } p += cbUpx; @@ -163,7 +164,7 @@ final class Styles { /** * Цепочка chpx символьного стиля для sprmCIstd (§2.6.1): только стили - * stk=3, иначе пусто (§2.4.6.5 — символьный стиль применяется к рану, + * stk=2, иначе пусто (§2.4.6.5 — символьный стиль применяется к рану, * стиль другого типа игнорируется снисходительно). */ byte[] charChain(int istd) { diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/SummaryInfo.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/SummaryInfo.java index b6e86ff..3749605 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/SummaryInfo.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/SummaryInfo.java @@ -7,17 +7,17 @@ package ru.pjandro.wordpdf.internal.doc; * SystemIdentifier(4) CLSID(16) NumPropertySets(4) FMTID0(16) Offset0(4); * PropertySet по Offset0 (§2.20): cbPropertySet(4) NumProperties(4) + массив * (pid, offset), где offset свойства — относительно начала PropertySet - * (§2.2: «relative to the starting position of the PropertySet»), т.е. читать + * (§2.19 PropertyIdentifierAndOffset: «relative to the starting position of the PropertySet»), т.е. читать * по {@code Offset0 + offset}; свойство по offset — VT(4) + значение. Ищем PIDSI_PAGECOUNT * (0x0000000E, VT_I4=3) — аналог {@code } из docProps/app.xml у .docx. * Потока/свойства нет или оно не VT_I4 → 0 (оценка нижняя, как у docx).

    */ final class SummaryInfo { - /** PIDSI_PAGECOUNT (MS-OLEPS §2.4.2). */ + /** PIDSI_PAGECOUNT (MS-OLEPS §3.1.15). */ private static final int PID_PAGE_COUNT = 0x0000000E; - /** VT_I4 (MS-OLEPS §2.3.2). */ + /** VT_I4 (MS-OLEPS §2.2). */ private static final int VT_I4 = 0x00000003; /** Смещения заголовка PropertySetStream (§2.21). */ diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Tables.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Tables.java index d5d0227..e066dbb 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Tables.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/Tables.java @@ -16,20 +16,20 @@ import java.util.List; * TableBordersOperand80 (§2.9.303, cb=0x18, 6 × Brc80 по 4 байта: * dptLineWidth + brcType + ico + флаги). Порядок Brc: top, left, bottom, * right, horizontalInside, verticalInside → w:top/w:left/w:bottom/w:right/ - * w:insideH/w:insideV (CT_TblBorders, ECMA-376 §17.4.40).

    + * w:insideH/w:insideV (CT_TblBorders, ECMA-376 §17.4.38).

    * - *

    brcType → ST_Border (§17.18.2) по таблице BrcType ([MS-DOC] §2.9.39, + *

    brcType → ST_Border (§17.18.2) по таблице BrcType ([MS-DOC] §2.9.22, * колонка Reference); 0x00 — элемент не эмитится, нераспознанный — single. - * w:sz = dptLineWidth (1/8 пункта, ECMA-376 §17.18.15; минимум 2; при + * w:sz = dptLineWidth (1/8 пункта, ECMA-376 §17.18.23; минимум 2; при * brcType ≥ 0x40 ширина в целых пунктах → ×8). Цвет: Brc.cv fAuto * (байт 3 = 0xFF) не эмитится, иначе RRGGBB; Brc80.ico — по таблице Ico - * (§2.9.171); 0 = auto, > 0x10 — не эмитится.

    + * (§2.9.119); 0 = auto, > 0x10 — не эмитится.

    * *

    Горизонтальное объединение ячеек переносится сеткой самой строки: * у TTP-абзаца каждой строки свой {@code sprmTDefTable} (§2.9.321), и * автомат {@code DocxBody} по нему выдаёт {@code w:gridSpan}+{@code w:tcW} * (сетка первой строки остаётся tblGrid). Явные поля ячеек - * ({@code sprmTCellPadding}/{@code sprmTCellPaddingDefault}, CSSA §2.9.209) + * ({@code sprmTCellPadding}/{@code sprmTCellPaddingDefault}, CSSA §2.9.45) * переносятся {@code w:tcMar}; при их отсутствии конвейер даёт дефолт * 108/0 — он же дефолт Word (замер). {@code sprmTDxaGapHalf} не переносится * как поле: §2.6.3 — «not used to layout cell contents», это поправка @@ -44,9 +44,9 @@ import java.util.List; */ final class Tables { - /** brcType ≥ этого порога: dptLineWidth задан в целых пунктах (§2.9.38). */ + /** brcType ≥ этого порога: dptLineWidth задан в целых пунктах (§2.9.22). */ private static final int BRC_TYPE_POINT_UNITS = 0x40; - /** Минимальный w:sz границы; значения Brc80 меньше эквивалентны 2 (§2.9.37). */ + /** Минимальный w:sz границы; значения Brc80 меньше эквивалентны 2 (§2.9.17). */ private static final int MIN_BORDER_SZ = 2; /** Минимум центров в TDefTable: ncols≥1 → centers[ncols+1]≥2 (§2.9.321). */ @@ -58,7 +58,7 @@ final class Tables { private static final int MAX_CELL_MARGIN = 31680; /** - * Поля ячеек из одного CSSAOperand (§2.9.209): стороны grfbrc (биты + * Поля ячеек из одного CSSAOperand (§2.9.46): стороны grfbrc (биты * top|left|bottom|right = 1|2|4|8) с шириной wWidth (dxa, ≥0) для ячеек * ряда с индексами [itcFirst, itcLim). Default-operand (0xD634) — весь * ряд (itcLim = {@link Integer#MAX_VALUE}). @@ -98,7 +98,7 @@ final class Tables { } /** - * Ico → RRGGBB ([MS-DOC] §2.9.171). Индекс = ico. 0 — auto (не эмитится). + * Ico → RRGGBB ([MS-DOC] §2.9.119). Индекс = ico. 0 — auto (не эмитится). * В таблице спецификации строка 0x0D дублирует 0x0C (800080) — очевидная * опечатка документа: icoRedDark в палитре Word = 800000, взято значение * Word (иначе 0x0C и 0x0D неразличимы). @@ -124,7 +124,7 @@ final class Tables { }; /** - * Ico (§2.9.171) → RRGGBB; 0/auto и вне таблицы (в т.ч. 0x1F = nil у + * Ico (§2.9.119) → RRGGBB; 0/auto и вне таблицы (в т.ч. 0x1F = nil у * Shd80) — {@code null}. Пользуется {@code DocxBody} для Shd80/ * затенений. */ @@ -133,7 +133,7 @@ final class Tables { } /** - * Имена ST_Border по brcType (§2.9.39, колонка Reference); 0 — none. + * Имена ST_Border по brcType (§2.9.22, колонка Reference); 0 — none. * package-private хук для юнита полного покрытия таблицы. */ static String borderVal(int brcType) { @@ -160,7 +160,8 @@ final class Tables { case 0x17 -> "dashDotStroked"; case 0x18 -> "threeDEmboss"; case 0x19 -> "threeDEngrave"; - case 0x1A, 0x1B -> "outset"; + case 0x1A -> "outset"; + case 0x1B -> "inset"; default -> "single"; }; } @@ -234,7 +235,7 @@ final class Tables { } /** - * CSSAOperand (§2.9.209) полей ячеек: cb(1)=6 + itc(2, ItcFirstLim) + + * CSSAOperand (§2.9.46) полей ячеек: cb(1)=6 + itc(2, ItcFirstLim) + * grfbrc(1, маска сторон) + ftsWidth(1) + wWidth(2 XAS_nonNeg). * Переносится только ftsDxa (0x03) — ftsNil/percent/auto сторона не * задают (§2.6.3: wWidth ≤ 31680); битый операнд/пустая маска — null. @@ -287,7 +288,12 @@ final class Tables { String[] names = {"top", "left", "bottom", "right", "insideH", "insideV"}; for (int i = 0; i < 6; i++) { int b = off + 1 + i * 8; - // Brc (§2.9.36): cv(4: R,G,B,fAuto) + dptLineWidth(1) + brcType(1) + флаги(2) + // Brc (§2.9.16): cv(4: R,G,B,fAuto) + dptLineWidth(1) + brcType(1) + флаги(2); + // BrcMayBeNil (§2.9.20): последние 4 байта 0xFF…FF — NilBrc, границы нет + if ((buf[b + 4] & 0xFF) == 0xFF && (buf[b + 5] & 0xFF) == 0xFF + && (buf[b + 6] & 0xFF) == 0xFF && (buf[b + 7] & 0xFF) == 0xFF) { + continue; + } int type = buf[b + 5] & 0xFF; if (type == 0) { continue; @@ -307,6 +313,11 @@ final class Tables { String[] names = {"top", "left", "bottom", "right", "insideH", "insideV"}; for (int i = 0; i < 6; i++) { int b = off + 1 + i * 4; + // Brc80MayBeNil (§2.9.18): все 4 байта 0xFF…FF — границы нет + if ((buf[b] & 0xFF) == 0xFF && (buf[b + 1] & 0xFF) == 0xFF + && (buf[b + 2] & 0xFF) == 0xFF && (buf[b + 3] & 0xFF) == 0xFF) { + continue; + } int type = buf[b + 1] & 0xFF; if (type == 0) { continue; @@ -322,10 +333,10 @@ final class Tables { int dptLineWidth, String color) { int sz = dptLineWidth; if (type >= BRC_TYPE_POINT_UNITS) { - sz *= 8; // ширина в целых пунктах (§2.9.38, таблица dptLineWidth) + sz *= 8; // ширина в целых пунктах (§2.9.22, таблица dptLineWidth) } if (sz < MIN_BORDER_SZ) { - sz = MIN_BORDER_SZ; // Brc80: значения < 2 эквивалентны 2 (§2.9.37) + sz = MIN_BORDER_SZ; // Brc80: значения < 2 эквивалентны 2 (§2.9.17) } xml.append(" diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java index 5184311..9e467ee 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java @@ -1023,7 +1023,7 @@ class WordPdfConverterTest { /** * w:suff="space": Word пишет после номера обычный пробел (Part 1 - * §17.3.1.28), docx4j разделитель не эмитит вовсе (дамп n4.fo). + * §17.9.28), docx4j разделитель не эмитит вовсе (дамп n4.fo). * NumberingSuffixNormalizer дописывает пробел в lvlText; FOP отдаёт * лейбл отдельными TextPosition («1», «.», « »), поэтому проверка — по * склеенной последовательности TP (без нормализатора было бы «1.ITEM»: @@ -1547,7 +1547,8 @@ class WordPdfConverterTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, 14); // ccpText put32(wd, 80, 0); // ccpFtn @@ -1601,7 +1602,8 @@ class WordPdfConverterTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, 2); // ccpText put32(wd, 80, 0); // ccpFtn @@ -1698,7 +1700,8 @@ class WordPdfConverterTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, text.length()); put16(wd, 152, 98); @@ -1801,7 +1804,8 @@ class WordPdfConverterTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, text.length()); put16(wd, 152, 98); @@ -1853,7 +1857,8 @@ class WordPdfConverterTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, text.length()); put16(wd, 152, 98); @@ -1925,7 +1930,7 @@ class WordPdfConverterTest { System.arraycopy(grpprl, 0, wd, at + 3, grpprl.length); } - /** SttbfFfn (§2.9.147): одно семейство на ftc0=0. */ + /** SttbfFfn (§2.9.286): одно семейство на ftc0=0. */ private static byte[] sttbfFfn(String family) { byte[] fam = (family + "\0").getBytes(StandardCharsets.UTF_16LE); byte[] t = new byte[4 + 1 + 39 + fam.length]; @@ -2109,7 +2114,8 @@ class WordPdfConverterTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, text.length()); put16(wd, 152, 98); @@ -2179,7 +2185,8 @@ class WordPdfConverterTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, 2); // ccpText put32(wd, 80, 0); // ccpFtn @@ -2346,7 +2353,7 @@ class WordPdfConverterTest { * Скрытый текст не выводится: правило 9 (HiddenTextNormalizer) вырезает * раны с прямым truthy vanish и с rStyle на vanish-стиль; falsy vanish * остаётся. Word при печати/PDF-export скрытое не печатает. - * Регрессия — аудит ECMA-376 2026-11 (Part 1 §17.3.2.30). + * Регрессия — аудит ECMA-376 2026-11 (Part 1 §17.3.2.41). */ @Test void hiddenText_notPrinted() throws IOException { @@ -2367,17 +2374,40 @@ class WordPdfConverterTest { assertTrue(t.contains("НЕТАЙНОЕ"), t); } + /** + * Явный {@code w:vanish w:val="false"} перекрывает стилевой vanish + * (§17.7.3, §22.9.2.7): ран с перекрытием печатается, ран без — нет. + */ + @Test + void hiddenText_directVanishFalseOverridesStyle() throws IOException { + String body = "" + + "СКРЫТОСТИЛЬМ" + + "" + + "ПЕРЕКРЫТОМ"; + String styles = XML_PROLOG + "" + + "" + + ""; + byte[] doc = docx("xmlns:w=\"" + W_NS + "\"", body, A4_SECT, + rels(""), + "", + Map.of("word/styles.xml", styles)); + String t = norm(pdfText(convertPdf(doc, "тест"))); + assertFalse(t.contains("СКРЫТОСТИЛЬМ"), t); + assertTrue(t.contains("ПЕРЕКРЫТОМ"), t); + } + /** * База руби печатается (правило 10, RubyNormalizer): схема docx4j не * биндит {@code w:rubyBase}/{@code w:rt} — unmarshaller терял их до - * XSLT. Надстрочница удаляется (принятая деградация, §17.3.3.19/.20 — + * XSLT. Надстрочница удаляется (принятая деградация, §17.3.3.24/.27 — * ruby-разметки в FOP нет) и пинится негативом. */ @Test void rubyBase_textPrinted() throws IOException { String body = "ДО" - + "РУБИБАЗА" - + "РУБИБАШКА" + + "" + + "РУБИБАЗА" + + "РУБИБАШКА" + "ПОСЛЕ"; String t = norm(pdfText(convertPdf(minimalDocx(body), "тест"))); assertTrue(t.contains("РУБИБАЗА"), t); @@ -2386,7 +2416,7 @@ class WordPdfConverterTest { } /** - * {@code w:bdo}/{@code w:dir} (§17.3.2.4/.7): текст печатается + * {@code w:bdo}/{@code w:dir} (§17.3.2.3/§17.3.2.8): текст печатается * (AUDIT-FIX-2 в вендорном XSLT, до патча ловил catch-all); * bidi-направление — принятая деградация. */ @@ -2401,7 +2431,8 @@ class WordPdfConverterTest { /** * Текст перемещённых правок ({@code w:moveFrom}/{@code w:moveTo}, - * §17.13.5.15/.17) печатается (AUDIT-FIX-2): до патча терялся целиком. + * §17.13.5.21–.22/§17.13.5.25–.26) печатается (AUDIT-FIX-2): до патча + * терялся целиком. */ @Test void movedRevision_textPrinted() throws IOException { @@ -2720,7 +2751,8 @@ class WordPdfConverterTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, 14); // ccpText put32(wd, 80, 0); // ccpFtn diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfValidatorTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfValidatorTest.java index 1c975f5..9b9bb0c 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfValidatorTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfValidatorTest.java @@ -908,8 +908,8 @@ class WordPdfValidatorTest { * ({@code internal.doc}) бросает {@code ConversionException}, вердикт * «вход некорректен» выносит только валидатор, оборачивая отказ в * {@link WordPdfValidator#checkPageCountDoc(byte[], int)}. Синтетика: - * CFB-подпись + нули — sectorShift = 0, {@code CfbReader} отказывает - * до всякого разбора WordDocument-потока. + * CFB-подпись + нули — ByteOrder = 0x0000 ≠ 0xFFFE ([MS-CFB] §2.2), + * {@code CfbReader} отказывает до всякого разбора WordDocument-потока. */ @Test void checkPageCountDoc_brokenBridge_wrappedAsValidation() { @@ -919,7 +919,7 @@ class WordPdfValidatorTest { ValidationException ex = assertThrows(ValidationException.class, () -> WordPdfValidator.checkPageCountDoc(bytes, 100)); assertSame(ValidationException.class, ex.getClass()); - assertTrue(ex.getMessage().contains("Неподдерживаемый размер сектора CFB"), + assertTrue(ex.getMessage().contains("Неизвестный Byte Order контейнера .doc"), ex.getMessage()); } diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/DocxOnOffNormalizerTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/DocxOnOffNormalizerTest.java index 7c600a8..6d31b68 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/DocxOnOffNormalizerTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/DocxOnOffNormalizerTest.java @@ -52,6 +52,13 @@ class DocxOnOffNormalizerTest { throw new AssertionError("нет записи " + name); } + /** w:scrollbar — ST_FrameScrollbar (§17.18.32), on/off не переписывать. */ + @Test + void scrollbarVal_onOffUntouched() { + String xml = ""; + assertNull(DocxOnOffNormalizer.rewrite(xml)); + } + @Test void rewritesOnOffInWordParts() throws Exception { byte[] result = DocxOnOffNormalizer.normalize(makeDocx(DOCUMENT_XML)); diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizerTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizerTest.java index 60da7f6..c640d0a 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizerTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/HiddenTextNormalizerTest.java @@ -15,6 +15,7 @@ import java.util.zip.ZipOutputStream; import static org.junit.jupiter.api.Assertions.assertEquals; import static org.junit.jupiter.api.Assertions.assertFalse; +import static org.junit.jupiter.api.Assertions.assertNotNull; import static org.junit.jupiter.api.Assertions.assertNotSame; import static org.junit.jupiter.api.Assertions.assertNull; import static org.junit.jupiter.api.Assertions.assertSame; @@ -23,7 +24,7 @@ import static org.junit.jupiter.api.Assertions.assertTrue; /** * Юниты {@link HiddenTextNormalizer}: вырезание ранов с truthy * {@code w:vanish} (прямой и стилевой по цепочке {@code w:basedOn}, - * Part 1 §17.3.2.30 / §17.18.69). + * Part 1 §17.3.2.41; ST_OnOff §22.9.2.7). */ class HiddenTextNormalizerTest { @@ -48,7 +49,23 @@ class HiddenTextNormalizerTest { assertTrue(fixed.contains("ВИДИМОЕ"), fixed); } - /** val="false" — ран остаётся (ST_OnOff §17.18.69). */ + /** Явный val="false" перекрывает стилевой vanish — ран остаётся (§17.7.3). */ + @Test + void directFalseOverridesStyleVanish_kept() { + String xml = para(run("", "ЯВНО")); + assertNull(HiddenTextNormalizer.rewrite(Set.of("Hidden"), xml)); + } + + /** Стилевой vanish без прямого перекрытия — ран вырезан (контроль пары). */ + @Test + void styleVanishWithoutDirect_removed() { + String xml = para(run("", "СКРЫТО")); + String fixed = HiddenTextNormalizer.rewrite(Set.of("Hidden"), xml); + assertNotNull(fixed, "ран должен быть вырезан"); + assertFalse(fixed.contains("СКРЫТО"), fixed); + } + + /** val="false" — ран остаётся (ST_OnOff §22.9.2.7). */ @Test void vanishValFalse_kept() { String xml = para(run("", "НЕТАЙНОЕ")); diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/RubyNormalizerTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/RubyNormalizerTest.java index d38e505..7a65f7b 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/RubyNormalizerTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/RubyNormalizerTest.java @@ -17,9 +17,9 @@ import static org.junit.jupiter.api.Assertions.assertSame; import static org.junit.jupiter.api.Assertions.assertTrue; /** - * Юниты правила 10: разворот {@code w:rubyBase}/{@code w:rubyBaseText}, - * вырезание {@code w:rt}/{@code w:rubyPr}/{@code w:rubyAlign} - * (Part 1 §17.3.3.18/.19/.20/.21). + * Юниты правила 10: разворот {@code w:rubyBase}, снятие обёртки + * {@code w:ruby}, вырезание {@code w:rt}/{@code w:rubyPr}/{@code w:rubyAlign} + * (Part 1 §17.3.3.24–.28). */ class RubyNormalizerTest { @@ -35,11 +35,15 @@ class RubyNormalizerTest { assertEquals("Б", RubyNormalizer.rewrite(xml)); } + /** Схемно-валидная разметка: обёртка {@code w:ruby} снимается, база разворачивается. */ @Test - void rubyBaseText_unwrapped() { - String xml = "Т" - + ""; - assertEquals("Т", RubyNormalizer.rewrite(xml)); + void validRuby_wrapperStripped() { + String xml = "А" + + "Б"; + String out = RubyNormalizer.rewrite(xml); + assertFalse(out.contains("Б", out); } @Test diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizerTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizerTest.java index a801220..989e622 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizerTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizerTest.java @@ -263,7 +263,7 @@ class StrictOoxmlNormalizerTest { } /** - * w:pgNumType/@w:start — старт нумерации страниц (Part 1 §17.13.7), + * w:pgNumType/@w:start — старт нумерации страниц (Part 1 §17.6.12), * одинаков в strict и transitional — атрибутому renaming не подлежит * (раньше превращался в w:left, и сброс нумерации терялся — регрессия * WordPdfConverterTest#docClassD_pageNumberRestartLowerRoman). @@ -317,7 +317,8 @@ class StrictOoxmlNormalizerTest { assertTrue(r.contains(""), r); } - /** А w:tab val="start" правится всегда: STTabJc docx4j 17.3.2 — только left/right. */ + /** А w:tab val="start" правится всегда: enum STTabJc docx4j 17.3.2 — без + * start/end (спека ST_TabJc §17.18.84 их содержит, JAXB-enum не принимает). */ @Test void tabStartRenamedTransitional() { String r = StrictOoxmlNormalizer.rewrite( diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizerTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizerTest.java index fc56820..d5ec6f7 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizerTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizerTest.java @@ -283,26 +283,43 @@ class SymbolFontNormalizerTest { * слот без маппинга — элемент удаляется, соседний текст сохраняется. */ @Test void unresolvableSymElementDropped() { + // без w:char — элемент невалиден, удаляется String noChar = SymbolFontNormalizer.rewrite( "a"); assertNotNull(noChar); - assertFalse(noChar.contains("a"), "текст потерян: " + noChar); + // валидный w:sym без шрифта/мапа — сохраняется verbatim (§17.3.3.30) String noFontNoMap = SymbolFontNormalizer.rewrite( "a"); assertNotNull(noFontNoMap); - assertFalse(noFontNoMap.contains("a"); - assertNotNull(asciiChar); - assertFalse(asciiChar.contains(""), + "валидный w:sym удалён: " + noFontNoMap); + // слот 0 таблицы (нет соответствия) — тоже сохраняется String unmappedChar = SymbolFontNormalizer.rewrite( "a"); assertNotNull(unmappedChar); - assertFalse(unmappedChar.contains("a"); + assertNotNull(asciiChar); + assertFalse(asciiChar.contains(""); + assertNotNull(out); + assertTrue(out.contains("\u0391"), "нет Α (U+0391): " + out); + assertTrue(out.contains("DejaVu Sans"), out); + assertFalse(out.contains("" + + "", GRID_6000)); + assertNull(TableIndentNormalizer.rewrite(xml), + "парный tblInd: вставка дала бы дубль (maxOccurs=1) — не трогаем"); + } + + /** tblInd без w:type — по умолчанию dxa (§17.4.87): (9922−6000)/2+720 = 2681. */ + @Test + void centerWithIndentNoType_treatedAsDxa() { + String xml = doc(table("" + + "", GRID_6000)); + String fixed = TableIndentNormalizer.rewrite(xml); + assertTrue(fixed != null && fixed.contains("" + + "", GRID_6000)); + assertNull(TableIndentNormalizer.rewrite(xml)); + } + + /** tblInd без w:w — величина неизвестна, свёртку пропускаем. */ + @Test + void indentWithoutWidth_skipped() { + String xml = doc(table("" + + "", GRID_6000)); + assertNull(TableIndentNormalizer.rewrite(xml)); + } + /** right + tblInd 720: (9922−6000)+720 = 4642. */ @Test void rightWithIndent_rewritten() { @@ -256,16 +290,6 @@ class TableIndentNormalizerTest { "собственная полоса 9922, не внешний band: " + fixed); } - /** strict-pgMar (w:start/w:end) — band считается, а не берётся из дефолтов. */ - @Test - void bandOf_strictStartEndFields() { - String xml = "" - + "" - + "" - + ""; - assertEquals(9922, TableIndentNormalizer.bandOf(xml)); - } - /** bandOf: несколько body-level sectPr — полоса неоднозначна (−1). */ @Test void bandOf_ambiguous_returnsMinusOne() { diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/CfbReaderTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/CfbReaderTest.java index 0861f03..a34d477 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/CfbReaderTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/CfbReaderTest.java @@ -43,7 +43,7 @@ class CfbReaderTest { // mini stream + MiniFAT ByteArrayOutputStream mini = new ByteArrayOutputStream(); int[] miniHead = new int[small.size()]; - int[] miniFat = new int[64]; + int[] miniFat = new int[128]; // один сектор MiniFAT: до 128 mini-секторов for (int i = 0; i < miniFat.length; i++) { miniFat[i] = (int) FREE; } @@ -62,16 +62,21 @@ class CfbReaderTest { miniSects += n; } boolean hasMini = !small.isEmpty(); + // mini stream занимает ceil(size/512) FAT-секторов — root-цепочка + int rootSects = hasMini ? Math.max(1, (mini.size() + SECTOR - 1) / SECTOR) : 0; int miniStart = hasMini ? 3 : -1; - int bigStart = hasMini ? 3 + miniSects : 2; - int[] fat = new int[128]; + int bigStart = hasMini ? 3 + rootSects : 2; + int[] fat = new int[Math.max(128, bigStart)]; for (int i = 0; i < fat.length; i++) { fat[i] = (int) FREE; } fat[0] = (int) FATSECT; fat[1] = (int) END; if (hasMini) { - fat[2] = (int) END; + fat[2] = (int) END; // один сектор MiniFAT + for (int k = 0; k < rootSects; k++) { + fat[miniStart + k] = k == rootSects - 1 ? (int) END : miniStart + k + 1; + } } int next = bigStart; int[] bigHead = new int[big.size()]; @@ -89,6 +94,7 @@ class CfbReaderTest { byte[] file = new byte[SECTOR * (1 + sectorTotal)]; // заголовок (§2.2) System.arraycopy(CfbReader.SIGNATURE, 0, file, 0, 8); + put16(file, 0x1C, 0xFFFE); // byteOrder (MUST, §2.2) put16(file, 0x1E, 9); // sectorShift put16(file, 0x20, 6); // miniSectorShift put32(file, 0x30, 1); // firstDir @@ -182,12 +188,44 @@ class CfbReaderTest { () -> CfbReader.readStreams(badSector)); assertSame(ConversionException.class, ex.getClass()); byte[] badMini = build(); - put16(badMini, 0x20, 17); // mini shift за потолком + put16(badMini, 0x20, 17); // mini shift ≠ 6 (§2.2 MUST) ex = assertThrows(ConversionException.class, () -> CfbReader.readStreams(badMini)); assertSame(ConversionException.class, ex.getClass()); } + /** + * MUST-поля заголовка ([MS-CFB] §2.2): ByteOrder 0xFFFE, Mini Sector + * Shift 6, Mini Stream Cutoff 0x1000 — неравенство даёт отказ вместо + * разбора мусора. + */ + @Test + void mustHeaderFields_rejected() { + byte[] badOrder = build(); + put16(badOrder, 0x1C, 0x00FF); + assertThrows(ConversionException.class, () -> CfbReader.readStreams(badOrder)); + byte[] badMini5 = build(); + put16(badMini5, 0x20, 5); // раньше проходил («под потолком 16») + assertThrows(ConversionException.class, () -> CfbReader.readStreams(badMini5)); + byte[] badCutoff = build(); + put32(badCutoff, 0x38, 512); + assertThrows(ConversionException.class, () -> CfbReader.readStreams(badCutoff)); + } + + /** + * Бюджет аллокаций учитывает только big-потоки: данные всех mini-потоков + * физически лежат внутри rootSize (§2.1/§2.4 — mini stream), двойной + * учёт мини-контейнера раньше отвергал валидный контейнер из одних + * мелких потоков («Суммарный размер потоков … больше лимита»). + */ + @Test + void allMiniStreams_notFalseRejected() { + byte[] f = build(new Spec("A", new byte[4000]), new Spec("B", new byte[4000])); + Map streams = CfbReader.readStreams(f); + assertEquals(4000, streams.get("A").length); + assertEquals(4000, streams.get("B").length); + } + /** * OOM-атака .doc: объявленный размер root-потока (mini stream) больше * контейнера — отказ ДО аллокации (первая строка readChain — @@ -260,6 +298,15 @@ class CfbReaderTest { assertSame(ConversionException.class, ex.getClass()); } + @Test + void difatSectorFarBeyondFile_rejected() { + byte[] file = build(new Spec("WordDocument", "abc".getBytes())); + put32(file, 0x4C, 0x400000); // (0x400000+1)·512 > Integer.MAX_VALUE + ConversionException ex = assertThrows(ConversionException.class, + () -> CfbReader.readStreams(file)); + assertTrue(ex.getMessage().contains("за концом файла"), ex.getMessage()); + } + @Test void difatTooManyFatSectors_rejected() { byte[] file = build(); @@ -304,6 +351,7 @@ class CfbReaderTest { ConversionException ex = assertThrows(ConversionException.class, () -> CfbReader.readStreams(file)); assertSame(ConversionException.class, ex.getClass()); + assertTrue(ex.getMessage().contains("за концом FAT"), ex.getMessage()); } @Test @@ -382,6 +430,7 @@ class CfbReaderTest { ConversionException ex = assertThrows(ConversionException.class, () -> CfbReader.readStreams(file)); assertSame(ConversionException.class, ex.getClass()); + assertTrue(ex.getMessage().contains("за концом FAT"), ex.getMessage()); } private static void put16(byte[] b, int off, int v) { diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/ChpxIndexTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/ChpxIndexTest.java index 6a5b76e..ca4fcc7 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/ChpxIndexTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/ChpxIndexTest.java @@ -62,6 +62,17 @@ class ChpxIndexTest { ex = assertThrows(ConversionException.class, () -> ChpxIndex.read(t, 0, t.length + 1, wd)); // за таблицей assertSame(ConversionException.class, ex.getClass()); + ex = assertThrows(ConversionException.class, + () -> ChpxIndex.read(t, -4, 12, wd)); // отрицательный fcBte + assertSame(ConversionException.class, ex.getClass()); + } + + /** fc раньше первого диапазона — свойства не найдены, граница = fcLimit. */ + @Test + void fcBeforeFirstRange_defaults() { + ChpxIndex idx = ChpxIndex.read(table(2), 0, 12, wordDocument(5, 3, GRPRL)); + assertArrayEquals(new byte[0], idx.grpprlFor(1024)); + assertEquals(999, idx.rangeEnd(1024, 999)); } @Test @@ -95,9 +106,12 @@ class ChpxIndexTest { + "WordPdfConverterTest#docClassD_landscapeHiddenDelCaps)"); byte[] cbZero = wordDocument(5, 0, GRPRL); - assertArrayEquals(new byte[0], - ChpxIndex.read(table(2), 0, 12, cbZero).grpprlFor(2048), + ChpxIndex cbZeroIdx = ChpxIndex.read(table(2), 0, 12, cbZero); + assertArrayEquals(new byte[0], cbZeroIdx.grpprlFor(2048), "cb=0 — свойств нет"); + assertEquals(2100, cbZeroIdx.rangeEnd(2048, Long.MAX_VALUE >>> 1), + "Chpx с cb=0 (§2.9.33 «there is no Chpx») — граница диапазона " + + "валидна и сохраняется"); } @Test diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/DocToDocxFormattingTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/DocToDocxFormattingTest.java index f8b449d..0688457 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/DocToDocxFormattingTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/DocToDocxFormattingTest.java @@ -58,7 +58,8 @@ class DocToDocxFormattingTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); // fWhichTblStm → 1Table - put16(wd, 62, 4); // cslw + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); // cbMac put32(wd, 76, TEXT.length()); // ccpText put16(wd, 152, 98); // cbRgFcLcb @@ -394,6 +395,100 @@ class DocToDocxFormattingTest { } } + /** + * WordDocument для двухbucket'ного PlcBtePapx (§2.8.6): страница 3 — + * только p1..p8 (rgfc кончается на 2138 = начало p9), p9 «jc80» — на + * странице 5 (rgfc [2138, 2148), тот же grpprl 80-отступов); границы + * bucket'ов [2048, 2140) + [2140, 2148) — aFc[1] внутри p9. Пары Fib и + * раскладка 1Table сдвинуты ({@link #tableStreamTwoBuckets()}). + */ + private static byte[] wordDocumentTwoBuckets() { + byte[] wd = java.util.Arrays.copyOf(wordDocument(), 3072); // pn=5 свободен + put32(wd, 64, wd.length); // cbMac + pair(wd, 1, 190, STSH.length); + pair(wd, 13, 32, 20); // PlcfBtePapx: 2 bucket'а + pair(wd, 15, 52, 110); // SttbfFfn (+8) + pair(wd, 33, 168, 21); // Clx (+8) + // страница 3: обрезаем p9 — cpara=8, rgfc[8]=2138 остаётся концом, + // массив BxPap сдвигается на (8+1)*4 + wd[3 * 512 + 511] = 8; + int[] bx8 = {87, 94, 0, 103, 106, 112, 117, 186}; + for (int i = 0; i < bx8.length; i++) { + wd[3 * 512 + 36 + i * 13] = (byte) bx8[i]; + } + // страница 5: p9 [2138, 2148) с grpprl 80-отступов (как p9 на стр.3) + int page = 5 * 512; + put32(wd, page, 2138); + put32(wd, page + 4, 2148); + wd[page + 8] = 40; // rgbx[0].bOffset + wd[page + 511] = 1; // cpara + papxEntry(wd, page, 40, 0, + concat(prl(0x2403, 4), prl2(0x840F, 600), prl2(0x8411, -240))); + return wd; + } + + /** 1Table для {@link #wordDocumentTwoBuckets()}: PlcBtePapx из 2 bucket'ов. */ + private static byte[] tableStreamTwoBuckets() { + byte[] t = new byte[190 + STSH.length]; + put32(t, 0, 0); + put32(t, 4, TEXT.length()); + put32(t, 20, TEXT_FC); + put32(t, 24, TEXT_FC + 100); + put32(t, 28, 2); + // PlcfBtePapx @32: bucket'ы [2048,2140)→pn3, [2140,2148)→pn5 + put32(t, 32, 2048); + put32(t, 36, 2140); + put32(t, 40, 2148); + put32(t, 44, 3); + put32(t, 48, 5); + // SttbfFfn @52: Arial, T&imes (вторая запись: 56+1+cch₁=108) + t[52] = 2; + t[56] = 51; + byte[] arial = "Arial\0".getBytes(StandardCharsets.UTF_16LE); + System.arraycopy(arial, 0, t, 96, arial.length); + t[108] = 53; + byte[] times = "T&imes\0".getBytes(StandardCharsets.UTF_16LE); + System.arraycopy(times, 0, t, 148, times.length); + // Clx @168: Pcdt, один несжатый кусок + t[168] = 0x02; + put32(t, 169, 16); + put32(t, 173, 0); + put32(t, 177, TEXT.length()); + put32(t, 183, TEXT_FC); + System.arraycopy(STSH, 0, t, 190, STSH.length); + return t; + } + + private static byte[] cfbTwoBuckets() throws IOException { + try (POIFSFileSystem fs = new POIFSFileSystem()) { + fs.getRoot().createDocument("WordDocument", + new ByteArrayInputStream(wordDocumentTwoBuckets())); + fs.getRoot().createDocument("1Table", + new ByteArrayInputStream(tableStreamTwoBuckets())); + fs.getRoot().createDocument("Data", new ByteArrayInputStream(new byte[64])); + ByteArrayOutputStream out = new ByteArrayOutputStream(); + fs.writeFilesystem(out); + return out.toByteArray(); + } + } + + /** + * Регрессия 2.5: граница bucket'а PlcBtePapx внутри абзаца p9 — предыдущая + * PapxFkp-страница кончается раньше первого FC p9, следующая начинается + * позже. По §2.8.6/§2.4.6.1 свойства абзаца определяются его ПОСЛЕДНИМ + * символом (маркером) — PAPX p9 находится: jc80→both и w:left=600 на месте. + */ + @Test + void papxBucketBoundary_insideParagraph_propsKept() throws IOException { + String xml = documentXml(cfbTwoBuckets()); + int at = xml.indexOf(">jc80<"); + assertTrue(at > 0, "абзац jc80 на месте: " + xml); + String p = xml.substring(xml.lastIndexOf("", at), at); + assertTrue(p.contains(""), + "PAPX p9 из второго bucket'а не потерян: " + p); + assertTrue(p.contains("w:left=\"600\""), "w:ind не потерян: " + p); + } + private static String documentXml(byte[] doc) throws IOException { return partXml(doc, DOCUMENT_XML); } @@ -428,7 +523,8 @@ class DocToDocxFormattingTest { assertTrue(xml.contains(""), xml); assertTrue(xml.contains(""), xml); assertTrue(xml.contains("w:ascii=\"Arial\" w:hAnsi=\"Arial\""), xml); - assertTrue(xml.contains("w:cs=\"T&imes\""), "escapeAttr имени шрифта: " + xml); + assertTrue(xml.contains("w:eastAsia=\"T&imes\""), + "ftc1 → w:eastAsia, escapeAttr имени шрифта: " + xml); assertTrue(xml.contains("Bold&<>"), "escape текста: " + xml); } @@ -586,7 +682,8 @@ class DocToDocxFormattingTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, 4); // ccpText put32(wd, 80, 0); // ccpFtn @@ -601,7 +698,9 @@ class DocToDocxFormattingTest { System.arraycopy(t, 0, wd, TEXT_FC, t.length); // PapxFkp pn=3: p1 istd=11 (без Prl), footer-абзац istd=10 int page = 3 * 512; - int[] rgfc = {TEXT_FC, TEXT_FC + 2, TEXT_FC + 26, TEXT_FC + 28, + // rgfc — началА абзацев (возрастающие границы ¶-блоков, §2.9.174): + // «one\r» [0,4), ¶-блок [4,13), «ft\r» [13,16), guard [16,18) + int[] rgfc = {TEXT_FC, TEXT_FC + 8, TEXT_FC + 26, TEXT_FC + 32, TEXT_FC + 2 * text.length()}; for (int i = 0; i < rgfc.length; i++) { put32(wd, page + i * 4, rgfc[i]); @@ -688,7 +787,8 @@ class DocToDocxFormattingTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, text.length()); put16(wd, 152, 98); @@ -779,7 +879,8 @@ class DocToDocxFormattingTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, text.length()); put16(wd, 152, 98); @@ -896,7 +997,8 @@ class DocToDocxFormattingTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, text.length()); put16(wd, 152, 98); @@ -988,7 +1090,8 @@ class DocToDocxFormattingTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, text.length()); put16(wd, 152, 98); @@ -1205,7 +1308,8 @@ class DocToDocxFormattingTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, 6); // ccpText put32(wd, 80, 0); // ccpFtn @@ -1344,7 +1448,8 @@ class DocToDocxFormattingTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, 4); // ccpText put16(wd, 152, 98); @@ -1401,7 +1506,8 @@ class DocToDocxFormattingTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, 2); // ccpText put32(wd, 80, 0); // ccpFtn @@ -1487,7 +1593,8 @@ class DocToDocxFormattingTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); // fWhichTblStm → 1Table - put16(wd, 62, 4); // cslw + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); // cbMac put32(wd, 76, text.length()); // ccpText put16(wd, 152, 98); // cbRgFcLcb @@ -1701,7 +1808,8 @@ class DocToDocxFormattingTest { put16(wd, 0, 0xA5EC); put16(wd, 2, 0x00C1); put16(wd, 10, 1 << 9); - put16(wd, 62, 4); // cslw (FibHeader guard) + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 64, wd.length); put32(wd, 76, text.length()); put16(wd, 152, 98); @@ -1813,9 +1921,12 @@ class DocToDocxFormattingTest { assertFalse(xml.contains("Hide"), "скрытый текст утёк в вывод: " + xml); assertTrue(xml.contains(">CAPS<"), "sprmCFCaps → верхний регистр: " + xml); assertTrue(xml.contains(">LOW<"), "sprmCFSmallCaps → верхний регистр: " + xml); - assertTrue(xml.contains("Del" - + ""), "sprmCFRMarkDel: " + xml); - assertTrue(xml.contains("Ins" + assertTrue(xml.contains("" + + "Del" + + ""), + "sprmCFRMarkDel, CT_TrackChange w:id+w:author обязательны: " + xml); + assertTrue(xml.contains("" + + "Ins" + ""), "sprmCFRMarkIns: " + xml); } @@ -1907,7 +2018,7 @@ class DocToDocxFormattingTest { assertFalse(xml.contains(">> 8), 6, @@ -1915,7 +2026,7 @@ class DocToDocxFormattingTest { (byte) wWidth, (byte) (wWidth >>> 8)}; } - /** SHDOperand (§2.9.177): cb=10 + cvFore(4) + cvBack(4) + ipat(2), COLORREF R-first. */ + /** SHDOperand (§2.9.249): cb=10 + cvFore(4) + cvBack(4) + ipat(2), COLORREF R-first. */ private static byte[] shd10(int sprm, int[] fore, int[] back, int ipat) { byte[] op = new byte[3 + 10]; op[0] = (byte) (sprm & 0xFF); @@ -1994,13 +2105,13 @@ class DocToDocxFormattingTest { } /** - * sprmCIstd: chpx-цепочка символьного стиля (stk=3) между стилевой + * sprmCIstd: chpx-цепочка символьного стиля (stk=2) между стилевой * papx-цепочкой и прямыми CHPX; прямые перекрывают стиль (last-wins). */ @Test void charStyle_viaIstd_mergesUnderDirect() throws IOException { - // стиль istd=10 (stk=3): синий + underline; ран: istd + прямой cv=red - byte[] style = std(65, 3, 0x0FFF, 1, null, + // стиль istd=10 (stk=2): синий + underline; ран: istd + прямой cv=red + byte[] style = std(65, 2, 0x0FFF, 1, null, concat(new byte[] {0x70, 0x68, 0, 0, (byte) 0xFF, 0}, prl(0x2A3E, 1))); byte[] stsh = new byte[2 + 18 + 10 * 2 + 2 + style.length]; put16(stsh, 0, 18); // cbStshi @@ -2023,6 +2134,41 @@ class DocToDocxFormattingTest { assertFalse(xml.contains(""), + "прямой bold до sprmCIstd обязан быть сброшен: " + xml); + assertTrue(xml.contains(""), + "highlight из preserv-list потерян: " + xml); + assertTrue(xml.contains(""), "italic после sprmCIstd потерян: " + xml); + assertTrue(xml.contains(""), + "underline из символьного стиля потерян: " + xml); + } + /** * sprmTCellPaddingDefault/…CellPadding → w:tcMar ячеек: Default — весь * ряд, диапазонный — свои ячейки; порядок детей CT_TcMar top→left (§17.4.66). diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/FibHeaderTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/FibHeaderTest.java index ee3db08..51480e2 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/FibHeaderTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/FibHeaderTest.java @@ -22,7 +22,8 @@ class FibHeaderTest { put16(wd, 0, 0xA5EC); // wIdent put16(wd, 2, 0x00C1); // nFib = Word 97 put16(wd, 10, flags); // grpprl FIB - put16(wd, 62, 4); // cslw + put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1) + put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1) put32(wd, 76, 10); // ccpText put32(wd, 152, 98); // cbRgFcLcb return wd; @@ -37,6 +38,21 @@ class FibHeaderTest { assertFalse(f0.use1Table()); } + /** WordDocument ровно 154 байта: cbRgFcLcb — u16@152 (§2.5.1), u32 читал бы за массив. */ + @Test + void blobEndAtBoundary_rejectedNotCrash() { + byte[] wd = new byte[154]; + put16(wd, 0, 0xA5EC); + put16(wd, 2, 0x00C1); + put16(wd, 10, 1 << 9); + put16(wd, 32, 14); + put16(wd, 62, 22); + put32(wd, 76, 10); + ConversionException ex = assertThrows(ConversionException.class, + () -> FibHeader.read(wd)); + assertSame(ConversionException.class, ex.getClass()); + } + @Test void tooShort_rejected() { ConversionException ex = assertThrows(ConversionException.class, @@ -83,6 +99,28 @@ class FibHeaderTest { assertTrue(ex.getMessage().contains("Обрезанный FIB"), ex.getMessage()); } + /** §2.5.1 Fib: csw «MUST be 0x000E» — любое другое значение = отказ. */ + @Test + void badCsw_rejected() { + byte[] wd = fib(1 << 9); + put16(wd, 32, 15); + assertThrows(ConversionException.class, () -> FibHeader.read(wd)); + } + + /** + * Старый FIB короче 98 пар: пары с индексом ≥ cbRgFcLcb отсутствуют + * (fc=0/lcb=0), а не читают за blob — списки просто «нет». + */ + @Test + void shortPairBlob_absentPairsZero() { + byte[] wd = fib(1 << 9); + put32(wd, 152, 34); // CLX — последняя объявленная пара (индекс 33) + FibHeader f = FibHeader.read(wd); + assertEquals(0, f.fcPlfLst()); + assertEquals(0, f.lcbPlfLst()); + assertEquals(0, f.fcPlfLfo()); + } + @Test void negativeCcpText_rejected() { byte[] wd = fib(1 << 9); diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/GrpprlTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/GrpprlTest.java index 0758a21..3a85536 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/GrpprlTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/GrpprlTest.java @@ -2,6 +2,7 @@ package ru.pjandro.wordpdf.internal.doc; import static org.junit.jupiter.api.Assertions.assertEquals; import static org.junit.jupiter.api.Assertions.assertFalse; +import static org.junit.jupiter.api.Assertions.assertNull; import static org.junit.jupiter.api.Assertions.assertTrue; import java.util.ArrayList; @@ -117,10 +118,53 @@ class GrpprlTest { assertEquals(0xCDAB1234, Grpprl.operandInt(buf, 0, 5), "длиннее 4 — обрезается"); } + /** ToggleOperand §2.9.327: 0x00 off, 0x01 on, 0x80 = стилевое, 0x81 = инверсия. */ @Test - void toggleOn_parity() { - assertTrue(Grpprl.toggleOn(new byte[] {1}, 0)); - assertFalse(Grpprl.toggleOn(new byte[] {2}, 0)); + void toggle_fourOperands() { + assertFalse(Grpprl.toggle(true, (byte) 0x00)); + assertTrue(Grpprl.toggle(false, (byte) 0x01)); + assertTrue(Grpprl.toggle(true, (byte) 0x80), "0x80 — значение стиля"); + assertFalse(Grpprl.toggle(false, (byte) 0x80)); + assertFalse(Grpprl.toggle(true, (byte) 0x81), "0x81 — инверсия стилевого"); + assertTrue(Grpprl.toggle(false, (byte) 0x81)); + assertTrue(Grpprl.toggle(true, (byte) 0x7F), "вне перечисления — current"); + } + + /** Kul (§2.9.127) → ST_Underline: 0 — null, известный — имя, прочий ≠0 — single. */ + @Test + void underlineVal_mapping() { + assertNull(Grpprl.underlineVal(0x00)); + assertEquals("single", Grpprl.underlineVal(0x01)); + assertEquals("words", Grpprl.underlineVal(0x02)); + assertEquals("double", Grpprl.underlineVal(0x03)); + assertEquals("dotted", Grpprl.underlineVal(0x04)); + assertEquals("thick", Grpprl.underlineVal(0x06)); + assertEquals("dash", Grpprl.underlineVal(0x07)); + assertEquals("dotDash", Grpprl.underlineVal(0x09)); + assertEquals("dotDotDash", Grpprl.underlineVal(0x0A)); + assertEquals("wave", Grpprl.underlineVal(0x0B)); + assertEquals("dottedHeavy", Grpprl.underlineVal(0x14)); + assertEquals("dashedHeavy", Grpprl.underlineVal(0x17)); + assertEquals("dashDotHeavy", Grpprl.underlineVal(0x19)); + assertEquals("dashDotDotHeavy", Grpprl.underlineVal(0x1A)); + assertEquals("wavyHeavy", Grpprl.underlineVal(0x1B)); + assertEquals("dashLong", Grpprl.underlineVal(0x27)); + assertEquals("wavyDouble", Grpprl.underlineVal(0x2B)); + assertEquals("dashLongHeavy", Grpprl.underlineVal(0x37)); + assertEquals("single", Grpprl.underlineVal(0x77), "нераспознанный — single"); + } + + /** XAS-операнды отступов — со знаком (§2.9.349): 0xFD30 = −720. */ + @Test + void indents_signedXas() { + byte[] neg = { + (byte) 0x5E, (byte) 0x84, 0x30, (byte) 0xFD, // dxaLeft = −720 + (byte) 0x5D, (byte) 0x84, 0x30, (byte) 0xFD, // dxaRight = −720 + }; + Grpprl.Indents ind = new Grpprl.Indents(); + Grpprl.scan(neg, 0, neg.length, ind::prl); + assertEquals(-720, ind.left(), "dxaLeft — знаковый XAS"); + assertEquals(-720, ind.right(), "dxaRight — знаковый XAS"); } @Test diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/ListsTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/ListsTest.java index 3a621d9..be13809 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/ListsTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/ListsTest.java @@ -65,7 +65,7 @@ class ListsTest { return concat(u32(1), lfo, u32(0xFFFFFFFFL), lfoData); } - /** SttbfFfn (§2.9.147 FontTable) с одним семейством на индексе ftc. */ + /** SttbfFfn (§2.9.286) с одним семейством на индексе ftc. */ private static FontTable fonts(String... names) { ByteArrayOutputStream out = new ByteArrayOutputStream(); byte[] header = new byte[4]; @@ -309,6 +309,52 @@ class ListsTest { .hasNumbering()); } + /** + * Обрыв LFOData на первом LFO (mac=3): элементы после точки обрыва + * остаются null — {@code hasNum} даёт false, {@code numberingXml} не + * бросает NPE (контракт javadoc: неполный результат без исключения). + */ + @Test + void lfoDataTruncatedMidArray_hasNumFalseNoNpe() { + byte[] lfos = concat(u32(3), + lfoRecord(100, 1), lfoRecord(101, 1), lfoRecord(102, 1), + u32(0)); // только cp первого — обрыв до LFOLVL + byte[] head = plfLst(lstf(100, true), lstf(101, true), lstf(102, true)); + byte[] lvls = concat(plainLvl(0), plainLvl(0), plainLvl(0)); + byte[] table = concat(head, lvls, lfos); + Lists lists = Lists.read(table, 0, head.length, + head.length + lvls.length, lfos.length, fonts()); + assertTrue(lists.hasNum(1), "первый LFO разобран до обрыва"); + assertFalse(lists.hasNum(2), "null LFO — нет номера, не NPE"); + assertFalse(lists.hasNum(3)); + String xml = lists.numberingXml(); + assertFalse(xml.contains("numId=\"2\""), xml); + assertFalse(xml.contains("numId=\"3\""), xml); + } + + /** LFOData за пределами lcbPlfLfo — не парсится (§2.5.6: lcb покрывает LFOData). */ + @Test + void lfoDataBeyondLcb_notParsed() { + byte[] data = lfoLvl(0, true, 7, false, null); + byte[] full = plfLfo(100, 1, data); + byte[] head = plfLst(lstf(100, true)); + byte[] lvls = plainLvl(0); + // lcb = только заголовок PlfLfo (4+16); LFOLVL лежит «за» ним в потоке + byte[] table = concat(head, lvls, full); + Lists lists = Lists.read(table, 0, head.length, + head.length + lvls.length, 20L, fonts()); + assertTrue(lists.hasNum(1)); + assertFalse(lists.numberingXml().contains("startOverride"), + lists.numberingXml()); + } + + private static byte[] lfoRecord(int lsid, int clfolvl) { + byte[] lfo = new byte[16]; + put32(lfo, 0, lsid); + lfo[12] = (byte) clfolvl; + return lfo; + } + @Test void lfoDataTruncated_keepsLfoWithoutOverrides() { // clfolvl=1, но LFOData обрывается на cp / первом LFOLVL diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/OfficeArtTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/OfficeArtTest.java index 8150b08..a1337cf 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/OfficeArtTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/OfficeArtTest.java @@ -49,8 +49,9 @@ class OfficeArtTest { @Test void jpegBlip_extracted() { + // [MS-ODRAW] §2.2.27: 0x46B = JPEG RGB с ДВУМЯ UID (данные после 32+1) byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xE0, 1, 2, 3}; - byte[] region = region(picf(100, 100, 1000, 1000), blip(0x46B, 0xF01D, 16, jpeg)); + byte[] region = region(picf(100, 100, 1000, 1000), blip(0x46B, 0xF01D, 32, jpeg)); OfficeArt.Picture pic = OfficeArt.read(region, 0, MAX_PX); assertNotNull(pic); assertEquals("jpg", pic.extension()); @@ -61,7 +62,7 @@ class OfficeArtTest { void jpegAltRecType_accepted() { // [MS-ODRAW] A.1: 0xF02A трактуется как 0xF01D byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, 1, 2}; - byte[] region = region(picf(100, 100, 1000, 1000), blip(0x46B, 0xF02A, 16, jpeg)); + byte[] region = region(picf(100, 100, 1000, 1000), blip(0x46B, 0xF02A, 32, jpeg)); assertNotNull(OfficeArt.read(region, 0, MAX_PX)); } @@ -75,6 +76,40 @@ class OfficeArtTest { } } + /** TIFF-BLIP (§2.2.30, 0xF029): passthrough без перекодировки. */ + @Test + void tiffBlip_passthrough() { + byte[] tiff = {'I', 'I', '*', 0, 8, 0, 0, 0, 1, 2, 3, 4}; + byte[] region = region(picf(100, 100, 1000, 1000), blip(0x6E4, 0xF029, 16, tiff)); + OfficeArt.Picture pic = OfficeArt.read(region, 0, MAX_PX); + assertNotNull(pic, "TIFF-BLIP обязан извлекаться как есть"); + assertEquals("tif", pic.extension()); + assertEquals("image/tiff", pic.contentType()); + assertArrayEquals(tiff, pic.data()); + } + + /** + * DIB 8 bpp с u16-палитрой из 16 записей (biClrUsed=16): dataOff обязан + * считаться по biClrUsed, а не по полному 2^8 — иначе пиксельные данные + * уезжают за конец и ImageIO возвращает null. + * Регрессия — OfficeArt#wrapAsBmp (biClrUsed, [MS-WMF] §2.2.2.8). + */ + @Test + void dib8bpp_clrUsedPalette_decoded() { + ByteBuffer buf = ByteBuffer.allocate(40 + 16 * 4 + 2 * 4).order(ByteOrder.LITTLE_ENDIAN); + buf.putInt(40).putInt(2).putInt(2).putShort((short) 1).putShort((short) 8) + .putInt(0).putInt(0).putInt(0).putInt(0).putInt(16).putInt(0); + for (int i = 0; i < 16; i++) { + buf.put((byte) (i * 16)).put((byte) (i * 8)).put((byte) i).put((byte) 0); + } + buf.put((byte) 0).put((byte) 1).put((byte) 0).put((byte) 0); + buf.put((byte) 1).put((byte) 0).put((byte) 0).put((byte) 0); + byte[] region = region(picf(100, 100, 1000, 1000), blip(0x7A8, 0xF01F, 16, buf.array())); + OfficeArt.Picture pic = OfficeArt.read(region, 0, MAX_PX); + assertNotNull(pic, "DIB 8bpp с biClrUsed=16 обязан декодироваться"); + assertEquals("png", pic.extension()); + } + @Test void pngSignatureRequired() { byte[] region = region(picf(100, 100, 1000, 1000), diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/PapxIndexTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/PapxIndexTest.java index 6d754ec..e3bf874 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/PapxIndexTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/PapxIndexTest.java @@ -9,7 +9,7 @@ import org.junit.jupiter.api.Test; import ru.pjandro.wordpdf.ConversionException; /** - * Юниты {@link PapxIndex} ([MS-DOC] §2.4.6.1, §2.9.16/.175): крафтовый + * Юниты {@link PapxIndex} ([MS-DOC] §2.4.6.1, §2.9.174/.175): крафтовый * PlcfBtePapx + PapxFkp — обе формы PapxInFkp (cb≠0 и cb=0→cb'), пропуски * и {@code countPageBreakBefore}. */ @@ -77,6 +77,19 @@ class PapxIndexTest { ex = assertThrows(ConversionException.class, () -> PapxIndex.read(t, 0, 13, wd)); assertSame(ConversionException.class, ex.getClass()); + ex = assertThrows(ConversionException.class, + () -> PapxIndex.read(t, -4, 12, wd)); // отрицательный fcBte + assertSame(ConversionException.class, ex.getClass()); + } + + /** Вырожденный rgfc (конец ≤ начало, §2.4.6.1) — запись пропускается. */ + @Test + void degenerateRgfc_skipped() { + byte[] wd = wordDocument(11, false, 3, GRPRL_PB); + put32(wd, 2 * 512 + 4, 2048); // rgfc[1] = rgfc[0] + PapxIndex idx = PapxIndex.read(table(2), 0, 12, wd); + assertArrayEquals(new byte[0], idx.grpprlFor(2048)); + assertEquals(0, idx.countPageBreakBefore()); } @Test @@ -93,7 +106,7 @@ class PapxIndexTest { ConversionException ex = assertThrows(ConversionException.class, () -> PapxIndex.read(table(2), 0, 12, wd)); assertSame(ConversionException.class, ex.getClass()); - wd[2 * 512 + 511] = 0x61; + wd[2 * 512 + 511] = 0x1E; // > 0x1D — PapxFkp не влезает в 512 (§2.9.174) ex = assertThrows(ConversionException.class, () -> PapxIndex.read(table(2), 0, 12, wd)); assertSame(ConversionException.class, ex.getClass()); diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/PieceTableTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/PieceTableTest.java index b1854d4..8cc14f6 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/PieceTableTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/PieceTableTest.java @@ -36,12 +36,25 @@ class PieceTableTest { return new byte[] {(byte) v, (byte) (v >>> 8), (byte) (v >>> 16), (byte) (v >>> 24)}; } + /** aCP[0] < 0 (§2.8.35 «All CPs MUST be greater than or equal to zero»). */ + @Test + void negativeStartCp_rejected() throws Exception { + byte[] table = clxOnePiece(10, 0, false); + table[5] = (byte) 0xFF; // aCP[0] (u32 LE @5) = 0xFFFFFFFF → (int) −1 + table[6] = (byte) 0xFF; + table[7] = (byte) 0xFF; + table[8] = (byte) 0xFF; + ConversionException e = assertThrows(ConversionException.class, + () -> PieceTable.read(table, 0, table.length, new byte[64], 64)); + assertSame(ConversionException.class, e.getClass()); + } + @Test void uncompressedPieceBeyondWordDocument_rejected() throws Exception { byte[] table = clxOnePiece(10, 0, false); // 10 CP × 2 байта = 20 byte[] wordDocument = new byte[8]; ConversionException e = assertThrows(ConversionException.class, - () -> PieceTable.read(table, 0, table.length, wordDocument)); + () -> PieceTable.read(table, 0, table.length, wordDocument, wordDocument.length)); assertSame(ConversionException.class, e.getClass()); assertTrue(e.getMessage().contains("WordDocument")); } @@ -51,7 +64,7 @@ class PieceTableTest { byte[] table = clxOnePiece(10, 2 * 8, true); // сжатый: fc/2=8, span=10 > 8 byte[] wordDocument = new byte[8]; ConversionException e = assertThrows(ConversionException.class, - () -> PieceTable.read(table, 0, table.length, wordDocument)); + () -> PieceTable.read(table, 0, table.length, wordDocument, wordDocument.length)); assertSame(ConversionException.class, e.getClass()); } @@ -59,9 +72,34 @@ class PieceTableTest { void pieceWithinWordDocument_reads() throws Exception { byte[] table = clxOnePiece(2, 0, false); byte[] wordDocument = {'H', 0, 'i', 0}; - PieceTable pt = PieceTable.read(table, 0, table.length, wordDocument); + PieceTable pt = PieceTable.read(table, 0, table.length, wordDocument, wordDocument.length); assertEquals('H', pt.charAt(0)); assertEquals('i', pt.charAt(1)); assertEquals(2, pt.fcOf(1)); } + + /** §2.9.178: дубли в aCP («Duplicate values MUST NOT be present») = отказ. */ + @Test + void duplicateACp_rejected() throws Exception { + byte[] table = clxOnePiece(0, 0, false); // aCp = [0, 0] + byte[] wordDocument = {'H', 0}; + ConversionException e = assertThrows(ConversionException.class, + () -> PieceTable.read(table, 0, table.length, wordDocument, wordDocument.length)); + assertTrue(e.getMessage().contains("aCP"), e.getMessage()); + } + + /** + * §2.5.4 cbMac: байты WordDocument начиная с cbMac «MUST be ignored» — + * читаемая часть куска клампится, символы за cbMac дают 0 вместо чтения + * мусора. + * Регрессия — PieceTable#read (кламп по cbMac). + */ + @Test + void pieceBeyondCbMac_textIgnored() throws Exception { + byte[] table = clxOnePiece(2, 0, false); + byte[] wordDocument = {'H', 0, 'i', 0}; + PieceTable pt = PieceTable.read(table, 0, table.length, wordDocument, 2); + assertEquals('H', pt.charAt(0)); + assertEquals(0, pt.charAt(1), "символ за cbMac обязан игнорироваться"); + } } diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/PrcDataTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/PrcDataTest.java index 1df505b..6fe84bf 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/PrcDataTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/PrcDataTest.java @@ -34,34 +34,47 @@ class PrcDataTest { } @Test - void tablePropsChain_mergesKeepingTailAfterPointer() { + void tablePropsChain_stopsAfterPointer() { // PrcData[0] = [jc][→PrcData[1]][inTable]; PrcData[1] = [inTable]. - // Хвост после PTableProps СОХРАНЯЕТСЯ: spec (§2.6.2) велит его игнорировать, - // но Word пишет в нём легаси-зеркало (в ru-table-image.doc — единственный - // TDefTable), а TInsert из PrcData конвертер не читает → union. + // §2.6.2: после разворачивания PrcData дальнейшие Prl массива НЕ + // читаются — хвост [inTable] за указателем (легаси-зеркало) отброшен. DataStream d = data(at -> concat(prl(0x2461, 2), ptr(0x646B, at[1]), inTable()), at -> inTable()); - assertArrayEquals(concat(prl(0x2461, 2), inTable(), inTable()), + assertArrayEquals(concat(prl(0x2461, 2), inTable()), PrcData.resolve(d.bytes, ptr(0x6646, d.at[0]))); } @Test - void hugePapxInMultiPrlArray_othersKeptInPlace() { + void hugePapxNotFirst_ignoredOthersKept() { + // §2.6.2: HugePapx не первым в массиве — Prl игнорируется, + // цепочка не разворачивается, остальные Prl остаются DataStream d = data(at -> inTable()); - assertArrayEquals(concat(prl(0x2461, 2), inTable(), prl(0x2407, 1)), + assertArrayEquals(concat(prl(0x2461, 2), prl(0x2407, 1)), PrcData.resolve(d.bytes, concat(prl(0x2461, 2), ptr(0x6646, d.at[0]), prl(0x2407, 1)))); } @Test - void topLevelTableProps_expandsChainKeepsTail() { - // Ровная форма TTP-массива из ru-table-image.doc: PTableProps первым, - // легаси-зеркало (здесь — jc) после него; побеждает оба (union). + void topLevelTableProps_stopsAfterPointer() { + // Форма TTP-массива из ru-table-image.doc: PTableProps первым, + // легаси-зеркало (здесь — jc) после него. §2.6.2 — зеркало не + // потребляется: в выход идёт только содержимое цепочки. DataStream d = data(at -> inTable()); - assertArrayEquals(concat(inTable(), prl(0x2461, 2)), + assertArrayEquals(inTable(), PrcData.resolve(d.bytes, concat(ptr(0x646B, d.at[0]), prl(0x2461, 2)))); } + /** Appendix A <9>: TDefTable-зеркало за указателем переносится (сетка). */ + @Test + void tailTDefTableMirror_survivesStop() { + // хвост = [jc (отбрасывается), TDefTable-макет (переносится)]; + // операнд §2.9.321: cb=3 (2 Б LE) + 2 Б данных → весь Prl 6 Б + byte[] mirror = {0x08, (byte) 0xD6, 0x03, 0x00, (byte) 0xAA, (byte) 0xBB}; + DataStream d = data(at -> inTable()); + assertArrayEquals(concat(inTable(), mirror), PrcData.resolve(d.bytes, + concat(ptr(0x646B, d.at[0]), prl(0x2461, 2), mirror))); + } + @Test void pointerBeyondData_keepsForeignPrlsStops() { assertArrayEquals(prl(0x2461, 2), @@ -98,8 +111,9 @@ class PrcDataTest { void cycleStopsWithinHopBudget() { // PrcData[0] ↔ PrcData[1] — цикл через PTableProps; разбор обязан // остановиться (цепочка по spec обязана завершаться) без исключения. + // Указатель первым → развёрнут (пусто) → хвост [jc] не читается. DataStream d = data(at -> ptr(0x646B, at[1]), at -> ptr(0x646B, at[0])); - assertArrayEquals(prl(0x2461, 2), + assertArrayEquals(EMPTY, PrcData.resolve(d.bytes, concat(ptr(0x6646, d.at[0]), prl(0x2461, 2)))); } diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/SectionsTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/SectionsTest.java index e733fed..dec2041 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/SectionsTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/SectionsTest.java @@ -2,6 +2,7 @@ package ru.pjandro.wordpdf.internal.doc; import static org.junit.jupiter.api.Assertions.assertEquals; import static org.junit.jupiter.api.Assertions.assertFalse; +import static org.junit.jupiter.api.Assertions.assertNull; import static org.junit.jupiter.api.Assertions.assertSame; import static org.junit.jupiter.api.Assertions.assertThrows; import static org.junit.jupiter.api.Assertions.assertTrue; @@ -270,6 +271,58 @@ class SectionsTest { assertEquals(1, s.list().get(0).pgNumStart()); } + /** §2.6.3/§2.6.4: sprmSDzaGutter (U16) → gutter; YAS-поля top/bottom — + * знаковые, отрицательное (фиксированное поле) берётся по модулю. */ + @Test + void gutterAndSignedYasMargins() { + byte[] wd = new byte[4096]; + sepx(wd, 64, concat( + prl2(Grpprl.SPRM_S_DZA_GUTTER, 720), // gutter 0.5" + prl2(Grpprl.SPRM_S_DYA_TOP, 0xFF10), // −240 → фикс. 240 + prl2(Grpprl.SPRM_S_DYA_BOTTOM, 1440))); + Sections s = Sections.read(plcfSed(64), 0, plcfSed(64).length, wd, 100); + Sections.Section sec = s.list().get(0); + assertEquals(720, sec.gutter()); + assertEquals(240, sec.marginTop(), "YAS<0 — фиксированное поле по модулю"); + assertEquals(1440, sec.marginBottom()); + } + + /** + * sprmSPgnStart 0x7044 (§2.6.4, U32) — pre-97-предок sprmSPgnStart97: + * при restart без 97-варианта даёт старт; restart=0 — оба игнорируются. + */ + @Test + void pgnStartLegacy_u32Fallback() { + byte[] wd = new byte[4096]; + sepx(wd, 64, concat(new byte[] {0x11, 0x30, 1}, // restart + new byte[] {0x44, 0x70, 5, 0, 0, 0})); // pgnStart=5 + Sections s = Sections.read(plcfSed(64), 0, plcfSed(64).length, wd, 100); + assertEquals(5, s.list().get(0).pgNumStart()); + // restart=0 → старт игнорируется (§2.6.4 «MUST be ignored») + sepx(wd, 128, new byte[] {0x44, 0x70, 5, 0, 0, 0}); + Sections noRestart = Sections.read(plcfSed(128), 0, plcfSed(128).length, wd, 100); + assertEquals(0, noRestart.list().get(0).pgNumStart()); + } + + /** §2.9.235 SBkcOperand + §17.6.22: wTypeName для всех видов разрывов. */ + @Test + void bkcTypeName_mapping() { + byte[] wd = new byte[4096]; + sepx(wd, 64, new byte[] {0x09, 0x30, 3}); // bkcEvenPage + sepx(wd, 128, new byte[] {0x09, 0x30, 4}); // bkcOddPage + sepx(wd, 192, new byte[] {0x09, 0x30, 1}); // bkcNewColumn + byte[] t = plcfSed(new int[] {0, 10, 20, 30}, 64, 128, 192); + List list = + Sections.read(t, 0, t.length, wd, 30).list(); + assertEquals("evenPage", list.get(0).wTypeName()); + assertEquals("oddPage", list.get(1).wTypeName()); + assertEquals("continuous", list.get(2).wTypeName(), "newColumn — не новая страница"); + // bkcNewPage (дефолт без sprmSBkc) — атрибут не эмитится + List plain = Sections.read(plcfSed(0), 0, + plcfSed(0).length, new byte[0], 100).list(); + assertNull(plain.get(0).wTypeName()); + } + private static byte[] colPrl(int sprm, int iCol, int dxa) { return new byte[] {(byte) sprm, (byte) (sprm >>> 8), (byte) iCol, (byte) dxa, (byte) (dxa >>> 8)}; diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/StylesTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/StylesTest.java index 9ceacfe..9e1d7a7 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/StylesTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/StylesTest.java @@ -133,22 +133,23 @@ class StylesTest { } @Test - void characterStyle_noParagraphProps() { - // stk=2 (символьный) — UpxPapx/UpxChpx не читаются (§2.9.267) - byte[] table = stsh(12, std(65, 2, 0x0FFF, JC_CENTER, BOLD)); + void characterStyle_boldViaCharChain() { + // stk=2 (символьный, §2.9.260): единственный UPX = UpxChpx (§2.9.263), + // papx-цепочка пуста + byte[] table = stsh(12, std(65, 2, 0x0FFF, null, BOLD)); Styles s = Styles.read(table, 0, table.length); assertArrayEquals(new byte[0], s.papxChain(10)); - assertArrayEquals(new byte[0], s.chpxChain(10)); + assertArrayEquals(BOLD, s.charChain(10), "символьный stk=2 читается"); } @Test - void characterStyle_stk3_chainViaCharChain() { - // stk=3 (STCF, Word 97+): единственный UPX = UpxChpx целиком; цепочка + void characterStyle_stk2_chainViaCharChain() { + // stk=2: единственный UPX = UpxChpx целиком; цепочка // base-first (источник sprmCIstd); papx-цепочка символьного стиля пуста byte[] blue = {0x70, 0x68, 0x00, 0x00, (byte) 0xFF, 0x00}; // sprmCCv blue byte[] table = stsh(13, - std(65, 3, 0x0FFF, null, blue), - std(105, 3, 10, null, BOLD)); + std(65, 2, 0x0FFF, null, blue), + std(105, 2, 10, null, BOLD)); Styles s = Styles.read(table, 0, table.length); assertArrayEquals(concat(blue, BOLD), s.charChain(11), "символьная цепочка base-first"); @@ -158,10 +159,12 @@ class StylesTest { @Test void charChain_nonCharacterStk_empty() { - // sprmCIstd обязан указывать на символьный стиль; stk=1/2 и промахи — пусто - byte[] table = stsh(12, std(65, 1, 0x0FFF, JC_CENTER, BOLD)); + // sprmCIstd обязан указывать на символьный стиль; stk≠2 и промахи — пусто + byte[] table = stsh(13, std(65, 1, 0x0FFF, JC_CENTER, BOLD), + std(105, 3, 0x0FFF, null, BOLD)); Styles s = Styles.read(table, 0, table.length); assertArrayEquals(new byte[0], s.charChain(10), "stk=1 через charChain — пусто"); + assertArrayEquals(new byte[0], s.charChain(11), "stk=3 (табличный) — пусто"); assertArrayEquals(new byte[0], s.charChain(99)); assertArrayEquals(new byte[0], s.charChain(-1)); } diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/TablesTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/TablesTest.java index 87a41cb..b1b167c 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/TablesTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/doc/TablesTest.java @@ -8,7 +8,7 @@ import static org.junit.jupiter.api.Assertions.assertTrue; import org.junit.jupiter.api.Test; /** - * Юниты {@link Tables} ([MS-DOC] §2.6.3, §2.9.321/.302/.303/.39/.171): + * Юниты {@link Tables} ([MS-DOC] §2.6.3, §2.9.321/.302/.303/.16/.119): * TAP TTP-абзаца → сетка (ширины из rgdxaCenter, сдвиг от поля) и границы * w:tblBorders; деградация в {@code null} на битом/отсутствующем * sprmTDefTable. @@ -44,6 +44,9 @@ class TablesTest { return concat(new byte[] {0x13, (byte) 0xD6}, op); } + /** Полей в Brc80-кортеже без флагов (dptLineWidth, brcType, ico). */ + private static final int BRC80_LEN_NO_FLAGS = 3; + /** TableBordersOperand80: 6 × Brc80 (dptLineWidth + brcType + ico + флаги). */ private static byte[] borders80(int[][] brc80s) { byte[] op = new byte[1 + 6 * 4]; @@ -53,6 +56,9 @@ class TablesTest { op[b] = (byte) brc80s[i][0]; // dptLineWidth op[b + 1] = (byte) brc80s[i][1]; // brcType op[b + 2] = (byte) brc80s[i][2]; // ico + if (brc80s[i].length > BRC80_LEN_NO_FLAGS) { + op[b + 3] = (byte) brc80s[i][3]; // флаги + } } return concat(new byte[] {0x05, (byte) 0xD6}, op); } @@ -175,10 +181,10 @@ class TablesTest { void borders80_fallbackAndPrecedence() { Tables.Grid only80 = Tables.parse(concat( defTable(new int[] {0, 100}), - borders80(new int[][] {{1, 1, 2}}))); // ico=2 → blue (§2.9.171) + borders80(new int[][] {{1, 1, 2}}))); // ico=2 → blue (§2.9.119) String xml = only80.bordersXml(); assertTrue(xml.contains(">> 8), 6,