refactor(core): рефью PR-2 - жёсткий разбор абзаца, header/footer-штамп, сведение нумерации правил
PR checks / web (pull_request) Successful in 48s
PR checks / java (pull_request) Failing after 1m0s

- DistributeStampNormalizer: pPr ищется как первый ребёнок w:p (S17.3.1.23,
  O(1) вместо неограниченного indexOf по хвосту части); окно jc режется
  началом w:pPrChange - старое значение реvision больше не штампуется и не
  маскируется; вставка - после НАРУЖНОГО </w:pPr> (lastIndexOf от конца
  абзаца), идемпотентность позиционная (чужая закладка Word сразу после pPr
  больше не считается штампом);
- штампуется word/headerN.xml / word/footerN.xml (якорь работает и в
  колонтитулах; .rels отсекаются);
- юниты: реvision-only jc, вложенный pPr в реvision, чужая закладка,
  header/footer, pretty-print; LayoutPostRendererTest: якорь внутри
  fo:static-content;
- проба опровергла двойной разделитель suff=space (TP-поток «1.·ITEM») -
  зафиксировано в javadoc правила 6;
- нумерация правил сведена к docs (Distribute=9, OLE=10): код/тесты 12->9,
  README 8/9->9/10, doc-bridge 9->7, xslt-комментарий внутри AUDIT-FIX-2
  10->8 (гейт побайтной копии не затронут);
- GITEA-vars.md: MAVEN_MIRROR_URL = group maven-public (иначе CI не
  резолвит ru.pjandro-оверлей через mirrorOf=*); render-limitations:
  замер framePr - 180pt от КРАЯ страницы при hAnchor=page; счётчики
  58/906.

mvn clean verify зелёные (core 858 + app 48; артефакт форка докачан
через maven-public при пустом кэше).
This commit is contained in:
Pjandro
2026-11-08 23:50:25 +00:00
parent 838ec29a69
commit 4a6cf85f20
13 changed files with 148 additions and 36 deletions
File diff suppressed because one or more lines are too long
+1 -1
View File
@@ -41,7 +41,7 @@
6. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; Part 1 §17.3.1.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace.
7. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.30): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, юниты — HiddenTextNormalizerTest.
8. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.18/.19/.20/.21): `w:rubyBase`/`w:rubyBaseText` разворачиваются в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.6 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest.
9. `DistributeStampNormalizer` — `w:pPr/w:jc w:val="distribute"` → невидимая закладка-якорь `w:bookmarkStart w:name="pj-distribute-<часть>-<n>"` сразу после `</w:pPr>` (Part 1 §17.18.44): docx4j для DISTRIBUTE не эмитит в FO ничего, канонический эквивалент — пара `text-align`/`text-align-last="justify"`, но стилист править нельзя (дрейф-гейт), а `LayoutPostRenderer` опознаёт абзац только по якорю — `BookmarkStartWriter` делает из закладки `<fo:inline id="pj-distribute-…"/>` первым инлайн-ребёнком блока, фильтр дописывает блоку justify-пару (сериализация без префикса `fo:` учтена паттерном). Штампуются только content-части (document/footnotes/endnotes; в numbering у `CT_Lvl` закладок не бывает, `w:jc` в `trPr`/`tblPr` не читается — разбор только внутри `w:pPr`); счётчик id от max существующих +1, идемпотентность по метке `pj-distribute-`. Идёт после Hidden, чтобы не штамповать вырезанный абзац. Регрессия — WordPdfConverterTest#distribute_allLinesReachRightMargin, юниты — DistributeStampNormalizerTest, пин форка — DistributeLineTestCase.
9. `DistributeStampNormalizer` — `w:pPr/w:jc w:val="distribute"` → невидимая закладка-якорь `w:bookmarkStart w:name="pj-distribute-<часть>-<n>"` сразу после `</w:pPr>` (Part 1 §17.18.44): docx4j для DISTRIBUTE не эмитит в FO ничего, канонический эквивалент — пара `text-align`/`text-align-last="justify"`, но стилист править нельзя (дрейф-гейт), а `LayoutPostRenderer` опознаёт абзац только по якорю — `BookmarkStartWriter` делает из закладки `<fo:inline id="pj-distribute-…"/>` первым инлайн-ребёнком блока, фильтр дописывает блоку justify-пару (сериализация без префикса `fo:` учтена паттерном). Штампуются контентные части (document/footnotes/endnotes, `headerN`/`footerN` — якорь работает и в колонтитулах; в numbering у `CT_Lvl` закладок не бывает, `w:jc` в `trPr`/`tblPr` не читается — разбор только внутри `w:pPr`, первого ребёнка `w:p`, §17.3.1.23); старое `jc` внутри `w:pPrChange` (реvision) — не текущее выравнивание: окно поиска режется началом реvision, штамп ставится после наружного `</w:pPr>`; счётчик id от max существующих +1, идемпотентность позиционная (штамп всегда сразу за закрытием pPr). Идёт после Hidden, чтобы не штамповать вырезанный абзац. Регрессия — WordPdfConverterTest#distribute_allLinesReachRightMargin, юниты — DistributeStampNormalizerTest, пин форка — DistributeLineTestCase.
10. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `<w:object`; не-zip/нет центрального каталога → входной массив — прежняя снисходительность), переупаковка — только при находке. Детект OLE-бинарников — по `[Content_Types].xml`: тип `…oleObject` **или** ложный `+xml`-тип у `.bin` (XML в bin не бывает; `printerSettings` не трогается). Удаляются вместе с rels-ссылками (по типу, включая `TargetMode=External`) и Override удалённых частей. Элементы `<w:object>` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `DrawingFoundException(OLE)`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет.
`mc-preprocessor.xslt` docx4j (в jar `docx4j-core`) перебивает strict-namespace'ы в transitional и конвертит `pt` в twips/half-points, но ветку перевода процентов в тысячные для namespace'ных атрибутов содержит с закомментированным `<xsl:value-of select="$cleanValue * 1000"/>` (для атрибутов без namespace — она активна), а `w:start`/`w:end` в `w:left`/`w:right` не маппит вовсе. Поэтому собственный рерайт URI ломать нельзя — он сломал бы pt-конверсию preprocessor'а (FOP получил бы «10pt»).
+1 -1
View File
@@ -4,6 +4,6 @@
- Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно).
- Аудит раскладки по ECMA-376 Part 1 (2026-10, реаудит на docx4j 17.3.6 + форке FOP 2.12 — 2026-11) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:lvlJc` игнорируется (numbering-лейбл всегда у number position: `lvlJc="right"`/`"center"` рендерятся идентично `left` — лейблы по общему левому краю; suff=space чинит правило 6, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер на 17.3.6/форке 2.12: dx пары = сумма advance без поправки — Carlito «Wa»/«AV», DejaVu Sans «Ta»; GPOS-only у 22 TTF, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; GPOS-путь в форке тоже не применяется); свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19; при отсутствии `w:kern` Office не кернит — MS-OI29500 §21.1.2.3.9a) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 5), `w:suff="space"` (правило 6). Починено на 17.3.6+форке: `w:jc="distribute"` (правило 9 `DistributeStampNormalizer` ставит закладку-якорь, `LayoutPostRenderer` дописывает блоку пару `text-align`/`text-align-last="justify"` — межсловный разнос всех строк, включая последнюю; пин в форке `DistributeLineTestCase`, в конвертере `distribute_allLinesReachRightMargin`; межсимвольный kashida-разнос §17.18.44 не реализован — для латиницы Word разносит межсловные пробелы, однословная строка не растягивается, потому что растягивать нечем). Починено апстримом 17.3.6: `w:framePr` (фрейм позиционируется — замер: FRAME на x=252pt = левое поле 72pt + `w:x=180pt`; до апгрейда текст шёл в общем потоке), symbol-шрифты и complex-поля PAGE/NUMPAGES (экспорт сам маппит PUA-маркеры и пересчитывает page-поля).
- Аудит раскладки по ECMA-376 Part 1 (2026-10, реаудит на docx4j 17.3.6 + форке FOP 2.12 — 2026-11) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:lvlJc` игнорируется (numbering-лейбл всегда у number position: `lvlJc="right"`/`"center"` рендерятся идентично `left` — лейблы по общему левому краю; suff=space чинит правило 6, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер на 17.3.6/форке 2.12: dx пары = сумма advance без поправки — Carlito «Wa»/«AV», DejaVu Sans «Ta»; GPOS-only у 22 TTF, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; GPOS-путь в форке тоже не применяется); свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19; при отсутствии `w:kern` Office не кернит — MS-OI29500 §21.1.2.3.9a) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 5), `w:suff="space"` (правило 6). Починено на 17.3.6+форке: `w:jc="distribute"` (правило 9 `DistributeStampNormalizer` ставит закладку-якорь, `LayoutPostRenderer` дописывает блоку пару `text-align`/`text-align-last="justify"` — межсловный разнос всех строк, включая последнюю; пин в форке `DistributeLineTestCase`, в конвертере `distribute_allLinesReachRightMargin`; межсимвольный kashida-разнос §17.18.44 не реализован — для латиницы Word разносит межсловные пробелы, однословная строка не растягивается, потому что растягивать нечем). Починено апстримом 17.3.6: `w:framePr` (фрейм `hAnchor="page"` позиционируется: текст на x=180pt от края страницы — `w:x=3600` twips при `hAnchor="page"` отсчитывается от края страницы, не от поля, §17.4.31; пин — фикстура frame-pr.docx и WordPdfConverterTest#framePr_positionedLikeWord; до апгрейда текст шёл в общем потоке), symbol-шрифты и complex-поля PAGE/NUMPAGES (экспорт сам маппит PUA-маркеры и пересчитывает page-поля).
- Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.13.1.35), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23), OMML-формулы рисуются вектором jeuclid-fop (§22.1 — текст из PDF не извлекается, пинь пикселями), фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 7); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 8 + AUDIT-FIX-2). Остаток (не чиним): `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 8 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура).