Аудит раскладки: правки ревью — цитаты ECMA Part 1, побайтный дрейф-гейт XSLT, тест дубля baseline-shift
PR checks / web (pull_request) Successful in 39s
PR checks / java (pull_request) Successful in 1m7s
Main: tests, deploy, autotests / web (push) Successful in 30s
Main: tests, deploy, autotests / java (push) Successful in 56s
Main: tests, deploy, autotests / images-web (push) Successful in 29s
Main: tests, deploy, autotests / images-app (push) Successful in 40s
Main: tests, deploy, autotests / deploy (push) Successful in 1m37s
Main: tests, deploy, autotests / autotests (push) Successful in 38s
Main: tests, deploy, autotests / rollback (push) Has been skipped
PR checks / web (pull_request) Successful in 39s
PR checks / java (pull_request) Successful in 1m7s
Main: tests, deploy, autotests / web (push) Successful in 30s
Main: tests, deploy, autotests / java (push) Successful in 56s
Main: tests, deploy, autotests / images-web (push) Successful in 29s
Main: tests, deploy, autotests / images-app (push) Successful in 40s
Main: tests, deploy, autotests / deploy (push) Successful in 1m37s
Main: tests, deploy, autotests / autotests (push) Successful in 38s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- Spec-ссылки: §17.3.1.13/§17.18.44/§17.3.2.24/§17.4.50 — Part 1, не Part 4 (AGENTS.md, StrictOoxmlNormalizer, вендорный XSLT, два тестовых javadoc); - гейт vendoredXsltTracksJarCopy: вместо пин-хэша побайтовое сравнение вендорной копии со стилистом jarа после возврата AUDIT-FIX-региона к исходному createBlockForRPr — ловит и апгрейд docx4j, и правку копии вне патча; - регрессия rPrPositionWithVertAlign_converts: position+vertAlign в одном ране (дубль baseline-shift) не роняет конвертацию; - AGENTS.md: причинность distribute без text-align-last (в форке нет TextAlign*), два «single» в lineRule=auto, B2-отступление cellMar, MS-OI29500 §2.1.155 для tblInd, команда перевендоринга docx2fo.xslt.
This commit was merged in pull request #68.
This commit is contained in:
@@ -38,7 +38,7 @@
|
||||
|
||||
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Каждый выставляет константу `STEP` (`public static final DocxNormalizer`). Правила 1–6 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` шести нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим:
|
||||
|
||||
1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 4 §14.11.2: left≡start, right≡end, RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`).
|
||||
1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`).
|
||||
2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается.
|
||||
3. `SymbolFontNormalizer` — PUA U+F000–U+F0FF (Symbol/Wingdings/Webdings) → Unicode + DejaVu Sans; переписывает `<w:sym>`, правит `w:lvl` в numbering.xml; 5 карт по 256 слотов (таблица `SymbolMapper` из docx4j 17.x).
|
||||
4. `FieldNormalizer` — `fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple` (кэш страниц в PDF не попадает); вложенные/битые поля пропускаются.
|
||||
@@ -85,14 +85,14 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|
||||
### Критические инварианты (нарушение = битый вывод, не исключение)
|
||||
|
||||
- `docx4j.convert.out.fo.gsubFeatures=false` — static-блок `WordPdfConverter`. Иначе FO невалиден → `WordLayoutFixups` молча отказывает всем фиксам → FOP падает на `docx4j-baseline`.
|
||||
- Единственный XSL-FO-стилист — вендорный `wordpdf-core/src/main/resources/xslt/docx2fo.xslt` (копия `docx2fo.xslt` из docx4j-export-fo 17.3.2 + AUDIT-FIX-патч `w:rPr/w:position` → `baseline-shift`, полупункты, Part 4 §17.3.2.24 — docx4j position игнорирует). Дрейф-гейт `WordPdfConverterTest#vendoredXsltTracksJarCopy` (SHA-256 стилиста из jar'а): при апгрейде docx4j — перевендорить и перенести патч. `setCustomXsltTemplates` принимает предкомпилированный `Templates` (`getTemplates` кастит Object→Templates, поток кидает CCE).
|
||||
- Единственный XSL-FO-стилист — вендорный `wordpdf-core/src/main/resources/xslt/docx2fo.xslt` (копия `docx2fo.xslt` из docx4j-export-fo 17.3.2 + AUDIT-FIX-патч `w:rPr/w:position` → `baseline-shift`, полупункты, Part 1 §17.3.2.24 — docx4j position игнорирует). Дрейф-гейт `WordPdfConverterTest#vendoredXsltTracksJarCopy`: вне AUDIT-FIX-региона вендорная копия обязана быть побайтно равна стилисту из jar'а (сравнение с возвратом патч-региона к исходному вызову `createBlockForRPr`) — при апгрейде docx4j перевендорить и перенести патч. `setCustomXsltTemplates` принимает предкомпилированный `Templates` (`getTemplates` кастит Object→Templates, поток кидает CCE).
|
||||
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`). Приложение исключает его из зависимости ядра — логи ведёт logback.
|
||||
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 (транзитив от `docx4j-export-fo` 17.3.2, в pom не пинится; пакеты `org.apache.fop.*`). `w:renderers` в docx4j 17.x содержит несколько `w:renderer` (по mime) — `FopFallbackFonts` берёт тот, у которого mime `application/pdf`, иначе первый со шрифтами. Оригинал `docx2fo.xslt` — в jar `docx4j-export-fo`, в конвейере используется вендорная копия (см. выше).
|
||||
- Порядок инициализации шрифтов: `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` — **до** `load()`. `BundledFonts.init()` идемпотентен и `synchronized`, распаковывает TTF во временный каталог `wordpdf-fonts-*` (`deleteOnExit` на файлы и на каталог). `dropNonBundled()` чистит глобальный реестр `PhysicalFonts` от всего, что вне бандла.
|
||||
- `PhysicalFonts` — глобальный и мутируемый → ядро не потокобезопасно; приложение сериализует конвертации одним воркером.
|
||||
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `w:sectPr` в body + `w:br type="page"` + `pageBreakBefore` (включая таблицы и `w:sdt`). Единственный путь — lightweight (StAX по zip, secure-ридер без DTD/external entities; `WordPdfValidator` не зависит от docx4j): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитуках — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy `val`: `null|true|1|on`). На не-zip молчит — подпись проверяет вызывающий. `checkPageCount` — один стриминговый проход `ZipInputStream` без буферизации частей (хелпер `noClose` глушит `close()` сканеров): потребление O(одной части) вместо O(суммы XML-частей).
|
||||
- Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно).
|
||||
- Аудит раскладки по ECMA-376 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left (XSLT-обходки невозможны: FOP не джаститифицирует истинно последнюю строку блока, `text-align-last` работает только перед форсированным разрывом); `w:suff` (nothing/space) и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab); `w:tblInd` при `w:jc`≠left игнорируется (буквально по §17.4.50; Word не игнорирует — MS-OI29500 §2.1.155); высота строки `lineRule="auto"` калибрована docx4j на Word-single (~13.9pt@11pt), не на natural-высоту FOP (15.44pt); кернинг применяется без порога `w:kern`.
|
||||
- Аудит раскладки по ECMA-376 Part 1 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается, свойства `text-align-last` в форке нет (в docx4j-fo-renderer отсутствуют классы TextAlign*); `w:suff` (nothing/space) и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab); левый padding ячейки таблицы не применяется к тексту (текст на leading edge таблицы, рамка уезжает влево на padding — Java `TableWriter`); `w:tblInd` при `w:jc`≠left игнорируется (буквально по Part 1 §17.4.50; Word не игнорирует — MS-OI29500 §2.1.155); `lineRule="auto"` docx4j считает как (line/240)×внутренний single ≈13.43pt@11pt (Word ≈13.9pt), а абзац без `w:line` рендерится natural-высотой FOP 15.44pt — два «single» в конвертере; кернинг применяется без порога `w:kern`.
|
||||
- Внимание: комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.2 (описанное поведение верно).
|
||||
|
||||
### Шрифты (30 TTF + 3 лицензии, SIL OFL, `wordpdf-core/src/main/resources/fonts/`)
|
||||
@@ -137,6 +137,11 @@ mvn -pl wordpdf-app -am test -Dtest=ConvertControllerTest#convertSample_returnsP
|
||||
podman-compose -f compose.dev.yml up -d --build # dev-стенд: http://<LAN-IP хоста>:9011, без ключа, springdoc вкл
|
||||
./mise.sh run prod-tests # прод-автотесты: pip install + pytest -q . в prod-autotests/
|
||||
python3 docs/standards/validate-fixtures.py wordpdf-core/src/test/resources/samples/*.docx # XSD-валидация фикстур (lxml)
|
||||
|
||||
# Перевендорить XSL-FO-стилист после апгрейда docx4j (этого потребует гейт vendoredXsltTracksJarCopy):
|
||||
unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-export-fo-<версия>.jar \
|
||||
org/docx4j/convert/out/fo/docx2fo.xslt > wordpdf-core/src/main/resources/xslt/docx2fo.xslt
|
||||
# затем перенести AUDIT-FIX-патч (w:rPr/w:position → baseline-shift, образец — комментарий в самом файле)
|
||||
```
|
||||
|
||||
Задачи mise: `verify`, `app-package`, `app-run`, `web-install`, `web-build`, `web-lint`, `web-dev`, `prod-tests`.
|
||||
|
||||
@@ -65,8 +65,9 @@ import java.util.zip.ZipOutputStream;
|
||||
* <li>значения {@code start}/{@code end} у {@code w:jc} правятся всегда
|
||||
* (как и у {@code w:tab}): docx4j {@code Justification.setXslFO} знает только
|
||||
* left/center/right/both, для start/end {@code fo:text-align} не пишет вовсе —
|
||||
* {@code jc="end"} рендерился по левому краю. Замена законна: Part 4 §14.11.2
|
||||
* (left≡start, right≡end); RTL вне контура конвейера (FOP без complex-script,
|
||||
* {@code jc="end"} рендерился по левому краю. Замена законна: Part 1
|
||||
* §17.3.1.13 (jc val="end" — правовыравнивание в LTR, левовыравнивание в
|
||||
* RTL; ST_Jc §17.18.44); RTL вне контура конвейера (FOP без complex-script,
|
||||
* direction docx4j не выставляет — start и так рендерился как left).</li>
|
||||
* <li>значения {@code start}/{@code end} у {@code w:tab} правятся всегда
|
||||
* (enum без start/end).</li>
|
||||
|
||||
@@ -405,7 +405,7 @@
|
||||
<xsl:variable name="rPrNode" select="w:rPr" />
|
||||
|
||||
<!-- AUDIT-FIX position: docx4j createBlockForRPr игнорирует
|
||||
w:rPr/w:position (Part 4 §17.3.2.24: полупункты,
|
||||
w:rPr/w:position (Part 1 §17.3.2.24: полупункты,
|
||||
положительное поднимает) — baseline-shift. -->
|
||||
<xsl:variable name="auditRInline"
|
||||
select="java:org.docx4j.convert.out.fo.XsltFOFunctions.createBlockForRPr(
|
||||
|
||||
@@ -702,7 +702,7 @@ class WordPdfConverterTest {
|
||||
* w:jc val="end" в transitional-документе: docx4j Justification.setXslFO
|
||||
* знает только left/center/right/both, для END {@code fo:text-align} не
|
||||
* пишет вовсе — абзац рендерился по левому краю. StrictOoxmlNormalizer
|
||||
* теперь переименовывает end→right всегда (Part 4 §14.11.2: right≡end).
|
||||
* теперь переименовывает end→right всегда (Part 1 §17.3.1.13: end — правовыравнивание в LTR).
|
||||
* Регрессия — аудит раскладки (матрица J2).
|
||||
*/
|
||||
@Test
|
||||
@@ -735,34 +735,53 @@ class WordPdfConverterTest {
|
||||
"w:position=8 должен поднимать базовую линию на 4pt");
|
||||
}
|
||||
|
||||
/**
|
||||
* w:position + w:vertAlign в одном ране: createBlockForRPr уже пишет
|
||||
* baseline-shift для vertAlign — AUDIT-FIX-патч не должен породить дубль
|
||||
* атрибута (некорректный FO роняет конвертацию целиком, а не один абзац).
|
||||
*/
|
||||
@Test
|
||||
void rPrPositionWithVertAlign_converts() throws Exception {
|
||||
byte[] docx = minimalDocx("<w:p>"
|
||||
+ "<w:r><w:t>P</w:t></w:r>"
|
||||
+ "<w:r><w:rPr><w:vertAlign w:val=\"superscript\"/>"
|
||||
+ "<w:position w:val=\"8\"/></w:rPr><w:t>Q</w:t></w:r>"
|
||||
+ "</w:p>");
|
||||
Path pdf = convertPdf(docx, "t");
|
||||
assertTrue(yOfMarker(pdf, 'Q') < yOfMarker(pdf, 'P'),
|
||||
"Q поднят (vertAlign), конвертация жива");
|
||||
}
|
||||
|
||||
/**
|
||||
* Дрейф-гейт: вендорный xslt/docx2fo.xslt = копия
|
||||
* org/docx4j/convert/out/fo/docx2fo.xslt из docx4j-export-fo +
|
||||
* AUDIT-FIX-патч (w:rPr position). При апгрейде docx4j стилист jar'а
|
||||
* меняется — тест заставляет перевендорить его и перенести патч.
|
||||
* AUDIT-FIX-патч (w:rPr position). Возврат патч-региона к исходному
|
||||
* вызову {@code createBlockForRPr} (взят из jar'а) обязан дать
|
||||
* побайтовое равенство со стилистом jar'а — ловит и апгрейд docx4j,
|
||||
* и случайную правку вендорной копии вне патча.
|
||||
*/
|
||||
@Test
|
||||
void vendoredXsltTracksJarCopy() throws Exception {
|
||||
try (InputStream jar = WordPdfConverterTest.class.getResourceAsStream(
|
||||
String jar;
|
||||
try (InputStream in = WordPdfConverterTest.class.getResourceAsStream(
|
||||
"/org/docx4j/convert/out/fo/docx2fo.xslt")) {
|
||||
assertNotNull(jar, "нет docx2fo.xslt в docx4j-export-fo");
|
||||
java.security.MessageDigest digest =
|
||||
java.security.MessageDigest.getInstance("SHA-256");
|
||||
StringBuilder hex = new StringBuilder();
|
||||
for (byte b : digest.digest(jar.readAllBytes())) {
|
||||
hex.append(String.format("%02x", b));
|
||||
assertNotNull(in, "нет docx2fo.xslt в docx4j-export-fo");
|
||||
jar = new String(in.readAllBytes(), StandardCharsets.UTF_8);
|
||||
}
|
||||
assertEquals("cff420cb1bd7ad5d96211c16479db0f7d3a01fec4bf56d01d1bbc7ee4041dda7",
|
||||
hex.toString(), "docx2fo.xslt в docx4j-export-fo изменился:"
|
||||
+ " перевендорить xslt/docx2fo.xslt и перенести AUDIT-FIX-патч");
|
||||
}
|
||||
try (InputStream vendored = WordPdfConverterTest.class.getResourceAsStream(
|
||||
"/xslt/docx2fo.xslt")) {
|
||||
assertNotNull(vendored, "нет вендорного xslt/docx2fo.xslt");
|
||||
assertTrue(new String(vendored.readAllBytes(), StandardCharsets.UTF_8)
|
||||
.contains("AUDIT-FIX position"),
|
||||
"вендорный стилист потерял position-патч");
|
||||
String vendored;
|
||||
try (InputStream in = WordPdfConverterTest.class.getResourceAsStream("/xslt/docx2fo.xslt")) {
|
||||
assertNotNull(in, "нет вендорного xslt/docx2fo.xslt");
|
||||
vendored = new String(in.readAllBytes(), StandardCharsets.UTF_8);
|
||||
}
|
||||
java.util.regex.Matcher call = java.util.regex.Pattern.compile(
|
||||
"[ \\t]*<xsl:copy-of select=\"java:[^\"]*createBlockForRPr\\([^\"]*\"\\s*/>")
|
||||
.matcher(jar);
|
||||
assertTrue(call.find(), "в стилисте jar'а нет исходного вызова createBlockForRPr");
|
||||
String restored = vendored.replaceFirst(
|
||||
"(?s)[ \\t]*<!-- AUDIT-FIX position.*?\\t\\t\\t\\t \\t</xsl:choose>",
|
||||
java.util.regex.Matcher.quoteReplacement(call.group()));
|
||||
assertEquals(jar, restored, "вендорный xslt/docx2fo.xslt отличается от копии"
|
||||
+ " docx4j-export-fo вне AUDIT-FIX-региона: перевендорить и перенести патч");
|
||||
}
|
||||
|
||||
/** Правый край (X+ширина) самой правой глифы первой страницы. */
|
||||
|
||||
+2
-2
@@ -291,8 +291,8 @@ class StrictOoxmlNormalizerTest {
|
||||
/**
|
||||
* w:jc val="start" в transitional правится всегда: docx4j Justification.setXslFO
|
||||
* знает только left/center/right/both, для start/end fo:text-align не пишет
|
||||
* вовсе — jc="end" рендерился по левому краю (Part 4 §14.11.2: left≡start,
|
||||
* right≡end; регрессия WordPdfConverterTest#jcEndTransitional_rightAligned).
|
||||
* вовсе — jc="end" рендерился по левому краю (Part 1 §17.3.1.13: end —
|
||||
* правовыравнивание в LTR; регрессия WordPdfConverterTest#jcEndTransitional_rightAligned).
|
||||
*/
|
||||
@Test
|
||||
void jcStartRenamedTransitional() {
|
||||
|
||||
Reference in New Issue
Block a user