perf(core): один zip-проход нормализации — быстрее и меньше транзиентной памяти #63

Merged
pjandro merged 1 commits from perf/docx-rewrite-pipeline into main 2026-10-27 01:12:44 +03:00
5 changed files with 246 additions and 113 deletions
Showing only changes of commit 1f37931f86 - Show all commits
+5 -5
View File
@@ -22,7 +22,7 @@
|---|---|---| |---|---|---|
| 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j | | 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j |
| 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера добавляет системные шрифты в глобальный реестр `PhysicalFonts`; `init()` вызывает `dropNonBundled()` **до** регистрации бандла (`addPhysicalFont` не перезаписывает занятый ключ — иначе системный Calibri ломает em-dash-fallback) | | 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера добавляет системные шрифты в глобальный реестр `PhysicalFonts`; `init()` вызывает `dropNonBundled()` **до** регистрации бандла (`addPhysicalFont` не перезаписывает занятый ключ — иначе системный Calibri ломает em-dash-fallback) |
| 2 | цепочка нормализаторов → `WordprocessingMLPackage.load` | Байтовый конвейер strict→transitional (см. ниже) | | 2 | `DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load` | Один zip-проход переписывания XML-частей (правила 1–6, см. ниже) + условная OLE-вычистка (правило 7) |
| 2.5 | `WordPdfValidator.checkPageCount(normalizedBytes, maxPages)` | Lightweight-оценка страниц по zip, до рендера | | 2.5 | `WordPdfValidator.checkPageCount(normalizedBytes, maxPages)` | Lightweight-оценка страниц по zip, до рендера |
| 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF | | 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF |
| 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет) | | 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет) |
@@ -35,7 +35,7 @@
### Нормализаторы (`internal/DocxNormalizer`) ### Нормализаторы (`internal/DocxNormalizer`)
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Каждый выставляет константу `STEP` (`public static final DocxNormalizer`), порядок в `normalizers(options)` значим: Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Каждый выставляет константу `STEP` (`public static final DocxNormalizer`). Правила 1–6 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` шести нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим:
1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` (только strict) и `w:tab` (всегда). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`). 1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` (только strict) и `w:tab` (всегда). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`).
2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается. 2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается.
@@ -43,7 +43,7 @@
4. `FieldNormalizer` — `fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple` (кэш страниц в PDF не попадает); вложенные/битые поля пропускаются. 4. `FieldNormalizer` — `fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple` (кэш страниц в PDF не попадает); вложенные/битые поля пропускаются.
5. `InvisibleCharNormalizer` — вырезает из `w:t` U+0085, U+2028, U+2029, U+200E/200F, U+202A–202E, U+2060, U+FEFF (FOP делает из них переносы/пустые строки, Arimo/Tinos рисуют боксы). U+00A0/U+00AD/U+200B–U+200D **не** трогает. 5. `InvisibleCharNormalizer` — вырезает из `w:t` U+0085, U+2028, U+2029, U+200E/200F, U+202A–202E, U+2060, U+FEFF (FOP делает из них переносы/пустые строки, Arimo/Tinos рисуют боксы). U+00A0/U+00AD/U+200B–U+200D **не** трогает.
6. `GlyphCoverageNormalizer` — режет раны по покрытию глифов и пишет семейство в `w:rFonts`, иначе FOP рисует «#». Покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, **не** docx4j `GlyphCheck` (плодит INFO-лог; `java.awt.Font` требовал fontconfig на хосте). Для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (`dejavu serif`, `tinos`, `caladea`), затем в sans. 6. `GlyphCoverageNormalizer` — режет раны по покрытию глифов и пишет семейство в `w:rFonts`, иначе FOP рисует «#». Покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, **не** docx4j `GlyphCheck` (плодит INFO-лог; `java.awt.Font` требовал fontconfig на хосте). Для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (`dejavu serif`, `tinos`, `caladea`), затем в sans.
7. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Детект OLE-бинарников — по `[Content_Types].xml`: тип `…oleObject` **или** ложный `+xml`-тип у `.bin` (XML в bin не бывает; `printerSettings` не трогается). Удаляются вместе с rels-ссылками (по типу, включая `TargetMode=External`) и Override удалённых частей. Элементы `<w:object>` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `DrawingFoundException(OLE)`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет. 7. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `<w:object`; не-zip/нет центрального каталога → входной массив — прежняя снисходительность), переупаковка — только при находке. Детект OLE-бинарников — по `[Content_Types].xml`: тип `…oleObject` **или** ложный `+xml`-тип у `.bin` (XML в bin не бывает; `printerSettings` не трогается). Удаляются вместе с rels-ссылками (по типу, включая `TargetMode=External`) и Override удалённых частей. Элементы `<w:object>` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `DrawingFoundException(OLE)`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет.
`mc-preprocessor.xslt` docx4j (в jar `docx4j-core`) перебивает strict-namespace'ы в transitional и конвертит `pt` в twips/half-points, но ветку перевода процентов в тысячные для namespace'ных атрибутов содержит с закомментированным `<xsl:value-of select="$cleanValue * 1000"/>` (для атрибутов без namespace — она активна), а `w:start`/`w:end` в `w:left`/`w:right` не маппит вовсе. Поэтому собственный рерайт URI ломать нельзя — он сломал бы pt-конверсию preprocessor'а (FOP получил бы «10pt»). `mc-preprocessor.xslt` docx4j (в jar `docx4j-core`) перебивает strict-namespace'ы в transitional и конвертит `pt` в twips/half-points, но ветку перевода процентов в тысячные для namespace'ных атрибутов содержит с закомментированным `<xsl:value-of select="$cleanValue * 1000"/>` (для атрибутов без namespace — она активна), а `w:start`/`w:end` в `w:left`/`w:right` не маппит вовсе. Поэтому собственный рерайт URI ломать нельзя — он сломал бы pt-конверсию preprocessor'а (FOP получил бы «10pt»).
@@ -102,7 +102,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|---|---| |---|---|
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String[,ConvertOptions])`), `WordPdfValidator` (`checkInput`/`checkPageCount`/`validate` — без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`), `WordPdfSettings` (`MAX_INPUT_MB=5`, `MAX_PAGES=100`, защитные `MAX_DECOMPRESSED_MB=200`/`MAX_ZIP_ENTRIES=8192`, `ERROR_ON_*=false`), `ConvertOptions` (record) | | `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String[,ConvertOptions])`), `WordPdfValidator` (`checkInput`/`checkPageCount`/`validate` — без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`), `WordPdfSettings` (`MAX_INPUT_MB=5`, `MAX_PAGES=100`, защитные `MAX_DECOMPRESSED_MB=200`/`MAX_ZIP_ENTRIES=8192`, `ERROR_ON_*=false`), `ConvertOptions` (record) |
| `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontMapper` (алиасы, self-map, `DISPLAY_NAMES`, `bundledFamily`), `GlyphFont` (глиф-движок fontbox) | | `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontMapper` (алиасы, self-map, `DISPLAY_NAMES`, `bundledFamily`), `GlyphFont` (глиф-движок fontbox) |
| `…/wordpdf/internal/` | 7 нормализаторов + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы `public` (иначе родительский пакет не вызвал бы), публичные члены наружу только `normalize`/`STEP`/`declare`/`DependencyGuard.check`; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `DrawingFoundException(OLE)` | | `…/wordpdf/internal/` | 7 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–6, raw-копия неизменённых записей) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы `public` (иначе родительский пакет не вызвал бы), публичные члены наружу только `normalize`/`STEP`/`declare`/`DependencyGuard.check`; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `DrawingFoundException(OLE)` |
| `…/wordpdf/internal/chart/` | 17 классов Java2D-рендера диаграмм/SmartArt в PNG (public только `DrawingPreRenderer.run`) | | `…/wordpdf/internal/chart/` | 17 классов Java2D-рендера диаграмм/SmartArt в PNG (public только `DrawingPreRenderer.run`) |
| `wordpdf-core/src/main/resources/fonts/` | 30 TTF + 3 лицензии — бинарные фикстуры, часть jar | | `wordpdf-core/src/main/resources/fonts/` | 30 TTF + 3 лицензии — бинарные фикстуры, часть jar |
| `wordpdf-core/src/test/resources/samples/` | 13 закоммиченных `.docx`-фикстур (единственные .docx-фикстуры), все проходят `docs/standards/validate-fixtures.py` | | `wordpdf-core/src/test/resources/samples/` | 13 закоммиченных `.docx`-фикстур (единственные .docx-фикстуры), все проходят `docs/standards/validate-fixtures.py` |
@@ -150,7 +150,7 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \
## Code Conventions & Common Patterns ## Code Conventions & Common Patterns
- Классы `final`, приватный конструктор, только `static` (stateless, DI нет; конфигурация — `Docx4jProperties` + classpath-ресурсы). Исключения — экземпляры по природе: `BundledFontMapper` (`extends BestMatchingMapper`), обёртка цветов `DrawMlColor` (instance, но не наследник docx4j) и Spring-компоненты `wordpdf-app`. - Классы `final`, приватный конструктор, только `static` (stateless, DI нет; конфигурация — `Docx4jProperties` + classpath-ресурсы). Исключения — экземпляры по природе: `BundledFontMapper` (`extends BestMatchingMapper`), обёртка цветов `DrawMlColor` (instance, но не наследник docx4j) и Spring-компоненты `wordpdf-app`.
- Нормализаторы — единый контракт `internal/DocxNormalizer` + константа `STEP` для сборки цепочки; нечего менять → **тот же массив**; package-private хук `static String rewrite(String xml)` для юнит-тестов (возвращает `null` при отсутствии изменений; есть у 6 из 7 — у многочастного `OleObjectNormalizer` нет); правятся только части `word/*.xml`. - Нормализаторы — единый контракт `internal/DocxNormalizer` + константа `STEP`; цепочка `WordPdfConverter.normalizers()` = `DocxRewritePipeline.STEP` (правила 1–6 одним zip-проходом) + лямбда `OleObjectNormalizer`; нечего менять → **тот же массив**; package-private хук `static String rewrite(String xml)` для юнит-тестов (возвращает `null` при отсутствии изменений; есть у 6 из 7 — у многочастного `OleObjectNormalizer` нет); у `StrictOoxmlNormalizer` есть также `rewritePart(entryName, xml)` (per-part-логика, хук пайплайна); правятся только части `word/*.xml`.
- Ошибки публичного API — только `ConversionException extends RuntimeException`; внутренние исключения оборачиваются на границе. В chart — деградация вместо падения. - Ошибки публичного API — только `ConversionException extends RuntimeException`; внутренние исключения оборачиваются на границе. В chart — деградация вместо падения.
- Javadoc на русском, объясняет «почему» и ссылается на регрессию и фикстуру (формат: `Регрессия — WordPdfConverterTest#имя, фикстура samples/….docx`) — новый фикс оформлять так же. - Javadoc на русском, объясняет «почему» и ссылается на регрессию и фикстуру (формат: `Регрессия — WordPdfConverterTest#имя, фикстура samples/….docx`) — новый фикс оформлять так же.
- Константы UPPER_SNAKE с числовыми эталонными значениями (`PIE_DEPTH`, `MAX_PAGES`); начертания `V_REGULAR/V_BOLD/...`; модели — `record`; размеры в chart — в пунктах, растр × `DPI/72`. - Константы UPPER_SNAKE с числовыми эталонными значениями (`PIE_DEPTH`, `MAX_PAGES`); начертания `V_REGULAR/V_BOLD/...`; модели — `record`; размеры в chart — в пунктах, растр × `DPI/72`.
@@ -13,14 +13,9 @@ import ru.pjandro.wordpdf.fonts.BundledFonts;
import ru.pjandro.wordpdf.internal.chart.DrawingPreRenderer; import ru.pjandro.wordpdf.internal.chart.DrawingPreRenderer;
import ru.pjandro.wordpdf.internal.DependencyGuard; import ru.pjandro.wordpdf.internal.DependencyGuard;
import ru.pjandro.wordpdf.internal.DocxNormalizer; import ru.pjandro.wordpdf.internal.DocxNormalizer;
import ru.pjandro.wordpdf.internal.DocxOnOffNormalizer; import ru.pjandro.wordpdf.internal.DocxRewritePipeline;
import ru.pjandro.wordpdf.internal.FieldNormalizer;
import ru.pjandro.wordpdf.internal.GlyphCoverageNormalizer;
import ru.pjandro.wordpdf.internal.InvisibleCharNormalizer;
import ru.pjandro.wordpdf.internal.OleObjectNormalizer; import ru.pjandro.wordpdf.internal.OleObjectNormalizer;
import ru.pjandro.wordpdf.internal.FopFallbackFonts; import ru.pjandro.wordpdf.internal.FopFallbackFonts;
import ru.pjandro.wordpdf.internal.StrictOoxmlNormalizer;
import ru.pjandro.wordpdf.internal.SymbolFontNormalizer;
import java.io.ByteArrayInputStream; import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream; import java.io.ByteArrayOutputStream;
@@ -103,7 +98,7 @@ public final class WordPdfConverter {
public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options) throws ConversionException { public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options) throws ConversionException {
ConvertOptions opts = options == null ? ConvertOptions.defaults() : options; ConvertOptions opts = options == null ? ConvertOptions.defaults() : options;
WordPdfValidator.validate(docxBytes, opts); WordPdfValidator.validate(docxBytes, opts);
ByteArrayOutputStream bos = new ByteArrayOutputStream(); ByteArrayOutputStream bos = new ByteArrayOutputStream(Math.max(1 << 16, docxBytes.length));
try { try {
convertToStream(docxBytes, title, opts, bos); convertToStream(docxBytes, title, opts, bos);
} catch (ConversionException e) { } catch (ConversionException e) {
@@ -137,9 +132,9 @@ public final class WordPdfConverter {
// em-dash (U+2000–U+2EFF) остаётся на шрифте ранa вместо fallback. // em-dash (U+2000–U+2EFF) остаётся на шрифте ранa вместо fallback.
BundledFonts.restrictToBundled(); BundledFonts.restrictToBundled();
// 2. Загрузка документа: байтовый конвейер нормализаторов в фиксированном // 2. Загрузка документа: один zip-проход переписывания XML-частей
// порядке (см. normalizers) — дальше лежит transitional-байт, готовый // (DocxRewritePipeline) + условная OLE-вычистка (OleObjectNormalizer)
// для JAXB/docx4j. // — дальше лежит transitional-байт, готовый для JAXB/docx4j.
byte[] docxBytes = rawDocxBytes; byte[] docxBytes = rawDocxBytes;
for (DocxNormalizer normalizer : normalizers(options)) { for (DocxNormalizer normalizer : normalizers(options)) {
docxBytes = normalizer.normalize(docxBytes); docxBytes = normalizer.normalize(docxBytes);
@@ -154,6 +149,9 @@ public final class WordPdfConverter {
// длинный документ; внутри try — чтобы и на отказе отработал // длинный документ; внутри try — чтобы и на отказе отработал
// finally с чисткой temp-файлов встроенных шрифтов. // finally с чисткой temp-файлов встроенных шрифтов.
WordPdfValidator.checkPageCount(docxBytes, options.maxPages()); WordPdfValidator.checkPageCount(docxBytes, options.maxPages());
// после этой строки docxBytes больше не читается — HotSpot с точными
// картами liveness считает его недостижимым, нормализованная копия
// освобождается до FOP-рендера (пик: JAXB-модель + FOP + PDF-буфер)
// 3. Привязка маппера: docx4j сопоставляет шрифты документа // 3. Привязка маппера: docx4j сопоставляет шрифты документа
// с физическими TTF (учитывая и шрифты, встроенные в docx) // с физическими TTF (учитывая и шрифты, встроенные в docx)
pkg.setFontMapper(mapper); pkg.setFontMapper(mapper);
@@ -192,36 +190,22 @@ public final class WordPdfConverter {
} }
/** /**
* Конвейер байтовой нормализации docx. Порядок фиксирован: * Конвейер байтовой нормализации docx. Порядок фиксирован: сначала один
* StrictOoxml первым (дальше по конвейеру лежит transitional-байт), * zip-проход переписывания XML-частей (внутри части порядок рерайтов
* GlyphCoverage после SymbolFont/InvisibleChar (покрытие считается по * Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage значим: Strict первым —
* финальному тексту/шрифтам рана), OleObject последним (меняет части, * дальше transitional-байт; GlyphCoverage последним — по финальному тексту
* а не XML ранов). Регрессии каждого шага — в javadoc нормализатора. * рана), затем OleObjectNormalizer (меняет части, а не XML ранов).
* Регрессии каждого рерайта — в javadoc соответствующего нормализатора.
*/ */
private static List<DocxNormalizer> normalizers(ConvertOptions options) { private static List<DocxNormalizer> normalizers(ConvertOptions options) {
return List.of( return List.of(
// strict-OOXML -> transitional: проценты строками и w:start/w:end // один zip-проход: strict→transitional, on/off, Symbol-PUA,
// ломают int-биндинги JAXB (StrictOoxmlNormalizer) // поля PAGE/NUMPAGES, невидимки, покрытие глифов — порядок
StrictOoxmlNormalizer.STEP, // рерайтов внутри части фиксирован (DocxRewritePipeline)
// w:val="off"/"on" -> "false"/"true": docx4j теряет on/off DocxRewritePipeline.STEP,
// при JAXB-разборе (DocxOnOffNormalizer)
DocxOnOffNormalizer.STEP,
// Symbol/Wingdings PUA -> Unicode + DejaVu Sans, иначе «#»
// (SymbolFontNormalizer)
SymbolFontNormalizer.STEP,
// поля PAGE/NUMPAGES fldChar -> w:fldSimple, иначе печатается
// кэш docx (FieldNormalizer)
FieldNormalizer.STEP,
// невидимые символы (U+0085/U+2028/U+2029, U+2060/U+FEFF,
// bidi-метки): FOP делает из них переносы, Arimo/Tinos — боксы
// (InvisibleCharNormalizer)
InvisibleCharNormalizer.STEP,
// раны со знаками вне покрытия их шрифта: режем ран, иначе
// FOP рисует «#» (GlyphCoverageNormalizer)
GlyphCoverageNormalizer.STEP,
// OLE-объекты: при выключенном errorOnOle тихо удаляем // OLE-объекты: при выключенном errorOnOle тихо удаляем
// (часть/rels/w:object), при включённом — DrawingFoundException // (часть/rels/w:object), при включённом — DrawingFoundException
// (OleObjectNormalizer) // (OleObjectNormalizer); второй проход, т.к. меняет части, а не XML
bytes -> OleObjectNormalizer.normalize(bytes, options.errorOnOle())); bytes -> OleObjectNormalizer.normalize(bytes, options.errorOnOle()));
} }
} }
@@ -0,0 +1,124 @@
package ru.pjandro.wordpdf.internal;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.nio.charset.StandardCharsets;
import java.util.Collections;
import org.apache.commons.compress.archivers.zip.ZipArchiveEntry;
import org.apache.commons.compress.archivers.zip.ZipArchiveOutputStream;
import org.apache.commons.compress.archivers.zip.ZipFile;
import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
/**
* Единый zip-проход переписывания XML-частей (.docx) вместо шести отдельных
* проходов нормализаторов: к каждой записи {@code word/*.xml} применяются все
* шесть рерайтов в фиксированном порядке
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage. Порядок значим: Strict
* первым — дальше части в transitional-виде; GlyphCoverage последним — режет
* раны по финальному тексту рана (после Symbol/Invisible). Каждый рерайт
* работает только содержимым одной части, поэтому по-частная цепочка
* эквивалентна последовательным полным проходам.
*
* <p>Неизменённые записи (медиа, rels, прочее) переносятся raw-копией
* сжатых байтов — без inflate/deflate; прочие (редкие методы сжатия,
* шифрованные) — обычный перенос. Ни одна часть не изменилась →
* возвращается <b>тот же массив</b> (контракт DocxNormalizer).
*
* <p>Вход — валидный zip: вызывается только из WordPdfConverter после
* WordPdfValidator.validate, поэтому отдельного catch на не-zip нет —
* IOException уходит наружу и оборачивается в ConversionException на границе.
*
* <p>Регрессии — WordPdfConverterTest#strictOoxml_convertsNotRejected,
* #oleObjects_removedAndConverted, #symbolFonts_bulletsAreNotHash,
* #exoticGlyphs_drawnNotHash.
*/
public final class DocxRewritePipeline {
private DocxRewritePipeline() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот проход как DocxNormalizer. */
public static final DocxNormalizer STEP = DocxRewritePipeline::normalize;
/**
* Применяет шесть рерайтов к каждой записи {@code word/*.xml} за один
* проход zip.
*
* @param docx байты .docx (валидный zip)
* @return те же или переупакованные байты
*/
public static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false;
try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx));
ZipArchiveOutputStream zos = new ZipArchiveOutputStream(out)) {
for (ZipArchiveEntry entry : Collections.list(zf.getEntries())) {
String name = entry.getName();
byte[] rewritten = null;
if (name.startsWith("word/") && name.endsWith(".xml")) {
String xml = new String(zf.getInputStream(entry).readAllBytes(),
StandardCharsets.UTF_8);
String cur = xml;
String next = StrictOoxmlNormalizer.rewritePart(name, cur);
if (next != null) {
cur = next;
}
next = DocxOnOffNormalizer.rewrite(cur);
if (next != null) {
cur = next;
}
next = SymbolFontNormalizer.rewrite(cur);
if (next != null) {
cur = next;
}
next = FieldNormalizer.rewrite(cur);
if (next != null) {
cur = next;
}
next = InvisibleCharNormalizer.rewrite(cur);
if (next != null) {
cur = next;
}
next = GlyphCoverageNormalizer.rewrite(cur);
if (next != null) {
cur = next;
}
if (cur != xml) {
changed = true;
rewritten = cur.getBytes(StandardCharsets.UTF_8);
}
}
if (rewritten != null) {
zos.putArchiveEntry(new ZipArchiveEntry(name));
zos.write(rewritten);
zos.closeArchiveEntry();
} else {
// raw-копия возможна для DEFLATED/STORED без шифрования
// (для прочих getRawInputStream кидает/возвращает null);
// флаги-дескрипторы выходного zip ZipArchiveOutputStream
// пишет по своей политике, source-флаги не наследуются
int method = entry.getMethod();
InputStream raw = (method == ZipArchiveEntry.DEFLATED
|| method == ZipArchiveEntry.STORED)
&& !entry.getGeneralPurposeBit().usesEncryption()
? zf.getRawInputStream(entry) : null;
if (raw != null) {
// медиа/rels/прочее без изменений — копия сжатых байтов,
// без inflate/deflate
try (raw) {
zos.addRawArchiveEntry(entry, raw);
}
} else {
// прочие методы/шифрованные — обычный перенос
zos.putArchiveEntry(new ZipArchiveEntry(name));
zf.getInputStream(entry).transferTo(zos);
zos.closeArchiveEntry();
}
}
}
}
return changed ? out.toByteArray() : docx;
}
}
@@ -2,14 +2,12 @@ package ru.pjandro.wordpdf.internal;
import ru.pjandro.wordpdf.DrawingFoundException; import ru.pjandro.wordpdf.DrawingFoundException;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream; import java.io.ByteArrayOutputStream;
import java.io.IOException; import java.io.IOException;
import java.nio.charset.StandardCharsets; import java.nio.charset.StandardCharsets;
import java.util.ArrayList; import java.util.ArrayList;
import java.util.HashMap; import java.util.HashMap;
import java.util.HashSet; import java.util.HashSet;
import java.util.LinkedHashMap;
import java.util.List; import java.util.List;
import java.util.Map; import java.util.Map;
import java.util.Set; import java.util.Set;
@@ -17,10 +15,15 @@ import java.util.Locale;
import java.util.logging.Logger; import java.util.logging.Logger;
import java.util.regex.Matcher; import java.util.regex.Matcher;
import java.util.regex.Pattern; import java.util.regex.Pattern;
import java.util.Collections;
import java.util.zip.ZipEntry; import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream; import java.util.zip.ZipException;
import java.util.zip.ZipOutputStream; import java.util.zip.ZipOutputStream;
import org.apache.commons.compress.archivers.zip.ZipArchiveEntry;
import org.apache.commons.compress.archivers.zip.ZipFile;
import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
/** /**
* Вычистка OLE-объектов из docx перед загрузкой docx4j — со сохранением * Вычистка OLE-объектов из docx перед загрузкой docx4j — со сохранением
* статичного представления. * статичного представления.
@@ -147,25 +150,32 @@ public final class OleObjectNormalizer {
* @return те же байты, если OLE-объектов нет; иначе переупакованный zip без OLE * @return те же байты, если OLE-объектов нет; иначе переупакованный zip без OLE
*/ */
public static byte[] normalize(byte[] docx, boolean errorOnOle) throws IOException { public static byte[] normalize(byte[] docx, boolean errorOnOle) throws IOException {
Map<String, byte[]> entries = new LinkedHashMap<>(); // Два этапа: дешёвый детект по центральному каталогу zip (читаются
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx))) { // только [Content_Types].xml и word/*.xml до первого <w:object) —
ZipEntry entry; // OLE в большинстве документов нет, и раньше каждый вызов впустую
while ((entry = zis.getNextEntry()) != null) { // распаковывал весь архив (включая медиа) в LinkedHashMap.
entries.put(entry.getName(), zis.readAllBytes()); ZipFile zf;
try {
zf = new ZipFile(new SeekableInMemoryByteChannel(docx));
} catch (ZipException e) {
// не zip / нет центрального каталога: как раньше — ZipInputStream
// не находил записей и normalize возвращал вход без изменений
return docx;
} }
} try (zf) {
byte[] contentTypes = entries.get(CONTENT_TYPES_ENTRY); ZipArchiveEntry contentTypes = zf.getEntry(CONTENT_TYPES_ENTRY);
if (contentTypes == null) { if (contentTypes == null) {
return docx; return docx;
} }
String ctXml = new String(contentTypes, StandardCharsets.UTF_8); String ctXml = new String(zf.getInputStream(contentTypes).readAllBytes(),
StandardCharsets.UTF_8);
Map<String, String> defaults = defaultTypes(ctXml); Map<String, String> defaults = defaultTypes(ctXml);
Map<String, String> overrides = overrideTypes(ctXml); Map<String, String> overrides = overrideTypes(ctXml);
Set<String> oleParts = new HashSet<>(); Set<String> oleParts = new HashSet<>();
boolean hasObjectMarkup = false; boolean hasObjectMarkup = false;
for (Map.Entry<String, byte[]> e : entries.entrySet()) { for (ZipArchiveEntry entry : Collections.list(zf.getEntries())) {
String name = e.getKey(); String name = entry.getName();
if (name.endsWith(BIN_SUFFIX)) { if (name.endsWith(BIN_SUFFIX)) {
String type = effectiveType(name, overrides, defaults); String type = effectiveType(name, overrides, defaults);
if (type != null && (OLE_OBJECT_TYPE.equalsIgnoreCase(type) if (type != null && (OLE_OBJECT_TYPE.equalsIgnoreCase(type)
@@ -173,7 +183,8 @@ public final class OleObjectNormalizer {
oleParts.add(name); oleParts.add(name);
} }
} else if (!hasObjectMarkup && name.startsWith("word/") && name.endsWith(".xml") } else if (!hasObjectMarkup && name.startsWith("word/") && name.endsWith(".xml")
&& new String(e.getValue(), StandardCharsets.UTF_8).contains("<w:object")) { && new String(zf.getInputStream(entry).readAllBytes(),
StandardCharsets.UTF_8).contains("<w:object")) {
// сам w:object — уже OLE: без bin-части он всё равно роняет docx4j // сам w:object — уже OLE: без bin-части он всё равно роняет docx4j
// (NPE chunkType is null) и обязан быть переписан // (NPE chunkType is null) и обязан быть переписан
hasObjectMarkup = true; hasObjectMarkup = true;
@@ -189,14 +200,16 @@ public final class OleObjectNormalizer {
LOG.warning("Удалён OLE-объект: " + part); LOG.warning("Удалён OLE-объект: " + part);
} }
// Переупаковка: обычная (часть записей удаляется, rels и
// content-types переписываются — raw-копия здесь неприменима).
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
try (ZipOutputStream zos = new ZipOutputStream(out)) { try (ZipOutputStream zos = new ZipOutputStream(out)) {
for (Map.Entry<String, byte[]> e : entries.entrySet()) { for (ZipArchiveEntry entry : Collections.list(zf.getEntries())) {
String name = e.getKey(); String name = entry.getName();
byte[] data = e.getValue();
if (oleParts.contains(name)) { if (oleParts.contains(name)) {
continue; continue;
} }
byte[] data = zf.getInputStream(entry).readAllBytes();
if (name.endsWith(".rels")) { if (name.endsWith(".rels")) {
String fixed = stripRels( String fixed = stripRels(
new String(data, StandardCharsets.UTF_8), name, oleParts); new String(data, StandardCharsets.UTF_8), name, oleParts);
@@ -223,6 +236,7 @@ public final class OleObjectNormalizer {
} }
return out.toByteArray(); return out.toByteArray();
} }
}
/** Extension (lowercase) -> ContentType из элементов Default. */ /** Extension (lowercase) -> ContentType из элементов Default. */
private static Map<String, String> defaultTypes(String ctXml) { private static Map<String, String> defaultTypes(String ctXml) {
@@ -140,8 +140,7 @@ public final class StrictOoxmlNormalizer {
// счётчика, его не переименовываем; направление части — по // счётчика, его не переименовываем; направление части — по
// наличию strict-URI (transitional-правила мягче) // наличию strict-URI (transitional-правила мягче)
String xml = new String(data, StandardCharsets.UTF_8); String xml = new String(data, StandardCharsets.UTF_8);
String fixed = rewrite(xml, !"word/numbering.xml".equals(name), String fixed = rewritePart(name, xml);
xml.contains(STRICT_NS));
if (fixed != null) { if (fixed != null) {
changed = true; changed = true;
data = fixed.getBytes(StandardCharsets.UTF_8); data = fixed.getBytes(StandardCharsets.UTF_8);
@@ -155,6 +154,18 @@ public final class StrictOoxmlNormalizer {
return changed ? out.toByteArray() : docx; return changed ? out.toByteArray() : docx;
} }
/**
* Рерайт одной zip-записи (имя нужно ради word/numbering.xml): в
* numbering.xml w:start — элемент стартового значения счётчика, его не
* переименовываем; направление части — по наличию strict-URI
* (transitional-правила мягче). Хук общего прохода DocxRewritePipeline.
*
* @return новая строка либо null, если правок не было
*/
static String rewritePart(String entryName, String xml) {
return rewrite(xml, !"word/numbering.xml".equals(entryName), xml.contains(STRICT_NS));
}
/** /**
* Применяет к XML-строке все правила в strict-режиме, включая переименование * Применяет к XML-строке все правила в strict-режиме, включая переименование
* элементов {@code w:start}/{@code w:end} (хук юнит-тестов). * элементов {@code w:start}/{@code w:end} (хук юнит-тестов).