From 5714bc835ba2087369c263656b0c8f38bed8c3f8 Mon Sep 17 00:00:00 2001 From: Pjandro Date: Sun, 25 Oct 2026 00:13:29 +0000 Subject: [PATCH 1/2] =?UTF-8?q?refactor(core):=20=D0=B8=D0=BD=D1=82=D0=B5?= =?UTF-8?q?=D1=80=D1=84=D0=B5=D0=B9=D1=81=20DocxNormalizer,=20=D0=BA=D0=BE?= =?UTF-8?q?=D0=BD=D0=B2=D0=B5=D0=B9=D0=B5=D1=80=20=D0=BD=D0=BE=D1=80=D0=BC?= =?UTF-8?q?=D0=B0=D0=BB=D0=B8=D0=B7=D0=B0=D1=82=D0=BE=D1=80=D0=BE=D0=B2=20?= =?UTF-8?q?=D1=81=D0=BF=D0=B8=D1=81=D0=BA=D0=BE=D0=BC=20=D0=B2=20=D0=BA?= =?UTF-8?q?=D0=BE=D0=BD=D0=B2=D0=B5=D1=80=D1=82=D0=B5=D1=80=D0=B5?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../ru/pjandro/wordpdf/WordPdfConverter.java | 71 +++++++++++-------- .../wordpdf/internal/DocxNormalizer.java | 16 +++++ 2 files changed, 59 insertions(+), 28 deletions(-) create mode 100644 wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxNormalizer.java diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java index ce2b4b1..e44e595 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java @@ -11,6 +11,7 @@ import org.docx4j.openpackaging.packages.WordprocessingMLPackage; import ru.pjandro.wordpdf.fonts.BundledFontMapper; import ru.pjandro.wordpdf.fonts.BundledFonts; import ru.pjandro.wordpdf.internal.chart.DrawingPreRenderer; +import ru.pjandro.wordpdf.internal.DocxNormalizer; import ru.pjandro.wordpdf.internal.DocxOnOffNormalizer; import ru.pjandro.wordpdf.internal.FieldNormalizer; import ru.pjandro.wordpdf.internal.GlyphCoverageNormalizer; @@ -23,6 +24,7 @@ import ru.pjandro.wordpdf.internal.SymbolFontNormalizer; import java.io.ByteArrayInputStream; import java.io.ByteArrayOutputStream; import java.io.OutputStream; +import java.util.List; /** * Конвертер docx -> PDF на базе docx4j + Apache FOP @@ -128,34 +130,13 @@ public final class WordPdfConverter { // em-dash (U+2000–U+2EFF) остаётся на шрифте ранa вместо fallback. BundledFonts.restrictToBundled(); - // 2. Загрузка документа. Первым strict-OOXML: Word в strict пишет - // проценты строками ("130%") и w:start/w:end вместо w:left/ - // w:right — JAXB падает на int-биндингах (см. StrictOoxmlNormalizer); - // дальше по конвейеру лежит уже transitional-байт. - byte[] docxBytes = StrictOoxmlNormalizer.normalize(rawDocxBytes); - // ...затем w:val="off"/"on" в "false"/"true": docx4j 11.x теряет - // атрибуты "off"/"on" при JAXB-разборе (см. DocxOnOffNormalizer). - docxBytes = DocxOnOffNormalizer.normalize(docxBytes); - // ...и символьные шрифты Symbol/Wingdings: их коды из PUA экспорт - // в FO не понимает и рисует «#» (см. SymbolFontNormalizer). - docxBytes = SymbolFontNormalizer.normalize(docxBytes); - // ...и поля PAGE/NUMPAGES из fldChar делаем w:fldSimple, иначе - // в колонтитулах печатается кэш docx (см. FieldNormalizer). - docxBytes = FieldNormalizer.normalize(docxBytes); - // ...и невидимые символы (U+0085/U+2028/U+2029, U+2060/U+FEFF, - // bidi-метки): FOP превращает первые три в принудительные переносы - // — пустые строки, а Arimo/Tinos рисуют для них видимые боксы; - // в Word они невидимы (см. InvisibleCharNormalizer). - docxBytes = InvisibleCharNormalizer.normalize(docxBytes); - // ...и раны со знаками, которых нет в их шрифте: без этого - // FOP рисует «#» (docx4j проверяет покрытие не для всех знаков - // и кэширует фолбэк на группу Юникода, см. GlyphCoverageNormalizer). - docxBytes = GlyphCoverageNormalizer.normalize(docxBytes); - // ...и OLE-объекты (внедрённые бинарные .bin-части): docx4j падает и на - // ложном XML-типе bin-части в [Content_Types], и на сериализации VML - // w:object. При выключенном errorOnOle объекты тихо удаляются (часть, - // rels, w:object), при включённом — отказ (см. OleObjectNormalizer). - docxBytes = OleObjectNormalizer.normalize(docxBytes, options.errorOnOle()); + // 2. Загрузка документа: байтовый конвейер нормализаторов в фиксированном + // порядке (см. normalizers) — дальше лежит transitional-байт, готовый + // для JAXB/docx4j. + byte[] docxBytes = rawDocxBytes; + for (DocxNormalizer normalizer : normalizers(options)) { + docxBytes = normalizer.normalize(docxBytes); + } WordprocessingMLPackage pkg = WordprocessingMLPackage.load( new ByteArrayInputStream(docxBytes)); try { @@ -202,4 +183,38 @@ public final class WordPdfConverter { // пакет загружается в память и ничего не закрывает. } } + + /** + * Конвейер байтовой нормализации docx. Порядок фиксирован: + * StrictOoxml первым (дальше по конвейеру лежит transitional-байт), + * GlyphCoverage после SymbolFont/InvisibleChar (покрытие считается по + * финальному тексту/шрифтам рана), OleObject последним (меняет части, + * а не XML ранов). Регрессии каждого шага — в javadoc нормализатора. + */ + private static List normalizers(ConvertOptions options) { + return List.of( + // strict-OOXML -> transitional: проценты строками и w:start/w:end + // ломают int-биндинги JAXB (StrictOoxmlNormalizer) + StrictOoxmlNormalizer::normalize, + // w:val="off"/"on" -> "false"/"true": docx4j теряет on/off + // при JAXB-разборе (DocxOnOffNormalizer) + DocxOnOffNormalizer::normalize, + // Symbol/Wingdings PUA -> Unicode + DejaVu Sans, иначе «#» + // (SymbolFontNormalizer) + SymbolFontNormalizer::normalize, + // поля PAGE/NUMPAGES fldChar -> w:fldSimple, иначе печатается + // кэш docx (FieldNormalizer) + FieldNormalizer::normalize, + // невидимые символы (U+0085/U+2028/U+2029, U+2060/U+FEFF, + // bidi-метки): FOP делает из них переносы, Arimo/Tinos — боксы + // (InvisibleCharNormalizer) + InvisibleCharNormalizer::normalize, + // раны со знаками вне покрытия их шрифта: режем ран, иначе + // FOP рисует «#» (GlyphCoverageNormalizer) + GlyphCoverageNormalizer::normalize, + // OLE-объекты: при выключенном errorOnOle тихо удаляем + // (часть/rels/w:object), при включённом — DrawingFoundException + // (OleObjectNormalizer) + bytes -> OleObjectNormalizer.normalize(bytes, options.errorOnOle())); + } } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxNormalizer.java new file mode 100644 index 0000000..0b0c3a7 --- /dev/null +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxNormalizer.java @@ -0,0 +1,16 @@ +package ru.pjandro.wordpdf.internal; + +import java.io.IOException; + +/** + * Шаг байтового конвейера нормализации docx перед WordprocessingMLPackage.load(): + * принимает байты .docx (zip), возвращает те же байты, если менять нечего, + * иначе переупакованный zip (контракт assertSame — см. тесты нормализаторов). + * Порядок шагов задаёт единственный конвейер — WordPdfConverter#normalizers; + * перестановка шагов ломает конвертацию (см. javadoc каждого нормализатора). + */ +@FunctionalInterface +public interface DocxNormalizer { + + byte[] normalize(byte[] docx) throws IOException; +} -- 2.56.1 From 4a0cd6a9b3a1a3a9aa06cf955f7a94d24c810f8a Mon Sep 17 00:00:00 2001 From: Pjandro Date: Sun, 25 Oct 2026 00:21:20 +0000 Subject: [PATCH 2/2] =?UTF-8?q?refactor(core):=20=D0=BD=D0=BE=D1=80=D0=BC?= =?UTF-8?q?=D0=B0=D0=BB=D0=B8=D0=B7=D0=B0=D1=82=D0=BE=D1=80=D1=8B=20=D0=BF?= =?UTF-8?q?=D1=83=D0=B1=D0=BB=D0=B8=D0=BA=D1=83=D1=8E=D1=82=20STEP-=D1=88?= =?UTF-8?q?=D0=B0=D0=B3=D0=B8=20=D0=BA=D0=BE=D0=BD=D0=B2=D0=B5=D0=B9=D0=B5?= =?UTF-8?q?=D1=80=D0=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../java/ru/pjandro/wordpdf/WordPdfConverter.java | 12 ++++++------ .../wordpdf/internal/DocxOnOffNormalizer.java | 3 +++ .../ru/pjandro/wordpdf/internal/FieldNormalizer.java | 3 +++ .../wordpdf/internal/GlyphCoverageNormalizer.java | 3 +++ .../wordpdf/internal/InvisibleCharNormalizer.java | 3 +++ .../wordpdf/internal/StrictOoxmlNormalizer.java | 3 +++ .../wordpdf/internal/SymbolFontNormalizer.java | 3 +++ 7 files changed, 24 insertions(+), 6 deletions(-) diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java index e44e595..dd45259 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java @@ -195,23 +195,23 @@ public final class WordPdfConverter { return List.of( // strict-OOXML -> transitional: проценты строками и w:start/w:end // ломают int-биндинги JAXB (StrictOoxmlNormalizer) - StrictOoxmlNormalizer::normalize, + StrictOoxmlNormalizer.STEP, // w:val="off"/"on" -> "false"/"true": docx4j теряет on/off // при JAXB-разборе (DocxOnOffNormalizer) - DocxOnOffNormalizer::normalize, + DocxOnOffNormalizer.STEP, // Symbol/Wingdings PUA -> Unicode + DejaVu Sans, иначе «#» // (SymbolFontNormalizer) - SymbolFontNormalizer::normalize, + SymbolFontNormalizer.STEP, // поля PAGE/NUMPAGES fldChar -> w:fldSimple, иначе печатается // кэш docx (FieldNormalizer) - FieldNormalizer::normalize, + FieldNormalizer.STEP, // невидимые символы (U+0085/U+2028/U+2029, U+2060/U+FEFF, // bidi-метки): FOP делает из них переносы, Arimo/Tinos — боксы // (InvisibleCharNormalizer) - InvisibleCharNormalizer::normalize, + InvisibleCharNormalizer.STEP, // раны со знаками вне покрытия их шрифта: режем ран, иначе // FOP рисует «#» (GlyphCoverageNormalizer) - GlyphCoverageNormalizer::normalize, + GlyphCoverageNormalizer.STEP, // OLE-объекты: при выключенном errorOnOle тихо удаляем // (часть/rels/w:object), при включённом — DrawingFoundException // (OleObjectNormalizer) diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxOnOffNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxOnOffNormalizer.java index 89ae7ce..96a8273 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxOnOffNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxOnOffNormalizer.java @@ -32,6 +32,9 @@ public final class DocxOnOffNormalizer { private DocxOnOffNormalizer() { } + /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ + public static final DocxNormalizer STEP = DocxOnOffNormalizer::normalize; + /** * Заменяет в XML-частях docx (word/*.xml) w:val="off"/"on" * на "false"/"true". diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FieldNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FieldNormalizer.java index 58827a2..0ec14b7 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FieldNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FieldNormalizer.java @@ -44,6 +44,9 @@ public final class FieldNormalizer { private FieldNormalizer() { } + /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ + public static final DocxNormalizer STEP = FieldNormalizer::normalize; + /** * Переписывает поддерживаемые поля во всех word/*.xml частях docx. * diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/GlyphCoverageNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/GlyphCoverageNormalizer.java index e6ed67c..aa309fc 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/GlyphCoverageNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/GlyphCoverageNormalizer.java @@ -81,6 +81,9 @@ public final class GlyphCoverageNormalizer { private GlyphCoverageNormalizer() { } + /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ + public static final DocxNormalizer STEP = GlyphCoverageNormalizer::normalize; + /** * Разрезает раны с непокрытыми глифами в XML-частях docx (word/*.xml). * diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/InvisibleCharNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/InvisibleCharNormalizer.java index 38197b9..d2c4a7d 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/InvisibleCharNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/InvisibleCharNormalizer.java @@ -86,6 +86,9 @@ public final class InvisibleCharNormalizer { private InvisibleCharNormalizer() { } + /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ + public static final DocxNormalizer STEP = InvisibleCharNormalizer::normalize; + /** * Вырезает невидимые символы из текстовых узлов XML-частей docx * (word/*.xml). diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java index 1681f63..ffc731e 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java @@ -78,6 +78,9 @@ public final class StrictOoxmlNormalizer { private StrictOoxmlNormalizer() { } + /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ + public static final DocxNormalizer STEP = StrictOoxmlNormalizer::normalize; + /** * Приводит strict-OOXML в XML-частях docx (word/*.xml) к виду, который * разбирает JAXB-модель transitional (детали — в javadoc класса). diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizer.java index 7fa535f..147754f 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/SymbolFontNormalizer.java @@ -70,6 +70,9 @@ public final class SymbolFontNormalizer { private SymbolFontNormalizer() { } + /** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */ + public static final DocxNormalizer STEP = SymbolFontNormalizer::normalize; + /** * Заменяет символьные шрифты в XML-частях docx (word/*.xml). * -- 2.56.1