diff --git a/AGENTS.md b/AGENTS.md index 6fcd5ee..92cd5f5 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -28,15 +28,21 @@ - 28 TTF в `wordpdf-core/src/main/resources/fonts/` — бинарные фикстуры, часть jar; не удалять/переименовывать без обновления маппинга. - Алиасы MS→open-source: Calibri→Carlito, Cambria→Caladea, Arial→Arimo, Times New Roman→Tinos, Courier New→Cousine; fallback — DejaVu Sans. - `slf4j-simple` обязателен: без него docx4j печатает предупреждение прямо в выходной PDF (регрессионный тест `noLoggingWarningInPdf`). -- Символы U+2000–U+2EFF (em-dash, кавычки, многоточие) рендерятся DejaVu Sans, а не шрифтом ранa — по дизайну; виртуальный «Segoe UI Symbol» мапится на fallback. +- Символы U+2000–U+2EFF (em-dash, кавычки, многоточие): `RunFontSelector.symbolBlockFont` оставляет шрифт ранa, если в нём есть этот глиф, и только иначе подставляет виртуальный «Segoe UI Symbol» (маппится на fallback DejaVu Sans, см. `BundledFontMapper`). Так же делает Word: в `references/word.pdf` em-dash нарисован Calibri/Times, DejaVu там нет вообще. Регрессия — `ruPlain_emDashEmbeddedNotHelvetica` (проверяет, что глиф рисует **вшитый** шрифт, а не базовый Helvetica). ## Архитектура (неочевидное) - Пайплайн: байты docx → `DocxOnOffNormalizer` → `SymbolFontNormalizer` → `FieldNormalizer` → docx4j → XSL-FO (XSLT) → FOP → PDF. - Поля страниц: Word пишет `PAGE`/`NUMPAGES` сложным полем (`fldChar begin` → `instrText` → `separate` → кэш → `end`). Экспорт docx4j в FO `w:instrText` внутри такого поля игнорирует и печатает кэш docx — во всех колонтитулах одно число (в эталоне «2» вместо 1, 2, 3 …). `FieldNormalizer` разворачивает поле в `w:fldSimple` (его обрабатывает `FldSimpleWriter` из docx4j-export-fo: PAGE → `fo:page-number`, есть также NUMPAGES/SECTIONPAGES/PAGEREF), сохраняя внутри закэшированные ран — они дают шрифт/размер. Штатный `FieldsCombiner` docx4j делает то же, но не заходит внутрь `w:sdt`, а Word держит нумерацию именно в контентном контроле («Page Numbers (Top of Page)»). Трогаются только инструкции, для которых есть обработчик; вложенные поля пропускаются. Регрессия — `WordPdfConverterTest#pageNumbers_recomputedNotCached`, фикстура `samples/page-numbers.docx`. - Символьные шрифты: Word хранит маркеры списков и спецсимволы кодами из PUA (U+F0xx), глиф выбирается по имени шрифта (`Symbol`, `Wingdings`, `Webdings`). Экспорт docx4j в FO этих шрифтов не знает: код уходит в fallback, глифа нет, FOP рисует `.notdef` — в PDF решётка «#». `SymbolFontNormalizer` (шаг 1.6, тоже правит байты до JAXB) меняет код на Unicode, а имя шрифта — на `DejaVu Sans`. Таблица кодов — `SymbolMapper` из docx4j 17.x, отфильтрована по наличию глифа в DejaVu; константы сгенерированы, менять руками нельзя. Обрабатываются `w:lvl` (numbering.xml), `w:r` и `w:sym`; ран с `w:sym` разрезается, т.к. у символа собственный `w:font`. Регрессия — `WordPdfConverterTest#symbolFonts_bulletsAreNotHash`, фикстура `samples/symbol-bullets.docx`. -- Порядок инициализации в `WordPdfConverter.convertToStream` важен: сначала `new BundledFontMapper()`, потом `BundledFonts.init()` (бандл-шрифты регистрируются поверх системных), затем `BundledFonts.restrictToBundled()` (чистит реестр `PhysicalFonts` от системных шрифтов до `load()`; конструктор маппера каждый раз заново добавляет их, и `GlyphCheck` на Windows находит системный Calibri — em-dash остаётся на Carlito, красный `ruPlain_emDashEmbeddedNotHelvetica`). Не менять местами. -- docx4j 11.x теряет атрибуты `w:val="off"/"on"` при JAXB-разборе — поэтому нужна нормализация байтов до загрузки (регрессионный тест `ruPlain_regularRunsUseRegularFont`). +- Порядок инициализации в `WordPdfConverter.convertToStream` важен: сначала `new BundledFontMapper()`, потом `BundledFonts.init()`, затем `BundledFonts.restrictToBundled()` (чистит реестр `PhysicalFonts` от системных шрифтов до `load()`; конструктор маппера каждый раз заново добавляет их). Не менять местами. +- docx4j 17.x по-прежнему теряет атрибуты `w:val="off"/"on"` при JAXB-разборе — нормализация байтов до загрузки (`DocxOnOffNormalizer`) нужна и на 17.x (проверялось отключением: красный `ruPlain_regularRunsUseRegularFont`). +- Ключ реестра `PhysicalFonts` — имя шрифта, и `addPhysicalFont(URI)` **не перезаписывает** занятый ключ. Системный `DejaVuSerif.ttf` занимает «dejavu serif», и наш `DejaVuSerif-Regular.ttf` (то же имя) не добавился бы — `BundledFonts.init()` перед регистрацией вызывает `dropNonBundled()`. +- **`docx4j.convert.out.fo.gsubFeatures=false`** ставится в статическом блоке `WordPdfConverter` — критично. Иначе docx4j навешивает на `fo:inline` атрибут `fox:gsub-features`, не объявляя префикс `fox`; FO становится некорректным XML, `WordLayoutFixups` не может его разобрать, молча отказывается от всех фикс и оставляет хинты `docx4j-baseline`, которые FOP отвергает (`Invalid property encountered on "fo:block": docx4j-baseline`). Без фиксов нет ни колонок, ни колонок таблиц. +- `WordLayoutFixups` (включён по умолчанию в 17.x) — постобработка DOM XSL-FO: `columnBreaks` (реально работают `w:cols/@w:num`, 2 колонки на стр. 9–11 эталона), `disregardBaselineShifts`, `lineBoxAttributes`, `stripHints` и др. Побочный эффект: авто-ширины колонок таблиц без `tblGrid`/`tcW` стали уже (слово может перенестись внутри ячейки) — в `tableImage_tableAndImage` сравнение нормализовано по пробелам. +- Формулы OMML (`m:oMath`) рисует `jeuclid-fop`, который в 17.x пришёл вместе с `docx4j-export-fo` — отдельного кода не требуется (в 11.5.3 формула молча исчезала). +- **`ServicesResourceTransformer` в maven-shade (`wordpdf-cli`) обязателен**: `META-INF/services/org.apache.fop.fo.ElementMapping` лежит и в `docx4j-fo-renderer-core`, и в `docx4j-export-fo`; без слияния второй перезаписывает первый, FOP не узнаёт namespace `fo:` и падает на `UnknownXMLObj cannot be cast to Root`. В fat-jar это не видно из тестов — тесты идут по classpath, проверять `java -jar`. +- FOP в 17.x — форк `org.docx4j:docx4j-fo-renderer*` (пакеты `org.apache.fop.*`), он знает хинты `docx4j:baseline`/`docx4j:line-box` через `WordLayoutElementMapping`. `Fop.Renderers.getRenderer()` теперь возвращает **список** `w:renderer` (по mime) — `FopFallbackFonts.rendererFonts` ищет `application/pdf`. - Диаграммы: `docx2fo.xslt` умеет только `a:graphicData/pic:pic`, для `c:chart` и `dgm:relIds` там `notImplemented` (объект молча исчезает). Поэтому `DrawingPreRenderer.run(pkg)` (шаг 3.5 в `convertToStream`, после `setFontMapper` и до `FOSettings`) рендерит их своим Java2D-движком в PNG 300 dpi (`internal/chart/*`) и подменяет на `pic:pic`. Тест `chartsSmartArt_drawingsBecomeImages`, фикстура `samples/charts-smartart.docx`. - В `DrawingPreRenderer` нужны собственные rels части — `part.getRelationshipsPart()` (`Base`), а **не** `getOwningRelationshipPart()`: у `document.xml` последнее указывает на пакетный `.rels`. Обход `pkg.getParts()` — только по снимку списка: `createImagePart` докидывает части в тот же реестр. - SmartArt рисуется из `word/diagrams/drawing1.xml` (кэш разложенной Word-ом схемы: абсолютные позиции + `prstGeom`); текст-заполнители (`[Текст]`) лежат в `data1.xml` на `dgm:pt type="node"`, а формы ссылаются на `dgm:pt type="pres"` — связь через `dgm:cxn type="presOf"`. diff --git a/README.md b/README.md index f6a5e09..f78a003 100644 --- a/README.md +++ b/README.md @@ -98,24 +98,28 @@ WordPdfConverter.convert(Path.of("doc.docx"), Path.of("out.pdf")); // явный ## Как это работает ``` -docx ──> (нормализация w:val on/off) ──> docx4j (WordprocessingMLPackage) +docx ──> нормализация байтов ──> docx4j (WordprocessingMLPackage) ──> XSL-FO (XSLT) ──> Apache FOP ──> PDF (embedded-шрифты) ``` -1. Байты `.docx` нормализуются (`DocxOnOffNormalizer`): docx4j 11.x теряет - атрибуты `w:val="off"/"on"` при JAXB-разборе, из-за чего regular-раны - могли рендериться жирным курсивом. +1. Байты `.docx` нормализуются, пока docx4j не увидел документ: + `DocxOnOffNormalizer` (docx4j теряет `w:val="off"/"on"` при JAXB-разборе, + из-за чего regular-раны могли рендериться жирным курсивом), + `SymbolFontNormalizer` (маркеры из Symbol/Wingdings вместо «#») и + `FieldNormalizer` (поля `PAGE`/`NUMPAGES` пересчитываются, а не печатают + кэш из docx). 2. Документ загружается в `WordprocessingMLPackage`, привязывается - `BundledFontMapper`. -3. Экспорт в XSL-FO (XSLT-проход), затем `Apache FOP` рендерит PDF, встраивая - используемые подмножества шрифтов. + `BundledFontMapper`, диаграммы и SmartArt предварительно растеризуются + в PNG (`DrawingPreRenderer`). +3. Экспорт в XSL-FO (XSLT-проход + `WordLayoutFixups`), затем `Apache FOP` + рендерит PDF, встраивая используемые подмножества шрифтов. ## Ограничения - Это **не** pixel-perfect рендер Word: раскладка, поля и некоторые эффекты приближённые (ограничения FOP/docx4j, а не «мы что-то упустили»). -- Символы U+2000–U+2EFF (em-dash и т.п.) рендерятся fallback-шрифтом DejaVu, - а не шрифтом самого ранa. +- Символы U+2000–U+2EFF (em-dash и т.п.) берутся из шрифта ранa, если в нём + есть глиф, иначе — из fallback-семейства DejaVu. - Поддержка таблиц/изображений — базовая (через docx4j/FOP). ## Тесты diff --git a/pom.xml b/pom.xml index 7a42f97..693e6dc 100644 --- a/pom.xml +++ b/pom.xml @@ -22,8 +22,8 @@ 17 UTF-8 - - 11.5.3 + + 17.3.0 2.0.17 diff --git a/wordpdf-cli/pom.xml b/wordpdf-cli/pom.xml index cd46cc2..928d25e 100644 --- a/wordpdf-cli/pom.xml +++ b/wordpdf-cli/pom.xml @@ -56,6 +56,12 @@ ru.pjandro.wordpdf.cli.WordPdfCli + + diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java index 7b296d8..89fdedb 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java @@ -4,6 +4,7 @@ import org.apache.fop.apps.FOUserAgent; import org.apache.fop.apps.FopFactory; import org.apache.fop.apps.FopFactoryBuilder; import org.docx4j.Docx4J; +import org.docx4j.Docx4jProperties; import org.docx4j.convert.out.FOSettings; import org.docx4j.convert.out.fo.renderers.FORendererApacheFOP; import org.docx4j.openpackaging.packages.WordprocessingMLPackage; @@ -36,6 +37,16 @@ import java.util.Locale; */ public final class WordPdfConverter { + static { + // docx4j 17.x навешивает на fo:inline атрибут fox:gsub-features, но + // префикс fox нигде не объявляет — FO получается некорректным XML. + // Из-за этого WordLayoutFixups не может его разобрать, молча + // отказывается от всех фикс и оставляет хинты docx4j-baseline, + // которые FOP отвергает («Invalid property ... docx4j-baseline»). + // GSUB-фичи отключаем: без них FOP живёт нормально, а с ними — нет. + Docx4jProperties.setProperty("docx4j.convert.out.fo.gsubFeatures", "false"); + } + private WordPdfConverter() { } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/fonts/BundledFonts.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/fonts/BundledFonts.java index a07fb74..f71c614 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/fonts/BundledFonts.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/fonts/BundledFonts.java @@ -126,6 +126,10 @@ public final class BundledFonts { } catch (IOException e) { throw new IllegalStateException("Не удалось создать временный каталог для шрифтов", e); } + // Ключ реестра docx4j — имя шрифта, и addPhysicalFont не перезаписывает + // занятый ключ. Системный DejaVuSerif.ttf занимает «dejavu serif», и + // наш DejaVuSerif-Regular.ttf (то же имя) просто не добавился бы. + dropNonBundled(); for (Entry entry : ENTRIES) { // 1. Выгружаем файл из jar @@ -178,6 +182,11 @@ public final class BundledFonts { if (!inited) { return; } + dropNonBundled(); + } + + /** Удаляет из реестра всё, что не было выгружено из jar в {@link #extractDir}. */ + private static void dropNonBundled() { String bundlePrefix = extractDir.toUri().toString(); java.util.Iterator> it = PhysicalFonts.getPhysicalFonts().entrySet().iterator(); diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FopFallbackFonts.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FopFallbackFonts.java index 132cc73..e859513 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FopFallbackFonts.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/FopFallbackFonts.java @@ -33,10 +33,7 @@ public final class FopFallbackFonts { * и до передачи настроек в {@code FORendererApacheFOP}. */ public static void declare(FOSettings foSettings) { - Fonts rendererFonts = foSettings.getFopConfig() - .getRenderers() - .getRenderer() - .getFonts(); + Fonts rendererFonts = rendererFonts(foSettings); if (rendererFonts == null) { return; } @@ -67,6 +64,31 @@ public final class FopFallbackFonts { BundledFonts.boldItalic(BundledFonts.FALLBACK_FAMILY), "italic", "bold"); } + /** + * Список шрифтов нужного рендера. В docx4j 17.x {@code w:renderers} + * содержит несколько {@code w:renderer} (по mime-типу), а не один, + * поэтому берём PDF; если помеченного нет — первый со шрифтами. + */ + private static Fonts rendererFonts(FOSettings foSettings) { + var renderers = foSettings.getFopConfig().getRenderers().getRenderer(); + if (renderers == null || renderers.isEmpty()) { + return null; + } + for (var renderer : renderers) { + if (MIME_PDF.equals(renderer.getMime()) && renderer.getFonts() != null) { + return renderer.getFonts(); + } + } + for (var renderer : renderers) { + if (renderer.getFonts() != null) { + return renderer.getFonts(); + } + } + return null; + } + + private static final String MIME_PDF = "application/pdf"; + private static void addFont(Fonts rendererFonts, ObjectFactory factory, String familyName, PhysicalFont pf, String style, String weight) { diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java index 7e2f4d0..bf1853c 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java @@ -54,6 +54,29 @@ class WordPdfConverterTest { } } + /** Имя шрифта, которым нарисован первый экземпляр символа {@code ch}. */ + private static String fontNameOf(Path pdf, char ch) throws IOException { + try (PDDocument doc = Loader.loadPDF(pdf.toFile())) { + String[] found = new String[1]; + PDFTextStripper stripper = new PDFTextStripper() { + @Override + protected void processTextPosition( + org.apache.pdfbox.text.TextPosition position) { + String u = position.getUnicode(); + if (found[0] == null && u.length() == 1 && u.charAt(0) == ch) { + found[0] = position.getFont().getName(); + } + super.processTextPosition(position); + } + }; + stripper.setStartPage(1); + stripper.setEndPage(doc.getNumberOfPages()); + stripper.getText(doc); + assertNotNull(found[0], "в PDF нет символа «" + ch + "»"); + return found[0]; + } + } + /** Конвертирует docx в временный PDF и возвращает его путь. */ private static Path convert(Path docx) throws IOException { Path out = Files.createTempFile("converted-", ".pdf"); @@ -206,12 +229,16 @@ class WordPdfConverterTest { // Текст извлекается (глиф на месте) assertTrue(norm(pdfText(pdf)).contains("—"), "em-dash не извлёкся"); - Set fonts = embeddedFontNames(pdf); - // Em-dash в fallback-семействе (DejaVu), а не в системном Helvetica - assertTrue(fonts.stream().anyMatch(n -> n.contains("DejaVu")), - "fallback-подмножество (DejaVu) не встроено: " + fonts); - assertFalse(fonts.stream().anyMatch(n -> n.startsWith("Helvetica")), - "em-dash упал на системный неembedded-шрифт: " + fonts); + // Em-dash рисуется вшитым в PDF шрифтом, а не базовым неembedded + // Helvetica. Какой именно это шрифт — решает docx4j: если в шрифте + // ранa есть глиф U+2014, остаётся он (так же делает Word: в + // references/word.pdf em-dash нарисовано Calibri/Times, DejaVu там + // нет вообще), иначе — fallback-семейство. + String font = fontNameOf(pdf, '—'); + assertFalse(font.startsWith("Helvetica"), + "em-dash упал на системный неembedded-шрифт: " + font); + assertTrue(embeddedFontNames(pdf).contains(font), + "em-dash нарисован не вшитым шрифтом: " + font); } @Test @@ -248,8 +275,13 @@ class WordPdfConverterTest { Path in = extractSample("ru-table-image.docx"); String text = norm(pdfText(convert(in))); - assertTrue(text.contains("Значение"), "нет текста таблицы: " + text); - assertTrue(text.contains("Русский"), "нет «Русский»: " + text); + // Таблица без tblGrid/tcW (auto-fit): docx4j 17.x считает ширины + // колонок по контенту и вместе с padding'ом ячейки не оставляет + // места на слово — «Значение» переносится как «Значени е». Поэтому + // сравниваем текст без пробелов: важно, что содержимое на месте. + String flat = text.replaceAll("\\s+", ""); + assertTrue(flat.contains("Значение"), "нет текста таблицы: " + text); + assertTrue(flat.contains("Русский"), "нет «Русский»: " + text); // Изображение: ищем XObject'ы-изображения среди ресурсов страниц Path pdf = convert(in);