diff --git a/AGENTS.md b/AGENTS.md index 6b4be9e..5974557 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -11,7 +11,7 @@ Наружу `checkInput(bytes, maxBytes)` вызывается **до** приватного `convertToStream`; внутри `convertToStream`: 1. `new BundledFontMapper()` → `BundledFonts.init()` → `BundledFonts.restrictToBundled()`. Конструктор маппера каждый раз добавляет системные шрифты в реестр `PhysicalFonts`; ключ реестра — имя из name-таблицы TTF, `addPhysicalFont(URI)` не перезаписывает занятый → `init()` вызывает `dropNonBundled()` **до** регистрации и `load()` (иначе системный Calibri ломает em-dash-fallback). -2. Нормализация байтов docx до JAXB-загрузки (цепочка `byte[] → byte[]`, порядок значим): `DocxOnOffNormalizer` (`w:val="off"/"on"` → `false`/`true`) → `SymbolFontNormalizer` (PUA U+F0xx Symbol/Wingdings/Webdings → Unicode + DejaVu Sans, переписывает и элементы ``; 5 карт по 256 слотов, таблица `SymbolMapper` сгенерирована из docx4j 17.x) → `FieldNormalizer` (`fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple`, вложенные/битые поля пропускает) → `GlyphCoverageNormalizer` (режет ран по покрытию глифов, пишет семейство в `w:rFonts`, иначе FOP рисует «#»; покрытие — `java.awt.Font.canDisplay` + BitSet-кэш, НЕ docx4j `GlyphCheck` — тот плодит INFO-лог; для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (DejaVu Serif/Tinos/Caladea), затем в sans) → `WordprocessingMLPackage.load`. +2. Нормализация байтов docx до JAXB-загрузки (цепочка `byte[] → byte[]`, порядок значим): `StrictOoxmlNormalizer` (strict-OOXML → transitional-байт: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`, элементы и атрибуты `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml), значения `start`/`end` у `w:jc`/`w:tab`; в `mc-preprocessor.xslt` docx4j ветка `%` закомментирована, start/end не маппятся; namespaces и `pt`-значения правит сам mc-preprocessor — собственный рерайт URI ломает его pt-конверсию) → `DocxOnOffNormalizer` (`w:val="off"/"on"` → `false`/`true`) → `SymbolFontNormalizer` (PUA U+F0xx Symbol/Wingdings/Webdings → Unicode + DejaVu Sans, переписывает и элементы ``; 5 карт по 256 слотов, таблица `SymbolMapper` сгенерирована из docx4j 17.x) → `FieldNormalizer` (`fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple`, вложенные/битые поля пропускает) → `GlyphCoverageNormalizer` (режет ран по покрытию глифов, пишет семейство в `w:rFonts`, иначе FOP рисует «#»; покрытие — `java.awt.Font.canDisplay` + BitSet-кэш, НЕ docx4j `GlyphCheck` — тот плодит INFO-лог; для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (DejaVu Serif/Tinos/Caladea), затем в sans) → `WordprocessingMLPackage.load`. 3. `WordPdfValidator.checkPageCount(pkg, maxPages)` — **до** рендера. 4. `pkg.setFontMapper(mapper)` → `DrawingPreRenderer.run(pkg, options)` (шаг 3.5: `c:chart`/`dgm:relIds` docx2fo.xslt не умеет — свой Java2D-движок `internal/chart/*` рендерит в PNG 300 dpi и подменяет на `pic:pic`; объект, выключенный в `ConvertOptions`, пропускается до рендера и остаётся в docx; упавший рендер — объект **удаляется** из docx (`gd.getAny().clear()`) + warn, деградация не падение). 5. `new FOSettings(pkg)` + `FopFallbackFonts.declare` (декларирует **все** бандл-семейства — FOP встраивает только задекларированные) → `FORendererApacheFOP`/`FOUserAgent` (непустой `title` → заголовок PDF) → `Docx4J.toFO(..., FLAG_EXPORT_PREFER_XSL)`. @@ -35,7 +35,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр - `docx4j.convert.out.fo.gsubFeatures=false` — static-блок `WordPdfConverter`. Иначе FO невалиден → `WordLayoutFixups` молча отказывает всем фиксам (без них нет колонок) → FOP падает на `docx4j-baseline`. - `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`). Приложение исключает его из зависимости ядра — логи ведёт logback. - FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.2 (пакеты `org.apache.fop.*`); `Fop.Renderers.getRenderer()` возвращает **список** (рендер выбирается по mime `application/pdf`). `docx2fo.xslt` в репозитории нет — он в jar `docx4j-export-fo`. -- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `sectPr` в body + `w:br type="page"` + `pageBreakBefore` (рекурсивно, включая таблицы и `w:sdt`). Lightweight-путь (StAX по zip, secure-ридер без DTD/external entities): `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитулах — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy-значения `val`: `null|true|1|on`); на не-zip молчит — подпись проверяет вызывающий. Расхождение lightweight↔JAXB допустимо только в завышение. `pageCountOf` package-private намеренно (тесты). +- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `sectPr` в body + `w:br type="page"` + `pageBreakBefore` (рекурсивно, включая таблицы и `w:sdt`). Lightweight-путь (StAX по zip, secure-ридер без DTD/external entities): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитулах — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy-значения `val`: `null|true|1|on`); на не-zip молчит — подпись проверяет вызывающий. Расхождение lightweight↔JAXB допустимо только в завышение. `pageCountOf` package-private намеренно (тесты); при провале JAXB-разбора (`getJaxbElement()` → null) бросает `ConversionException`, а не NPE. - Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно). - Внимательно: комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.2 (описанное поведение верно). @@ -49,7 +49,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр |---|---| |`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API: `WordPdfConverter`, `WordPdfValidator` (перегрузки `checkInput`/`checkPageCountLightweight`/`checkPageCount` — `byte[]` или pkg, с лимитом/без), `ConversionException`, `WordPdfSettings` (константы-дефолты), `ConvertOptions` (record: renderCharts, renderSmartArt, maxBytes, maxPages)| |`…/wordpdf/fonts/`|`BundledFonts` (реестр/выгрузка TTF, `families()`, `FALLBACK_FAMILY`), `BundledFontMapper` (алиасы MS→open-source, self-map, DISPLAY_NAMES, public-хук `bundledFamily`)| -|`…/wordpdf/internal/`|4 байтовых нормализатора + `FopFallbackFonts` (классы `public` — вызываются из родительского пакета; публичные члены только `normalize`/`declare`)| +|`…/wordpdf/internal/`|5 байтовых нормализатора + `FopFallbackFonts` (классы `public` — вызываются из родительского пакета; публичные члены только `normalize`/`declare`)| |`…/wordpdf/internal/chart/`|11 классов Java2D-рендера диаграмм/SmartArt в PNG (public только `DrawingPreRenderer`)| |`wordpdf-core/src/main/resources/fonts/`|30 TTF + 3 лицензии — бинарные фикстуры, часть jar| |`wordpdf-core/src/test/resources/samples/`|11 закоммиченных `.docx`-фикстур (единственные фикстуры)| @@ -117,11 +117,11 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \ ## Testing & QA -- 13 тестовых классов / 109 `@Test` (core 10/89, app 3/20). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true` в argLine; только `Assertions` (Mockito/AssertJ не использовать, несмотря на test-classpath Boot; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`); тестовые классы package-private, зеркалят main-пакеты; только `@Test` (+ единственный `@BeforeAll` — warm-up шрифтов в `GlyphCoverageNormalizerTest`). +- 14 тестовых классов / 124 `@Test` (core 11/104, app 3/20). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true` в argLine; только `Assertions` (Mockito/AssertJ не использовать, несмотря на test-classpath Boot; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`); тестовые классы package-private, зеркалят main-пакеты; только `@Test` (+ единственный `@BeforeAll` — warm-up шрифтов в `GlyphCoverageNormalizerTest`). - **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` для текста (пер-странично `setStartPage/setEndPage`), override `processTextPosition` для шрифта конкретного символа (`fontNameOf`), обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`) и счётчика картинок (`imageCount`). Негативные маркеры — регрессии: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`); в `tableImage_tableAndImage` — полное удаление пробелов (docx4j переносит слова в auto-fit таблицах). - Пиксели (BufferedImage) — только в unit-тестах chart-пейнтеров, допуски 6–10% против эталона Word (`PiePainterTest` аспект h/w=0.585, `assertRatio` отклонение <0.06; `Surface3dPainterTest` `assertRange` ±6 pt для центров силуэта + `assertRatio` допуск 0.10 для геометрических отношений; shading — не допуск, а перцентильные коридоры яркости p5∈[0.74,0.90], median∈[0.90,1.10], p95∈[1.02,1.20]). - Фикстуры — закоммиченные `samples/*.docx` (11; в тестах не генерировать): core грузит classpath-ресурсом → `byte[]`, PDF для PDFBox — временный файл; app читает `/samples/…` из **test-jar core** (classifier `tests`) → `mvn -pl wordpdf-app` без `-am` не соберётся. In-memory docx — `ZipOutputStream` из литеральных XML или POI в `byte[]`. Ключевые: `too-many-pages` (150 явных разрывов → 151), `stale-cache` (кэш `1` + 110 `lastRenderedPageBreak`), `charts-smartart` (4 растра; SmartArt-одиночка = ровно 2 Image XObject). -- Юниты нормализаторов работают строками (`rewrite`) + zip'ами из `ZipOutputStream`; обязательные контракты: «нечего менять → тот же массив» (`assertSame` покрыт тестами только у zip-нормализаторов `DocxOnOff`/`SymbolFont`; у `Field`/`GlyphCoverage` — `rewrite`→`null`) и неприкосновенность частей вне `word/*.xml` (`[Content_Types].xml`). Тесты бьют и в package-private API (`GlyphCoverageNormalizer.split(text, family)`, `pageCountOf`, `ChartSpec.readTitle`). +- Юниты нормализаторов работают строками (`rewrite`) + zip'ами из `ZipOutputStream`; обязательные контракты: «нечего менять → тот же массив» (`assertSame` покрыт тестами только у zip-нормализаторов `DocxOnOff`/`SymbolFont`/`StrictOoxml`; у `Field`/`GlyphCoverage` — `rewrite`→`null`) и неприкосновенность частей вне `word/*.xml` (`[Content_Types].xml`). Тесты бьют и в package-private API (`GlyphCoverageNormalizer.split(text, family)`, `pageCountOf`, `ChartSpec.readTitle`). - App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); три контекста — `ConvertControllerTest` (пустой ключ), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` с лимитами — отдельный класс, не `@Nested`). -- Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCountLightweight_agreesWithJaxbPath` 99/100/101, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `ChartSpecTest`↔автозаголовки, chart-пейнтеры↔`chartsSmartArt_drawingsBecomeImages` (+`drawingToggles_offRemovesRasters`/`drawingToggles_chartsOffSmartArtOn`); `noLoggingWarningInPdf` — регрессия `slf4j-simple`, `pdfTitle_comesFromParameter` — регрессия PDF-title (юнит-партнёра нет). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed` (гонка реестра `PhysicalFonts`), `corruptNotAZip_rejected`, `junkInsideValidZip_conversionError`, `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `renderFlagsOff_convertsWithoutDrawings`, `cyrillicAndPathInFilename_sanitizedResponseName` (RFC 5987 + path-traversal). +- Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `StrictOoxmlNormalizerTest`↔`strictOoxml_convertsNotRejected` (+`pageCount_strictBreaksCountedLightweight` — lightweight против strict), `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCountLightweight_agreesWithJaxbPath` 99/100/101, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `ChartSpecTest`↔автозаголовки, chart-пейнтеры↔`chartsSmartArt_drawingsBecomeImages` (+`drawingToggles_offRemovesRasters`/`drawingToggles_chartsOffSmartArtOn`); `noLoggingWarningInPdf` — регрессия `slf4j-simple`, `pdfTitle_comesFromParameter` — регрессия PDF-title (юнит-партнёра нет). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed` (гонка реестра `PhysicalFonts`), `corruptNotAZip_rejected`, `junkInsideValidZip_conversionError`, `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `renderFlagsOff_convertsWithoutDrawings`, `cyrillicAndPathInFilename_sanitizedResponseName` (RFC 5987 + path-traversal). - UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn). diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java index 51d48ab..e811631 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java @@ -15,6 +15,7 @@ import ru.pjandro.wordpdf.internal.DocxOnOffNormalizer; import ru.pjandro.wordpdf.internal.FieldNormalizer; import ru.pjandro.wordpdf.internal.GlyphCoverageNormalizer; import ru.pjandro.wordpdf.internal.FopFallbackFonts; +import ru.pjandro.wordpdf.internal.StrictOoxmlNormalizer; import ru.pjandro.wordpdf.internal.SymbolFontNormalizer; import java.io.ByteArrayInputStream; @@ -117,10 +118,14 @@ public final class WordPdfConverter { // em-dash (U+2000–U+2EFF) остаётся на шрифте ранa вместо fallback. BundledFonts.restrictToBundled(); - // 2. Загрузка документа. Предварительно нормализуем w:val="off"/"on" - // в "false"/"true": docx4j 11.x теряет атрибуты "off"/"on" - // при JAXB-разборе (см. DocxOnOffNormalizer). - byte[] docxBytes = DocxOnOffNormalizer.normalize(rawDocxBytes); + // 2. Загрузка документа. Первым strict-OOXML: Word в strict пишет + // проценты строками ("130%") и w:start/w:end вместо w:left/ + // w:right — JAXB падает на int-биндингах (см. StrictOoxmlNormalizer); + // дальше по конвейеру лежит уже transitional-байт. + byte[] docxBytes = StrictOoxmlNormalizer.normalize(rawDocxBytes); + // ...затем w:val="off"/"on" в "false"/"true": docx4j 11.x теряет + // атрибуты "off"/"on" при JAXB-разборе (см. DocxOnOffNormalizer). + docxBytes = DocxOnOffNormalizer.normalize(docxBytes); // ...и символьные шрифты Symbol/Wingdings: их коды из PUA экспорт // в FO не понимает и рисует «#» (см. SymbolFontNormalizer). docxBytes = SymbolFontNormalizer.normalize(docxBytes); diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java index 7c86c20..4225492 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java @@ -248,7 +248,15 @@ public final class WordPdfValidator { // docPropsExtended может быть не полностью инициализирован — // тогда остаётся оценка по разрывам. } - var body = pkg.getMainDocumentPart().getJaxbElement().getBody(); + // getJaxbElement() возвращает null, когда JAXB-разбор части провалился + // (docx4j пишет в лог «Problem with part» и «gives up») — без проверки + // здесь была бы NPE вместо внятной ошибки. + var document = pkg.getMainDocumentPart() == null + ? null : pkg.getMainDocumentPart().getJaxbElement(); + if (document == null || document.getBody() == null) { + throw new ConversionException("Не удалось разобрать word/document.xml"); + } + var body = document.getBody(); var content = body.getContent(); int explicit = 1; // сам документ — минимум одна страница for (Object child : content) { @@ -456,7 +464,7 @@ public final class WordPdfValidator { } case "type" -> { if (inBodySectPr && "sectPr".equals(parent)) { - sectTypeVal = xr.getAttributeValue(WML_NS, "val"); + sectTypeVal = attrLocal(xr, "val"); } } default -> { @@ -515,19 +523,31 @@ public final class WordPdfValidator { return f; } + /** + * Значение атрибута по локальному имени, без привязки к namespace: + * lightweight-путь читает сырые байты до нормализации, а в strict-OOXML + * те же атрибуты стоят в namespace {@code purl.oclc.org} — + * {@code getAttributeValue(transitionalURI, …)} там вернул бы null. + */ + private static String attrLocal(XMLStreamReader xr, String localName) { + for (int i = 0; i < xr.getAttributeCount(); i++) { + if (xr.getAttributeName(i).getLocalPart().equals(localName)) { + return xr.getAttributeValue(i); + } + } + return null; + } + private static boolean isPageBreak(XMLStreamReader xr) { - return "page".equals(xr.getAttributeValue(WML_NS, "type")); + return "page".equals(attrLocal(xr, "type")); } private static boolean truthy(XMLStreamReader xr) { - String v = xr.getAttributeValue(WML_NS, "val"); + String v = attrLocal(xr, "val"); return v == null || v.equals("true") || v.equals("1") || v.equals("on"); } private static boolean inside(Deque path, String ancestor) { return path.contains(ancestor); } - - private static final String WML_NS = - "http://schemas.openxmlformats.org/wordprocessingml/2006/main"; } diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java new file mode 100644 index 0000000..826f43f --- /dev/null +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizer.java @@ -0,0 +1,235 @@ +package ru.pjandro.wordpdf.internal; + +import java.io.ByteArrayInputStream; +import java.io.ByteArrayOutputStream; +import java.io.IOException; +import java.nio.charset.StandardCharsets; +import java.util.regex.Matcher; +import java.util.regex.Pattern; +import java.util.zip.ZipEntry; +import java.util.zip.ZipInputStream; +import java.util.zip.ZipOutputStream; + +/** + * Нормализация strict-OOXML документов (.docx, сохранённые Word в формате + * ISO 29500 strict, namespaces {@code http://purl.oclc.org/ooxml/*}) перед + * загрузкой docx4j. + * + *

docx4j читает strict через {@code org/docx4j/jaxb/mc-preprocessor.xslt} + * (перебивает strict-namespace'ы в transitional, конвертит {@code pt} в + * twips/half-points), но в этом XSLT ветка перевода процентов в тысячные + * доли закомментирована, а strict-переименования {@code w:start}/{@code w:end} + * в {@code w:left}/{@code w:right} он не делает вовсе. Word в strict пишет: + *

    + *
  • проценты строками в атрибутах с int-биндингами JAXB — + * {@code a:shade val="50%"}, {@code a:gs pos="14%"}, + * {@code w14:fillToRect w14:t="130%"} — JAXB падает на + * {@code NumberFormatException: Not a number: 130%};
  • + *
  • текстовые проценты в {@code wp14:pctWidth}/{@code wp14:pctHeight};
  • + *
  • границы и отступы в элементах {@code w:start}/{@code w:end} + * (в transitional они называются {@code w:left}/{@code w:right}) — + * JAXB сообщает «unexpected element» и границы теряются;
  • + *
  • атрибуты {@code w:start}/{@code w:end} у {@code w:ind} и значения + * {@code start}/{@code end} у {@code w:jc}/{@code w:tab} — в + * transitional таких имён/значений нет, JAXB их отбрасывает.
  • + *
+ * + *

Полный strict→transitional рерайт не делается: mc-preprocessor уже + * перебивает namespaces и {@code pt}-значения, а собственный рерайт URI + * сломал бы его конвертацию {@code pt} (FOP получил бы {@code "10pt"}). + * Здесь только те правки, которых в XSLT нет. Атрибуты {@code w:} с процентом + * ({@code w:tblW w:w="50%" w:type="pct"}) не трогаем: они в docx4j связаны + * строковым типом, и экспортёр в FO понимает {@code %} сам. + * + *

В {@code word/numbering.xml} переименование элементов {@code w:start} + * пропускается: там {@code w:lvl/w:start} — легитимный transitional-элемент + * (стартовое значение счётчика), регрессия — StrictOoxmlNormalizerTest. + * + *

Transitional-документы (Word пишет {@code a:}-проценты целыми, {@code + * w:start} вне numbering.xml и {@code w:jc val="start"} не бывает) проходят + * без изменений: если правок не было, возвращается исходный массив. + * + * Регрессия — WordPdfConverterTest#strictOoxml_convertsNotRejected. + */ +public final class StrictOoxmlNormalizer { + + /** Открывающий тег элемента префикса {@code a:} (DrawingML). */ + private static final Pattern A_TAG = Pattern.compile("]*>"); + + /** Открывающий тег {@code w14:fillToRect} — единственный носитель %-атрибутов в w14. */ + private static final Pattern FILL_TO_RECT_TAG = Pattern.compile("]*>"); + + /** Атрибут со строковым процентом: {@code name="130%"}, {@code pos="-30.5%"}. */ + private static final Pattern PERCENT_ATTR = + Pattern.compile("([A-Za-z0-9:]+)=\"(-?\\d+(?:\\.\\d+)?)%\""); + + /** Текстовый процент у {@code wp14:pctWidth}/{@code wp14:pctHeight} (int-биндинг docx4j). */ + private static final Pattern PERCENT_TEXT = Pattern.compile( + "(]*>)(-?\\d+(?:\\.\\d+)?)%<"); + + /** Элемент {@code ])"); + private static final Pattern END_ELEMENT = Pattern.compile("])"); + + /** Значения {@code start}/{@code end} у {@code w:jc}/{@code w:tab}. */ + private static final Pattern JC_TAB_VALUE = Pattern.compile( + "(]*?w:val=\")(start|end)\""); + + private StrictOoxmlNormalizer() { + } + + /** + * Приводит strict-OOXML в XML-частях docx (word/*.xml) к виду, который + * разбирает JAXB-модель transitional (детали — в javadoc класса). + * + * @param docx байты .docx (zip) + * @return те же или переупакованные байты + */ + public static byte[] normalize(byte[] docx) throws IOException { + ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length); + boolean changed = false; + try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx)); + ZipOutputStream zos = new ZipOutputStream(out)) { + ZipEntry entry; + while ((entry = zis.getNextEntry()) != null) { + byte[] data = zis.readAllBytes(); + String name = entry.getName(); + if (name.startsWith("word/") && name.endsWith(".xml")) { + // в numbering.xml w:start — элемент стартового значения + // счётчика, его не переименовываем + String fixed = rewrite(new String(data, StandardCharsets.UTF_8), + !name.equals("word/numbering.xml")); + if (fixed != null) { + changed = true; + data = fixed.getBytes(StandardCharsets.UTF_8); + } + } + zos.putNextEntry(new ZipEntry(name)); + zos.write(data); + zos.closeEntry(); + } + } + return changed ? out.toByteArray() : docx; + } + + /** + * Применяет к XML-строке все правила, включая переименование элементов + * {@code w:start}/{@code w:end}. + * + * @return новая строка либо null, если правок не было + */ + static String rewrite(String xml) { + return rewrite(xml, true); + } + + /** + * Правила нормализации strict-OOXML. + * + * @param renameStartEnd переименовывать ли элементы {@code w:start}/ + * {@code w:end} (false для word/numbering.xml) + * @return новая строка либо null, если правок не было + */ + private static String rewrite(String xml, boolean renameStartEnd) { + String r = xml; + if (r.indexOf('%') >= 0) { + r = percentTags(r, A_TAG); + r = percentTags(r, FILL_TO_RECT_TAG); + r = percentText(r); + } + if (renameStartEnd + && (r.contains("") + || r.contains(""))) { + r = renameStartEndElements(r); + } + if (r.contains(" w:start=\"") || r.contains(" w:end=\"")) { + r = r.replace(" w:start=\"", " w:left=\"").replace(" w:end=\"", " w:right=\""); + } + if (r.contains("w:val=\"start\"") || r.contains("w:val=\"end\"")) { + r = jcTabValues(r); + } + return r.equals(xml) ? null : r; + } + + /** + * Переименование элементов {@code w:start}/{@code w:end} в + * {@code w:left}/{@code w:right} только с границей имени: + * {@code }/{@code ", ""); + r = END_ELEMENT.matcher(r).replaceAll("", ""); + } + + /** Заменяет {@code name="NN%"} на {@code name="NNNNN"} (×1000) внутри открывающих тегов. */ + private static String percentTags(String xml, Pattern tagPattern) { + Matcher tags = tagPattern.matcher(xml); + StringBuilder sb = null; + while (tags.find()) { + String fixed = percentAttrs(tags.group()); + if (!fixed.equals(tags.group())) { + if (sb == null) { + sb = new StringBuilder(xml.length()); + } + tags.appendReplacement(sb, Matcher.quoteReplacement(fixed)); + } + } + if (sb == null) { + return xml; + } + tags.appendTail(sb); + return sb.toString(); + } + + /** Все процентные атрибуты одного тега (несколько за проход — иначе теряются со второго). */ + private static String percentAttrs(String tag) { + Matcher a = PERCENT_ATTR.matcher(tag); + if (!a.find()) { + return tag; + } + StringBuilder sb = new StringBuilder(tag.length()); + do { + long value = Math.round(Double.parseDouble(a.group(2)) * 1000); + a.appendReplacement(sb, + Matcher.quoteReplacement(a.group(1) + "=\"" + value + "\"")); + } while (a.find()); + a.appendTail(sb); + return sb.toString(); + } + + /** Текстовый процент {@code 100%} → {@code 100000}. */ + private static String percentText(String xml) { + Matcher m = PERCENT_TEXT.matcher(xml); + if (!m.find()) { + return xml; + } + m.reset(); + StringBuilder sb = new StringBuilder(xml.length()); + while (m.find()) { + long value = Math.round(Double.parseDouble(m.group(2)) * 1000); + m.appendReplacement(sb, + Matcher.quoteReplacement(m.group(1) + value + "<")); + } + m.appendTail(sb); + return sb.toString(); + } + + /** Значения {@code start}/{@code end} у {@code w:jc}/{@code w:tab} → {@code left}/{@code right}. */ + private static String jcTabValues(String xml) { + Matcher m = JC_TAB_VALUE.matcher(xml); + if (!m.find()) { + return xml; + } + m.reset(); + StringBuilder sb = new StringBuilder(xml.length()); + while (m.find()) { + String value = m.group(2).equals("start") ? "left" : "right"; + m.appendReplacement(sb, + Matcher.quoteReplacement(m.group(1) + value + "\"")); + } + m.appendTail(sb); + return sb.toString(); + } +} diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java index 4d2093b..bb4645f 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java @@ -9,6 +9,8 @@ import org.apache.pdfbox.pdmodel.font.PDFont; import org.apache.pdfbox.text.PDFTextStripper; import org.junit.jupiter.api.Test; +import java.io.ByteArrayOutputStream; +import java.nio.charset.StandardCharsets; import java.io.IOException; import java.io.InputStream; import java.nio.file.Files; @@ -16,6 +18,8 @@ import java.nio.file.Path; import java.util.List; import java.util.Set; import java.util.TreeSet; +import java.util.zip.ZipEntry; +import java.util.zip.ZipOutputStream; import static org.junit.jupiter.api.Assertions.*; @@ -450,4 +454,56 @@ class WordPdfConverterTest { "заголовок PDF должен браться из параметра title"); } } + + /** + * Strict-OOXML-документ (namespaces purl.oclc.org, проценты строками, + * w:start/w:end вместо w:left/w:right, w:jc val="start") конвертируется, + * а не отваливается на JAXB-разборе. Пакет минимальный, in-memory: + * реальный develop/openxml.docx — персональные данные, в фикстуры не берём. + * Регрессия — StrictOoxmlNormalizer. + */ + @Test + void strictOoxml_convertsNotRejected() throws Exception { + String strictW = "http://purl.oclc.org/ooxml/wordprocessingml/main"; + ByteArrayOutputStream out = new ByteArrayOutputStream(); + try (ZipOutputStream zos = new ZipOutputStream(out)) { + putZip(zos, "[Content_Types].xml", + "" + + "" + + "" + + "" + + "" + + ""); + putZip(zos, "_rels/.rels", + "" + + "" + + "" + + ""); + putZip(zos, "word/document.xml", + "" + + "" + + "" + + "" + + "СТРОГИЙМАРКЕР" + + "" + + "" + + "" + + "" + + "" + + "таблица" + + "" + + ""); + } + + Path pdf = convertPdf(out.toByteArray(), "strict"); + String text = norm(pdfText(pdf)); + assertTrue(text.contains("СТРОГИЙМАРКЕР"), "текст PDF: " + text); + assertTrue(text.contains("таблица"), "текст PDF: " + text); + } + + private static void putZip(ZipOutputStream zos, String name, String xml) throws IOException { + zos.putNextEntry(new ZipEntry(name)); + zos.write(xml.getBytes(StandardCharsets.UTF_8)); + zos.closeEntry(); + } } diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfValidatorTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfValidatorTest.java index 946477d..a009bbb 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfValidatorTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfValidatorTest.java @@ -8,6 +8,9 @@ import org.docx4j.openpackaging.packages.WordprocessingMLPackage; import org.junit.jupiter.api.Test; import java.io.ByteArrayOutputStream; +import java.nio.charset.StandardCharsets; +import java.util.zip.ZipEntry; +import java.util.zip.ZipOutputStream; import static org.junit.jupiter.api.Assertions.*; @@ -323,4 +326,37 @@ class WordPdfValidatorTest { assertThrows(ConversionException.class, () -> WordPdfValidator.checkPageCountLightweight((byte[]) null)); } + + /** + * Lightweight-путь читает сырые байты до нормализации и обязан видеть + * разрывы {@code w:br w:type="page"} в strict-namespace'ах + * (атрибуты по локальному имени, без привязки к transitional-URI). + * Регрессия — WordPdfValidator#attrLocal. + */ + @Test + void pageCount_strictBreaksCountedLightweight() throws Exception { + String strictW = "http://purl.oclc.org/ooxml/wordprocessingml/main"; + StringBuilder body = new StringBuilder(); + for (int i = 0; i < 3; i++) { + body.append("p").append(i) + .append(""); + } + ByteArrayOutputStream out = new ByteArrayOutputStream(); + try (ZipOutputStream zos = new ZipOutputStream(out)) { + zos.putNextEntry(new ZipEntry("word/document.xml")); + zos.write(("" + + "" + body + + "") + .getBytes(StandardCharsets.UTF_8)); + zos.closeEntry(); + } + byte[] docx = out.toByteArray(); + + // 3 разрыва + первая страница = не менее 4; до фикса lightweight + // не видел разрывы в strict-namespace и возвращал 1 + assertDoesNotThrow(() -> WordPdfValidator.checkPageCountLightweight(docx, 4)); + ConversionException ex = assertThrows(ConversionException.class, + () -> WordPdfValidator.checkPageCountLightweight(docx, 3)); + assertTrue(ex.getMessage().contains("не менее 4"), ex.getMessage()); + } } diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizerTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizerTest.java new file mode 100644 index 0000000..92c694f --- /dev/null +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/StrictOoxmlNormalizerTest.java @@ -0,0 +1,200 @@ +package ru.pjandro.wordpdf.internal; + +import org.junit.jupiter.api.Test; + +import java.io.ByteArrayInputStream; +import java.io.ByteArrayOutputStream; +import java.io.IOException; +import java.nio.charset.StandardCharsets; +import java.util.zip.ZipEntry; +import java.util.zip.ZipInputStream; +import java.util.zip.ZipOutputStream; + +import static org.junit.jupiter.api.Assertions.*; + +/** + * Нормализация strict-OOXML (проценты строками, w:start/w:end вместо + * w:left/w:right, значения start/end у w:jc/w:tab — см. StrictOoxmlNormalizer). + */ +class StrictOoxmlNormalizerTest { + + private static final String STRICT_W = + "http://purl.oclc.org/ooxml/wordprocessingml/main"; + + private static byte[] makeDocx(String... namesAndXml) throws IOException { + ByteArrayOutputStream out = new ByteArrayOutputStream(); + try (ZipOutputStream zos = new ZipOutputStream(out)) { + for (int i = 0; i < namesAndXml.length; i += 2) { + zos.putNextEntry(new ZipEntry(namesAndXml[i])); + zos.write(namesAndXml[i + 1].getBytes(StandardCharsets.UTF_8)); + zos.closeEntry(); + } + } + return out.toByteArray(); + } + + private static String readEntry(byte[] zip, String name) throws IOException { + try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(zip))) { + ZipEntry e; + while ((e = zis.getNextEntry()) != null) { + if (e.getName().equals(name)) { + return new String(zis.readAllBytes(), StandardCharsets.UTF_8); + } + } + } + throw new AssertionError("нет записи " + name); + } + + @Test + void rewriteWithoutMatchesIsNull() { + // transitional-документ: a:-проценты целыми, w:left/w:right, jc=left + assertNull(StrictOoxmlNormalizer.rewrite( + "" + + "текст")); + assertNull(StrictOoxmlNormalizer.rewrite( + "")); + // процент в текстовом содержимом — не атрибут, править нельзя + assertNull(StrictOoxmlNormalizer.rewrite("50%")); + // w:-проценты (tblW/tcW type="pct") экспортёр FO понимает сам + assertNull(StrictOoxmlNormalizer.rewrite( + "")); + } + + @Test + void drawingPercentAttrsScaled() { + String r = StrictOoxmlNormalizer.rewrite( + "" + + ""); + assertNotNull(r); + assertTrue(r.contains("val=\"50000\""), r); + assertTrue(r.contains("pos=\"14000\""), r); + assertTrue(r.contains("fmt=\"scene\""), r); + } + + @Test + void multiplePercentAttrsInOneTag() { + // классическая ловушка жадного regex — теряется второй %-атрибут тега + String r = StrictOoxmlNormalizer.rewrite( + ""); + assertNotNull(r); + assertTrue(r.contains("w14:t=\"130000\""), r); + assertTrue(r.contains("w14:b=\"-30000\""), r); + assertTrue(r.contains("w14:l=\"7000\""), r); + } + + @Test + void decimalPercentRounded() { + String r = StrictOoxmlNormalizer.rewrite(""); + assertNotNull(r); + assertTrue(r.contains("pos=\"14500\""), r); + } + + @Test + void pctWidthTextScaled() { + String r = StrictOoxmlNormalizer.rewrite( + "100%" + + "42.5%"); + assertNotNull(r); + assertTrue(r.contains("100000<"), r); + assertTrue(r.contains("42500<"), r); + } + + @Test + void startEndElementsRenamed() { + String r = StrictOoxmlNormalizer.rewrite( + "" + + ""); + assertNotNull(r); + assertTrue(r.contains(""), r); + assertTrue(r.contains(""), r); + assertTrue(r.contains(""), r); + assertFalse(r.contains("w:start"), r); + assertFalse(r.contains("w:end"), r); + } + + @Test + void endnoteAndEndParensNotTouched() { + // переименование w:end без границы имени калечит /" + + "" + + ""); + assertNotNull(r); + assertTrue(r.contains(""), r); + assertTrue(r.contains(""), r); + assertTrue(r.contains(""), r); + assertTrue(r.contains(""), r); + } + + @Test + void indAttributesRenamed() { + String r = StrictOoxmlNormalizer.rewrite( + ""); + assertNotNull(r); + assertTrue(r.contains("w:left=\"18pt\""), r); + assertTrue(r.contains("w:right=\"36pt\""), r); + } + + @Test + void jcTabValuesRenamed() { + String r = StrictOoxmlNormalizer.rewrite( + "" + + ""); + assertNotNull(r); + assertTrue(r.contains(""), r); + assertTrue(r.contains(""), r); + } + + @Test + void rewritesStrictDocumentInZip() throws Exception { + byte[] docx = makeDocx( + "[Content_Types].xml", "", + "word/document.xml", + "" + + "" + + "50%" + + ""); + + String document = readEntry(StrictOoxmlNormalizer.normalize(docx), "word/document.xml"); + assertTrue(document.contains(""), document); + assertTrue(document.contains("w:left=\"18pt\""), document); + // процент в текстовом содержимом не тронут + assertTrue(document.contains("50%"), document); + } + + @Test + void nonWordPartsNotTouched() throws Exception { + byte[] docx = makeDocx( + "[Content_Types].xml", "", + "word/document.xml", ""); + + byte[] result = StrictOoxmlNormalizer.normalize(docx); + assertEquals("", readEntry(result, "[Content_Types].xml")); + } + + @Test + void noMatchesReturnsOriginalArray() throws Exception { + byte[] docx = makeDocx( + "[Content_Types].xml", "", + "word/document.xml", + ""); + + assertSame(docx, StrictOoxmlNormalizer.normalize(docx)); + } + + @Test + void numberingStartValuePreserved() throws Exception { + // w:lvl/w:start — легитимный transitional-элемент (стартовое значение + // счётчика): в numbering.xml элементы не переименовываем, + // остальные правила (значения w:tab) — применяем + byte[] docx = makeDocx( + "[Content_Types].xml", "", + "word/numbering.xml", + "" + + ""); + + String numbering = readEntry(StrictOoxmlNormalizer.normalize(docx), "word/numbering.xml"); + assertTrue(numbering.contains(""), numbering); + assertTrue(numbering.contains(""), numbering); + } +}