Fix: поддержка strict-OOXML (.docx в ISO 29500 strict) #3
@@ -11,7 +11,7 @@
|
|||||||
Наружу `checkInput(bytes, maxBytes)` вызывается **до** приватного `convertToStream`; внутри `convertToStream`:
|
Наружу `checkInput(bytes, maxBytes)` вызывается **до** приватного `convertToStream`; внутри `convertToStream`:
|
||||||
|
|
||||||
1. `new BundledFontMapper()` → `BundledFonts.init()` → `BundledFonts.restrictToBundled()`. Конструктор маппера каждый раз добавляет системные шрифты в реестр `PhysicalFonts`; ключ реестра — имя из name-таблицы TTF, `addPhysicalFont(URI)` не перезаписывает занятый → `init()` вызывает `dropNonBundled()` **до** регистрации и `load()` (иначе системный Calibri ломает em-dash-fallback).
|
1. `new BundledFontMapper()` → `BundledFonts.init()` → `BundledFonts.restrictToBundled()`. Конструктор маппера каждый раз добавляет системные шрифты в реестр `PhysicalFonts`; ключ реестра — имя из name-таблицы TTF, `addPhysicalFont(URI)` не перезаписывает занятый → `init()` вызывает `dropNonBundled()` **до** регистрации и `load()` (иначе системный Calibri ломает em-dash-fallback).
|
||||||
2. Нормализация байтов docx до JAXB-загрузки (цепочка `byte[] → byte[]`, порядок значим): `DocxOnOffNormalizer` (`w:val="off"/"on"` → `false`/`true`) → `SymbolFontNormalizer` (PUA U+F0xx Symbol/Wingdings/Webdings → Unicode + DejaVu Sans, переписывает и элементы `<w:sym>`; 5 карт по 256 слотов, таблица `SymbolMapper` сгенерирована из docx4j 17.x) → `FieldNormalizer` (`fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple`, вложенные/битые поля пропускает) → `GlyphCoverageNormalizer` (режет ран по покрытию глифов, пишет семейство в `w:rFonts`, иначе FOP рисует «#»; покрытие — `java.awt.Font.canDisplay` + BitSet-кэш, НЕ docx4j `GlyphCheck` — тот плодит INFO-лог; для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (DejaVu Serif/Tinos/Caladea), затем в sans) → `WordprocessingMLPackage.load`.
|
2. Нормализация байтов docx до JAXB-загрузки (цепочка `byte[] → byte[]`, порядок значим): `StrictOoxmlNormalizer` (strict-OOXML → transitional-байт: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`, элементы и атрибуты `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml), значения `start`/`end` у `w:jc`/`w:tab`; в `mc-preprocessor.xslt` docx4j ветка `%` закомментирована, start/end не маппятся; namespaces и `pt`-значения правит сам mc-preprocessor — собственный рерайт URI ломает его pt-конверсию) → `DocxOnOffNormalizer` (`w:val="off"/"on"` → `false`/`true`) → `SymbolFontNormalizer` (PUA U+F0xx Symbol/Wingdings/Webdings → Unicode + DejaVu Sans, переписывает и элементы `<w:sym>`; 5 карт по 256 слотов, таблица `SymbolMapper` сгенерирована из docx4j 17.x) → `FieldNormalizer` (`fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple`, вложенные/битые поля пропускает) → `GlyphCoverageNormalizer` (режет ран по покрытию глифов, пишет семейство в `w:rFonts`, иначе FOP рисует «#»; покрытие — `java.awt.Font.canDisplay` + BitSet-кэш, НЕ docx4j `GlyphCheck` — тот плодит INFO-лог; для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (DejaVu Serif/Tinos/Caladea), затем в sans) → `WordprocessingMLPackage.load`.
|
||||||
3. `WordPdfValidator.checkPageCount(pkg, maxPages)` — **до** рендера.
|
3. `WordPdfValidator.checkPageCount(pkg, maxPages)` — **до** рендера.
|
||||||
4. `pkg.setFontMapper(mapper)` → `DrawingPreRenderer.run(pkg, options)` (шаг 3.5: `c:chart`/`dgm:relIds` docx2fo.xslt не умеет — свой Java2D-движок `internal/chart/*` рендерит в PNG 300 dpi и подменяет на `pic:pic`; объект, выключенный в `ConvertOptions`, пропускается до рендера и остаётся в docx; упавший рендер — объект **удаляется** из docx (`gd.getAny().clear()`) + warn, деградация не падение).
|
4. `pkg.setFontMapper(mapper)` → `DrawingPreRenderer.run(pkg, options)` (шаг 3.5: `c:chart`/`dgm:relIds` docx2fo.xslt не умеет — свой Java2D-движок `internal/chart/*` рендерит в PNG 300 dpi и подменяет на `pic:pic`; объект, выключенный в `ConvertOptions`, пропускается до рендера и остаётся в docx; упавший рендер — объект **удаляется** из docx (`gd.getAny().clear()`) + warn, деградация не падение).
|
||||||
5. `new FOSettings(pkg)` + `FopFallbackFonts.declare` (декларирует **все** бандл-семейства — FOP встраивает только задекларированные) → `FORendererApacheFOP`/`FOUserAgent` (непустой `title` → заголовок PDF) → `Docx4J.toFO(..., FLAG_EXPORT_PREFER_XSL)`.
|
5. `new FOSettings(pkg)` + `FopFallbackFonts.declare` (декларирует **все** бандл-семейства — FOP встраивает только задекларированные) → `FORendererApacheFOP`/`FOUserAgent` (непустой `title` → заголовок PDF) → `Docx4J.toFO(..., FLAG_EXPORT_PREFER_XSL)`.
|
||||||
@@ -35,7 +35,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|
|||||||
- `docx4j.convert.out.fo.gsubFeatures=false` — static-блок `WordPdfConverter`. Иначе FO невалиден → `WordLayoutFixups` молча отказывает всем фиксам (без них нет колонок) → FOP падает на `docx4j-baseline`.
|
- `docx4j.convert.out.fo.gsubFeatures=false` — static-блок `WordPdfConverter`. Иначе FO невалиден → `WordLayoutFixups` молча отказывает всем фиксам (без них нет колонок) → FOP падает на `docx4j-baseline`.
|
||||||
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`). Приложение исключает его из зависимости ядра — логи ведёт logback.
|
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`). Приложение исключает его из зависимости ядра — логи ведёт logback.
|
||||||
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.2 (пакеты `org.apache.fop.*`); `Fop.Renderers.getRenderer()` возвращает **список** (рендер выбирается по mime `application/pdf`). `docx2fo.xslt` в репозитории нет — он в jar `docx4j-export-fo`.
|
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.2 (пакеты `org.apache.fop.*`); `Fop.Renderers.getRenderer()` возвращает **список** (рендер выбирается по mime `application/pdf`). `docx2fo.xslt` в репозитории нет — он в jar `docx4j-export-fo`.
|
||||||
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `sectPr` в body + `w:br type="page"` + `pageBreakBefore` (рекурсивно, включая таблицы и `w:sdt`). Lightweight-путь (StAX по zip, secure-ридер без DTD/external entities): `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитулах — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy-значения `val`: `null|true|1|on`); на не-zip молчит — подпись проверяет вызывающий. Расхождение lightweight↔JAXB допустимо только в завышение. `pageCountOf` package-private намеренно (тесты).
|
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `sectPr` в body + `w:br type="page"` + `pageBreakBefore` (рекурсивно, включая таблицы и `w:sdt`). Lightweight-путь (StAX по zip, secure-ридер без DTD/external entities): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитулах — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy-значения `val`: `null|true|1|on`); на не-zip молчит — подпись проверяет вызывающий. Расхождение lightweight↔JAXB допустимо только в завышение. `pageCountOf` package-private намеренно (тесты); при провале JAXB-разбора (`getJaxbElement()` → null) бросает `ConversionException`, а не NPE.
|
||||||
- Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно).
|
- Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно).
|
||||||
- Внимательно: комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.2 (описанное поведение верно).
|
- Внимательно: комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.2 (описанное поведение верно).
|
||||||
|
|
||||||
@@ -49,7 +49,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|
|||||||
|---|---|
|
|---|---|
|
||||||
|`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API: `WordPdfConverter`, `WordPdfValidator` (перегрузки `checkInput`/`checkPageCountLightweight`/`checkPageCount` — `byte[]` или pkg, с лимитом/без), `ConversionException`, `WordPdfSettings` (константы-дефолты), `ConvertOptions` (record: renderCharts, renderSmartArt, maxBytes, maxPages)|
|
|`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API: `WordPdfConverter`, `WordPdfValidator` (перегрузки `checkInput`/`checkPageCountLightweight`/`checkPageCount` — `byte[]` или pkg, с лимитом/без), `ConversionException`, `WordPdfSettings` (константы-дефолты), `ConvertOptions` (record: renderCharts, renderSmartArt, maxBytes, maxPages)|
|
||||||
|`…/wordpdf/fonts/`|`BundledFonts` (реестр/выгрузка TTF, `families()`, `FALLBACK_FAMILY`), `BundledFontMapper` (алиасы MS→open-source, self-map, DISPLAY_NAMES, public-хук `bundledFamily`)|
|
|`…/wordpdf/fonts/`|`BundledFonts` (реестр/выгрузка TTF, `families()`, `FALLBACK_FAMILY`), `BundledFontMapper` (алиасы MS→open-source, self-map, DISPLAY_NAMES, public-хук `bundledFamily`)|
|
||||||
|`…/wordpdf/internal/`|4 байтовых нормализатора + `FopFallbackFonts` (классы `public` — вызываются из родительского пакета; публичные члены только `normalize`/`declare`)|
|
|`…/wordpdf/internal/`|5 байтовых нормализатора + `FopFallbackFonts` (классы `public` — вызываются из родительского пакета; публичные члены только `normalize`/`declare`)|
|
||||||
|`…/wordpdf/internal/chart/`|11 классов Java2D-рендера диаграмм/SmartArt в PNG (public только `DrawingPreRenderer`)|
|
|`…/wordpdf/internal/chart/`|11 классов Java2D-рендера диаграмм/SmartArt в PNG (public только `DrawingPreRenderer`)|
|
||||||
|`wordpdf-core/src/main/resources/fonts/`|30 TTF + 3 лицензии — бинарные фикстуры, часть jar|
|
|`wordpdf-core/src/main/resources/fonts/`|30 TTF + 3 лицензии — бинарные фикстуры, часть jar|
|
||||||
|`wordpdf-core/src/test/resources/samples/`|11 закоммиченных `.docx`-фикстур (единственные фикстуры)|
|
|`wordpdf-core/src/test/resources/samples/`|11 закоммиченных `.docx`-фикстур (единственные фикстуры)|
|
||||||
@@ -117,11 +117,11 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \
|
|||||||
|
|
||||||
## Testing & QA
|
## Testing & QA
|
||||||
|
|
||||||
- 13 тестовых классов / 109 `@Test` (core 10/89, app 3/20). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true` в argLine; только `Assertions` (Mockito/AssertJ не использовать, несмотря на test-classpath Boot; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`); тестовые классы package-private, зеркалят main-пакеты; только `@Test` (+ единственный `@BeforeAll` — warm-up шрифтов в `GlyphCoverageNormalizerTest`).
|
- 14 тестовых классов / 124 `@Test` (core 11/104, app 3/20). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true` в argLine; только `Assertions` (Mockito/AssertJ не использовать, несмотря на test-classpath Boot; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`); тестовые классы package-private, зеркалят main-пакеты; только `@Test` (+ единственный `@BeforeAll` — warm-up шрифтов в `GlyphCoverageNormalizerTest`).
|
||||||
- **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` для текста (пер-странично `setStartPage/setEndPage`), override `processTextPosition` для шрифта конкретного символа (`fontNameOf`), обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`) и счётчика картинок (`imageCount`). Негативные маркеры — регрессии: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`); в `tableImage_tableAndImage` — полное удаление пробелов (docx4j переносит слова в auto-fit таблицах).
|
- **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` для текста (пер-странично `setStartPage/setEndPage`), override `processTextPosition` для шрифта конкретного символа (`fontNameOf`), обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`) и счётчика картинок (`imageCount`). Негативные маркеры — регрессии: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`); в `tableImage_tableAndImage` — полное удаление пробелов (docx4j переносит слова в auto-fit таблицах).
|
||||||
- Пиксели (BufferedImage) — только в unit-тестах chart-пейнтеров, допуски 6–10% против эталона Word (`PiePainterTest` аспект h/w=0.585, `assertRatio` отклонение <0.06; `Surface3dPainterTest` `assertRange` ±6 pt для центров силуэта + `assertRatio` допуск 0.10 для геометрических отношений; shading — не допуск, а перцентильные коридоры яркости p5∈[0.74,0.90], median∈[0.90,1.10], p95∈[1.02,1.20]).
|
- Пиксели (BufferedImage) — только в unit-тестах chart-пейнтеров, допуски 6–10% против эталона Word (`PiePainterTest` аспект h/w=0.585, `assertRatio` отклонение <0.06; `Surface3dPainterTest` `assertRange` ±6 pt для центров силуэта + `assertRatio` допуск 0.10 для геометрических отношений; shading — не допуск, а перцентильные коридоры яркости p5∈[0.74,0.90], median∈[0.90,1.10], p95∈[1.02,1.20]).
|
||||||
- Фикстуры — закоммиченные `samples/*.docx` (11; в тестах не генерировать): core грузит classpath-ресурсом → `byte[]`, PDF для PDFBox — временный файл; app читает `/samples/…` из **test-jar core** (classifier `tests`) → `mvn -pl wordpdf-app` без `-am` не соберётся. In-memory docx — `ZipOutputStream` из литеральных XML или POI в `byte[]`. Ключевые: `too-many-pages` (150 явных разрывов → 151), `stale-cache` (кэш `<Pages>1</Pages>` + 110 `lastRenderedPageBreak`), `charts-smartart` (4 растра; SmartArt-одиночка = ровно 2 Image XObject).
|
- Фикстуры — закоммиченные `samples/*.docx` (11; в тестах не генерировать): core грузит classpath-ресурсом → `byte[]`, PDF для PDFBox — временный файл; app читает `/samples/…` из **test-jar core** (classifier `tests`) → `mvn -pl wordpdf-app` без `-am` не соберётся. In-memory docx — `ZipOutputStream` из литеральных XML или POI в `byte[]`. Ключевые: `too-many-pages` (150 явных разрывов → 151), `stale-cache` (кэш `<Pages>1</Pages>` + 110 `lastRenderedPageBreak`), `charts-smartart` (4 растра; SmartArt-одиночка = ровно 2 Image XObject).
|
||||||
- Юниты нормализаторов работают строками (`rewrite`) + zip'ами из `ZipOutputStream`; обязательные контракты: «нечего менять → тот же массив» (`assertSame` покрыт тестами только у zip-нормализаторов `DocxOnOff`/`SymbolFont`; у `Field`/`GlyphCoverage` — `rewrite`→`null`) и неприкосновенность частей вне `word/*.xml` (`[Content_Types].xml`). Тесты бьют и в package-private API (`GlyphCoverageNormalizer.split(text, family)`, `pageCountOf`, `ChartSpec.readTitle`).
|
- Юниты нормализаторов работают строками (`rewrite`) + zip'ами из `ZipOutputStream`; обязательные контракты: «нечего менять → тот же массив» (`assertSame` покрыт тестами только у zip-нормализаторов `DocxOnOff`/`SymbolFont`/`StrictOoxml`; у `Field`/`GlyphCoverage` — `rewrite`→`null`) и неприкосновенность частей вне `word/*.xml` (`[Content_Types].xml`). Тесты бьют и в package-private API (`GlyphCoverageNormalizer.split(text, family)`, `pageCountOf`, `ChartSpec.readTitle`).
|
||||||
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); три контекста — `ConvertControllerTest` (пустой ключ), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` с лимитами — отдельный класс, не `@Nested`).
|
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); три контекста — `ConvertControllerTest` (пустой ключ), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` с лимитами — отдельный класс, не `@Nested`).
|
||||||
- Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCountLightweight_agreesWithJaxbPath` 99/100/101, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `ChartSpecTest`↔автозаголовки, chart-пейнтеры↔`chartsSmartArt_drawingsBecomeImages` (+`drawingToggles_offRemovesRasters`/`drawingToggles_chartsOffSmartArtOn`); `noLoggingWarningInPdf` — регрессия `slf4j-simple`, `pdfTitle_comesFromParameter` — регрессия PDF-title (юнит-партнёра нет). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed` (гонка реестра `PhysicalFonts`), `corruptNotAZip_rejected`, `junkInsideValidZip_conversionError`, `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `renderFlagsOff_convertsWithoutDrawings`, `cyrillicAndPathInFilename_sanitizedResponseName` (RFC 5987 + path-traversal).
|
- Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `StrictOoxmlNormalizerTest`↔`strictOoxml_convertsNotRejected` (+`pageCount_strictBreaksCountedLightweight` — lightweight против strict), `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCountLightweight_agreesWithJaxbPath` 99/100/101, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `ChartSpecTest`↔автозаголовки, chart-пейнтеры↔`chartsSmartArt_drawingsBecomeImages` (+`drawingToggles_offRemovesRasters`/`drawingToggles_chartsOffSmartArtOn`); `noLoggingWarningInPdf` — регрессия `slf4j-simple`, `pdfTitle_comesFromParameter` — регрессия PDF-title (юнит-партнёра нет). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed` (гонка реестра `PhysicalFonts`), `corruptNotAZip_rejected`, `junkInsideValidZip_conversionError`, `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `renderFlagsOff_convertsWithoutDrawings`, `cyrillicAndPathInFilename_sanitizedResponseName` (RFC 5987 + path-traversal).
|
||||||
- UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn).
|
- UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn).
|
||||||
|
|||||||
@@ -15,6 +15,7 @@ import ru.pjandro.wordpdf.internal.DocxOnOffNormalizer;
|
|||||||
import ru.pjandro.wordpdf.internal.FieldNormalizer;
|
import ru.pjandro.wordpdf.internal.FieldNormalizer;
|
||||||
import ru.pjandro.wordpdf.internal.GlyphCoverageNormalizer;
|
import ru.pjandro.wordpdf.internal.GlyphCoverageNormalizer;
|
||||||
import ru.pjandro.wordpdf.internal.FopFallbackFonts;
|
import ru.pjandro.wordpdf.internal.FopFallbackFonts;
|
||||||
|
import ru.pjandro.wordpdf.internal.StrictOoxmlNormalizer;
|
||||||
import ru.pjandro.wordpdf.internal.SymbolFontNormalizer;
|
import ru.pjandro.wordpdf.internal.SymbolFontNormalizer;
|
||||||
|
|
||||||
import java.io.ByteArrayInputStream;
|
import java.io.ByteArrayInputStream;
|
||||||
@@ -117,10 +118,14 @@ public final class WordPdfConverter {
|
|||||||
// em-dash (U+2000–U+2EFF) остаётся на шрифте ранa вместо fallback.
|
// em-dash (U+2000–U+2EFF) остаётся на шрифте ранa вместо fallback.
|
||||||
BundledFonts.restrictToBundled();
|
BundledFonts.restrictToBundled();
|
||||||
|
|
||||||
// 2. Загрузка документа. Предварительно нормализуем w:val="off"/"on"
|
// 2. Загрузка документа. Первым strict-OOXML: Word в strict пишет
|
||||||
// в "false"/"true": docx4j 11.x теряет атрибуты "off"/"on"
|
// проценты строками ("130%") и w:start/w:end вместо w:left/
|
||||||
// при JAXB-разборе (см. DocxOnOffNormalizer).
|
// w:right — JAXB падает на int-биндингах (см. StrictOoxmlNormalizer);
|
||||||
byte[] docxBytes = DocxOnOffNormalizer.normalize(rawDocxBytes);
|
// дальше по конвейеру лежит уже transitional-байт.
|
||||||
|
byte[] docxBytes = StrictOoxmlNormalizer.normalize(rawDocxBytes);
|
||||||
|
// ...затем w:val="off"/"on" в "false"/"true": docx4j 11.x теряет
|
||||||
|
// атрибуты "off"/"on" при JAXB-разборе (см. DocxOnOffNormalizer).
|
||||||
|
docxBytes = DocxOnOffNormalizer.normalize(docxBytes);
|
||||||
// ...и символьные шрифты Symbol/Wingdings: их коды из PUA экспорт
|
// ...и символьные шрифты Symbol/Wingdings: их коды из PUA экспорт
|
||||||
// в FO не понимает и рисует «#» (см. SymbolFontNormalizer).
|
// в FO не понимает и рисует «#» (см. SymbolFontNormalizer).
|
||||||
docxBytes = SymbolFontNormalizer.normalize(docxBytes);
|
docxBytes = SymbolFontNormalizer.normalize(docxBytes);
|
||||||
|
|||||||
@@ -248,7 +248,15 @@ public final class WordPdfValidator {
|
|||||||
// docPropsExtended может быть не полностью инициализирован —
|
// docPropsExtended может быть не полностью инициализирован —
|
||||||
// тогда остаётся оценка по разрывам.
|
// тогда остаётся оценка по разрывам.
|
||||||
}
|
}
|
||||||
var body = pkg.getMainDocumentPart().getJaxbElement().getBody();
|
// getJaxbElement() возвращает null, когда JAXB-разбор части провалился
|
||||||
|
// (docx4j пишет в лог «Problem with part» и «gives up») — без проверки
|
||||||
|
// здесь была бы NPE вместо внятной ошибки.
|
||||||
|
var document = pkg.getMainDocumentPart() == null
|
||||||
|
? null : pkg.getMainDocumentPart().getJaxbElement();
|
||||||
|
if (document == null || document.getBody() == null) {
|
||||||
|
throw new ConversionException("Не удалось разобрать word/document.xml");
|
||||||
|
}
|
||||||
|
var body = document.getBody();
|
||||||
var content = body.getContent();
|
var content = body.getContent();
|
||||||
int explicit = 1; // сам документ — минимум одна страница
|
int explicit = 1; // сам документ — минимум одна страница
|
||||||
for (Object child : content) {
|
for (Object child : content) {
|
||||||
@@ -456,7 +464,7 @@ public final class WordPdfValidator {
|
|||||||
}
|
}
|
||||||
case "type" -> {
|
case "type" -> {
|
||||||
if (inBodySectPr && "sectPr".equals(parent)) {
|
if (inBodySectPr && "sectPr".equals(parent)) {
|
||||||
sectTypeVal = xr.getAttributeValue(WML_NS, "val");
|
sectTypeVal = attrLocal(xr, "val");
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
default -> {
|
default -> {
|
||||||
@@ -515,19 +523,31 @@ public final class WordPdfValidator {
|
|||||||
return f;
|
return f;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Значение атрибута по локальному имени, без привязки к namespace:
|
||||||
|
* lightweight-путь читает сырые байты до нормализации, а в strict-OOXML
|
||||||
|
* те же атрибуты стоят в namespace {@code purl.oclc.org} —
|
||||||
|
* {@code getAttributeValue(transitionalURI, …)} там вернул бы null.
|
||||||
|
*/
|
||||||
|
private static String attrLocal(XMLStreamReader xr, String localName) {
|
||||||
|
for (int i = 0; i < xr.getAttributeCount(); i++) {
|
||||||
|
if (xr.getAttributeName(i).getLocalPart().equals(localName)) {
|
||||||
|
return xr.getAttributeValue(i);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
private static boolean isPageBreak(XMLStreamReader xr) {
|
private static boolean isPageBreak(XMLStreamReader xr) {
|
||||||
return "page".equals(xr.getAttributeValue(WML_NS, "type"));
|
return "page".equals(attrLocal(xr, "type"));
|
||||||
}
|
}
|
||||||
|
|
||||||
private static boolean truthy(XMLStreamReader xr) {
|
private static boolean truthy(XMLStreamReader xr) {
|
||||||
String v = xr.getAttributeValue(WML_NS, "val");
|
String v = attrLocal(xr, "val");
|
||||||
return v == null || v.equals("true") || v.equals("1") || v.equals("on");
|
return v == null || v.equals("true") || v.equals("1") || v.equals("on");
|
||||||
}
|
}
|
||||||
|
|
||||||
private static boolean inside(Deque<String> path, String ancestor) {
|
private static boolean inside(Deque<String> path, String ancestor) {
|
||||||
return path.contains(ancestor);
|
return path.contains(ancestor);
|
||||||
}
|
}
|
||||||
|
|
||||||
private static final String WML_NS =
|
|
||||||
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
|
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -0,0 +1,235 @@
|
|||||||
|
package ru.pjandro.wordpdf.internal;
|
||||||
|
|
||||||
|
import java.io.ByteArrayInputStream;
|
||||||
|
import java.io.ByteArrayOutputStream;
|
||||||
|
import java.io.IOException;
|
||||||
|
import java.nio.charset.StandardCharsets;
|
||||||
|
import java.util.regex.Matcher;
|
||||||
|
import java.util.regex.Pattern;
|
||||||
|
import java.util.zip.ZipEntry;
|
||||||
|
import java.util.zip.ZipInputStream;
|
||||||
|
import java.util.zip.ZipOutputStream;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Нормализация strict-OOXML документов (.docx, сохранённые Word в формате
|
||||||
|
* ISO 29500 strict, namespaces {@code http://purl.oclc.org/ooxml/*}) перед
|
||||||
|
* загрузкой docx4j.
|
||||||
|
*
|
||||||
|
* <p>docx4j читает strict через {@code org/docx4j/jaxb/mc-preprocessor.xslt}
|
||||||
|
* (перебивает strict-namespace'ы в transitional, конвертит {@code pt} в
|
||||||
|
* twips/half-points), но в этом XSLT ветка перевода процентов в тысячные
|
||||||
|
* доли закомментирована, а strict-переименования {@code w:start}/{@code w:end}
|
||||||
|
* в {@code w:left}/{@code w:right} он не делает вовсе. Word в strict пишет:
|
||||||
|
* <ul>
|
||||||
|
* <li>проценты строками в атрибутах с int-биндингами JAXB —
|
||||||
|
* {@code a:shade val="50%"}, {@code a:gs pos="14%"},
|
||||||
|
* {@code w14:fillToRect w14:t="130%"} — JAXB падает на
|
||||||
|
* {@code NumberFormatException: Not a number: 130%};</li>
|
||||||
|
* <li>текстовые проценты в {@code wp14:pctWidth}/{@code wp14:pctHeight};</li>
|
||||||
|
* <li>границы и отступы в элементах {@code w:start}/{@code w:end}
|
||||||
|
* (в transitional они называются {@code w:left}/{@code w:right}) —
|
||||||
|
* JAXB сообщает «unexpected element» и границы теряются;</li>
|
||||||
|
* <li>атрибуты {@code w:start}/{@code w:end} у {@code w:ind} и значения
|
||||||
|
* {@code start}/{@code end} у {@code w:jc}/{@code w:tab} — в
|
||||||
|
* transitional таких имён/значений нет, JAXB их отбрасывает.</li>
|
||||||
|
* </ul>
|
||||||
|
*
|
||||||
|
* <p>Полный strict→transitional рерайт не делается: mc-preprocessor уже
|
||||||
|
* перебивает namespaces и {@code pt}-значения, а собственный рерайт URI
|
||||||
|
* сломал бы его конвертацию {@code pt} (FOP получил бы {@code "10pt"}).
|
||||||
|
* Здесь только те правки, которых в XSLT нет. Атрибуты {@code w:} с процентом
|
||||||
|
* ({@code w:tblW w:w="50%" w:type="pct"}) не трогаем: они в docx4j связаны
|
||||||
|
* строковым типом, и экспортёр в FO понимает {@code %} сам.
|
||||||
|
*
|
||||||
|
* <p>В {@code word/numbering.xml} переименование элементов {@code w:start}
|
||||||
|
* пропускается: там {@code w:lvl/w:start} — легитимный transitional-элемент
|
||||||
|
* (стартовое значение счётчика), регрессия — StrictOoxmlNormalizerTest.
|
||||||
|
*
|
||||||
|
* <p>Transitional-документы (Word пишет {@code a:}-проценты целыми, {@code
|
||||||
|
* w:start} вне numbering.xml и {@code w:jc val="start"} не бывает) проходят
|
||||||
|
* без изменений: если правок не было, возвращается исходный массив.
|
||||||
|
*
|
||||||
|
* Регрессия — WordPdfConverterTest#strictOoxml_convertsNotRejected.
|
||||||
|
*/
|
||||||
|
public final class StrictOoxmlNormalizer {
|
||||||
|
|
||||||
|
/** Открывающий тег элемента префикса {@code a:} (DrawingML). */
|
||||||
|
private static final Pattern A_TAG = Pattern.compile("<a:[A-Za-z]+\\b[^>]*>");
|
||||||
|
|
||||||
|
/** Открывающий тег {@code w14:fillToRect} — единственный носитель %-атрибутов в w14. */
|
||||||
|
private static final Pattern FILL_TO_RECT_TAG = Pattern.compile("<w14:fillToRect\\b[^>]*>");
|
||||||
|
|
||||||
|
/** Атрибут со строковым процентом: {@code name="130%"}, {@code pos="-30.5%"}. */
|
||||||
|
private static final Pattern PERCENT_ATTR =
|
||||||
|
Pattern.compile("([A-Za-z0-9:]+)=\"(-?\\d+(?:\\.\\d+)?)%\"");
|
||||||
|
|
||||||
|
/** Текстовый процент у {@code wp14:pctWidth}/{@code wp14:pctHeight} (int-биндинг docx4j). */
|
||||||
|
private static final Pattern PERCENT_TEXT = Pattern.compile(
|
||||||
|
"(<wp14:pct(?:Width|Height)\\b[^>]*>)(-?\\d+(?:\\.\\d+)?)%<");
|
||||||
|
|
||||||
|
/** Элемент {@code <w:start} с обязательной границей имени — иначе покалечит {@code <w:endnote*}. */
|
||||||
|
private static final Pattern START_ELEMENT = Pattern.compile("<w:start(?=[\\s/>])");
|
||||||
|
private static final Pattern END_ELEMENT = Pattern.compile("<w:end(?=[\\s/>])");
|
||||||
|
|
||||||
|
/** Значения {@code start}/{@code end} у {@code w:jc}/{@code w:tab}. */
|
||||||
|
private static final Pattern JC_TAB_VALUE = Pattern.compile(
|
||||||
|
"(<w:(?:jc|tab)\\b[^>]*?w:val=\")(start|end)\"");
|
||||||
|
|
||||||
|
private StrictOoxmlNormalizer() {
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Приводит strict-OOXML в XML-частях docx (word/*.xml) к виду, который
|
||||||
|
* разбирает JAXB-модель transitional (детали — в javadoc класса).
|
||||||
|
*
|
||||||
|
* @param docx байты .docx (zip)
|
||||||
|
* @return те же или переупакованные байты
|
||||||
|
*/
|
||||||
|
public static byte[] normalize(byte[] docx) throws IOException {
|
||||||
|
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||||
|
boolean changed = false;
|
||||||
|
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||||
|
ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||||
|
ZipEntry entry;
|
||||||
|
while ((entry = zis.getNextEntry()) != null) {
|
||||||
|
byte[] data = zis.readAllBytes();
|
||||||
|
String name = entry.getName();
|
||||||
|
if (name.startsWith("word/") && name.endsWith(".xml")) {
|
||||||
|
// в numbering.xml w:start — элемент стартового значения
|
||||||
|
// счётчика, его не переименовываем
|
||||||
|
String fixed = rewrite(new String(data, StandardCharsets.UTF_8),
|
||||||
|
!name.equals("word/numbering.xml"));
|
||||||
|
if (fixed != null) {
|
||||||
|
changed = true;
|
||||||
|
data = fixed.getBytes(StandardCharsets.UTF_8);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
zos.putNextEntry(new ZipEntry(name));
|
||||||
|
zos.write(data);
|
||||||
|
zos.closeEntry();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return changed ? out.toByteArray() : docx;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Применяет к XML-строке все правила, включая переименование элементов
|
||||||
|
* {@code w:start}/{@code w:end}.
|
||||||
|
*
|
||||||
|
* @return новая строка либо null, если правок не было
|
||||||
|
*/
|
||||||
|
static String rewrite(String xml) {
|
||||||
|
return rewrite(xml, true);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Правила нормализации strict-OOXML.
|
||||||
|
*
|
||||||
|
* @param renameStartEnd переименовывать ли элементы {@code w:start}/
|
||||||
|
* {@code w:end} (false для word/numbering.xml)
|
||||||
|
* @return новая строка либо null, если правок не было
|
||||||
|
*/
|
||||||
|
private static String rewrite(String xml, boolean renameStartEnd) {
|
||||||
|
String r = xml;
|
||||||
|
if (r.indexOf('%') >= 0) {
|
||||||
|
r = percentTags(r, A_TAG);
|
||||||
|
r = percentTags(r, FILL_TO_RECT_TAG);
|
||||||
|
r = percentText(r);
|
||||||
|
}
|
||||||
|
if (renameStartEnd
|
||||||
|
&& (r.contains("<w:start") || r.contains("</w:start>")
|
||||||
|
|| r.contains("<w:end") || r.contains("</w:end>"))) {
|
||||||
|
r = renameStartEndElements(r);
|
||||||
|
}
|
||||||
|
if (r.contains(" w:start=\"") || r.contains(" w:end=\"")) {
|
||||||
|
r = r.replace(" w:start=\"", " w:left=\"").replace(" w:end=\"", " w:right=\"");
|
||||||
|
}
|
||||||
|
if (r.contains("w:val=\"start\"") || r.contains("w:val=\"end\"")) {
|
||||||
|
r = jcTabValues(r);
|
||||||
|
}
|
||||||
|
return r.equals(xml) ? null : r;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Переименование элементов {@code w:start}/{@code w:end} в
|
||||||
|
* {@code w:left}/{@code w:right} только с границей имени:
|
||||||
|
* {@code <w:endnote>}/{@code <w:endParens} остаются как были
|
||||||
|
* (буквальная замена без границы их калечит).
|
||||||
|
*/
|
||||||
|
private static String renameStartEndElements(String xml) {
|
||||||
|
String r = START_ELEMENT.matcher(xml).replaceAll("<w:left");
|
||||||
|
r = r.replace("</w:start>", "</w:left>");
|
||||||
|
r = END_ELEMENT.matcher(r).replaceAll("<w:right");
|
||||||
|
return r.replace("</w:end>", "</w:right>");
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Заменяет {@code name="NN%"} на {@code name="NNNNN"} (×1000) внутри открывающих тегов. */
|
||||||
|
private static String percentTags(String xml, Pattern tagPattern) {
|
||||||
|
Matcher tags = tagPattern.matcher(xml);
|
||||||
|
StringBuilder sb = null;
|
||||||
|
while (tags.find()) {
|
||||||
|
String fixed = percentAttrs(tags.group());
|
||||||
|
if (!fixed.equals(tags.group())) {
|
||||||
|
if (sb == null) {
|
||||||
|
sb = new StringBuilder(xml.length());
|
||||||
|
}
|
||||||
|
tags.appendReplacement(sb, Matcher.quoteReplacement(fixed));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if (sb == null) {
|
||||||
|
return xml;
|
||||||
|
}
|
||||||
|
tags.appendTail(sb);
|
||||||
|
return sb.toString();
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Все процентные атрибуты одного тега (несколько за проход — иначе теряются со второго). */
|
||||||
|
private static String percentAttrs(String tag) {
|
||||||
|
Matcher a = PERCENT_ATTR.matcher(tag);
|
||||||
|
if (!a.find()) {
|
||||||
|
return tag;
|
||||||
|
}
|
||||||
|
StringBuilder sb = new StringBuilder(tag.length());
|
||||||
|
do {
|
||||||
|
long value = Math.round(Double.parseDouble(a.group(2)) * 1000);
|
||||||
|
a.appendReplacement(sb,
|
||||||
|
Matcher.quoteReplacement(a.group(1) + "=\"" + value + "\""));
|
||||||
|
} while (a.find());
|
||||||
|
a.appendTail(sb);
|
||||||
|
return sb.toString();
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Текстовый процент {@code <wp14:pctWidth>100%</...>} → {@code 100000}. */
|
||||||
|
private static String percentText(String xml) {
|
||||||
|
Matcher m = PERCENT_TEXT.matcher(xml);
|
||||||
|
if (!m.find()) {
|
||||||
|
return xml;
|
||||||
|
}
|
||||||
|
m.reset();
|
||||||
|
StringBuilder sb = new StringBuilder(xml.length());
|
||||||
|
while (m.find()) {
|
||||||
|
long value = Math.round(Double.parseDouble(m.group(2)) * 1000);
|
||||||
|
m.appendReplacement(sb,
|
||||||
|
Matcher.quoteReplacement(m.group(1) + value + "<"));
|
||||||
|
}
|
||||||
|
m.appendTail(sb);
|
||||||
|
return sb.toString();
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Значения {@code start}/{@code end} у {@code w:jc}/{@code w:tab} → {@code left}/{@code right}. */
|
||||||
|
private static String jcTabValues(String xml) {
|
||||||
|
Matcher m = JC_TAB_VALUE.matcher(xml);
|
||||||
|
if (!m.find()) {
|
||||||
|
return xml;
|
||||||
|
}
|
||||||
|
m.reset();
|
||||||
|
StringBuilder sb = new StringBuilder(xml.length());
|
||||||
|
while (m.find()) {
|
||||||
|
String value = m.group(2).equals("start") ? "left" : "right";
|
||||||
|
m.appendReplacement(sb,
|
||||||
|
Matcher.quoteReplacement(m.group(1) + value + "\""));
|
||||||
|
}
|
||||||
|
m.appendTail(sb);
|
||||||
|
return sb.toString();
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -9,6 +9,8 @@ import org.apache.pdfbox.pdmodel.font.PDFont;
|
|||||||
import org.apache.pdfbox.text.PDFTextStripper;
|
import org.apache.pdfbox.text.PDFTextStripper;
|
||||||
import org.junit.jupiter.api.Test;
|
import org.junit.jupiter.api.Test;
|
||||||
|
|
||||||
|
import java.io.ByteArrayOutputStream;
|
||||||
|
import java.nio.charset.StandardCharsets;
|
||||||
import java.io.IOException;
|
import java.io.IOException;
|
||||||
import java.io.InputStream;
|
import java.io.InputStream;
|
||||||
import java.nio.file.Files;
|
import java.nio.file.Files;
|
||||||
@@ -16,6 +18,8 @@ import java.nio.file.Path;
|
|||||||
import java.util.List;
|
import java.util.List;
|
||||||
import java.util.Set;
|
import java.util.Set;
|
||||||
import java.util.TreeSet;
|
import java.util.TreeSet;
|
||||||
|
import java.util.zip.ZipEntry;
|
||||||
|
import java.util.zip.ZipOutputStream;
|
||||||
|
|
||||||
import static org.junit.jupiter.api.Assertions.*;
|
import static org.junit.jupiter.api.Assertions.*;
|
||||||
|
|
||||||
@@ -450,4 +454,56 @@ class WordPdfConverterTest {
|
|||||||
"заголовок PDF должен браться из параметра title");
|
"заголовок PDF должен браться из параметра title");
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Strict-OOXML-документ (namespaces purl.oclc.org, проценты строками,
|
||||||
|
* w:start/w:end вместо w:left/w:right, w:jc val="start") конвертируется,
|
||||||
|
* а не отваливается на JAXB-разборе. Пакет минимальный, in-memory:
|
||||||
|
* реальный develop/openxml.docx — персональные данные, в фикстуры не берём.
|
||||||
|
* Регрессия — StrictOoxmlNormalizer.
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void strictOoxml_convertsNotRejected() throws Exception {
|
||||||
|
String strictW = "http://purl.oclc.org/ooxml/wordprocessingml/main";
|
||||||
|
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||||
|
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||||
|
putZip(zos, "[Content_Types].xml",
|
||||||
|
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
|
||||||
|
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
|
||||||
|
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
|
||||||
|
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
|
||||||
|
+ "<Override PartName=\"/word/document.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml\"/>"
|
||||||
|
+ "</Types>");
|
||||||
|
putZip(zos, "_rels/.rels",
|
||||||
|
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
|
||||||
|
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
|
||||||
|
+ "<Relationship Id=\"rId1\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/officeDocument\" Target=\"word/document.xml\"/>"
|
||||||
|
+ "</Relationships>");
|
||||||
|
putZip(zos, "word/document.xml",
|
||||||
|
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
|
||||||
|
+ "<w:document xmlns:w=\"" + strictW + "\"><w:body>"
|
||||||
|
+ "<w:p><w:pPr><w:spacing w:before=\"12pt\"/>"
|
||||||
|
+ "<w:jc w:val=\"start\"/><w:ind w:start=\"18pt\"/></w:pPr>"
|
||||||
|
+ "<w:r><w:t>СТРОГИЙМАРКЕР</w:t></w:r></w:p>"
|
||||||
|
+ "<w:tbl><w:tblPr><w:tblBorders>"
|
||||||
|
+ "<w:start w:val=\"single\"/><w:end w:val=\"single\"/>"
|
||||||
|
+ "</w:tblBorders></w:tblPr>"
|
||||||
|
+ "<w:tr><w:tc><w:tcPr><w:tcBorders>"
|
||||||
|
+ "<w:start w:val=\"double\"/></w:tcBorders></w:tcPr>"
|
||||||
|
+ "<w:p><w:r><w:t>таблица</w:t></w:r></w:p></w:tc></w:tr></w:tbl>"
|
||||||
|
+ "<w:sectPr><w:pgSz w:w=\"11906\" w:h=\"16838\"/></w:sectPr>"
|
||||||
|
+ "</w:body></w:document>");
|
||||||
|
}
|
||||||
|
|
||||||
|
Path pdf = convertPdf(out.toByteArray(), "strict");
|
||||||
|
String text = norm(pdfText(pdf));
|
||||||
|
assertTrue(text.contains("СТРОГИЙМАРКЕР"), "текст PDF: " + text);
|
||||||
|
assertTrue(text.contains("таблица"), "текст PDF: " + text);
|
||||||
|
}
|
||||||
|
|
||||||
|
private static void putZip(ZipOutputStream zos, String name, String xml) throws IOException {
|
||||||
|
zos.putNextEntry(new ZipEntry(name));
|
||||||
|
zos.write(xml.getBytes(StandardCharsets.UTF_8));
|
||||||
|
zos.closeEntry();
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -8,6 +8,9 @@ import org.docx4j.openpackaging.packages.WordprocessingMLPackage;
|
|||||||
import org.junit.jupiter.api.Test;
|
import org.junit.jupiter.api.Test;
|
||||||
|
|
||||||
import java.io.ByteArrayOutputStream;
|
import java.io.ByteArrayOutputStream;
|
||||||
|
import java.nio.charset.StandardCharsets;
|
||||||
|
import java.util.zip.ZipEntry;
|
||||||
|
import java.util.zip.ZipOutputStream;
|
||||||
|
|
||||||
import static org.junit.jupiter.api.Assertions.*;
|
import static org.junit.jupiter.api.Assertions.*;
|
||||||
|
|
||||||
@@ -323,4 +326,37 @@ class WordPdfValidatorTest {
|
|||||||
assertThrows(ConversionException.class,
|
assertThrows(ConversionException.class,
|
||||||
() -> WordPdfValidator.checkPageCountLightweight((byte[]) null));
|
() -> WordPdfValidator.checkPageCountLightweight((byte[]) null));
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Lightweight-путь читает сырые байты до нормализации и обязан видеть
|
||||||
|
* разрывы {@code w:br w:type="page"} в strict-namespace'ах
|
||||||
|
* (атрибуты по локальному имени, без привязки к transitional-URI).
|
||||||
|
* Регрессия — WordPdfValidator#attrLocal.
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void pageCount_strictBreaksCountedLightweight() throws Exception {
|
||||||
|
String strictW = "http://purl.oclc.org/ooxml/wordprocessingml/main";
|
||||||
|
StringBuilder body = new StringBuilder();
|
||||||
|
for (int i = 0; i < 3; i++) {
|
||||||
|
body.append("<w:p><w:r><w:t>p").append(i)
|
||||||
|
.append("</w:t><w:br w:type=\"page\"/></w:r></w:p>");
|
||||||
|
}
|
||||||
|
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||||
|
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||||
|
zos.putNextEntry(new ZipEntry("word/document.xml"));
|
||||||
|
zos.write(("<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
|
||||||
|
+ "<w:document xmlns:w=\"" + strictW + "\"><w:body>" + body
|
||||||
|
+ "<w:sectPr/></w:body></w:document>")
|
||||||
|
.getBytes(StandardCharsets.UTF_8));
|
||||||
|
zos.closeEntry();
|
||||||
|
}
|
||||||
|
byte[] docx = out.toByteArray();
|
||||||
|
|
||||||
|
// 3 разрыва + первая страница = не менее 4; до фикса lightweight
|
||||||
|
// не видел разрывы в strict-namespace и возвращал 1
|
||||||
|
assertDoesNotThrow(() -> WordPdfValidator.checkPageCountLightweight(docx, 4));
|
||||||
|
ConversionException ex = assertThrows(ConversionException.class,
|
||||||
|
() -> WordPdfValidator.checkPageCountLightweight(docx, 3));
|
||||||
|
assertTrue(ex.getMessage().contains("не менее 4"), ex.getMessage());
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
+200
@@ -0,0 +1,200 @@
|
|||||||
|
package ru.pjandro.wordpdf.internal;
|
||||||
|
|
||||||
|
import org.junit.jupiter.api.Test;
|
||||||
|
|
||||||
|
import java.io.ByteArrayInputStream;
|
||||||
|
import java.io.ByteArrayOutputStream;
|
||||||
|
import java.io.IOException;
|
||||||
|
import java.nio.charset.StandardCharsets;
|
||||||
|
import java.util.zip.ZipEntry;
|
||||||
|
import java.util.zip.ZipInputStream;
|
||||||
|
import java.util.zip.ZipOutputStream;
|
||||||
|
|
||||||
|
import static org.junit.jupiter.api.Assertions.*;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Нормализация strict-OOXML (проценты строками, w:start/w:end вместо
|
||||||
|
* w:left/w:right, значения start/end у w:jc/w:tab — см. StrictOoxmlNormalizer).
|
||||||
|
*/
|
||||||
|
class StrictOoxmlNormalizerTest {
|
||||||
|
|
||||||
|
private static final String STRICT_W =
|
||||||
|
"http://purl.oclc.org/ooxml/wordprocessingml/main";
|
||||||
|
|
||||||
|
private static byte[] makeDocx(String... namesAndXml) throws IOException {
|
||||||
|
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||||
|
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||||
|
for (int i = 0; i < namesAndXml.length; i += 2) {
|
||||||
|
zos.putNextEntry(new ZipEntry(namesAndXml[i]));
|
||||||
|
zos.write(namesAndXml[i + 1].getBytes(StandardCharsets.UTF_8));
|
||||||
|
zos.closeEntry();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return out.toByteArray();
|
||||||
|
}
|
||||||
|
|
||||||
|
private static String readEntry(byte[] zip, String name) throws IOException {
|
||||||
|
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(zip))) {
|
||||||
|
ZipEntry e;
|
||||||
|
while ((e = zis.getNextEntry()) != null) {
|
||||||
|
if (e.getName().equals(name)) {
|
||||||
|
return new String(zis.readAllBytes(), StandardCharsets.UTF_8);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
throw new AssertionError("нет записи " + name);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void rewriteWithoutMatchesIsNull() {
|
||||||
|
// transitional-документ: a:-проценты целыми, w:left/w:right, jc=left
|
||||||
|
assertNull(StrictOoxmlNormalizer.rewrite(
|
||||||
|
"<w:document><w:p><w:pPr><w:jc w:val=\"left\"/></w:pPr>"
|
||||||
|
+ "<w:r><w:t>текст</w:t></w:r></w:p></w:document>"));
|
||||||
|
assertNull(StrictOoxmlNormalizer.rewrite(
|
||||||
|
"<a:sp><a:shade val=\"50000\"/></a:sp>"));
|
||||||
|
// процент в текстовом содержимом — не атрибут, править нельзя
|
||||||
|
assertNull(StrictOoxmlNormalizer.rewrite("<a:t>50%</a:t>"));
|
||||||
|
// w:-проценты (tblW/tcW type="pct") экспортёр FO понимает сам
|
||||||
|
assertNull(StrictOoxmlNormalizer.rewrite(
|
||||||
|
"<w:tblW w:w=\"50%\" w:type=\"pct\"/>"));
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void drawingPercentAttrsScaled() {
|
||||||
|
String r = StrictOoxmlNormalizer.rewrite(
|
||||||
|
"<a:sp><a:shade fmt=\"scene\" val=\"50%\"/>"
|
||||||
|
+ "<a:gs pos=\"14%\"><a:srgbClr val=\"FF0000\"/></a:gs></a:sp>");
|
||||||
|
assertNotNull(r);
|
||||||
|
assertTrue(r.contains("val=\"50000\""), r);
|
||||||
|
assertTrue(r.contains("pos=\"14000\""), r);
|
||||||
|
assertTrue(r.contains("fmt=\"scene\""), r);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void multiplePercentAttrsInOneTag() {
|
||||||
|
// классическая ловушка жадного regex — теряется второй %-атрибут тега
|
||||||
|
String r = StrictOoxmlNormalizer.rewrite(
|
||||||
|
"<w14:fillToRect w14:t=\"130%\" w14:b=\"-30%\" w14:l=\"7%\"/>");
|
||||||
|
assertNotNull(r);
|
||||||
|
assertTrue(r.contains("w14:t=\"130000\""), r);
|
||||||
|
assertTrue(r.contains("w14:b=\"-30000\""), r);
|
||||||
|
assertTrue(r.contains("w14:l=\"7000\""), r);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void decimalPercentRounded() {
|
||||||
|
String r = StrictOoxmlNormalizer.rewrite("<a:gs pos=\"14.5%\"/>");
|
||||||
|
assertNotNull(r);
|
||||||
|
assertTrue(r.contains("pos=\"14500\""), r);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void pctWidthTextScaled() {
|
||||||
|
String r = StrictOoxmlNormalizer.rewrite(
|
||||||
|
"<wp14:pctWidth>100%</wp14:pctWidth>"
|
||||||
|
+ "<wp14:pctHeight>42.5%</wp14:pctHeight>");
|
||||||
|
assertNotNull(r);
|
||||||
|
assertTrue(r.contains("<wp14:pctWidth>100000<"), r);
|
||||||
|
assertTrue(r.contains("<wp14:pctHeight>42500<"), r);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void startEndElementsRenamed() {
|
||||||
|
String r = StrictOoxmlNormalizer.rewrite(
|
||||||
|
"<w:tcBorders><w:start w:val=\"single\"/><w:end w:val=\"double\"/></w:tcBorders>"
|
||||||
|
+ "<w:pBdr><w:start/><w:end/></w:pBdr>");
|
||||||
|
assertNotNull(r);
|
||||||
|
assertTrue(r.contains("<w:left w:val=\"single\"/>"), r);
|
||||||
|
assertTrue(r.contains("<w:right w:val=\"double\"/>"), r);
|
||||||
|
assertTrue(r.contains("<w:left/><w:right/>"), r);
|
||||||
|
assertFalse(r.contains("w:start"), r);
|
||||||
|
assertFalse(r.contains("w:end"), r);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void endnoteAndEndParensNotTouched() {
|
||||||
|
// переименование w:end без границы имени калечит <w:endnote*>/<w:endParens
|
||||||
|
String r = StrictOoxmlNormalizer.rewrite(
|
||||||
|
"<w:footnotePr><w:endnote w:id=\"0\"/></w:footnotePr>"
|
||||||
|
+ "<w:endParens/><w:endnoteRef/>"
|
||||||
|
+ "<w:tcBorders><w:end w:val=\"single\"/></w:tcBorders>");
|
||||||
|
assertNotNull(r);
|
||||||
|
assertTrue(r.contains("<w:endnote w:id=\"0\"/>"), r);
|
||||||
|
assertTrue(r.contains("<w:endParens/>"), r);
|
||||||
|
assertTrue(r.contains("<w:endnoteRef/>"), r);
|
||||||
|
assertTrue(r.contains("<w:right w:val=\"single\"/>"), r);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void indAttributesRenamed() {
|
||||||
|
String r = StrictOoxmlNormalizer.rewrite(
|
||||||
|
"<w:ind w:start=\"18pt\" w:end=\"36pt\"/>");
|
||||||
|
assertNotNull(r);
|
||||||
|
assertTrue(r.contains("w:left=\"18pt\""), r);
|
||||||
|
assertTrue(r.contains("w:right=\"36pt\""), r);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void jcTabValuesRenamed() {
|
||||||
|
String r = StrictOoxmlNormalizer.rewrite(
|
||||||
|
"<w:jc w:val=\"end\"/>"
|
||||||
|
+ "<w:tab w:val=\"start\" w:leader=\"dot\" w:pos=\"9026\"/>");
|
||||||
|
assertNotNull(r);
|
||||||
|
assertTrue(r.contains("<w:jc w:val=\"right\"/>"), r);
|
||||||
|
assertTrue(r.contains("<w:tab w:val=\"left\" w:leader=\"dot\" w:pos=\"9026\"/>"), r);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void rewritesStrictDocumentInZip() throws Exception {
|
||||||
|
byte[] docx = makeDocx(
|
||||||
|
"[Content_Types].xml", "<Types/>",
|
||||||
|
"word/document.xml",
|
||||||
|
"<w:document xmlns:w=\"" + STRICT_W + "\"><w:body>"
|
||||||
|
+ "<w:p><w:pPr><w:jc w:val=\"start\"/><w:ind w:start=\"18pt\"/></w:pPr></w:p>"
|
||||||
|
+ "<w:p><w:r><w:t>50%</w:t></w:r></w:p>"
|
||||||
|
+ "</w:body></w:document>");
|
||||||
|
|
||||||
|
String document = readEntry(StrictOoxmlNormalizer.normalize(docx), "word/document.xml");
|
||||||
|
assertTrue(document.contains("<w:jc w:val=\"left\"/>"), document);
|
||||||
|
assertTrue(document.contains("w:left=\"18pt\""), document);
|
||||||
|
// процент в текстовом содержимом <w:t> не тронут
|
||||||
|
assertTrue(document.contains("<w:t>50%</w:t>"), document);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void nonWordPartsNotTouched() throws Exception {
|
||||||
|
byte[] docx = makeDocx(
|
||||||
|
"[Content_Types].xml", "<a:shade val=\"50%\"/>",
|
||||||
|
"word/document.xml", "<w:document/>");
|
||||||
|
|
||||||
|
byte[] result = StrictOoxmlNormalizer.normalize(docx);
|
||||||
|
assertEquals("<a:shade val=\"50%\"/>", readEntry(result, "[Content_Types].xml"));
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void noMatchesReturnsOriginalArray() throws Exception {
|
||||||
|
byte[] docx = makeDocx(
|
||||||
|
"[Content_Types].xml", "<Types/>",
|
||||||
|
"word/document.xml",
|
||||||
|
"<w:document><w:p><w:pPr><w:jc w:val=\"left\"/></w:pPr></w:p></w:document>");
|
||||||
|
|
||||||
|
assertSame(docx, StrictOoxmlNormalizer.normalize(docx));
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void numberingStartValuePreserved() throws Exception {
|
||||||
|
// w:lvl/w:start — легитимный transitional-элемент (стартовое значение
|
||||||
|
// счётчика): в numbering.xml элементы не переименовываем,
|
||||||
|
// остальные правила (значения w:tab) — применяем
|
||||||
|
byte[] docx = makeDocx(
|
||||||
|
"[Content_Types].xml", "<Types/>",
|
||||||
|
"word/numbering.xml",
|
||||||
|
"<w:numbering><w:lvl><w:start w:val=\"1\"/><w:tab w:val=\"start\"/>"
|
||||||
|
+ "<w:lvlText w:val=\"%1.\"/></w:lvl></w:numbering>");
|
||||||
|
|
||||||
|
String numbering = readEntry(StrictOoxmlNormalizer.normalize(docx), "word/numbering.xml");
|
||||||
|
assertTrue(numbering.contains("<w:start w:val=\"1\"/>"), numbering);
|
||||||
|
assertTrue(numbering.contains("<w:tab w:val=\"left\"/>"), numbering);
|
||||||
|
}
|
||||||
|
}
|
||||||
Reference in New Issue
Block a user