OLE-объекты: переключатель errorOnOle + тихое удаление из docx #32
@@ -11,7 +11,7 @@
|
||||
Наружу `WordPdfValidator.validate(docxBytes, options)` (размер → zip-подпись `PK\x03\x04` → контейнер (.docx-манифест + zip-бомба) → страницы) вызывается **до** приватного `convertToStream`; внутри `convertToStream`:
|
||||
|
||||
1. `new BundledFontMapper()` → `BundledFonts.init()` → `BundledFonts.restrictToBundled()`. Конструктор маппера каждый раз добавляет системные шрифты в реестр `PhysicalFonts`; ключ реестра — имя из name-таблицы TTF, `addPhysicalFont(URI)` не перезаписывает занятый → `init()` вызывает `dropNonBundled()` **до** регистрации и `load()` (иначе системный Calibri ломает em-dash-fallback).
|
||||
2. Нормализация байтов docx до JAXB-загрузки (цепочка `byte[] → byte[]`, порядок значим): `StrictOoxmlNormalizer` (strict-OOXML → transitional-байт: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`, элементы и атрибуты `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml), значения `start`/`end` у `w:jc`/`w:tab`; в `mc-preprocessor.xslt` docx4j ветка `%` закомментирована, start/end не маппятся; namespaces и `pt`-значения правит сам mc-preprocessor — собственный рерайт URI ломает его pt-конверсию) → `DocxOnOffNormalizer` (`w:val="off"/"on"` → `false`/`true`) → `SymbolFontNormalizer` (PUA U+F0xx Symbol/Wingdings/Webdings → Unicode + DejaVu Sans, переписывает и элементы `<w:sym>`; 5 карт по 256 слотов, таблица `SymbolMapper` сгенерирована из docx4j 17.x) → `FieldNormalizer` (`fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple`, вложенные/битые поля пропускает) → `GlyphCoverageNormalizer` (режет ран по покрытию глифов, пишет семейство в `w:rFonts`, иначе FOP рисует «#»; покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, НЕ docx4j `GlyphCheck` — тот плодит INFO-лог, `java.awt.Font` требовал fontconfig на хосте; для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (DejaVu Serif/Tinos/Caladea), затем в sans) → `WordprocessingMLPackage.load`.
|
||||
2. Нормализация байтов docx до JAXB-загрузки (цепочка `byte[] → byte[]`, порядок значим): `StrictOoxmlNormalizer` (strict-OOXML → transitional-байт: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`, элементы и атрибуты `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml), значения `start`/`end` у `w:jc`/`w:tab`; в `mc-preprocessor.xslt` docx4j ветка `%` закомментирована, start/end не маппятся; namespaces и `pt`-значения правит сам mc-preprocessor — собственный рерайт URI ломает его pt-конверсию) → `DocxOnOffNormalizer` (`w:val="off"/"on"` → `false`/`true`) → `SymbolFontNormalizer` (PUA U+F0xx Symbol/Wingdings/Webdings → Unicode + DejaVu Sans, переписывает и элементы `<w:sym>`; 5 карт по 256 слотов, таблица `SymbolMapper` сгенерирована из docx4j 17.x) → `FieldNormalizer` (`fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple`, вложенные/битые поля пропускает) → `GlyphCoverageNormalizer` (режет ран по покрытию глифов, пишет семейство в `w:rFonts`, иначе FOP рисует «#»; покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, НЕ docx4j `GlyphCheck` — тот плодит INFO-лог, `java.awt.Font` требовал fontconfig на хосте; для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (DejaVu Serif/Tinos/Caladea), затем в sans) → `OleObjectNormalizer` (шестой, принимает флаг `errorOnOle`: OLE-bin-части — детекция по `[Content_Types].xml`: тип `…oleObject` ИЛИ ложный `+xml`-тип у `.bin` (XML в bin не бывает; printerSettings не трогается) — удаляются вместе с rels-ссылками (TargetMode=External не трогается), элементами `<w:object>` из `word/*.xml` и Override удалённых частей; при `errorOnOle=true` вместо удаления — `DrawingFoundException(OLE)`. Лечит оба механизма падения docx4j: JAXB-парсинг бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object` при честном типе; многочастный — публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет) → `WordprocessingMLPackage.load`.
|
||||
3. `WordPdfValidator.checkPageCount(docxBytes, maxPages)` — **до** рендера, lightweight (zip/StAX) по нормализованным байтам — тот же путь, что у приложения до очереди.
|
||||
4. `pkg.setFontMapper(mapper)` → `DrawingPreRenderer.run(pkg, options)` (шаг 3.5: `c:chart`/`dgm:relIds` docx2fo.xslt не умеет — свой Java2D-движок `internal/chart/*` рендерит в PNG 300 dpi и подменяет на `pic:pic`; объекты конвертируются всегда, отказ только по error-флагу `ConvertOptions` — `DrawingFoundException`; упавший рендер — объект **удаляется** из docx (`gd.getAny().clear()`) + warn, деградация не падение).
|
||||
5. `new FOSettings(pkg)` + `FopFallbackFonts.declare` (декларирует **все** бандл-семейства — FOP встраивает только задекларированные) → `FORendererApacheFOP`/`FOUserAgent` (непустой `title` → заголовок PDF) → `Docx4J.toFO(..., FLAG_EXPORT_PREFER_XSL)`.
|
||||
@@ -19,12 +19,12 @@
|
||||
|
||||
### REST API (`wordpdf-app`, всё package-private кроме `WordPdfApplication`)
|
||||
|
||||
- Единственный эндпоинт `POST /api/v1/convert` (multipart-поле `file`, факультативные query/form-параметры `errorOnCharts`/`errorOnSmartArt`; диаграммы/SmartArt конвертируются всегда) → `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка `.docx`-расширения — в `ConvertController`; `safeBaseName` в `ConversionService` — единый источник имени для файла, заголовка ответа и PDF-title (разрешены `[\p{L}\p{N} ._-]`, пустое → `document`).
|
||||
- Единственный эндпоинт `POST /api/v1/convert` (multipart-поле `file`, факультативные query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` — дефолт каждого `WordPdfSettings.ERROR_*`; диаграммы/SmartArt конвертируются всегда, OLE-объекты при выключенном флаге тихо удаляются) → `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка `.docx`-расширения — в `ConvertController`; `safeBaseName` в `ConversionService` — единый источник имени для файла, заголовка ответа и PDF-title (разрешены `[\p{L}\p{N} ._-]`, пустое → `document`).
|
||||
- Конвертации **сериализованы** однопоточным `ThreadPoolExecutor` (`ConversionService.QUEUE_CAPACITY = 16`, переполнение → 503): ядро мутирует глобальный реестр `PhysicalFonts`. `future.cancel(true)` при таймауте не останавливает FOP мгновенно — осознанный компромисс.
|
||||
- Ошибки (`ApiExceptionHandler`, тело `{"error": …}`): `ValidationException` → 400; `DrawingRejectedException` (core-`DrawingFoundException` от error-флагов, конвертируется в `ConversionService.doConvert`) → **422** (текст — контракт с фронтом, показывается дословно); `ConversionFailedException` → 500; `ConversionRejectedException` → 503; `ConversionTimeoutException` (`wordpdf.convert-timeout`, 2m) → 504; `MaxUploadSizeExceededException` → 413; `MissingServletRequestPartException`/`MissingServletRequestParameterException` → 400; `NoResourceFoundException` (неизвестный путь) → 404; catch-all → 500 (подробности только в лог). `ValidationException` — тип ядра `ru.pjandro.wordpdf.ValidationException extends ConversionException` (публичный), валидатор бросает его сам, app-дубликата нет; четыре app-исключения (`ConversionFailed/Rejected/Timeout/DrawingRejected`) — package-private, несут семантику 500/503/504/422. Граница: сломанный контейнер (не zip / голый zip без манифеста wordprocessingml / zip-бомба / размер / страницы) → 400, валидный .docx-контейнер с мусором внутри → 500. Валидация до очереди: `WordPdfValidator.validate(docxBytes, options)` (внутри порядок значим: `checkInput` → zip-магик `PK\x03\x04` → `checkDocxContainer` — потоковый проход: декларация `wordprocessingml.document` в `[Content_Types].xml` + лимиты zip-бомбы `WordPdfSettings.MAX_DECOMPRESSED_MB`/`MAX_ZIP_ENTRIES`, не переопределяются `ConvertOptions` — → `checkPageCount`); тот же метод — вход ядра.
|
||||
- Ошибки (`ApiExceptionHandler`, тело `{"error": …}`): `ValidationException` → 400; `DrawingRejectedException` (core-`DrawingFoundException` от error-флагов — `Kind {CHARTS, SMARTART, OLE}`, конвертируется в `ConversionService.doConvert`) → **422** (текст — контракт с фронтом, показывается дословно: «Конвертация отменена: в документе найдены диаграммы/найден SmartArt/найдены OLE-объекты»); `ConversionFailedException` → 500; `ConversionRejectedException` → 503; `ConversionTimeoutException` (`wordpdf.convert-timeout`, 2m) → 504; `MaxUploadSizeExceededException` → 413; `MissingServletRequestPartException`/`MissingServletRequestParameterException` → 400; `NoResourceFoundException` (неизвестный путь) → 404; catch-all → 500 (подробности только в лог). `ValidationException` — тип ядра `ru.pjandro.wordpdf.ValidationException extends ConversionException` (публичный), валидатор бросает его сам, app-дубликата нет; четыре app-исключения (`ConversionFailed/Rejected/Timeout/DrawingRejected`) — package-private, несут семантику 500/503/504/422. Граница: сломанный контейнер (не zip / голый zip без манифеста wordprocessingml / zip-бомба / размер / страницы) → 400, валидный .docx-контейнер с мусором внутри → 500. Валидация до очереди: `WordPdfValidator.validate(docxBytes, options)` (внутри порядок значим: `checkInput` → zip-магик `PK\x03\x04` → `checkDocxContainer` — потоковый проход: декларация `wordprocessingml.document` в `[Content_Types].xml` + лимиты zip-бомбы `WordPdfSettings.MAX_DECOMPRESSED_MB`/`MAX_ZIP_ENTRIES`, не переопределяются `ConvertOptions` — → `checkPageCount`); тот же метод — вход ядра.
|
||||
- **Ключ доступа**: `ApiKeyFilter` сверяет заголовок `X-API-Key` (`ApiKeyFilter.HEADER`) со свойством `wordpdf.api-key` (env `WORDPDF_API_KEY`, сравнение `MessageDigest.isEqual`). Пустое свойство = аутентификация выключена (dev `java -jar`, тесты). Без ключа открыты `/actuator/**` (HEALTHCHECK), `/swagger-ui*`, `/v3/api-docs*` — матч по пути **без forwarded-contextPath** (`getRequestURI()` минус `getContextPath()`; иначе под `X-Forwarded-Prefix` HEALTHCHECK получил бы 401). 401 пишет сам фильтр (`ApiExceptionHandler` ошибок фильтров не видит). Springdoc в repo `compose.yml` **выключён** (`SPRINGDOC_API_DOCS_ENABLED`/`SPRINGDOC_SWAGGER_UI_ENABLED=false`); на живом проде (compose вне репо) включён и документация открыта без ключа под `https://pjandro.ru/pdf-converter/swagger-ui.html` — это безусловно проверяют prod-автотесты; server-URL спека собирается из `X-Forwarded-*` (`server.forward-headers-strategy=framework` — `native`-клапан Tomcat `X-Forwarded-Prefix` не понимает). Регрессии — `ApiKeyFilterTest#forwardedPrefix_healthStaysOpen`, `ApiKeyFilterTest#docsOpenWithoutKey`.
|
||||
- Лимиты входа задаёт **только конфигурация сервера**: `wordpdf.max-mb`/`wordpdf.max-pages` (env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`), `@Value` в `ConvertController` с дефолтом-SpEL из `WordPdfSettings` (5 МБ / 100); значение ≤ 0 → `IllegalStateException` на старте; параметрами запроса не переопределяются. Ключи в `application.properties` **не объявлены** — пустое значение затенит SpEL-дефолт.
|
||||
- SPA: вся сеть в `src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), при 401 очищается, экран `ApiKeyGate` (`UnauthorizedError` — наследник `ApiError`, проверяется раньше); гейт показывается только когда `probeApiKey()` (GET /api/v1/convert → 401 от `ApiKeyFilter`) подтвердил требование ключа — в dev без ключа форма открывается сразу; запросы на `${import.meta.env.BASE_URL}api/...` (vite `base` из `VITE_BASE`, дефолт `/`) — CORS не нужен (dev: vite-proxy → :8080; prod: nginx с префиксом `/pdf-converter/`).
|
||||
- SPA: вся сеть в `src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), при 401 очищается, экран `ApiKeyGate` (`UnauthorizedError` — наследник `ApiError`, проверяется раньше); гейт показывается только когда `probeApiKey()` (GET /api/v1/convert → 401 от `ApiKeyFilter`) подтвердил требование ключа — в dev без ключа форма открывается сразу; запросы на `${import.meta.env.BASE_URL}api/...` (vite `base` из `VITE_BASE`, дефолт `/`) — CORS не нужен (dev: vite-proxy → :8080; prod: nginx с префиксом `/pdf-converter/`). Три переключателя error-флагов в форме (`App.tsx`): «Диаграммы», «SmartArt», «OLE-объекты» (дефолт — все выключены), уходят в `convertDocx` как `errorOnCharts`/`errorOnSmartArt`/`errorOnOle`.
|
||||
|
||||
### Chart-движок (`internal/chart`, package-private кроме `DrawingPreRenderer.run`)
|
||||
|
||||
@@ -47,19 +47,19 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|
||||
|
||||
|Путь|Назначение|
|
||||
|---|---|
|
||||
|`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API: `WordPdfConverter`, `WordPdfValidator` (перегрузки `checkInput`/`checkPageCount` и `validate(byte[], ConvertOptions)` — полная цепочка; без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `DrawingFoundException` (`enum Kind {CHARTS, SMARTART}` — отказ по error-флагу), `WordPdfSettings` (константы-дефолты: `MAX_INPUT_MB=5`, `MAX_PAGES=100`, защитные `MAX_DECOMPRESSED_MB=200`/`MAX_ZIP_ENTRIES=8192`, `ERROR_*=false`), `ConvertOptions` (record: errorOnCharts, errorOnSmartArt, maxMb, maxPages)|
|
||||
|`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API: `WordPdfConverter`, `WordPdfValidator` (перегрузки `checkInput`/`checkPageCount` и `validate(byte[], ConvertOptions)` — полная цепочка; без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}` — отказ по error-флагу), `WordPdfSettings` (константы-дефолты: `MAX_INPUT_MB=5`, `MAX_PAGES=100`, защитные `MAX_DECOMPRESSED_MB=200`/`MAX_ZIP_ENTRIES=8192`, `ERROR_*=false`), `ConvertOptions` (record: errorOnCharts, errorOnSmartArt, errorOnOle, maxMb, maxPages)|
|
||||
|`…/wordpdf/fonts/`|`BundledFonts` (реестр/выгрузка TTF, `families()`, `FALLBACK_FAMILY`), `BundledFontMapper` (алиасы MS→open-source, self-map, DISPLAY_NAMES, public-хук `bundledFamily`), `GlyphFont` (глиф-движок fontbox: метрики/глифы без java.awt.Font)|
|
||||
|`…/wordpdf/internal/`|5 байтовых нормализатора + `FopFallbackFonts` (классы `public` — вызываются из родительского пакета; публичные члены только `normalize`/`declare`)|
|
||||
|`…/wordpdf/internal/`|6 байтовых нормализатора + `FopFallbackFonts` (классы `public` — вызываются из родительского пакета; публичные члены только `normalize`/`declare`; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `DrawingFoundException(OLE)`)|
|
||||
|`…/wordpdf/internal/chart/`|11 классов Java2D-рендера диаграмм/SmartArt в PNG (public только `DrawingPreRenderer`)|
|
||||
|`wordpdf-core/src/main/resources/fonts/`|30 TTF + 3 лицензии — бинарные фикстуры, часть jar|
|
||||
|`wordpdf-core/src/test/resources/samples/`|11 закоммиченных `.docx`-фикстур (единственные фикстуры)|
|
||||
|`wordpdf-core/src/test/resources/samples/`|12 закоммиченных `.docx`-фикстур (единственные фикстуры)|
|
||||
|`wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/`|REST API (10 классов): `WordPdfApplication` (единственный public), `ConvertController`, `ConversionService` (очередь), `ApiExceptionHandler`, `ApiKeyFilter`, `OpenApiConfig` (`@SecurityScheme` X-API-Key для springdoc) + 5 класса исключений|
|
||||
|`wordpdf-web/src/`|SPA (React 19 + TS + Vite + Tailwind): `api.ts` (вся сеть), `components/` (App, ApiKeyGate, PdfPreview, StatusMessage, DropZone, Logo)|
|
||||
|корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf`|образ бэкенда (multi-stage maven:3.9-temurin-21 → temurin-**21-jre-alpine** (musl) — chart-движку нужен только модуль java.desktop (Graphics2D, он внутри JRE); fontconfig и системные шрифты рантайму не нужны — текст рисуется глифами fontbox, см. `fonts/GlyphFont` (проверено на musl-стенде без libfontconfig/`/etc/fonts`); HEALTHCHECK busybox `wget` (curl/apt не ставим), non-root uid 10001); compose app+web+gateway: web-образ со своим HEALTHCHECK (`wget /`), в обоих compose `depends_on web: condition: service_healthy`; прод-compose не в репо — его рендерит job `deploy` (лимиты запекаются из Variables); podman-специфика обоих compose: `x-podman.name_separator_compat` (docker-style имена), явные `healthcheck` app/web (дубли Containerfile-HEALTHCHECK — OCI-выгрузка его теряет; app-хелсчеки — `wget`, как в Containerfile), зафиксированная подсеть `10.113.0.0/24` gw `10.113.0.1` под резолвер aardvark-dns; два repo-стенда одновременно не поднять (общая подсеть)|
|
||||
|корневой `.env.example`|шаблон env для локальных/compose-стендов: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES` (пустое значение ломает старт — binding long/int); проду `.env` **не нужен**: ключ и лимиты подаёт job `deploy` из Gitea Secrets/Variables, legacy-`.env` на проде удаляется деплоем|
|
||||
|`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → `images` (build+push в Nexus) → deploy (рендер прод-конфигов + pull) → autotests → rollback)|
|
||||
|корневой `GITEA-vars.md`|инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений|
|
||||
|корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 19 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_MAX_MB`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh`|
|
||||
|корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 21 проверка): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_MAX_MB`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh`|
|
||||
|`develop/` (вне git)|рабочие материалы и эталоны Word (`testDoc.doc/.pdf`, `testDoc.convert.pdf`, `openxml.docx/.pdf`) — **ручное сравнение, не фикстуры**, в тесты/jar не подключать|
|
||||
|
||||
## Development Commands
|
||||
@@ -76,7 +76,7 @@ npm run build # (wordpdf-web/) tsc -b && vite build
|
||||
podman-compose -f compose.dev.yml up -d --build # dev-стенд: http://<LAN-IP хоста>:9011 (0.0.0.0), без ключа, springdoc вкл
|
||||
```
|
||||
|
||||
Пересоздать 10 фикстур (POI, test scope; `charts-smartart.docx` НЕ генерируется — создана вручную, не перезаписывать):
|
||||
Пересоздать 10 фикстур (POI, test scope; `charts-smartart.docx` и `ole-embedded.docx` НЕ генерируются — созданы вручную, не перезаписывать):
|
||||
|
||||
```bash
|
||||
mvn -pl wordpdf-core test-compile -Dmdep.outputFile=/tmp/cp.txt dependency:build-classpath -q
|
||||
@@ -154,12 +154,12 @@ SSH-пользователи/логины, ни хосты, ни директо
|
||||
## Testing & QA
|
||||
|
||||
- Гейт `maven-pmd-plugin` 3.28.0 (PMD 7.17) на `verify` для обоих модулей, ruleset `pmd-ruleset.xml` (codestyle без opinionated-правил + unused-правила + XPath `LiteralFirstInEquals` — строковый литерал слева в `equals`/`equalsIgnoreCase`; `junit5TestPattern` разрешает underscore-имена регрессий; `includeTests=true` — тесты сканируются; `failurePriority` не задан — дефолт 2, т.е. нарушения priority ≤ 2 валят build, priority 3 — только WARNING в отчёт). Литералы в условиях `if` — только именованными константами (`AvoidLiteralsInIfCondition`), `null` вместо пустой коллекции запрещён (`ReturnEmptyCollectionRatherThanNull` — `GlyphCoverageNormalizer.split` возвращает пустой список).
|
||||
- 16 тестовых классов / 149 `@Test` (core 13/124, app 3/25). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true` в argLine; только `Assertions` (Mockito/AssertJ не использовать, несмотря на test-classpath Boot; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`); тестовые классы package-private, зеркалят main-пакеты; только `@Test` (+ единственный `@BeforeAll` — warm-up шрифтов в `GlyphCoverageNormalizerTest`).
|
||||
- 17 тестовых классов / 162 `@Test` (core 14/132, app 3/30). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true` в argLine; только `Assertions` (Mockito/AssertJ не использовать, несмотря на test-classpath Boot; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`); тестовые классы package-private, зеркалят main-пакеты; только `@Test` (+ единственный `@BeforeAll` — warm-up шрифтов в `GlyphCoverageNormalizerTest`).
|
||||
- **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` для текста (пер-странично `setStartPage/setEndPage`), override `processTextPosition` для шрифта конкретного символа (`fontNameOf`), обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`) и счётчика картинок (`imageCount`). Негативные маркеры — регрессии: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`); в `tableImage_tableAndImage` — полное удаление пробелов (docx4j переносит слова в auto-fit таблицах).
|
||||
- Пиксели (BufferedImage) — только в unit-тестах chart-пейнтеров: безразмерные отношения к эталону Word, допуски `assertRatio` <0.06 (`PiePainterTest` аспект h/w=0.585) / <0.10 (`Surface3dPainterTest`, + `assertRange` ±6 pt для центров силуэта); пороги залитых px и перцентильные коридоры яркости. Эталонные замеры — по Word-экспорту 300 dpi (`develop/`, вне git).
|
||||
- `GlyphFont` (fontbox): метрики пиксельно-метрически эквивалентны AWT (ascent/descent/leading/advance совпадают до 4-го знака, кернинг-дрейф 0.0000 — DejaVu Sans, Carlito). Приёмочный стенд без-fontconfig: контейнер без `libfontconfig.so.1*` и `/etc/fonts`, `mvn verify` + `java -jar` (до перехода на GlyphFont там падали `GlyphCoverageNormalizerTest` 12 / `CartesianPainterTest` 3 / `PiePainterTest` 2 / chart-тесты `WordPdfConverterTest` 4, chart-рендер молча деградировал). `GlyphFontTest` написан без единого `java.awt.Font` — обязан проходить на хосте без fontconfig.
|
||||
- Фикстуры — закоммиченные `samples/*.docx` (11; в тестах не генерировать): core грузит classpath-ресурсом → `byte[]`, PDF для PDFBox — временный файл; app читает `/samples/…` из **test-jar core** (classifier `tests`) → `mvn -pl wordpdf-app` без `-am` не соберётся. In-memory docx — `ZipOutputStream` из литеральных XML или POI в `byte[]`. Ключевые: `too-many-pages` (150 явных разрывов → 151), `stale-cache` (кэш `<Pages>1</Pages>` + 110 `lastRenderedPageBreak`), `charts-smartart` (4 растра; SmartArt-одиночка = ровно 2 Image XObject).
|
||||
- Юниты нормализаторов работают строками (`rewrite`) + zip'ами из `ZipOutputStream`; обязательные контракты: «нечего менять → тот же массив» (`assertSame` покрыт тестами только у zip-нормализаторов `DocxOnOff`/`SymbolFont`/`StrictOoxml`; у `Field`/`GlyphCoverage` — `rewrite`→`null`) и неприкосновенность частей вне `word/*.xml` (`[Content_Types].xml`). Тесты бьют и в package-private API (`GlyphCoverageNormalizer.split(text, family)`, `ChartSpec.readTitle`).
|
||||
- Фикстуры — закоммиченные `samples/*.docx` (12; в тестах не генерировать): core грузит classpath-ресурсом → `byte[]`, PDF для PDFBox — временный файл; app читает `/samples/…` из **test-jar core** (classifier `tests`) → `mvn -pl wordpdf-app` без `-am` не соберётся. In-memory docx — `ZipOutputStream` из литеральных XML или POI в `byte[]`. Ключевые: `too-many-pages` (150 явных разрывов → 151), `stale-cache` (кэш `<Pages>1</Pages>` + 110 `lastRenderedPageBreak`), `charts-smartart` (4 растра; SmartArt-одиночка = ровно 2 Image XObject), `ole-embedded` (осиротевший bin с ложным `Default bin→footer+xml` + настоящий `w:object` с честным `Override → oleObject`; ручная, генератором не перезаписывать).
|
||||
- Юниты нормализаторов работают строками (`rewrite`) + zip'ами из `ZipOutputStream`; обязательные контракты: «нечего менять → тот же массив» (`assertSame` покрыт тестами только у zip-нормализаторов `DocxOnOff`/`SymbolFont`/`StrictOoxml` и у `OleObject` — `printerSettings`-bin/нет `.bin`; у `Field`/`GlyphCoverage` — `rewrite`→`null`) и неприкосновенность частей вне `word/*.xml` (`[Content_Types].xml`). Тесты бьют и в package-private API (`GlyphCoverageNormalizer.split(text, family)`, `ChartSpec.readTitle`). Исключение — `OleObjectNormalizerTest`: многочастный нормализатор без `rewrite`-хука, тесты только через `normalize` на in-memory zip.
|
||||
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); три контекста — `ConvertControllerTest` (пустой ключ), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` с лимитами — отдельный класс, не `@Nested`).
|
||||
- Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `StrictOoxmlNormalizerTest`↔`strictOoxml_convertsNotRejected` (+`pageCount_strictBreaksCountedLightweight` — lightweight против strict), `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCount_limitBoundary` 99/100/101, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`, `validate_notAZip`↔`inputNotAZip_rejectedBeforeRender`, `validate_plainZipRejected`/`validate_xlsxRenamedRejected`/`validate_zipBombRejected`/`validate_tooManyEntriesRejected`↔`plainZipNotDocx_rejected`/`inputNotDocx_rejectedBeforeRender` — контейнер и zip-бомба), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `ChartSpecTest`↔автозаголовки, chart-пейнтеры↔`chartsSmartArt_drawingsBecomeImages` (+`drawingErrors_*`↔app `errorFlagCharts_rejected`/`errorFlagSmartArt_rejected`); `noLoggingWarningInPdf` — регрессия `slf4j-simple`, `pdfTitle_comesFromParameter` — регрессия PDF-title (юнит-партнёра нет). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed` (гонка реестра `PhysicalFonts`), `corruptNotAZip_rejected`, `plainZipNotDocx_rejected` (голый zip без манифеста → 400), `junkInsideValidZip_conversionError` (500 на валидном .docx-контейнере с мусором), `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `drawingsAlwaysRendered`, `cyrillicAndPathInFilename_sanitizedResponseName` (RFC 5987 + path-traversal), `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey` (открытая документация + матч фильтра без forwarded-contextPath).
|
||||
- UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn). Прод-автотесты (pytest 9 + requests, 19 проверок, env-конфиг, `mise exec -- python -m pytest -q .` из `prod-autotests/`) гоняются CI после deploy против живого прода; `WORDPDF_API_KEY` пуст → честный SKIP `@needs_key`-проверок.
|
||||
- Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `StrictOoxmlNormalizerTest`↔`strictOoxml_convertsNotRejected` (+`pageCount_strictBreaksCountedLightweight` — lightweight против strict), `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `OleObjectNormalizerTest`↔`oleObjects_removedAndConverted`/`drawingErrors_errorFlagRejectsOle` (+app `errorFlagOle_rejected`/`oleObjects_removedByDefault`), `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCount_limitBoundary` 99/100/101, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`, `validate_notAZip`↔`inputNotAZip_rejectedBeforeRender`, `validate_plainZipRejected`/`validate_xlsxRenamedRejected`/`validate_zipBombRejected`/`validate_tooManyEntriesRejected`↔`plainZipNotDocx_rejected`/`inputNotDocx_rejectedBeforeRender` — контейнер и zip-бомба), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `ChartSpecTest`↔автозаголовки, chart-пейнтеры↔`chartsSmartArt_drawingsBecomeImages` (+`drawingErrors_*`↔app `errorFlagCharts_rejected`/`errorFlagSmartArt_rejected`); `noLoggingWarningInPdf` — регрессия `slf4j-simple`, `pdfTitle_comesFromParameter` — регрессия PDF-title (юнит-партнёра нет). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed` (гонка реестра `PhysicalFonts`), `corruptNotAZip_rejected`, `plainZipNotDocx_rejected` (голый zip без манифеста → 400), `junkInsideValidZip_conversionError` (500 на валидном .docx-контейнере с мусором), `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `drawingsAlwaysRendered`, `cyrillicAndPathInFilename_sanitizedResponseName` (RFC 5987 + path-traversal), `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey` (открытая документация + матч фильтра без forwarded-contextPath).
|
||||
- UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn). Прод-автотесты (pytest 9 + requests, 21 проверка, env-конфиг, `mise exec -- python -m pytest -q .` из `prod-autotests/`) гоняются CI после deploy против живого прода; `WORDPDF_API_KEY` пуст → честный SKIP `@needs_key`-проверок.
|
||||
|
||||
@@ -283,3 +283,29 @@ def test_charts_full_render(url, samples, key_header):
|
||||
)
|
||||
assert r.status_code == 200
|
||||
assert r.content[:4] == b"%PDF"
|
||||
|
||||
|
||||
@needs_key
|
||||
def test_error_on_ole_rejected(url, samples, key_header):
|
||||
"""errorOnOle=true — 422; OLE-объекты найдены, документ отвергнут по флагу."""
|
||||
r = requests.post(
|
||||
url(CONVERT) + "?errorOnOle=true",
|
||||
headers=key_header,
|
||||
files={"file": ("ole-embedded.docx", (samples / "ole-embedded.docx").read_bytes())},
|
||||
timeout=TIMEOUT,
|
||||
)
|
||||
assert r.status_code == 422
|
||||
assert "error" in r.json()
|
||||
|
||||
|
||||
@needs_key
|
||||
def test_ole_removed_by_default(url, samples, key_header):
|
||||
"""Дефолтные флаги — OLE-объекты тихо удаляются, документ конвертируется."""
|
||||
r = requests.post(
|
||||
url(CONVERT),
|
||||
headers=key_header,
|
||||
files={"file": ("ole-embedded.docx", (samples / "ole-embedded.docx").read_bytes())},
|
||||
timeout=TIMEOUT,
|
||||
)
|
||||
assert r.status_code == 200
|
||||
assert r.content[:4] == b"%PDF"
|
||||
|
||||
@@ -36,7 +36,7 @@ final class ApiExceptionHandler {
|
||||
return ResponseEntity.badRequest().body(new ApiError(e.getMessage()));
|
||||
}
|
||||
|
||||
/** Документ содержит диаграммы/SmartArt при включённом error-флаге — вход корректен, но отвергнут по настройке. */
|
||||
/** Документ содержит диаграммы/SmartArt/OLE-объекты при включённом error-флаге — вход корректен, но отвергнут по настройке. */
|
||||
@ExceptionHandler(DrawingRejectedException.class)
|
||||
ResponseEntity<ApiError> drawingRejected(DrawingRejectedException e) {
|
||||
return ResponseEntity.status(HttpStatus.UNPROCESSABLE_ENTITY)
|
||||
|
||||
@@ -59,9 +59,9 @@ final class ConvertController {
|
||||
}
|
||||
|
||||
@Operation(summary = "Конвертировать .docx в PDF",
|
||||
description = "errorOnCharts/errorOnSmartArt — факультативно, по умолчанию "
|
||||
description = "errorOnCharts/errorOnSmartArt/errorOnOle — факультативно, по умолчанию "
|
||||
+ "настройки ядра (ошибка не выбрасывается); диаграммы/SmartArt "
|
||||
+ "конвертируются всегда. "
|
||||
+ "конвертируются всегда, OLE-объекты при выключенном флаге тихо удаляются. "
|
||||
+ "Лимиты входа (размер/страницы) задаёт только конфигурация сервера "
|
||||
+ "(свойства wordpdf.max-mb/wordpdf.max-pages), параметрами запроса не переопределяются")
|
||||
@SecurityRequirement(name = OpenApiConfig.SCHEME)
|
||||
@@ -72,7 +72,8 @@ final class ConvertController {
|
||||
ResponseEntity<byte[]> convert(
|
||||
@RequestParam("file") MultipartFile file,
|
||||
@RequestParam(name = "errorOnCharts", required = false) Boolean errorOnCharts,
|
||||
@RequestParam(name = "errorOnSmartArt", required = false) Boolean errorOnSmartArt) {
|
||||
@RequestParam(name = "errorOnSmartArt", required = false) Boolean errorOnSmartArt,
|
||||
@RequestParam(name = "errorOnOle", required = false) Boolean errorOnOle) {
|
||||
if (file == null || file.isEmpty()) {
|
||||
throw new ValidationException("Файл не передан (multipart-поле «file» обязательно)");
|
||||
}
|
||||
@@ -90,6 +91,7 @@ final class ConvertController {
|
||||
ConvertOptions options = new ConvertOptions(
|
||||
errorOnCharts != null ? errorOnCharts : WordPdfSettings.ERROR_ON_CHARTS,
|
||||
errorOnSmartArt != null ? errorOnSmartArt : WordPdfSettings.ERROR_ON_SMARTART,
|
||||
errorOnOle != null ? errorOnOle : WordPdfSettings.ERROR_ON_OLE,
|
||||
maxMb, maxPages);
|
||||
byte[] pdf = conversionService.convert(docxBytes, name, options);
|
||||
ContentDisposition disposition = ContentDisposition.attachment()
|
||||
|
||||
@@ -3,7 +3,7 @@ package ru.pjandro.wordpdf.app;
|
||||
import ru.pjandro.wordpdf.DrawingFoundException;
|
||||
|
||||
/**
|
||||
* Документ содержит диаграммы/SmartArt при включённом error-флаге
|
||||
* Документ содержит диаграммы/SmartArt/OLE-объекты при включённом error-флаге
|
||||
* ({@link DrawingFoundException} ядра).
|
||||
*
|
||||
* <p>Маппится в HTTP 422 ({@link ApiExceptionHandler}); клиенту осмысленно
|
||||
@@ -13,8 +13,10 @@ import ru.pjandro.wordpdf.DrawingFoundException;
|
||||
class DrawingRejectedException extends RuntimeException {
|
||||
|
||||
DrawingRejectedException(DrawingFoundException.Kind kind) {
|
||||
super(kind == DrawingFoundException.Kind.CHARTS
|
||||
? "Конвертация отменена: в документе найдены диаграммы"
|
||||
: "Конвертация отменена: в документе найден SmartArt");
|
||||
super(switch (kind) {
|
||||
case CHARTS -> "Конвертация отменена: в документе найдены диаграммы";
|
||||
case SMARTART -> "Конвертация отменена: в документе найден SmartArt";
|
||||
case OLE -> "Конвертация отменена: в документе найдены OLE-объекты";
|
||||
});
|
||||
}
|
||||
}
|
||||
|
||||
@@ -201,6 +201,38 @@ class ConvertControllerTest {
|
||||
org.hamcrest.Matchers.containsString("SmartArt")));
|
||||
}
|
||||
|
||||
/**
|
||||
* errorOnOle=true — HTTP 422 с текстом про OLE-объекты (документ валиден,
|
||||
* отвергнут по настройке запроса).
|
||||
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsOle,
|
||||
* фикстура samples/ole-embedded.docx.
|
||||
*/
|
||||
@Test
|
||||
void errorFlagOle_rejected() throws Exception {
|
||||
mockMvc.perform(multipart("/api/v1/convert")
|
||||
.file(docx("ole-embedded.docx", bytes("/samples/ole-embedded.docx")))
|
||||
.param("errorOnOle", "true"))
|
||||
.andExpect(status().isUnprocessableEntity())
|
||||
.andExpect(jsonPath("$.error",
|
||||
org.hamcrest.Matchers.containsString("OLE-объект")));
|
||||
}
|
||||
|
||||
/**
|
||||
* Без параметров OLE-объекты тихо удаляются: 200, PDF.
|
||||
* Регрессия — WordPdfConverterTest#oleObjects_removedAndConverted,
|
||||
* фикстура samples/ole-embedded.docx.
|
||||
*/
|
||||
@Test
|
||||
void oleObjects_removedByDefault() throws Exception {
|
||||
byte[] pdf = mockMvc.perform(multipart("/api/v1/convert")
|
||||
.file(docx("ole-embedded.docx", bytes("/samples/ole-embedded.docx"))))
|
||||
.andExpect(status().isOk())
|
||||
.andExpect(content().contentType(MediaType.APPLICATION_PDF))
|
||||
.andReturn().getResponse().getContentAsByteArray();
|
||||
assertTrue("%PDF".equals(new String(pdf, 0, 4, StandardCharsets.US_ASCII)),
|
||||
"тело не начинается с %PDF");
|
||||
}
|
||||
|
||||
@Test
|
||||
void cyrillicAndPathInFilename_sanitizedResponseName() throws Exception {
|
||||
byte[] sample = bytes("/samples/ru-plain.docx");
|
||||
|
||||
@@ -8,17 +8,19 @@ package ru.pjandro.wordpdf;
|
||||
*
|
||||
* @param errorOnCharts бросать {@link DrawingFoundException} при находке диаграмм
|
||||
* @param errorOnSmartArt бросать {@link DrawingFoundException} при находке SmartArt
|
||||
* @param errorOnOle бросать {@link DrawingFoundException} при находке OLE-объектов
|
||||
* (иначе — тихо удалить их из документа)
|
||||
* @param maxMb лимит размера входа в МБ (MiB) на этот вызов;
|
||||
* дефолт — {@link WordPdfSettings#MAX_INPUT_MB}
|
||||
* @param maxPages лимит числа страниц на этот вызов;
|
||||
* дефолт — {@link WordPdfSettings#MAX_PAGES}
|
||||
*/
|
||||
public record ConvertOptions(boolean errorOnCharts, boolean errorOnSmartArt,
|
||||
public record ConvertOptions(boolean errorOnCharts, boolean errorOnSmartArt, boolean errorOnOle,
|
||||
long maxMb, int maxPages) {
|
||||
|
||||
/** Дефолты ядра из {@link WordPdfSettings}. */
|
||||
public static ConvertOptions defaults() {
|
||||
return new ConvertOptions(WordPdfSettings.ERROR_ON_CHARTS, WordPdfSettings.ERROR_ON_SMARTART,
|
||||
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES);
|
||||
WordPdfSettings.ERROR_ON_OLE, WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES);
|
||||
}
|
||||
}
|
||||
|
||||
@@ -3,25 +3,32 @@ package ru.pjandro.wordpdf;
|
||||
/**
|
||||
* Документ содержит объект, находку которого вызывающий запретил:
|
||||
* соответствующий error-флаг включён
|
||||
* ({@link ConvertOptions#errorOnCharts()}, {@link ConvertOptions#errorOnSmartArt()}).
|
||||
* Диаграммы/SmartArt конвертируются всегда; исключение отвергает документ целиком.
|
||||
* ({@link ConvertOptions#errorOnCharts()}, {@link ConvertOptions#errorOnSmartArt()},
|
||||
* {@link ConvertOptions#errorOnOle()}).
|
||||
* Диаграммы/SmartArt конвертируются всегда; OLE-объекты при выключенном
|
||||
* {@code errorOnOle} тихо удаляются из документа (в отличие от них).
|
||||
* Исключение отвергает документ целиком.
|
||||
*
|
||||
* <p>Наследник {@link ConversionException} — наружу по-прежнему ловится
|
||||
* только он; {@code kind()} даёт вызывающему тип объекта без разбора текста.
|
||||
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsCharts,
|
||||
* фикстура samples/charts-smartart.docx.</p>
|
||||
* фикстура samples/charts-smartart.docx; OLE —
|
||||
* WordPdfConverterTest#drawingErrors_errorFlagRejectsOle,
|
||||
* фикстура samples/ole-embedded.docx.</p>
|
||||
*/
|
||||
public class DrawingFoundException extends ConversionException {
|
||||
|
||||
/** Тип найденного объекта. */
|
||||
public enum Kind { CHARTS, SMARTART }
|
||||
public enum Kind { CHARTS, SMARTART, OLE }
|
||||
|
||||
private final Kind kind;
|
||||
|
||||
public DrawingFoundException(Kind kind) {
|
||||
super(kind == Kind.CHARTS
|
||||
? "В документе найдены диаграммы, а их обработка запрещена (errorOnCharts)"
|
||||
: "В документе найден SmartArt, а его обработка запрещена (errorOnSmartArt)");
|
||||
super(switch (kind) {
|
||||
case CHARTS -> "В документе найдены диаграммы, а их обработка запрещена (errorOnCharts)";
|
||||
case SMARTART -> "В документе найден SmartArt, а его обработка запрещена (errorOnSmartArt)";
|
||||
case OLE -> "В документе найдены OLE-объекты, а их обработка запрещена (errorOnOle)";
|
||||
});
|
||||
this.kind = kind;
|
||||
}
|
||||
|
||||
|
||||
@@ -14,6 +14,7 @@ import ru.pjandro.wordpdf.internal.chart.DrawingPreRenderer;
|
||||
import ru.pjandro.wordpdf.internal.DocxOnOffNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.FieldNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.GlyphCoverageNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.OleObjectNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.FopFallbackFonts;
|
||||
import ru.pjandro.wordpdf.internal.StrictOoxmlNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.SymbolFontNormalizer;
|
||||
@@ -142,6 +143,11 @@ public final class WordPdfConverter {
|
||||
// FOP рисует «#» (docx4j проверяет покрытие не для всех знаков
|
||||
// и кэширует фолбэк на группу Юникода, см. GlyphCoverageNormalizer).
|
||||
docxBytes = GlyphCoverageNormalizer.normalize(docxBytes);
|
||||
// ...и OLE-объекты (внедрённые бинарные .bin-части): docx4j падает и на
|
||||
// ложном XML-типе bin-части в [Content_Types], и на сериализации VML
|
||||
// w:object. При выключенном errorOnOle объекты тихо удаляются (часть,
|
||||
// rels, w:object), при включённом — отказ (см. OleObjectNormalizer).
|
||||
docxBytes = OleObjectNormalizer.normalize(docxBytes, options.errorOnOle());
|
||||
WordprocessingMLPackage pkg = WordprocessingMLPackage.load(
|
||||
new ByteArrayInputStream(docxBytes));
|
||||
try {
|
||||
|
||||
@@ -30,6 +30,13 @@ public final class WordPdfSettings {
|
||||
/** Ошибка при находке SmartArt ({@code dgm:relIds}) — {@link DrawingFoundException}. */
|
||||
public static final boolean ERROR_ON_SMARTART = false;
|
||||
|
||||
/**
|
||||
* Ошибка при находке OLE-объектов (бинарные {@code .bin}-части) —
|
||||
* {@link DrawingFoundException}. Дефолт {@code false} — объекты тихо
|
||||
* удаляются из документа (см. OleObjectNormalizer), конвертация проходит.
|
||||
*/
|
||||
public static final boolean ERROR_ON_OLE = false;
|
||||
|
||||
private WordPdfSettings() {
|
||||
}
|
||||
}
|
||||
|
||||
@@ -0,0 +1,321 @@
|
||||
package ru.pjandro.wordpdf.internal;
|
||||
|
||||
import ru.pjandro.wordpdf.DrawingFoundException;
|
||||
|
||||
import java.io.ByteArrayInputStream;
|
||||
import java.io.ByteArrayOutputStream;
|
||||
import java.io.IOException;
|
||||
import java.nio.charset.StandardCharsets;
|
||||
import java.util.ArrayList;
|
||||
import java.util.HashMap;
|
||||
import java.util.HashSet;
|
||||
import java.util.LinkedHashMap;
|
||||
import java.util.List;
|
||||
import java.util.Map;
|
||||
import java.util.Set;
|
||||
import java.util.Locale;
|
||||
import java.util.logging.Logger;
|
||||
import java.util.regex.Matcher;
|
||||
import java.util.regex.Pattern;
|
||||
import java.util.zip.ZipEntry;
|
||||
import java.util.zip.ZipInputStream;
|
||||
import java.util.zip.ZipOutputStream;
|
||||
|
||||
/**
|
||||
* Удаление OLE-объектов из docx перед загрузкой docx4j.
|
||||
*
|
||||
* <p>docx4j падает на документах с внедрёнными OLE-объектами двумя путями:
|
||||
* (1) продюсер файла пишет ложный content type для бинарной части
|
||||
* {@code word/_embedded/*.bin} (например {@code …wordprocessingml.footer+xml}) —
|
||||
* docx4j инстанцирует JAXB-часть, на экспорте парсер натыкается на бинарник
|
||||
* («Content is not allowed in prolog») и экспорт тонет в NPE; (2) настоящий
|
||||
* {@code w:object} — VML-сериализация docx4j падает NPE
|
||||
* {@code chunkType is null} даже при честном типе
|
||||
* {@code application/vnd.openxmlformats-officedocument.oleObject}.
|
||||
* Лечится одинаково: OLE-части, ссылки на них и элементы {@code w:object}
|
||||
* удаляются из контейнера — документ конвертируется без объектов.</p>
|
||||
*
|
||||
* <p>Отличие от остальных нормализаторов пакета: принимает флаг
|
||||
* {@code errorOnOle} и умеет бросать {@link DrawingFoundException}
|
||||
* (при включённом флаге документ отвергается вместо удаления), и правит
|
||||
* не только {@code word/*.xml}, но и {@code [Content_Types].xml} с
|
||||
* {@code *.rels}. Хука {@code rewrite(String)} нет — нормализатор
|
||||
* многочастный (решение об удалении зависит от связки content type + rels),
|
||||
* тесты работают через {@link #normalize} на in-memory zip.</p>
|
||||
*
|
||||
* <p>Если OLE-объектов нет, возвращает исходный массив без переупаковки zip.
|
||||
* Регрессия — WordPdfConverterTest#oleObjects_removedAndConverted,
|
||||
* WordPdfConverterTest#drawingErrors_errorFlagRejectsOle,
|
||||
* фикстура samples/ole-embedded.docx.</p>
|
||||
*/
|
||||
public final class OleObjectNormalizer {
|
||||
|
||||
/** Честный content type внедрённого OLE-объекта. */
|
||||
private static final String OLE_OBJECT_TYPE =
|
||||
"application/vnd.openxmlformats-officedocument.oleObject";
|
||||
/** XML-окончание типа; в `.bin`-части XML не бывает никогда — ложь продюсера. */
|
||||
private static final String XML_TYPE_SUFFIX = "+xml";
|
||||
private static final String BIN_SUFFIX = ".bin";
|
||||
private static final String CONTENT_TYPES_ENTRY = "[Content_Types].xml";
|
||||
/** Сегмент «наверх» в относительном Target rels. */
|
||||
private static final String PARENT_DIR = "..";
|
||||
|
||||
private static final Pattern DEFAULT_TYPE = Pattern.compile(
|
||||
"<Default\\b[^>]*\\bExtension=\"([^\"]*)\"[^>]*\\bContentType=\"([^\"]*)\"[^>]*/>"
|
||||
+ "|<Default\\b[^>]*\\bContentType=\"([^\"]*)\"[^>]*\\bExtension=\"([^\"]*)\"[^>]*/>");
|
||||
private static final Pattern OVERRIDE_TYPE = Pattern.compile(
|
||||
"<Override\\b[^>]*\\bPartName=\"([^\"]*)\"[^>]*\\bContentType=\"([^\"]*)\"[^>]*/>"
|
||||
+ "|<Override\\b[^>]*\\bContentType=\"([^\"]*)\"[^>]*\\bPartName=\"([^\"]*)\"[^>]*/>");
|
||||
private static final Pattern RELATIONSHIP = Pattern.compile(
|
||||
"<Relationship\\b[^>]*/>");
|
||||
private static final Pattern TARGET_ATTR = Pattern.compile("\\bTarget=\"([^\"]*)\"");
|
||||
private static final Pattern TARGET_MODE_EXTERNAL = Pattern.compile(
|
||||
"\\bTargetMode=\"External\"");
|
||||
/** Парный w:object (внутри VML-обёртка, роняющая экспорт) и самозакрытый. */
|
||||
private static final Pattern W_OBJECT = Pattern.compile(
|
||||
"<w:object\\b[^>]*>.*?</w:object>|<w:object\\b[^>]*/>", Pattern.DOTALL);
|
||||
private static final Pattern PART_NAME_ATTR = Pattern.compile("\\bPartName=\"([^\"]*)\"");
|
||||
|
||||
private static final Logger LOG = Logger.getLogger(OleObjectNormalizer.class.getName());
|
||||
|
||||
private OleObjectNormalizer() {
|
||||
}
|
||||
|
||||
/**
|
||||
* Удаляет из docx OLE-объекты: бинарные `.bin`-части с OLE-типом (или
|
||||
* ложным XML-типом), ссылки на них в `*.rels`, элементы `w:object` в
|
||||
* `word/*.xml` и `Override` удалённых частей в `[Content_Types].xml`.
|
||||
*
|
||||
* @param docx байты .docx (zip)
|
||||
* @param errorOnOle true — не удалять, а отвергнуть документ
|
||||
* @return те же байты, если OLE-объектов нет; иначе переупакованный zip без OLE
|
||||
* @throws DrawingFoundException при {@code errorOnOle} и найденном OLE-объекте
|
||||
*/
|
||||
public static byte[] normalize(byte[] docx, boolean errorOnOle) throws IOException {
|
||||
Map<String, byte[]> entries = new LinkedHashMap<>();
|
||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx))) {
|
||||
ZipEntry entry;
|
||||
while ((entry = zis.getNextEntry()) != null) {
|
||||
entries.put(entry.getName(), zis.readAllBytes());
|
||||
}
|
||||
}
|
||||
byte[] contentTypes = entries.get(CONTENT_TYPES_ENTRY);
|
||||
if (contentTypes == null) {
|
||||
return docx;
|
||||
}
|
||||
String ctXml = new String(contentTypes, StandardCharsets.UTF_8);
|
||||
Map<String, String> defaults = defaultTypes(ctXml);
|
||||
Map<String, String> overrides = overrideTypes(ctXml);
|
||||
|
||||
Set<String> oleParts = new HashSet<>();
|
||||
for (Map.Entry<String, byte[]> e : entries.entrySet()) {
|
||||
String name = e.getKey();
|
||||
if (!name.endsWith(BIN_SUFFIX)) {
|
||||
continue;
|
||||
}
|
||||
String type = effectiveType(name, overrides, defaults);
|
||||
if (type != null && (OLE_OBJECT_TYPE.equalsIgnoreCase(type)
|
||||
|| type.endsWith(XML_TYPE_SUFFIX))) {
|
||||
oleParts.add(name);
|
||||
}
|
||||
}
|
||||
if (oleParts.isEmpty()) {
|
||||
return docx;
|
||||
}
|
||||
if (errorOnOle) {
|
||||
throw new DrawingFoundException(DrawingFoundException.Kind.OLE);
|
||||
}
|
||||
for (String part : oleParts) {
|
||||
LOG.warning("Удалён OLE-объект: " + part);
|
||||
}
|
||||
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
for (Map.Entry<String, byte[]> e : entries.entrySet()) {
|
||||
String name = e.getKey();
|
||||
byte[] data = e.getValue();
|
||||
if (oleParts.contains(name)) {
|
||||
continue;
|
||||
}
|
||||
if (name.endsWith(".rels")) {
|
||||
String fixed = stripRels(
|
||||
new String(data, StandardCharsets.UTF_8), name, oleParts);
|
||||
if (fixed != null) {
|
||||
data = fixed.getBytes(StandardCharsets.UTF_8);
|
||||
}
|
||||
} else if (name.startsWith("word/") && name.endsWith(".xml")) {
|
||||
String fixed = stripObjects(
|
||||
new String(data, StandardCharsets.UTF_8));
|
||||
if (fixed != null) {
|
||||
data = fixed.getBytes(StandardCharsets.UTF_8);
|
||||
}
|
||||
} else if (name.equals(CONTENT_TYPES_ENTRY)) {
|
||||
String fixed = stripOverrides(
|
||||
new String(data, StandardCharsets.UTF_8), oleParts);
|
||||
if (fixed != null) {
|
||||
data = fixed.getBytes(StandardCharsets.UTF_8);
|
||||
}
|
||||
}
|
||||
zos.putNextEntry(new ZipEntry(name));
|
||||
zos.write(data);
|
||||
zos.closeEntry();
|
||||
}
|
||||
}
|
||||
return out.toByteArray();
|
||||
}
|
||||
|
||||
/** Extension (lowercase) -> ContentType из элементов Default. */
|
||||
private static Map<String, String> defaultTypes(String ctXml) {
|
||||
Map<String, String> map = new HashMap<>();
|
||||
Matcher m = DEFAULT_TYPE.matcher(ctXml);
|
||||
while (m.find()) {
|
||||
String ext = m.group(1) != null ? m.group(1) : m.group(4);
|
||||
String type = m.group(2) != null ? m.group(2) : m.group(3);
|
||||
map.put(ext.toLowerCase(Locale.ROOT), type);
|
||||
}
|
||||
return map;
|
||||
}
|
||||
|
||||
/** PartName (как в атрибуте, с ведущим «/») -> ContentType из Override. */
|
||||
private static Map<String, String> overrideTypes(String ctXml) {
|
||||
Map<String, String> map = new HashMap<>();
|
||||
Matcher m = OVERRIDE_TYPE.matcher(ctXml);
|
||||
while (m.find()) {
|
||||
String part = m.group(1) != null ? m.group(1) : m.group(4);
|
||||
String type = m.group(2) != null ? m.group(2) : m.group(3);
|
||||
map.put(part, type);
|
||||
}
|
||||
return map;
|
||||
}
|
||||
|
||||
/** Override имеет приоритет над Default по расширению. */
|
||||
private static String effectiveType(String partName, Map<String, String> overrides,
|
||||
Map<String, String> defaults) {
|
||||
String type = overrides.get("/" + partName);
|
||||
if (type != null) {
|
||||
return type;
|
||||
}
|
||||
int dot = partName.lastIndexOf('.');
|
||||
return dot < 0 ? null : defaults.get(partName.substring(dot + 1).toLowerCase(Locale.ROOT));
|
||||
}
|
||||
|
||||
/**
|
||||
* Удаляет из `.rels` элементы Relationship, чей Target резолвится в
|
||||
* удалённую часть. Внешние ссылки (TargetMode="External") не трогаем.
|
||||
*
|
||||
* @return новая строка либо null, если удалять нечего
|
||||
*/
|
||||
private static String stripRels(String relsXml, String relsName, Set<String> oleParts) {
|
||||
if (relsXml.indexOf("<Relationship") < 0) {
|
||||
return null;
|
||||
}
|
||||
// rels вида "X/_rels/Y.rels" лежат рядом с базой X/; "_rels/.rels" — база ""
|
||||
int relsIdx = relsName.lastIndexOf("_rels/");
|
||||
String base = relsIdx < 0 ? "" : relsName.substring(0, relsIdx);
|
||||
Matcher m = RELATIONSHIP.matcher(relsXml);
|
||||
StringBuilder sb = new StringBuilder(relsXml.length());
|
||||
int last = 0;
|
||||
boolean changed = false;
|
||||
while (m.find()) {
|
||||
String rel = m.group();
|
||||
Matcher mode = TARGET_MODE_EXTERNAL.matcher(rel);
|
||||
if (mode.find()) {
|
||||
continue;
|
||||
}
|
||||
Matcher target = TARGET_ATTR.matcher(rel);
|
||||
if (!target.find()) {
|
||||
continue;
|
||||
}
|
||||
String resolved = resolveTarget(base, target.group(1));
|
||||
if (oleParts.contains(resolved)) {
|
||||
sb.append(relsXml, last, m.start());
|
||||
last = m.end();
|
||||
changed = true;
|
||||
}
|
||||
}
|
||||
if (!changed) {
|
||||
return null;
|
||||
}
|
||||
sb.append(relsXml, last, relsXml.length());
|
||||
return sb.toString();
|
||||
}
|
||||
|
||||
/** Разрешает относительный Target rels против базы каталога части. */
|
||||
private static String resolveTarget(String base, String target) {
|
||||
if (target.startsWith("/")) {
|
||||
return target.substring(1);
|
||||
}
|
||||
List<String> segments = new ArrayList<>();
|
||||
if (!base.isEmpty()) {
|
||||
for (String s : base.split("/")) {
|
||||
if (!s.isEmpty()) {
|
||||
segments.add(s);
|
||||
}
|
||||
}
|
||||
}
|
||||
for (String s : target.split("/")) {
|
||||
if (s.isEmpty() || ".".equals(s)) {
|
||||
continue;
|
||||
}
|
||||
if (PARENT_DIR.equals(s)) {
|
||||
if (!segments.isEmpty()) {
|
||||
segments.remove(segments.size() - 1);
|
||||
}
|
||||
} else {
|
||||
segments.add(s);
|
||||
}
|
||||
}
|
||||
return String.join("/", segments);
|
||||
}
|
||||
|
||||
/**
|
||||
* Вырезает из word/*.xml элементы w:object (внутри — VML-обёртка,
|
||||
* которая сама по себе роняет экспорт docx4j).
|
||||
*
|
||||
* @return новая строка либо null, если совпадений не было
|
||||
*/
|
||||
private static String stripObjects(String xml) {
|
||||
if (xml.indexOf("<w:object") < 0) {
|
||||
return null;
|
||||
}
|
||||
Matcher m = W_OBJECT.matcher(xml);
|
||||
if (!m.find()) {
|
||||
return null;
|
||||
}
|
||||
return m.reset().replaceAll("");
|
||||
}
|
||||
|
||||
/**
|
||||
* Удаляет из [Content_Types].xml Override-элементы удалённых частей.
|
||||
* Default без частей безвреден — не трогаем.
|
||||
*
|
||||
* @return новая строка либо null, если удалять нечего
|
||||
*/
|
||||
private static String stripOverrides(String ctXml, Set<String> removedParts) {
|
||||
StringBuilder sb = new StringBuilder(ctXml.length());
|
||||
int last = 0;
|
||||
int pos = 0;
|
||||
boolean changed = false;
|
||||
while ((pos = ctXml.indexOf("<Override", pos)) >= 0) {
|
||||
int end = ctXml.indexOf("/>", pos);
|
||||
if (end < 0) {
|
||||
break;
|
||||
}
|
||||
end += 2;
|
||||
String el = ctXml.substring(pos, end);
|
||||
Matcher pn = PART_NAME_ATTR.matcher(el);
|
||||
if (pn.find() && removedParts.contains(
|
||||
pn.group(1).startsWith("/") ? pn.group(1).substring(1) : pn.group(1))) {
|
||||
sb.append(ctXml, last, pos);
|
||||
last = end;
|
||||
changed = true;
|
||||
}
|
||||
pos = end;
|
||||
}
|
||||
if (!changed) {
|
||||
return null;
|
||||
}
|
||||
sb.append(ctXml, last, ctXml.length());
|
||||
return sb.toString();
|
||||
}
|
||||
}
|
||||
@@ -155,7 +155,7 @@ class WordPdfConverterTest {
|
||||
void drawingErrors_errorFlagRejectsCharts() throws Exception {
|
||||
ConversionException ex = assertThrows(ConversionException.class, () ->
|
||||
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
|
||||
new ConvertOptions(true, false,
|
||||
new ConvertOptions(true, false, false,
|
||||
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
|
||||
|
||||
assertTrue(ex instanceof DrawingFoundException dfe
|
||||
@@ -173,7 +173,7 @@ class WordPdfConverterTest {
|
||||
void drawingErrors_errorFlagRejectsSmartArt() throws Exception {
|
||||
ConversionException ex = assertThrows(ConversionException.class, () ->
|
||||
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
|
||||
new ConvertOptions(false, true,
|
||||
new ConvertOptions(false, true, false,
|
||||
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
|
||||
|
||||
assertTrue(ex instanceof DrawingFoundException dfe
|
||||
@@ -183,6 +183,41 @@ class WordPdfConverterTest {
|
||||
"сообщение должно упоминать SmartArt: " + ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
* Регрессия: OLE-объекты (осиротевший bin с ложным XML-типом и настоящий
|
||||
* w:object) роняли экспорт docx4j; при выключенном errorOnOle
|
||||
* OleObjectNormalizer тихо удаляет их и документ конвертируется.
|
||||
* Фикстура samples/ole-embedded.docx.
|
||||
*/
|
||||
@Test
|
||||
void oleObjects_removedAndConverted() throws Exception {
|
||||
Path pdf = convertPdf(sampleBytes("ole-embedded.docx"), "ole-embedded");
|
||||
|
||||
String text = norm(pdfText(pdf));
|
||||
assertTrue(text.contains("OLE object test before"),
|
||||
"пропал текст до OLE-объекта: " + text);
|
||||
assertTrue(text.contains("OLE object test after"),
|
||||
"пропал текст после OLE-объекта: " + text);
|
||||
}
|
||||
|
||||
/**
|
||||
* errorOnOle=true — {@link DrawingFoundException} с {@code Kind.OLE},
|
||||
* документ отвергается. Фикстура samples/ole-embedded.docx.
|
||||
*/
|
||||
@Test
|
||||
void drawingErrors_errorFlagRejectsOle() throws Exception {
|
||||
ConversionException ex = assertThrows(ConversionException.class, () ->
|
||||
convertPdf(sampleBytes("ole-embedded.docx"), "ole-embedded",
|
||||
new ConvertOptions(false, false, true,
|
||||
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
|
||||
|
||||
assertTrue(ex instanceof DrawingFoundException dfe
|
||||
&& dfe.kind() == DrawingFoundException.Kind.OLE,
|
||||
"ожидался DrawingFoundException(OLE), получено: " + ex);
|
||||
assertTrue(ex.getMessage().contains("OLE-объект"),
|
||||
"сообщение должно упоминать OLE-объекты: " + ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
* Маркеры списков из символьных шрифтов (Symbol/Wingdings, коды из
|
||||
* PUA U+F0xx) экспорт в FO не понимает и рисует .notdef — решётку «#».
|
||||
@@ -442,7 +477,7 @@ class WordPdfConverterTest {
|
||||
byte[] big = new byte[1024 * 1024 + 1];
|
||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||
WordPdfConverter.convert(big, "x",
|
||||
new ConvertOptions(false, false, 1, WordPdfSettings.MAX_PAGES)));
|
||||
new ConvertOptions(false, false, false, 1, WordPdfSettings.MAX_PAGES)));
|
||||
assertTrue(ex.getMessage().contains("1 МБ"),
|
||||
"сообщение должно упоминать переданный лимит: " + ex.getMessage());
|
||||
assertTrue(ex.getMessage().contains("1048576 байт"),
|
||||
@@ -459,7 +494,7 @@ class WordPdfConverterTest {
|
||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||
WordPdfConverter.convert(
|
||||
sampleBytes("too-many-pages.docx"), "too-many-pages",
|
||||
new ConvertOptions(false, false, WordPdfSettings.MAX_INPUT_MB, 100)));
|
||||
new ConvertOptions(false, false, false, WordPdfSettings.MAX_INPUT_MB, 100)));
|
||||
assertTrue(ex.getMessage().contains("100"),
|
||||
"сообщение должно упоминать лимит: " + ex.getMessage());
|
||||
}
|
||||
@@ -475,7 +510,7 @@ class WordPdfConverterTest {
|
||||
void staleCachePageCountRejectedBeforeRender() {
|
||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||
WordPdfConverter.convert(sampleBytes("stale-cache.docx"), "stale-cache",
|
||||
new ConvertOptions(false, false, WordPdfSettings.MAX_INPUT_MB, 100)));
|
||||
new ConvertOptions(false, false, false, WordPdfSettings.MAX_INPUT_MB, 100)));
|
||||
assertTrue(ex.getMessage().contains("100"),
|
||||
"сообщение должно упоминать лимит: " + ex.getMessage());
|
||||
}
|
||||
|
||||
@@ -263,7 +263,7 @@ class WordPdfValidatorTest {
|
||||
// ===== validate(byte[], ConvertOptions) =====
|
||||
|
||||
private static ConvertOptions options(long maxMb, int maxPages) {
|
||||
return new ConvertOptions(false, false, maxMb, maxPages);
|
||||
return new ConvertOptions(false, false, false, maxMb, maxPages);
|
||||
}
|
||||
|
||||
@Test
|
||||
|
||||
@@ -0,0 +1,223 @@
|
||||
package ru.pjandro.wordpdf.internal;
|
||||
|
||||
import org.junit.jupiter.api.Test;
|
||||
import ru.pjandro.wordpdf.DrawingFoundException;
|
||||
|
||||
import java.io.ByteArrayInputStream;
|
||||
import java.io.ByteArrayOutputStream;
|
||||
import java.io.IOException;
|
||||
import java.nio.charset.StandardCharsets;
|
||||
import java.util.LinkedHashMap;
|
||||
import java.util.Map;
|
||||
import java.util.zip.ZipEntry;
|
||||
import java.util.zip.ZipInputStream;
|
||||
import java.util.zip.ZipOutputStream;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.*;
|
||||
|
||||
/**
|
||||
* Удаление OLE-объектов из docx (docx4j падает и на ложном XML-типе
|
||||
* bin-части, и на VML w:object, см. OleObjectNormalizer).
|
||||
* Многочастный нормализатор — тесты через normalize на in-memory zip.
|
||||
*/
|
||||
class OleObjectNormalizerTest {
|
||||
|
||||
private static final String CT_LIE =
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
|
||||
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
|
||||
+ "<Default Extension=\"bin\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.footer+xml\"/>"
|
||||
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
|
||||
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
|
||||
+ "<Override PartName=\"/word/document.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml\"/>"
|
||||
+ "</Types>";
|
||||
|
||||
private static final String CT_OLE =
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
|
||||
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
|
||||
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
|
||||
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
|
||||
+ "<Override PartName=\"/word/document.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml\"/>"
|
||||
+ "<Override PartName=\"/word/_embedded/ole.bin\" ContentType=\"application/vnd.openxmlformats-officedocument.oleObject\"/>"
|
||||
+ "</Types>";
|
||||
|
||||
private static final String ROOT_RELS =
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
|
||||
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
|
||||
+ "<Relationship Id=\"rId1\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/officeDocument\" Target=\"word/document.xml\"/>"
|
||||
+ "</Relationships>";
|
||||
|
||||
/** Документ без w:object. */
|
||||
private static final String DOC_PLAIN =
|
||||
"<w:document xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\">"
|
||||
+ "<w:body><w:p><w:r><w:t>before</w:t></w:r></w:p></w:body></w:document>";
|
||||
|
||||
/** Документ с w:object между текстами. */
|
||||
private static final String DOC_OBJECT =
|
||||
"<w:document xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\">"
|
||||
+ "<w:body><w:p><w:r><w:t>before</w:t></w:r>"
|
||||
+ "<w:r><w:object><v:shape><v:imagedata/></v:shape>"
|
||||
+ "<o:OLEObject Type=\"Embed\" r:id=\"rId1\"/></w:object></w:r>"
|
||||
+ "<w:r><w:t>after</w:t></w:r></w:p></w:body></w:document>";
|
||||
|
||||
private static final String DOCRELS_TO_BIN =
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
|
||||
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
|
||||
+ "<Relationship Id=\"rId1\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/bin\" Target=\"_embedded/ole.bin\"/>"
|
||||
+ "</Relationships>";
|
||||
|
||||
private static final byte[] BIN = {'P', 'K', 3, 4, 0, 1, 2, (byte) 0xFF};
|
||||
|
||||
private static byte[] zip(Map<String, byte[]> entries) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
for (Map.Entry<String, byte[]> e : entries.entrySet()) {
|
||||
zos.putNextEntry(new ZipEntry(e.getKey()));
|
||||
zos.write(e.getValue());
|
||||
zos.closeEntry();
|
||||
}
|
||||
}
|
||||
return out.toByteArray();
|
||||
}
|
||||
|
||||
private static byte[] utf8(String s) {
|
||||
return s.getBytes(StandardCharsets.UTF_8);
|
||||
}
|
||||
|
||||
/** Форма «ложь продюсера»: Default bin -> footer+xml + осиротевший bin + rel. */
|
||||
private static byte[] lyingDocx() throws IOException {
|
||||
Map<String, byte[]> m = new LinkedHashMap<>();
|
||||
m.put("[Content_Types].xml", utf8(CT_LIE));
|
||||
m.put("_rels/.rels", utf8(ROOT_RELS));
|
||||
m.put("word/document.xml", utf8(DOC_PLAIN));
|
||||
m.put("word/_rels/document.xml.rels", utf8(DOCRELS_TO_BIN));
|
||||
m.put("word/_embedded/ole.bin", BIN);
|
||||
return zip(m);
|
||||
}
|
||||
|
||||
/** Настоящий w:object + честный Override -> oleObject. */
|
||||
private static byte[] referencedDocx() throws IOException {
|
||||
Map<String, byte[]> m = new LinkedHashMap<>();
|
||||
m.put("[Content_Types].xml", utf8(CT_OLE));
|
||||
m.put("_rels/.rels", utf8(ROOT_RELS));
|
||||
m.put("word/document.xml", utf8(DOC_OBJECT));
|
||||
m.put("word/_rels/document.xml.rels", utf8(DOCRELS_TO_BIN));
|
||||
m.put("word/_embedded/ole.bin", BIN);
|
||||
return zip(m);
|
||||
}
|
||||
|
||||
private static Map<String, byte[]> unzip(byte[] z) throws IOException {
|
||||
Map<String, byte[]> m = new LinkedHashMap<>();
|
||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(z))) {
|
||||
ZipEntry e;
|
||||
while ((e = zis.getNextEntry()) != null) {
|
||||
m.put(e.getName(), zis.readAllBytes());
|
||||
}
|
||||
}
|
||||
return m;
|
||||
}
|
||||
|
||||
private static String readEntry(byte[] zip, String name) throws IOException {
|
||||
byte[] data = unzip(zip).get(name);
|
||||
assertNotNull(data, "нет записи " + name);
|
||||
return new String(data, StandardCharsets.UTF_8);
|
||||
}
|
||||
|
||||
@Test
|
||||
void oleBinWithXmlTypeRemoved() throws Exception {
|
||||
byte[] result = OleObjectNormalizer.normalize(lyingDocx(), false);
|
||||
|
||||
Map<String, byte[]> entries = unzip(result);
|
||||
assertFalse(entries.containsKey("word/_embedded/ole.bin"),
|
||||
"bin-часть с ложным XML-типом обязана быть удалена");
|
||||
String rels = readEntry(result, "word/_rels/document.xml.rels");
|
||||
assertFalse(rels.contains("_embedded/ole.bin"),
|
||||
"rel на удалённую часть обязан исчезнуть: " + rels);
|
||||
// прочие entries — байтово идентичны
|
||||
Map<String, byte[]> before = unzip(lyingDocx());
|
||||
assertArrayEquals(before.get("word/document.xml"), entries.get("word/document.xml"));
|
||||
assertArrayEquals(before.get("_rels/.rels"), entries.get("_rels/.rels"));
|
||||
assertArrayEquals(before.get("[Content_Types].xml"), entries.get("[Content_Types].xml"));
|
||||
}
|
||||
|
||||
@Test
|
||||
void referencedOleRemovedWithObjectElement() throws Exception {
|
||||
byte[] result = OleObjectNormalizer.normalize(referencedDocx(), false);
|
||||
|
||||
String doc = readEntry(result, "word/document.xml");
|
||||
assertFalse(doc.contains("w:object"), "w:object обязан быть вырезан: " + doc);
|
||||
assertTrue(doc.contains("before") && doc.contains("after"),
|
||||
"тексты вокруг объекта обязаны сохраниться: " + doc);
|
||||
Map<String, byte[]> entries = unzip(result);
|
||||
assertFalse(entries.containsKey("word/_embedded/ole.bin"));
|
||||
assertFalse(readEntry(result, "word/_rels/document.xml.rels").contains("ole.bin"));
|
||||
String ct = readEntry(result, "[Content_Types].xml");
|
||||
assertFalse(ct.contains("/word/_embedded/ole.bin"),
|
||||
"Override удалённой части обязан исчезнуть: " + ct);
|
||||
assertTrue(ct.contains("/word/document.xml"),
|
||||
"чужой Override обязан сохраниться: " + ct);
|
||||
}
|
||||
|
||||
@Test
|
||||
void errorOnOleThrowsDrawingFound() throws Exception {
|
||||
DrawingFoundException ex = assertThrows(DrawingFoundException.class,
|
||||
() -> OleObjectNormalizer.normalize(referencedDocx(), true));
|
||||
assertEquals(DrawingFoundException.Kind.OLE, ex.kind());
|
||||
}
|
||||
|
||||
@Test
|
||||
void printerSettingsBinUntouched() throws Exception {
|
||||
Map<String, byte[]> m = new LinkedHashMap<>();
|
||||
m.put("[Content_Types].xml", utf8(
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
|
||||
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
|
||||
+ "<Default Extension=\"bin\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.printerSettings\"/>"
|
||||
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
|
||||
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
|
||||
+ "</Types>"));
|
||||
m.put("_rels/.rels", utf8(ROOT_RELS));
|
||||
m.put("word/document.xml", utf8(DOC_PLAIN));
|
||||
m.put("word/printSettings.bin", BIN);
|
||||
byte[] docx = zip(m);
|
||||
|
||||
assertSame(docx, OleObjectNormalizer.normalize(docx, false));
|
||||
}
|
||||
|
||||
@Test
|
||||
void noOleReturnsOriginalArray() throws Exception {
|
||||
Map<String, byte[]> m = new LinkedHashMap<>();
|
||||
m.put("[Content_Types].xml", utf8(
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
|
||||
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
|
||||
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
|
||||
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
|
||||
+ "</Types>"));
|
||||
m.put("_rels/.rels", utf8(ROOT_RELS));
|
||||
m.put("word/document.xml", utf8(DOC_PLAIN));
|
||||
byte[] docx = zip(m);
|
||||
|
||||
assertSame(docx, OleObjectNormalizer.normalize(docx, false));
|
||||
assertSame(docx, OleObjectNormalizer.normalize(docx, true));
|
||||
}
|
||||
|
||||
@Test
|
||||
void externalHyperlinkRelNotTouched() throws Exception {
|
||||
Map<String, byte[]> m = new LinkedHashMap<>();
|
||||
m.put("[Content_Types].xml", utf8(CT_LIE));
|
||||
m.put("_rels/.rels", utf8(ROOT_RELS));
|
||||
m.put("word/document.xml", utf8(DOC_PLAIN));
|
||||
m.put("word/_rels/document.xml.rels", utf8(
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
|
||||
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
|
||||
+ "<Relationship Id=\"rId1\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/bin\" Target=\"_embedded/ole.bin\"/>"
|
||||
+ "<Relationship Id=\"rId2\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/hyperlink\" Target=\"https://example.com/\" TargetMode=\"External\"/>"
|
||||
+ "</Relationships>"));
|
||||
m.put("word/_embedded/ole.bin", BIN);
|
||||
|
||||
String rels = readEntry(OleObjectNormalizer.normalize(zip(m), false),
|
||||
"word/_rels/document.xml.rels");
|
||||
assertTrue(rels.contains("https://example.com/"),
|
||||
"внешняя гиперссылка не должна удаляться: " + rels);
|
||||
assertFalse(rels.contains("_embedded/ole.bin"),
|
||||
"rel на OLE-часть обязан исчезнуть: " + rels);
|
||||
}
|
||||
}
|
||||
Binary file not shown.
@@ -25,11 +25,12 @@ export interface ConvertResult {
|
||||
export interface ConvertOptions {
|
||||
errorOnCharts: boolean
|
||||
errorOnSmartArt: boolean
|
||||
errorOnOle: boolean
|
||||
}
|
||||
|
||||
/**
|
||||
* Единственная сетевая точка приложения: POST /api/v1/convert (multipart,
|
||||
* поля `file`, `errorOnCharts`, `errorOnSmartArt`) → PDF-blob + имя файла
|
||||
* поля `file`, `errorOnCharts`, `errorOnSmartArt`, `errorOnOle`) → PDF-blob + имя файла
|
||||
* из Content-Disposition.
|
||||
* Таймаут на фронте не ставим: конвертация долгая — это ожидаемо.
|
||||
*/
|
||||
@@ -42,6 +43,7 @@ export async function convertDocx(
|
||||
fd.append('file', file, file.name)
|
||||
fd.append('errorOnCharts', String(options.errorOnCharts))
|
||||
fd.append('errorOnSmartArt', String(options.errorOnSmartArt))
|
||||
fd.append('errorOnOle', String(options.errorOnOle))
|
||||
const key = getApiKey()
|
||||
const resp = await fetch(`${import.meta.env.BASE_URL}api/v1/convert`, {
|
||||
method: 'POST',
|
||||
|
||||
@@ -22,6 +22,7 @@ export default function App() {
|
||||
// дефолты фронта: ошибка при находке выключена — конвертация проходит молча
|
||||
const [errorOnCharts, setErrorOnCharts] = useState(false)
|
||||
const [errorOnSmartArt, setErrorOnSmartArt] = useState(false)
|
||||
const [errorOnOle, setErrorOnOle] = useState(false)
|
||||
const abortRef = useRef<AbortController | null>(null)
|
||||
const urlRef = useRef<string | null>(null)
|
||||
|
||||
@@ -57,6 +58,7 @@ export default function App() {
|
||||
convertDocx(file, ac.signal, {
|
||||
errorOnCharts,
|
||||
errorOnSmartArt,
|
||||
errorOnOle,
|
||||
})
|
||||
.then(({ blob, filename }) => {
|
||||
const url = URL.createObjectURL(blob)
|
||||
@@ -164,8 +166,20 @@ export default function App() {
|
||||
ошибка, если найден
|
||||
</label>
|
||||
</div>
|
||||
<div className="flex flex-wrap items-center gap-x-6 gap-y-2">
|
||||
<span className="w-24 text-sm font-medium">OLE-объекты</span>
|
||||
<label className="flex items-center gap-2 text-sm">
|
||||
<input
|
||||
type="checkbox"
|
||||
className="h-4 w-4 accent-accent"
|
||||
checked={errorOnOle}
|
||||
disabled={status === 'converting'}
|
||||
onChange={(e) => setErrorOnOle(e.target.checked)}
|
||||
/>
|
||||
ошибка, если найдены
|
||||
</label>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
<div className="mt-5">
|
||||
<button
|
||||
type="button"
|
||||
|
||||
Reference in New Issue
Block a user