core: перенос валидации входа из ConversionService в WordPdfValidator.validate

This commit is contained in:
Pjandro
2026-10-19 21:49:34 +00:00
parent 45b78f7fc9
commit 5482bfac60
6 changed files with 109 additions and 46 deletions
+5 -5
View File
@@ -8,7 +8,7 @@
### Пайплайн `WordPdfConverter.convert(byte[], String[, ConvertOptions])` (порядок фиксирован, менять местами нельзя) ### Пайплайн `WordPdfConverter.convert(byte[], String[, ConvertOptions])` (порядок фиксирован, менять местами нельзя)
Наружу `checkInput(bytes, maxBytes)` вызывается **до** приватного `convertToStream`; внутри `convertToStream`: Наружу `WordPdfValidator.validate(docxBytes, options)` (размер → zip-подпись `PK\x03\x04` → страницы) вызывается **до** приватного `convertToStream`; внутри `convertToStream`:
1. `new BundledFontMapper()` → `BundledFonts.init()` → `BundledFonts.restrictToBundled()`. Конструктор маппера каждый раз добавляет системные шрифты в реестр `PhysicalFonts`; ключ реестра — имя из name-таблицы TTF, `addPhysicalFont(URI)` не перезаписывает занятый → `init()` вызывает `dropNonBundled()` **до** регистрации и `load()` (иначе системный Calibri ломает em-dash-fallback). 1. `new BundledFontMapper()` → `BundledFonts.init()` → `BundledFonts.restrictToBundled()`. Конструктор маппера каждый раз добавляет системные шрифты в реестр `PhysicalFonts`; ключ реестра — имя из name-таблицы TTF, `addPhysicalFont(URI)` не перезаписывает занятый → `init()` вызывает `dropNonBundled()` **до** регистрации и `load()` (иначе системный Calibri ломает em-dash-fallback).
2. Нормализация байтов docx до JAXB-загрузки (цепочка `byte[] → byte[]`, порядок значим): `StrictOoxmlNormalizer` (strict-OOXML → transitional-байт: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`, элементы и атрибуты `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml), значения `start`/`end` у `w:jc`/`w:tab`; в `mc-preprocessor.xslt` docx4j ветка `%` закомментирована, start/end не маппятся; namespaces и `pt`-значения правит сам mc-preprocessor — собственный рерайт URI ломает его pt-конверсию) → `DocxOnOffNormalizer` (`w:val="off"/"on"` → `false`/`true`) → `SymbolFontNormalizer` (PUA U+F0xx Symbol/Wingdings/Webdings → Unicode + DejaVu Sans, переписывает и элементы `<w:sym>`; 5 карт по 256 слотов, таблица `SymbolMapper` сгенерирована из docx4j 17.x) → `FieldNormalizer` (`fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple`, вложенные/битые поля пропускает) → `GlyphCoverageNormalizer` (режет ран по покрытию глифов, пишет семейство в `w:rFonts`, иначе FOP рисует «#»; покрытие — `java.awt.Font.canDisplay` + BitSet-кэш, НЕ docx4j `GlyphCheck` — тот плодит INFO-лог; для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (DejaVu Serif/Tinos/Caladea), затем в sans) → `WordprocessingMLPackage.load`. 2. Нормализация байтов docx до JAXB-загрузки (цепочка `byte[] → byte[]`, порядок значим): `StrictOoxmlNormalizer` (strict-OOXML → transitional-байт: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`, элементы и атрибуты `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml), значения `start`/`end` у `w:jc`/`w:tab`; в `mc-preprocessor.xslt` docx4j ветка `%` закомментирована, start/end не маппятся; namespaces и `pt`-значения правит сам mc-preprocessor — собственный рерайт URI ломает его pt-конверсию) → `DocxOnOffNormalizer` (`w:val="off"/"on"` → `false`/`true`) → `SymbolFontNormalizer` (PUA U+F0xx Symbol/Wingdings/Webdings → Unicode + DejaVu Sans, переписывает и элементы `<w:sym>`; 5 карт по 256 слотов, таблица `SymbolMapper` сгенерирована из docx4j 17.x) → `FieldNormalizer` (`fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple`, вложенные/битые поля пропускает) → `GlyphCoverageNormalizer` (режет ран по покрытию глифов, пишет семейство в `w:rFonts`, иначе FOP рисует «#»; покрытие — `java.awt.Font.canDisplay` + BitSet-кэш, НЕ docx4j `GlyphCheck` — тот плодит INFO-лог; для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (DejaVu Serif/Tinos/Caladea), затем в sans) → `WordprocessingMLPackage.load`.
@@ -21,7 +21,7 @@
- Единственный эндпоинт `POST /api/v1/convert` (multipart-поле `file`, факультативные `renderCharts`/`renderSmartArt` — query или form) → `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка `.docx`-расширения — в `ConvertController`; `safeBaseName` в `ConversionService` — единый источник имени для файла, заголовка ответа и PDF-title (разрешены `[\p{L}\p{N} ._-]`, пустое → `document`). - Единственный эндпоинт `POST /api/v1/convert` (multipart-поле `file`, факультативные `renderCharts`/`renderSmartArt` — query или form) → `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка `.docx`-расширения — в `ConvertController`; `safeBaseName` в `ConversionService` — единый источник имени для файла, заголовка ответа и PDF-title (разрешены `[\p{L}\p{N} ._-]`, пустое → `document`).
- Конвертации **сериализованы** однопоточным `ThreadPoolExecutor` (`ConversionService.QUEUE_CAPACITY = 16`, переполнение → 503): ядро мутирует глобальный реестр `PhysicalFonts`. `future.cancel(true)` при таймауте не останавливает FOP мгновенно — осознанный компромисс. - Конвертации **сериализованы** однопоточным `ThreadPoolExecutor` (`ConversionService.QUEUE_CAPACITY = 16`, переполнение → 503): ядро мутирует глобальный реестр `PhysicalFonts`. `future.cancel(true)` при таймауте не останавливает FOP мгновенно — осознанный компромисс.
- Ошибки (`ApiExceptionHandler`, тело `{"error": …}`): `ValidationException` → 400; `ConversionFailedException` → 500; `ConversionRejectedException` → 503; `ConversionTimeoutException` (`wordpdf.convert-timeout`, 2m) → 504; `MaxUploadSizeExceededException` → 413; `MissingServletRequestPartException`/`MissingServletRequestParameterException` → 400; `NoResourceFoundException` (неизвестный путь) → 404; catch-all → 500 (подробности только в лог). `ValidationException` — тип ядра `ru.pjandro.wordpdf.ValidationException extends ConversionException` (публичный), валидатор бросает его сам, app-дубликата нет; три app-исключения (`ConversionFailedException`, `ConversionRejectedException`, `ConversionTimeoutException`) — package-private, несут семантику 500/503/504. `doConvert` перехватывает `ValidationException` раньше `ConversionException` — отказ страницы-лимита из конвейера ядра даёт 400, а не 500. Граница: сломанный контейнер (не zip / размер / страницы) → 400, валидный zip с мусором внутри → 500. Валидация до очереди: `checkInput` → zip-магик `PK\x03\x04` → `checkPageCount` (порядок значим). - Ошибки (`ApiExceptionHandler`, тело `{"error": …}`): `ValidationException` → 400; `ConversionFailedException` → 500; `ConversionRejectedException` → 503; `ConversionTimeoutException` (`wordpdf.convert-timeout`, 2m) → 504; `MaxUploadSizeExceededException` → 413; `MissingServletRequestPartException`/`MissingServletRequestParameterException` → 400; `NoResourceFoundException` (неизвестный путь) → 404; catch-all → 500 (подробности только в лог). `ValidationException` — тип ядра `ru.pjandro.wordpdf.ValidationException extends ConversionException` (публичный), валидатор бросает его сам, app-дубликата нет; три app-исключения (`ConversionFailedException`, `ConversionRejectedException`, `ConversionTimeoutException`) — package-private, несут семантику 500/503/504. `doConvert` перехватывает `ValidationException` раньше `ConversionException` — отказ страницы-лимита из конвейера ядра даёт 400, а не 500. Граница: сломанный контейнер (не zip / размер / страницы) → 400, валидный zip с мусором внутри → 500. Валидация до очереди: `WordPdfValidator.validate(docxBytes, options)` (внутри порядок значим: `checkInput` → zip-магик `PK\x03\x04` → `checkPageCount`); тот же метод — вход ядра.
- **Ключ доступа**: `ApiKeyFilter` сверяет заголовок `X-API-Key` (`ApiKeyFilter.HEADER`) со свойством `wordpdf.api-key` (env `WORDPDF_API_KEY`, сравнение `MessageDigest.isEqual`). Пустое свойство = аутентификация выключена (dev `java -jar`, тесты). Без ключа открыты `/actuator/**` (HEALTHCHECK) и документация springdoc (`/swagger-ui*`, `/v3/api-docs*`) — матч по пути **без forwarded-contextPath** (`getRequestURI()` минус `getContextPath()`; иначе под `X-Forwarded-Prefix` HEALTHCHECK получил бы 401). 401 пишет сам фильтр (`ApiExceptionHandler` ошибок фильтров не видит). Springdoc в проде **включён**, документация открыта без ключа под `https://pjandro.ru/pdf-converter/swagger-ui.html` (server-URL/swagger-config собираются из `X-Forwarded-*`, `server.forward-headers-strategy=framework` — `native`-клапан Tomcat `X-Forwarded-Prefix` не понимает). Регрессии — `ApiKeyFilterTest#forwardedPrefix_healthStaysOpen`, `ApiKeyFilterTest#docsOpenWithoutKey`. - **Ключ доступа**: `ApiKeyFilter` сверяет заголовок `X-API-Key` (`ApiKeyFilter.HEADER`) со свойством `wordpdf.api-key` (env `WORDPDF_API_KEY`, сравнение `MessageDigest.isEqual`). Пустое свойство = аутентификация выключена (dev `java -jar`, тесты). Без ключа открыты `/actuator/**` (HEALTHCHECK) и документация springdoc (`/swagger-ui*`, `/v3/api-docs*`) — матч по пути **без forwarded-contextPath** (`getRequestURI()` минус `getContextPath()`; иначе под `X-Forwarded-Prefix` HEALTHCHECK получил бы 401). 401 пишет сам фильтр (`ApiExceptionHandler` ошибок фильтров не видит). Springdoc в проде **включён**, документация открыта без ключа под `https://pjandro.ru/pdf-converter/swagger-ui.html` (server-URL/swagger-config собираются из `X-Forwarded-*`, `server.forward-headers-strategy=framework` — `native`-клапан Tomcat `X-Forwarded-Prefix` не понимает). Регрессии — `ApiKeyFilterTest#forwardedPrefix_healthStaysOpen`, `ApiKeyFilterTest#docsOpenWithoutKey`.
- Лимиты входа задаёт **только конфигурация сервера**: `wordpdf.max-bytes`/`wordpdf.max-pages` (env `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`), `@Value` в `ConvertController` с дефолтом-SpEL из `WordPdfSettings` (5 MiB / 100); значение ≤ 0 → `IllegalStateException` на старте; параметрами запроса не переопределяются. Ключи в `application.properties` **не объявлены** — пустое значение затенит SpEL-дефолт. - Лимиты входа задаёт **только конфигурация сервера**: `wordpdf.max-bytes`/`wordpdf.max-pages` (env `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`), `@Value` в `ConvertController` с дефолтом-SpEL из `WordPdfSettings` (5 MiB / 100); значение ≤ 0 → `IllegalStateException` на старте; параметрами запроса не переопределяются. Ключи в `application.properties` **не объявлены** — пустое значение затенит SpEL-дефолт.
- SPA: вся сеть в `src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), при 401 очищается, экран `ApiKeyGate` (`UnauthorizedError` — наследник `ApiError`, проверяется раньше); гейт показывается только когда `probeApiKey()` (GET /api/v1/convert → 401 от `ApiKeyFilter`) подтвердил требование ключа — в dev без ключа форма открывается сразу; запросы на `${import.meta.env.BASE_URL}api/...` (vite `base` из `VITE_BASE`, дефолт `/`) — CORS не нужен (dev: vite-proxy → :8080; prod: nginx с префиксом `/pdf-converter/`). - SPA: вся сеть в `src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), при 401 очищается, экран `ApiKeyGate` (`UnauthorizedError` — наследник `ApiError`, проверяется раньше); гейт показывается только когда `probeApiKey()` (GET /api/v1/convert → 401 от `ApiKeyFilter`) подтвердил требование ключа — в dev без ключа форма открывается сразу; запросы на `${import.meta.env.BASE_URL}api/...` (vite `base` из `VITE_BASE`, дефолт `/`) — CORS не нужен (dev: vite-proxy → :8080; prod: nginx с префиксом `/pdf-converter/`).
@@ -47,7 +47,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|Путь|Назначение| |Путь|Назначение|
|---|---| |---|---|
|`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API: `WordPdfConverter`, `WordPdfValidator` (перегрузки `checkInput`/`checkPageCount` — `byte[]`, с лимитом/без; без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `WordPdfSettings` (константы-дефолты), `ConvertOptions` (record: renderCharts, renderSmartArt, maxBytes, maxPages)| |`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API: `WordPdfConverter`, `WordPdfValidator` (перегрузки `checkInput`/`checkPageCount` — `byte[]`, с лимитом/без, и `validate(byte[], ConvertOptions)` — полная цепочка размер → zip-подпись → страницы; без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `WordPdfSettings` (константы-дефолты), `ConvertOptions` (record: renderCharts, renderSmartArt, maxBytes, maxPages)|
|`…/wordpdf/fonts/`|`BundledFonts` (реестр/выгрузка TTF, `families()`, `FALLBACK_FAMILY`), `BundledFontMapper` (алиасы MS→open-source, self-map, DISPLAY_NAMES, public-хук `bundledFamily`)| |`…/wordpdf/fonts/`|`BundledFonts` (реестр/выгрузка TTF, `families()`, `FALLBACK_FAMILY`), `BundledFontMapper` (алиасы MS→open-source, self-map, DISPLAY_NAMES, public-хук `bundledFamily`)|
|`…/wordpdf/internal/`|5 байтовых нормализатора + `FopFallbackFonts` (классы `public` — вызываются из родительского пакета; публичные члены только `normalize`/`declare`)| |`…/wordpdf/internal/`|5 байтовых нормализатора + `FopFallbackFonts` (классы `public` — вызываются из родительского пакета; публичные члены только `normalize`/`declare`)|
|`…/wordpdf/internal/chart/`|11 классов Java2D-рендера диаграмм/SmartArt в PNG (public только `DrawingPreRenderer`)| |`…/wordpdf/internal/chart/`|11 классов Java2D-рендера диаграмм/SmartArt в PNG (public только `DrawingPreRenderer`)|
@@ -117,11 +117,11 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \
## Testing & QA ## Testing & QA
- 14 тестовых классов / 126 `@Test` (core 11/101, app 3/25). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true` в argLine; только `Assertions` (Mockito/AssertJ не использовать, несмотря на test-classpath Boot; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`); тестовые классы package-private, зеркалят main-пакеты; только `@Test` (+ единственный `@BeforeAll` — warm-up шрифтов в `GlyphCoverageNormalizerTest`). - 14 тестовых классов / 132 `@Test` (core 11/107, app 3/25). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true` в argLine; только `Assertions` (Mockito/AssertJ не использовать, несмотря на test-classpath Boot; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`); тестовые классы package-private, зеркалят main-пакеты; только `@Test` (+ единственный `@BeforeAll` — warm-up шрифтов в `GlyphCoverageNormalizerTest`).
- **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` для текста (пер-странично `setStartPage/setEndPage`), override `processTextPosition` для шрифта конкретного символа (`fontNameOf`), обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`) и счётчика картинок (`imageCount`). Негативные маркеры — регрессии: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`); в `tableImage_tableAndImage` — полное удаление пробелов (docx4j переносит слова в auto-fit таблицах). - **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` для текста (пер-странично `setStartPage/setEndPage`), override `processTextPosition` для шрифта конкретного символа (`fontNameOf`), обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`) и счётчика картинок (`imageCount`). Негативные маркеры — регрессии: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`); в `tableImage_tableAndImage` — полное удаление пробелов (docx4j переносит слова в auto-fit таблицах).
- Пиксели (BufferedImage) — только в unit-тестах chart-пейнтеров, допуски 6–10% против эталона Word (`PiePainterTest` аспект h/w=0.585, `assertRatio` отклонение <0.06; `Surface3dPainterTest` `assertRange` ±6 pt для центров силуэта + `assertRatio` допуск 0.10 для геометрических отношений; shading — не допуск, а перцентильные коридоры яркости p5∈[0.74,0.90], median∈[0.90,1.10], p95∈[1.02,1.20]). - Пиксели (BufferedImage) — только в unit-тестах chart-пейнтеров, допуски 6–10% против эталона Word (`PiePainterTest` аспект h/w=0.585, `assertRatio` отклонение <0.06; `Surface3dPainterTest` `assertRange` ±6 pt для центров силуэта + `assertRatio` допуск 0.10 для геометрических отношений; shading — не допуск, а перцентильные коридоры яркости p5∈[0.74,0.90], median∈[0.90,1.10], p95∈[1.02,1.20]).
- Фикстуры — закоммиченные `samples/*.docx` (11; в тестах не генерировать): core грузит classpath-ресурсом → `byte[]`, PDF для PDFBox — временный файл; app читает `/samples/…` из **test-jar core** (classifier `tests`) → `mvn -pl wordpdf-app` без `-am` не соберётся. In-memory docx — `ZipOutputStream` из литеральных XML или POI в `byte[]`. Ключевые: `too-many-pages` (150 явных разрывов → 151), `stale-cache` (кэш `<Pages>1</Pages>` + 110 `lastRenderedPageBreak`), `charts-smartart` (4 растра; SmartArt-одиночка = ровно 2 Image XObject). - Фикстуры — закоммиченные `samples/*.docx` (11; в тестах не генерировать): core грузит classpath-ресурсом → `byte[]`, PDF для PDFBox — временный файл; app читает `/samples/…` из **test-jar core** (classifier `tests`) → `mvn -pl wordpdf-app` без `-am` не соберётся. In-memory docx — `ZipOutputStream` из литеральных XML или POI в `byte[]`. Ключевые: `too-many-pages` (150 явных разрывов → 151), `stale-cache` (кэш `<Pages>1</Pages>` + 110 `lastRenderedPageBreak`), `charts-smartart` (4 растра; SmartArt-одиночка = ровно 2 Image XObject).
- Юниты нормализаторов работают строками (`rewrite`) + zip'ами из `ZipOutputStream`; обязательные контракты: «нечего менять → тот же массив» (`assertSame` покрыт тестами только у zip-нормализаторов `DocxOnOff`/`SymbolFont`/`StrictOoxml`; у `Field`/`GlyphCoverage` — `rewrite`→`null`) и неприкосновенность частей вне `word/*.xml` (`[Content_Types].xml`). Тесты бьют и в package-private API (`GlyphCoverageNormalizer.split(text, family)`, `ChartSpec.readTitle`). - Юниты нормализаторов работают строками (`rewrite`) + zip'ами из `ZipOutputStream`; обязательные контракты: «нечего менять → тот же массив» (`assertSame` покрыт тестами только у zip-нормализаторов `DocxOnOff`/`SymbolFont`/`StrictOoxml`; у `Field`/`GlyphCoverage` — `rewrite`→`null`) и неприкосновенность частей вне `word/*.xml` (`[Content_Types].xml`). Тесты бьют и в package-private API (`GlyphCoverageNormalizer.split(text, family)`, `ChartSpec.readTitle`).
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); три контекста — `ConvertControllerTest` (пустой ключ), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` с лимитами — отдельный класс, не `@Nested`). - App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); три контекста — `ConvertControllerTest` (пустой ключ), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` с лимитами — отдельный класс, не `@Nested`).
- Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `StrictOoxmlNormalizerTest`↔`strictOoxml_convertsNotRejected` (+`pageCount_strictBreaksCountedLightweight` — lightweight против strict), `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCount_limitBoundary` 99/100/101, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `ChartSpecTest`↔автозаголовки, chart-пейнтеры↔`chartsSmartArt_drawingsBecomeImages` (+`drawingToggles_offRemovesRasters`/`drawingToggles_chartsOffSmartArtOn`); `noLoggingWarningInPdf` — регрессия `slf4j-simple`, `pdfTitle_comesFromParameter` — регрессия PDF-title (юнит-партнёра нет). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed` (гонка реестра `PhysicalFonts`), `corruptNotAZip_rejected`, `junkInsideValidZip_conversionError`, `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `renderFlagsOff_convertsWithoutDrawings`, `cyrillicAndPathInFilename_sanitizedResponseName` (RFC 5987 + path-traversal), `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey` (открытая документация + матч фильтра без forwarded-contextPath). - Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `StrictOoxmlNormalizerTest`↔`strictOoxml_convertsNotRejected` (+`pageCount_strictBreaksCountedLightweight` — lightweight против strict), `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCount_limitBoundary` 99/100/101, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`, `validate_notAZip`↔`inputNotAZip_rejectedBeforeRender`), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `ChartSpecTest`↔автозаголовки, chart-пейнтеры↔`chartsSmartArt_drawingsBecomeImages` (+`drawingToggles_offRemovesRasters`/`drawingToggles_chartsOffSmartArtOn`); `noLoggingWarningInPdf` — регрессия `slf4j-simple`, `pdfTitle_comesFromParameter` — регрессия PDF-title (юнит-партнёра нет). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed` (гонка реестра `PhysicalFonts`), `corruptNotAZip_rejected`, `junkInsideValidZip_conversionError`, `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `renderFlagsOff_convertsWithoutDrawings`, `cyrillicAndPathInFilename_sanitizedResponseName` (RFC 5987 + path-traversal), `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey` (открытая документация + матч фильтра без forwarded-contextPath).
- UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn). - UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn).
@@ -36,9 +36,9 @@ import java.util.concurrent.TimeoutException;
* {@link ConversionFailedException} (500). Граница: сломанный контейнер * {@link ConversionFailedException} (500). Граница: сломанный контейнер
* (не zip / битый zip / слишком большой / слишком длинный) — 400; валидный * (не zip / битый zip / слишком большой / слишком длинный) — 400; валидный
* zip с мусором внутри (нет {@code word/document.xml}) — 500: до очереди и * zip с мусором внутри (нет {@code word/document.xml}) — 500: до очереди и
* в конвейере ядра страницы проверяются одним и тем же lightweight-путём * в конвейере ядра вход проверяется тем же
* ({@link WordPdfValidator#checkPageCount}), поэтому уже принятый * {@link WordPdfValidator#validate(byte[], ConvertOptions)}, поэтому уже
* запрос внутренняя проверка ядра в ошибку не превратит.</p> * принятый запрос внутренняя проверка ядра в ошибку не превратит.</p>
*/ */
@Service @Service
final class ConversionService { final class ConversionService {
@@ -70,7 +70,7 @@ final class ConversionService {
* {@code null} не допускается (контроллер строит всегда).</p> * {@code null} не допускается (контроллер строит всегда).</p>
*/ */
byte[] convert(byte[] docxBytes, String originalFilename, ConvertOptions options) { byte[] convert(byte[] docxBytes, String originalFilename, ConvertOptions options) {
validate(docxBytes, options); WordPdfValidator.validate(docxBytes, options);
Future<byte[]> future; Future<byte[]> future;
try { try {
future = workers.submit(() -> doConvert(docxBytes, originalFilename, options)); future = workers.submit(() -> doConvert(docxBytes, originalFilename, options));
@@ -112,29 +112,6 @@ final class ConversionService {
} }
} }
/**
* Валидация байтов переиспользует публичные byte-API ядра; ядро бросает
* {@link ValidationException} само — оборачивать нечего. Порядок значим:
* размер (дешёвая) → magic bytes → lightweight-разбор zip. Лимиты
* размера/страниц берутся из {@code options} (контроллер подставляет их
* из конфигурации сервера: свойства {@code wordpdf.max-bytes}/
* {@code wordpdf.max-pages}, дефолт — константы ядра).
*
* <p>Проверка zip-подписи отдельным шагом обязательна:
* {@code ZipInputStream.getNextEntry()} на не-zip-потоке возвращает
* {@code null} молча, и {@link WordPdfValidator#checkPageCount(byte[])}
* такой вход не отверг бы (0 страниц). Регрессия —
* ConvertControllerTest#corruptNotAZip_rejected.</p>
*/
void validate(byte[] docxBytes, ConvertOptions options) {
WordPdfValidator.checkInput(docxBytes, options.maxBytes());
if (docxBytes.length < 4 || docxBytes[0] != 'P' || docxBytes[1] != 'K'
|| (docxBytes[2] & 0xFF) != 0x03 || (docxBytes[3] & 0xFF) != 0x04) {
throw new ValidationException("Содержимое не похоже на .docx (не zip-архив)");
}
WordPdfValidator.checkPageCount(docxBytes, options.maxPages());
}
/** /**
* Тело задачи воркера. Ядро принимает байты — временные файлы не нужны; * Тело задачи воркера. Ядро принимает байты — временные файлы не нужны;
* имя влияет только на заголовок PDF (параметр {@code title}), потому * имя влияет только на заголовок PDF (параметр {@code title}), потому
@@ -57,16 +57,16 @@ public final class WordPdfConverter {
* Конвертирует байты .docx в PDF. Работа с файлами — забота вызывающего * Конвертирует байты .docx в PDF. Работа с файлами — забота вызывающего
* (файловое API было здесь раньше; ядро пути не принимает). * (файловое API было здесь раньше; ядро пути не принимает).
* *
* <p>Вход проверяется валидатором до рендера: {@link WordPdfValidator#checkInput(byte[])} * <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера:
* (null / больше {@link WordPdfSettings#MAX_INPUT_BYTES}), затем число страниц * {@code null} / размер больше {@link WordPdfSettings#MAX_INPUT_BYTES} / zip-подпись /
* ({@link WordPdfValidator#checkPageCount(byte[])}, лимит * число страниц больше {@link WordPdfSettings#MAX_PAGES} — при отказе байтов результата нет;
* {@link WordPdfSettings#MAX_PAGES}) — при отказе байтов результата нет. * страницы дополнительно перепроверяются по нормализованным байтам (шаг 2.5).
* *
* @param docxBytes байты .docx * @param docxBytes байты .docx
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся * @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
* @return байты готового PDF * @return байты готового PDF
* @throws ValidationException некорректный вход: {@code null}, размер больше * @throws ValidationException некорректный вход: {@code null}, размер больше
* {@link WordPdfSettings#MAX_INPUT_BYTES}, документ длиннее * {@link WordPdfSettings#MAX_INPUT_BYTES}, не zip-архив, документ длиннее
* {@link WordPdfSettings#MAX_PAGES} страниц * {@link WordPdfSettings#MAX_PAGES} страниц
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера) * @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
*/ */
@@ -78,10 +78,10 @@ public final class WordPdfConverter {
* Конвертирует байты .docx в PDF с настройками на вызов: рисование * Конвертирует байты .docx в PDF с настройками на вызов: рисование
* диаграмм/SmartArt и лимиты входа. * диаграмм/SmartArt и лимиты входа.
* *
* <p>Вход проверяется валидатором до рендера: {@link WordPdfValidator#checkInput(byte[], long)} * <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера:
* (null / больше {@code options.maxBytes()}), затем число страниц * {@code null} / размер больше {@code options.maxBytes()} / zip-подпись / число страниц
* ({@link WordPdfValidator#checkPageCount(byte[], int)}, лимит * больше {@code options.maxPages()} — при отказе байтов результата нет; страницы
* {@code options.maxPages()}) — при отказе байтов результата нет. * дополнительно перепроверяются по нормализованным байтам (шаг 2.5).
* *
* @param docxBytes байты .docx * @param docxBytes байты .docx
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся * @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
@@ -89,13 +89,13 @@ public final class WordPdfConverter {
* дефолты (константы {@link WordPdfSettings}) * дефолты (константы {@link WordPdfSettings})
* @return байты готового PDF * @return байты готового PDF
* @throws ValidationException некорректный вход: {@code null}, размер больше * @throws ValidationException некорректный вход: {@code null}, размер больше
* {@code options.maxBytes()}, документ длиннее {@code options.maxPages()} * {@code options.maxBytes()}, не zip-архив, документ длиннее
* страниц * {@code options.maxPages()} страниц
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера) * @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
*/ */
public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options) throws ConversionException { public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options) throws ConversionException {
ConvertOptions opts = options == null ? ConvertOptions.defaults() : options; ConvertOptions opts = options == null ? ConvertOptions.defaults() : options;
WordPdfValidator.checkInput(docxBytes, opts.maxBytes()); WordPdfValidator.validate(docxBytes, opts);
ByteArrayOutputStream bos = new ByteArrayOutputStream(); ByteArrayOutputStream bos = new ByteArrayOutputStream();
try { try {
convertToStream(docxBytes, title, opts, bos); convertToStream(docxBytes, title, opts, bos);
@@ -105,8 +105,8 @@ public final class WordPdfValidator {
* *
* <p>Не-zip байты не отвергаются: {@code ZipInputStream} доходит до EOF * <p>Не-zip байты не отвергаются: {@code ZipInputStream} доходит до EOF
* без единой записи — молча, оценка «1 страница». Корректность контейнера * без единой записи — молча, оценка «1 страница». Корректность контейнера
* проверяет вызывающий по zip-подписи ({@code ConversionService.validate} * по zip-подписи проверяет {@link #validate(byte[], ConvertOptions)}
* в приложении; регрессия — {@code ConvertControllerTest#corruptNotAZip_rejected}). * (регрессия — {@code WordPdfValidatorTest#validate_notAZip}).
* @throws ValidationException при {@code null}, ошибке разбора zip или превышении {@link WordPdfSettings#MAX_PAGES} * @throws ValidationException при {@code null}, ошибке разбора zip или превышении {@link WordPdfSettings#MAX_PAGES}
*/ */
public static void checkPageCount(byte[] docxBytes) throws ValidationException { public static void checkPageCount(byte[] docxBytes) throws ValidationException {
@@ -151,6 +151,31 @@ public final class WordPdfValidator {
} }
} }
/**
* Полная проверка входа: размер → zip-подпись → число страниц. Порядок
* значим: размер — дешёвая, разбор zip без подписи бессмысленен. Лимиты
* берутся из {@link ConvertOptions} (переопределение на вызов, см.
* {@link ConvertOptions#maxBytes()}, {@link ConvertOptions#maxPages()}).
*
* <p>Проверка zip-подписи отдельным шагом обязательна:
* {@code ZipInputStream.getNextEntry()} на не-zip-потоке возвращает
* {@code null} молча, и {@link #checkPageCount(byte[], int)} такой вход
* не отверг бы (оценка «1 страница»). Регрессия —
* {@code WordPdfValidatorTest#validate_notAZip} (на HTTP-границе —
* {@code ConvertControllerTest#corruptNotAZip_rejected}).</p>
*
* @throws ValidationException при {@code null}, превышении {@code options.maxBytes()},
* отсутствии zip-подписи, ошибке разбора zip или превышении {@code options.maxPages()}
*/
public static void validate(byte[] docxBytes, ConvertOptions options) throws ValidationException {
checkInput(docxBytes, options.maxBytes());
if (docxBytes.length < 4 || docxBytes[0] != 'P' || docxBytes[1] != 'K'
|| (docxBytes[2] & 0xFF) != 0x03 || (docxBytes[3] & 0xFF) != 0x04) {
throw new ValidationException("Содержимое не похоже на .docx (не zip-архив)");
}
checkPageCount(docxBytes, options.maxPages());
}
/** Поставщик потока по имени части zip; null — части нет. */ /** Поставщик потока по имени части zip; null — части нет. */
private interface PartStream { private interface PartStream {
InputStream open(String name) throws IOException; InputStream open(String name) throws IOException;
@@ -448,6 +448,21 @@ class WordPdfConverterTest {
"сообщение должно упоминать лимит: " + ex.getMessage()); "сообщение должно упоминать лимит: " + ex.getMessage());
} }
/**
* Вход без zip-подписи — отказ как некорректный вход (ValidationException),
* а не ошибка рендера: вход конвертера прогоняет тот же
* {@link WordPdfValidator#validate(byte[], ConvertOptions)}, что и приложение до очереди.
* Регрессия — WordPdfValidatorTest#validate_notAZip.
*/
@Test
void inputNotAZip_rejectedBeforeRender() {
byte[] junk = new byte[]{1, 2, 3, 4, 5, 6, 7, 8};
ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(junk, "junk"));
assertTrue(ex.getMessage().contains("не zip-архив"),
"сообщение должно упоминать zip-подпись: " + ex.getMessage());
}
/** /**
* Лимит размера переопределяется {@link ConvertOptions} на вызов: * Лимит размера переопределяется {@link ConvertOptions} на вызов:
* maxBytes=1000 отсекает даже маленький документ до рендера, сообщение * maxBytes=1000 отсекает даже маленький документ до рендера, сообщение
@@ -254,6 +254,52 @@ class WordPdfValidatorTest {
() -> WordPdfValidator.checkPageCount((byte[]) null)); () -> WordPdfValidator.checkPageCount((byte[]) null));
} }
// ===== validate(byte[], ConvertOptions) =====
private static ConvertOptions options(long maxBytes, int maxPages) {
return new ConvertOptions(true, true, false, false, maxBytes, maxPages);
}
@Test
void validate_withinLimits() throws Exception {
assertDoesNotThrow(() -> WordPdfValidator.validate(
docxWithPageBreaks(5), ConvertOptions.defaults()));
}
@Test
void validate_bytesOverLimit() {
byte[] big = new byte[(int) WordPdfSettings.MAX_INPUT_BYTES + 1];
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(big, ConvertOptions.defaults()));
assertTrue(ex.getMessage().contains("5 МБ"),
"размер проверяется первым: " + ex.getMessage());
}
@Test
void validate_notAZip() {
byte[] junk = new byte[]{1, 2, 3, 4, 5};
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(junk, ConvertOptions.defaults()));
assertTrue(ex.getMessage().contains("не zip-архив"),
"сообщение должно упоминать zip-подпись: " + ex.getMessage());
}
@Test
void validate_tooManyPages() throws Exception {
byte[] bytes = docxWithPageBreaks(120);
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(bytes,
options(WordPdfSettings.MAX_INPUT_BYTES, 100)));
assertTrue(ex.getMessage().contains("не менее 121"),
"оценка = 1 + 120 разрывов: " + ex.getMessage());
}
@Test
void validate_nullBytes() {
assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(null, ConvertOptions.defaults()));
}
/** /**
* Lightweight-путь читает сырые байты до нормализации и обязан видеть * Lightweight-путь читает сырые байты до нормализации и обязан видеть
* разрывы {@code w:br w:type="page"} в strict-namespace'ах * разрывы {@code w:br w:type="page"} в strict-namespace'ах