Merge pull request 'feat: валидация контейнера .docx и защита от zip-бомбы' (#19) from feat/docx-container-validation into main
Main: tests, deploy, autotests / java (push) Successful in 1m19s
Main: tests, deploy, autotests / web (push) Successful in 48s
Main: tests, deploy, autotests / images (push) Successful in 3m13s
Main: tests, deploy, autotests / deploy (push) Successful in 1m19s
Main: tests, deploy, autotests / autotests (push) Successful in 59s
Main: tests, deploy, autotests / rollback (push) Has been skipped
Main: tests, deploy, autotests / java (push) Successful in 1m19s
Main: tests, deploy, autotests / web (push) Successful in 48s
Main: tests, deploy, autotests / images (push) Successful in 3m13s
Main: tests, deploy, autotests / deploy (push) Successful in 1m19s
Main: tests, deploy, autotests / autotests (push) Successful in 59s
Main: tests, deploy, autotests / rollback (push) Has been skipped
Reviewed-on: #19
This commit was merged in pull request #19.
This commit is contained in:
@@ -8,7 +8,7 @@
|
||||
|
||||
### Пайплайн `WordPdfConverter.convert(byte[], String[, ConvertOptions])` (порядок фиксирован, менять местами нельзя)
|
||||
|
||||
Наружу `WordPdfValidator.validate(docxBytes, options)` (размер → zip-подпись `PK\x03\x04` → страницы) вызывается **до** приватного `convertToStream`; внутри `convertToStream`:
|
||||
Наружу `WordPdfValidator.validate(docxBytes, options)` (размер → zip-подпись `PK\x03\x04` → контейнер (.docx-манифест + zip-бомба) → страницы) вызывается **до** приватного `convertToStream`; внутри `convertToStream`:
|
||||
|
||||
1. `new BundledFontMapper()` → `BundledFonts.init()` → `BundledFonts.restrictToBundled()`. Конструктор маппера каждый раз добавляет системные шрифты в реестр `PhysicalFonts`; ключ реестра — имя из name-таблицы TTF, `addPhysicalFont(URI)` не перезаписывает занятый → `init()` вызывает `dropNonBundled()` **до** регистрации и `load()` (иначе системный Calibri ломает em-dash-fallback).
|
||||
2. Нормализация байтов docx до JAXB-загрузки (цепочка `byte[] → byte[]`, порядок значим): `StrictOoxmlNormalizer` (strict-OOXML → transitional-байт: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`, элементы и атрибуты `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml), значения `start`/`end` у `w:jc`/`w:tab`; в `mc-preprocessor.xslt` docx4j ветка `%` закомментирована, start/end не маппятся; namespaces и `pt`-значения правит сам mc-preprocessor — собственный рерайт URI ломает его pt-конверсию) → `DocxOnOffNormalizer` (`w:val="off"/"on"` → `false`/`true`) → `SymbolFontNormalizer` (PUA U+F0xx Symbol/Wingdings/Webdings → Unicode + DejaVu Sans, переписывает и элементы `<w:sym>`; 5 карт по 256 слотов, таблица `SymbolMapper` сгенерирована из docx4j 17.x) → `FieldNormalizer` (`fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple`, вложенные/битые поля пропускает) → `GlyphCoverageNormalizer` (режет ран по покрытию глифов, пишет семейство в `w:rFonts`, иначе FOP рисует «#»; покрытие — `java.awt.Font.canDisplay` + BitSet-кэш, НЕ docx4j `GlyphCheck` — тот плодит INFO-лог; для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (DejaVu Serif/Tinos/Caladea), затем в sans) → `WordprocessingMLPackage.load`.
|
||||
@@ -21,7 +21,7 @@
|
||||
|
||||
- Единственный эндпоинт `POST /api/v1/convert` (multipart-поле `file`, факультативные `renderCharts`/`renderSmartArt` — query или form) → `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка `.docx`-расширения — в `ConvertController`; `safeBaseName` в `ConversionService` — единый источник имени для файла, заголовка ответа и PDF-title (разрешены `[\p{L}\p{N} ._-]`, пустое → `document`).
|
||||
- Конвертации **сериализованы** однопоточным `ThreadPoolExecutor` (`ConversionService.QUEUE_CAPACITY = 16`, переполнение → 503): ядро мутирует глобальный реестр `PhysicalFonts`. `future.cancel(true)` при таймауте не останавливает FOP мгновенно — осознанный компромисс.
|
||||
- Ошибки (`ApiExceptionHandler`, тело `{"error": …}`): `ValidationException` → 400; `ConversionFailedException` → 500; `ConversionRejectedException` → 503; `ConversionTimeoutException` (`wordpdf.convert-timeout`, 2m) → 504; `MaxUploadSizeExceededException` → 413; `MissingServletRequestPartException`/`MissingServletRequestParameterException` → 400; `NoResourceFoundException` (неизвестный путь) → 404; catch-all → 500 (подробности только в лог). `ValidationException` — тип ядра `ru.pjandro.wordpdf.ValidationException extends ConversionException` (публичный), валидатор бросает его сам, app-дубликата нет; три app-исключения (`ConversionFailedException`, `ConversionRejectedException`, `ConversionTimeoutException`) — package-private, несут семантику 500/503/504. `doConvert` перехватывает `ValidationException` раньше `ConversionException` — отказ страницы-лимита из конвейера ядра даёт 400, а не 500. Граница: сломанный контейнер (не zip / размер / страницы) → 400, валидный zip с мусором внутри → 500. Валидация до очереди: `WordPdfValidator.validate(docxBytes, options)` (внутри порядок значим: `checkInput` → zip-магик `PK\x03\x04` → `checkPageCount`); тот же метод — вход ядра.
|
||||
- Ошибки (`ApiExceptionHandler`, тело `{"error": …}`): `ValidationException` → 400; `ConversionFailedException` → 500; `ConversionRejectedException` → 503; `ConversionTimeoutException` (`wordpdf.convert-timeout`, 2m) → 504; `MaxUploadSizeExceededException` → 413; `MissingServletRequestPartException`/`MissingServletRequestParameterException` → 400; `NoResourceFoundException` (неизвестный путь) → 404; catch-all → 500 (подробности только в лог). `ValidationException` — тип ядра `ru.pjandro.wordpdf.ValidationException extends ConversionException` (публичный), валидатор бросает его сам, app-дубликата нет; три app-исключения (`ConversionFailedException`, `ConversionRejectedException`, `ConversionTimeoutException`) — package-private, несут семантику 500/503/504. `doConvert` перехватывает `ValidationException` раньше `ConversionException` — отказ страницы-лимита из конвейера ядра даёт 400, а не 500. Граница: сломанный контейнер (не zip / голый zip без манифеста wordprocessingml / zip-бомба / размер / страницы) → 400 (проверка контейнера), валидный .docx-контейнер с мусором внутри → 500. Валидация до очереди: `WordPdfValidator.validate(docxBytes, options)` (внутри порядок значим: `checkInput` → zip-магик `PK\x03\x04` → `checkDocxContainer` — потоковый проход: декларация `wordprocessingml.document` в `[Content_Types].xml` + лимиты zip-бомбы `WordPdfSettings.MAX_DECOMPRESSED_MB`/`MAX_ZIP_ENTRIES`, не переопределяются `ConvertOptions` — → `checkPageCount`); тот же метод — вход ядра.
|
||||
- **Ключ доступа**: `ApiKeyFilter` сверяет заголовок `X-API-Key` (`ApiKeyFilter.HEADER`) со свойством `wordpdf.api-key` (env `WORDPDF_API_KEY`, сравнение `MessageDigest.isEqual`). Пустое свойство = аутентификация выключена (dev `java -jar`, тесты). Без ключа открыты `/actuator/**` (HEALTHCHECK) и документация springdoc (`/swagger-ui*`, `/v3/api-docs*`) — матч по пути **без forwarded-contextPath** (`getRequestURI()` минус `getContextPath()`; иначе под `X-Forwarded-Prefix` HEALTHCHECK получил бы 401). 401 пишет сам фильтр (`ApiExceptionHandler` ошибок фильтров не видит). Springdoc в проде **включён**, документация открыта без ключа под `https://pjandro.ru/pdf-converter/swagger-ui.html` (server-URL/swagger-config собираются из `X-Forwarded-*`, `server.forward-headers-strategy=framework` — `native`-клапан Tomcat `X-Forwarded-Prefix` не понимает). Регрессии — `ApiKeyFilterTest#forwardedPrefix_healthStaysOpen`, `ApiKeyFilterTest#docsOpenWithoutKey`.
|
||||
- Лимиты входа задаёт **только конфигурация сервера**: `wordpdf.max-mb`/`wordpdf.max-pages` (env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`), `@Value` в `ConvertController` с дефолтом-SpEL из `WordPdfSettings` (5 МБ / 100); значение ≤ 0 → `IllegalStateException` на старте; параметрами запроса не переопределяются. Ключи в `application.properties` **не объявлены** — пустое значение затенит SpEL-дефолт.
|
||||
- SPA: вся сеть в `src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), при 401 очищается, экран `ApiKeyGate` (`UnauthorizedError` — наследник `ApiError`, проверяется раньше); гейт показывается только когда `probeApiKey()` (GET /api/v1/convert → 401 от `ApiKeyFilter`) подтвердил требование ключа — в dev без ключа форма открывается сразу; запросы на `${import.meta.env.BASE_URL}api/...` (vite `base` из `VITE_BASE`, дефолт `/`) — CORS не нужен (dev: vite-proxy → :8080; prod: nginx с префиксом `/pdf-converter/`).
|
||||
@@ -47,7 +47,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|
||||
|
||||
|Путь|Назначение|
|
||||
|---|---|
|
||||
|`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API: `WordPdfConverter`, `WordPdfValidator` (перегрузки `checkInput`/`checkPageCount` — `byte[]`, с лимитом/без, и `validate(byte[], ConvertOptions)` — полная цепочка размер → zip-подпись → страницы; без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `WordPdfSettings` (константы-дефолты), `ConvertOptions` (record: renderCharts, renderSmartArt, maxMb, maxPages)|
|
||||
|`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API: `WordPdfConverter`, `WordPdfValidator` (перегрузки `checkInput`/`checkPageCount` — `byte[]`, с лимитом/без, и `validate(byte[], ConvertOptions)` — полная цепочка размер → zip-подпись → контейнер (.docx-манифест + zip-бомба) → страницы; без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `WordPdfSettings` (константы-дефолты, в т.ч. защитные `MAX_DECOMPRESSED_MB`/`MAX_ZIP_ENTRIES`), `ConvertOptions` (record: renderCharts, renderSmartArt, maxMb, maxPages)|
|
||||
|`…/wordpdf/fonts/`|`BundledFonts` (реестр/выгрузка TTF, `families()`, `FALLBACK_FAMILY`), `BundledFontMapper` (алиасы MS→open-source, self-map, DISPLAY_NAMES, public-хук `bundledFamily`)|
|
||||
|`…/wordpdf/internal/`|5 байтовых нормализатора + `FopFallbackFonts` (классы `public` — вызываются из родительского пакета; публичные члены только `normalize`/`declare`)|
|
||||
|`…/wordpdf/internal/chart/`|11 классов Java2D-рендера диаграмм/SmartArt в PNG (public только `DrawingPreRenderer`)|
|
||||
@@ -59,7 +59,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|
||||
|корневой `.env.example`|шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`; реальный прод `.env` — на прод-сервере (координаты: `/home/pjandro/prod/java-word-pdf/DEPLOY.md`, вне репо)|
|
||||
|`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → `images` (docker build + push в Nexus) → deploy (pull) → autotests → rollback)|
|
||||
|корневой `GITEA-vars.md`|инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений|
|
||||
|корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 19 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_MAX_MB`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 100 стр. (= Gitea Variable `WORDPDF_MAX_PAGES`), ключ из соседнего `.env`)|
|
||||
|корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 20 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_MAX_MB`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 100 стр. (= Gitea Variable `WORDPDF_MAX_PAGES`), ключ из соседнего `.env`)|
|
||||
|`develop/` (вне git)|рабочие материалы и эталоны Word 365 (`word.docx`+`word.pdf`, `word-export.*`, `convert.pdf`, `1212.pdf`, `diff/`) — **ручное сравнение, не фикстуры**, в тесты/jar не подключать|
|
||||
|
||||
## Development Commands
|
||||
@@ -150,11 +150,11 @@ SSH-пользователи/логины, ни хосты, ни директо
|
||||
## Testing & QA
|
||||
|
||||
- Гейт `maven-pmd-plugin` 3.28.0 (PMD 7.17) на `verify` для обоих модулей, ruleset `pmd-ruleset.xml` (codestyle без opinionated-правил + unused-правила + XPath `LiteralFirstInEquals` — строковый литерал слева в `equals`/`equalsIgnoreCase`; `junit5TestPattern` разрешает underscore-имена регрессий; `includeTests=true` — тесты сканируются).
|
||||
- 14 тестовых классов / 132 `@Test` (core 11/107, app 3/25). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true` в argLine; только `Assertions` (Mockito/AssertJ не использовать, несмотря на test-classpath Boot; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`); тестовые классы package-private, зеркалят main-пакеты; только `@Test` (+ единственный `@BeforeAll` — warm-up шрифтов в `GlyphCoverageNormalizerTest`).
|
||||
- 14 тестовых классов / 138 `@Test` (core 11/112, app 3/26). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true` в argLine; только `Assertions` (Mockito/AssertJ не использовать, несмотря на test-classpath Boot; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`); тестовые классы package-private, зеркалят main-пакеты; только `@Test` (+ единственный `@BeforeAll` — warm-up шрифтов в `GlyphCoverageNormalizerTest`).
|
||||
- **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` для текста (пер-странично `setStartPage/setEndPage`), override `processTextPosition` для шрифта конкретного символа (`fontNameOf`), обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`) и счётчика картинок (`imageCount`). Негативные маркеры — регрессии: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`); в `tableImage_tableAndImage` — полное удаление пробелов (docx4j переносит слова в auto-fit таблицах).
|
||||
- Пиксели (BufferedImage) — только в unit-тестах chart-пейнтеров, допуски 6–10% против эталона Word (`PiePainterTest` аспект h/w=0.585, `assertRatio` отклонение <0.06; `Surface3dPainterTest` `assertRange` ±6 pt для центров силуэта + `assertRatio` допуск 0.10 для геометрических отношений; shading — не допуск, а перцентильные коридоры яркости p5∈[0.74,0.90], median∈[0.90,1.10], p95∈[1.02,1.20]).
|
||||
- Фикстуры — закоммиченные `samples/*.docx` (11; в тестах не генерировать): core грузит classpath-ресурсом → `byte[]`, PDF для PDFBox — временный файл; app читает `/samples/…` из **test-jar core** (classifier `tests`) → `mvn -pl wordpdf-app` без `-am` не соберётся. In-memory docx — `ZipOutputStream` из литеральных XML или POI в `byte[]`. Ключевые: `too-many-pages` (150 явных разрывов → 151), `stale-cache` (кэш `<Pages>1</Pages>` + 110 `lastRenderedPageBreak`), `charts-smartart` (4 растра; SmartArt-одиночка = ровно 2 Image XObject).
|
||||
- Юниты нормализаторов работают строками (`rewrite`) + zip'ами из `ZipOutputStream`; обязательные контракты: «нечего менять → тот же массив» (`assertSame` покрыт тестами только у zip-нормализаторов `DocxOnOff`/`SymbolFont`/`StrictOoxml`; у `Field`/`GlyphCoverage` — `rewrite`→`null`) и неприкосновенность частей вне `word/*.xml` (`[Content_Types].xml`). Тесты бьют и в package-private API (`GlyphCoverageNormalizer.split(text, family)`, `ChartSpec.readTitle`).
|
||||
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); три контекста — `ConvertControllerTest` (пустой ключ), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` с лимитами — отдельный класс, не `@Nested`).
|
||||
- Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `StrictOoxmlNormalizerTest`↔`strictOoxml_convertsNotRejected` (+`pageCount_strictBreaksCountedLightweight` — lightweight против strict), `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCount_limitBoundary` 99/100/101, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`, `validate_notAZip`↔`inputNotAZip_rejectedBeforeRender`), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `ChartSpecTest`↔автозаголовки, chart-пейнтеры↔`chartsSmartArt_drawingsBecomeImages` (+`drawingToggles_offRemovesRasters`/`drawingToggles_chartsOffSmartArtOn`); `noLoggingWarningInPdf` — регрессия `slf4j-simple`, `pdfTitle_comesFromParameter` — регрессия PDF-title (юнит-партнёра нет). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed` (гонка реестра `PhysicalFonts`), `corruptNotAZip_rejected`, `junkInsideValidZip_conversionError`, `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `renderFlagsOff_convertsWithoutDrawings`, `cyrillicAndPathInFilename_sanitizedResponseName` (RFC 5987 + path-traversal), `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey` (открытая документация + матч фильтра без forwarded-contextPath).
|
||||
- Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `StrictOoxmlNormalizerTest`↔`strictOoxml_convertsNotRejected` (+`pageCount_strictBreaksCountedLightweight` — lightweight против strict), `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCount_limitBoundary` 99/100/101, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`, `validate_notAZip`↔`inputNotAZip_rejectedBeforeRender`, `validate_plainZipRejected`/`validate_xlsxRenamedRejected`/`validate_zipBombRejected`/`validate_tooManyEntriesRejected`↔`plainZipNotDocx_rejected`/`inputNotDocx_rejectedBeforeRender` — контейнер и zip-бомба), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `ChartSpecTest`↔автозаголовки, chart-пейнтеры↔`chartsSmartArt_drawingsBecomeImages` (+`drawingToggles_offRemovesRasters`/`drawingToggles_chartsOffSmartArtOn`); `noLoggingWarningInPdf` — регрессия `slf4j-simple`, `pdfTitle_comesFromParameter` — регрессия PDF-title (юнит-партнёра нет). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed` (гонка реестра `PhysicalFonts`), `corruptNotAZip_rejected`, `plainZipNotDocx_rejected` (голый zip без манифеста → 400), `junkInsideValidZip_conversionError` (500 на валидном .docx-контейнере с мусором), `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `renderFlagsOff_convertsWithoutDrawings`, `cyrillicAndPathInFilename_sanitizedResponseName` (RFC 5987 + path-traversal), `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey` (открытая документация + матч фильтра без forwarded-contextPath).
|
||||
- UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn).
|
||||
|
||||
@@ -196,6 +196,21 @@ def test_not_a_zip_rejected(url, notzip_docx, key_header):
|
||||
assert "error" in r.json()
|
||||
|
||||
|
||||
@needs_key
|
||||
def test_plain_zip_not_docx_rejected(url, key_header):
|
||||
"""Граница «не .docx → 400»: валидный zip без манифеста wordprocessingml под .docx-суффиксом."""
|
||||
buf = io.BytesIO()
|
||||
with zipfile.ZipFile(buf, "w") as z:
|
||||
z.writestr("hello.txt", "не документ")
|
||||
r = requests.post(
|
||||
url(CONVERT),
|
||||
headers=key_header,
|
||||
files={"file": ("archive.docx", buf.getvalue())},
|
||||
timeout=TIMEOUT,
|
||||
)
|
||||
assert r.status_code == 400
|
||||
assert "не является .docx" in r.json()["error"]
|
||||
|
||||
@needs_key
|
||||
def test_wrong_extension_rejected(url, samples, key_header):
|
||||
"""Расширение проверяет контроллер (ядро байтов его не видит) — регрессия nonDocxFilename_rejected."""
|
||||
|
||||
@@ -94,8 +94,8 @@ class ConvertControllerTest {
|
||||
return count;
|
||||
}
|
||||
|
||||
/** Валидный zip с одной мусорной записью (не OPC-пакет). */
|
||||
private static byte[] zipWithGarbage() throws IOException {
|
||||
/** Валидный zip, не .docx: без манифеста [Content_Types].xml (не OPC-пакет). */
|
||||
private static byte[] plainZipWithGarbage() throws IOException {
|
||||
ByteArrayOutputStream bos = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zout = new ZipOutputStream(bos)) {
|
||||
zout.putNextEntry(new ZipEntry("garbage.txt"));
|
||||
@@ -105,6 +105,36 @@ class ConvertControllerTest {
|
||||
return bos.toByteArray();
|
||||
}
|
||||
|
||||
/**
|
||||
* .docx-контейнер (манифест декларирует документ wordprocessingml) с
|
||||
* битым пакетом внутри: нет {@code _rels/.rels} — docx4j не находит
|
||||
* основную часть документа, отказ на стадии конвертации.
|
||||
*/
|
||||
private static byte[] docxPackageWithGarbage() throws IOException {
|
||||
ByteArrayOutputStream bos = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zout = new ZipOutputStream(bos)) {
|
||||
putZipEntry(zout, "[Content_Types].xml",
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
|
||||
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
|
||||
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
|
||||
+ "<Override PartName=\"/word/document.xml\""
|
||||
+ " ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document\"/>"
|
||||
+ "</Types>");
|
||||
putZipEntry(zout, "word/document.xml",
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
|
||||
+ "<w:document xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\">"
|
||||
+ "<w:body><w:p/></w:body></w:document>");
|
||||
}
|
||||
return bos.toByteArray();
|
||||
}
|
||||
|
||||
private static void putZipEntry(ZipOutputStream zout, String name, String content)
|
||||
throws IOException {
|
||||
zout.putNextEntry(new ZipEntry(name));
|
||||
zout.write(content.getBytes(StandardCharsets.UTF_8));
|
||||
zout.closeEntry();
|
||||
}
|
||||
|
||||
@Test
|
||||
void convertSample_returnsPdf() throws Exception {
|
||||
MvcResult result = mockMvc.perform(multipart("/api/v1/convert")
|
||||
@@ -336,12 +366,28 @@ class ConvertControllerTest {
|
||||
org.hamcrest.Matchers.containsString("не zip-архив")));
|
||||
}
|
||||
|
||||
/**
|
||||
* Валидный zip, не .docx (в манифесте нет декларации wordprocessingml) —
|
||||
* 400, а не 500: контейнер отсекает валидатор до очереди и docx4j.
|
||||
* Регрессия — WordPdfValidatorTest#validate_plainZipRejected.
|
||||
*/
|
||||
@Test
|
||||
void plainZipNotDocx_rejected() throws Exception {
|
||||
mockMvc.perform(multipart("/api/v1/convert")
|
||||
.file(docx("archive.docx", plainZipWithGarbage())))
|
||||
.andExpect(status().isBadRequest())
|
||||
.andExpect(jsonPath("$.error",
|
||||
org.hamcrest.Matchers.containsString("не является .docx")));
|
||||
}
|
||||
|
||||
@Test
|
||||
void junkInsideValidZip_conversionError() throws Exception {
|
||||
// контейнер целый (валидный zip), мусор внутри — это ошибка
|
||||
// преобразования (500), а не валидации (400)
|
||||
// контейнер — .docx (манифест декларирует документ wordprocessingml),
|
||||
// битый пакет внутри — ошибка преобразования (500), а не валидации
|
||||
// (400); голый zip без манифеста теперь 400 — проверка контейнера
|
||||
// (plainZipNotDocx_rejected)
|
||||
mockMvc.perform(multipart("/api/v1/convert")
|
||||
.file(docx("bad.docx", zipWithGarbage())))
|
||||
.file(docx("bad.docx", docxPackageWithGarbage())))
|
||||
.andExpect(status().isInternalServerError())
|
||||
.andExpect(jsonPath("$.error",
|
||||
org.hamcrest.Matchers.containsString("Не удалось конвертировать")));
|
||||
|
||||
@@ -15,6 +15,12 @@ public final class WordPdfSettings {
|
||||
/** Документ длиннее — ошибка (дефолт). */
|
||||
public static final int MAX_PAGES = 100;
|
||||
|
||||
/** Потолок суммарного распакованного размера архива (МБ) — защита от zip-бомбы. */
|
||||
public static final long MAX_DECOMPRESSED_MB = 200;
|
||||
|
||||
/** Потолок числа записей в архиве — защита от бомбы «много записей». */
|
||||
public static final int MAX_ZIP_ENTRIES = 8192;
|
||||
|
||||
/**
|
||||
* Генерация диаграмм (c:chart → PNG, chart-движок). {@code false} — диаграммы
|
||||
* не рендерятся и остаются в docx, откуда docx2fo выбрасывает их молча,
|
||||
|
||||
@@ -4,8 +4,10 @@ import javax.xml.stream.XMLInputFactory;
|
||||
import javax.xml.stream.XMLStreamException;
|
||||
import javax.xml.stream.XMLStreamReader;
|
||||
import java.io.ByteArrayInputStream;
|
||||
import java.io.ByteArrayOutputStream;
|
||||
import java.io.IOException;
|
||||
import java.io.InputStream;
|
||||
import java.nio.charset.StandardCharsets;
|
||||
import java.util.ArrayDeque;
|
||||
import java.util.ArrayList;
|
||||
import java.util.Deque;
|
||||
@@ -15,7 +17,8 @@ import java.util.zip.ZipInputStream;
|
||||
|
||||
/**
|
||||
* Валидатор ограничений на входной .docx:
|
||||
* размер входа и число страниц.
|
||||
* размер входа, корректность контейнера (.docx-манифест, защита от
|
||||
* zip-бомбы) и число страниц.
|
||||
*
|
||||
* <p>Вход валидатора — только {@code byte[]}: файловых проверок нет,
|
||||
* работа с файлами — забота вызывающего (приложения).
|
||||
@@ -27,10 +30,20 @@ import java.util.zip.ZipInputStream;
|
||||
* <p>Лимиты по умолчанию:
|
||||
* <ul>
|
||||
* <li>{@link WordPdfSettings#MAX_INPUT_MB} — максимальный размер входного .docx (МБ);</li>
|
||||
* <li>{@link WordPdfSettings#MAX_PAGES} — максимально допустимое число страниц.</li>
|
||||
* <li>{@link WordPdfSettings#MAX_PAGES} — максимально допустимое число страниц;</li>
|
||||
* <li>{@link WordPdfSettings#MAX_DECOMPRESSED_MB} — потолок суммарного
|
||||
* распакованного размера архива (МБ);</li>
|
||||
* <li>{@link WordPdfSettings#MAX_ZIP_ENTRIES} — потолок числа записей
|
||||
* в архиве.</li>
|
||||
* </ul>
|
||||
* Оба переопределяются на вызов: перегрузками с явным лимитом или
|
||||
* Первые два переопределяются на вызов: перегрузками с явным лимитом или
|
||||
* {@link ConvertOptions} (конвертер {@link WordPdfConverter} применяет их сам).
|
||||
* Последние два — защитные константные пороги ({@link #validate(byte[], ConvertOptions)}),
|
||||
* {@link ConvertOptions} их не переопределяет.
|
||||
*
|
||||
* <p>Проверка контейнера: архив обязан декларировать документ
|
||||
* wordprocessingml в {@code [Content_Types].xml} — иначе это не .docx
|
||||
* (обычный zip, переименованный .xlsx/.pptx).
|
||||
*
|
||||
* <p>Число страниц берётся из самого .docx как максимум трёх нижних
|
||||
* оценок: кэша Word в {@code docProps/app.xml} ({@code <Pages>}),
|
||||
@@ -102,8 +115,10 @@ public final class WordPdfValidator {
|
||||
*
|
||||
* <p>Не-zip байты не отвергаются: {@code ZipInputStream} доходит до EOF
|
||||
* без единой записи — молча, оценка «1 страница». Корректность контейнера
|
||||
* по zip-подписи проверяет {@link #validate(byte[], ConvertOptions)}
|
||||
* (регрессия — {@code WordPdfValidatorTest#validate_notAZip}).
|
||||
* проверяет {@link #validate(byte[], ConvertOptions)}: zip-подпись,
|
||||
* .docx-манифест и распакованный размер (регрессия —
|
||||
* {@code WordPdfValidatorTest#validate_notAZip}); поэтому вызывать
|
||||
* {@code checkPageCount} напрямую допустимо только над доверенным входом.
|
||||
* @throws ValidationException при {@code null}, ошибке разбора zip или превышении {@link WordPdfSettings#MAX_PAGES}
|
||||
*/
|
||||
public static void checkPageCount(byte[] docxBytes) throws ValidationException {
|
||||
@@ -149,7 +164,8 @@ public final class WordPdfValidator {
|
||||
}
|
||||
|
||||
/**
|
||||
* Полная проверка входа: размер → zip-подпись → число страниц. Порядок
|
||||
* Полная проверка входа: размер → zip-подпись → контейнер (.docx +
|
||||
* zip-бомба) → число страниц. Порядок
|
||||
* значим: размер — дешёвая, разбор zip без подписи бессмысленен. Лимиты
|
||||
* берутся из {@link ConvertOptions} (переопределение на вызов, см.
|
||||
* {@link ConvertOptions#maxMb()}, {@link ConvertOptions#maxPages()}).
|
||||
@@ -161,8 +177,19 @@ public final class WordPdfValidator {
|
||||
* {@code WordPdfValidatorTest#validate_notAZip} (на HTTP-границе —
|
||||
* {@code ConvertControllerTest#corruptNotAZip_rejected}).</p>
|
||||
*
|
||||
* <p>Проверка контейнера: в {@code [Content_Types].xml} обязана быть
|
||||
* декларация документа wordprocessingml (архив без неё — не .docx);
|
||||
* zip-бомба отсекается потоковым счётчиком распакованных байт
|
||||
* ({@link WordPdfSettings#MAX_DECOMPRESSED_MB}) и числом записей
|
||||
* ({@link WordPdfSettings#MAX_ZIP_ENTRIES}) — до загрузки содержимого
|
||||
* в память в {@link #checkPageCount(byte[], int)}. Оба лимита —
|
||||
* защитные пороги, {@link ConvertOptions} их не переопределяет.
|
||||
* Регрессии — {@code WordPdfValidatorTest#validate_plainZipRejected},
|
||||
* {@code #validate_xlsxRenamedRejected}, {@code #validate_zipBombRejected},
|
||||
* {@code #validate_tooManyEntriesRejected}.</p>
|
||||
* @throws ValidationException при {@code null}, превышении {@code options.maxMb()},
|
||||
* отсутствии zip-подписи, ошибке разбора zip или превышении {@code options.maxPages()}
|
||||
* отсутствии zip-подписи, не-.docx-контейнере, признаках zip-бомбы,
|
||||
* ошибке разбора zip или превышении {@code options.maxPages()}
|
||||
*/
|
||||
public static void validate(byte[] docxBytes, ConvertOptions options) throws ValidationException {
|
||||
checkInput(docxBytes, options.maxMb());
|
||||
@@ -170,9 +197,82 @@ public final class WordPdfValidator {
|
||||
|| (docxBytes[2] & 0xFF) != 0x03 || (docxBytes[3] & 0xFF) != 0x04) {
|
||||
throw new ValidationException("Содержимое не похоже на .docx (не zip-архив)");
|
||||
}
|
||||
checkDocxContainer(docxBytes);
|
||||
checkPageCount(docxBytes, options.maxPages());
|
||||
}
|
||||
|
||||
/**
|
||||
* Один потоковый проход по zip: суммарный распакованный размер и число
|
||||
* записей (защита от zip-бомбы — отсечение ДО {@code readAllBytes}
|
||||
* в {@link #checkPageCount(byte[], int)}) и наличие в
|
||||
* {@code [Content_Types].xml} декларации документа wordprocessingml
|
||||
* (архив без неё — не .docx: обычный zip, переименованный .xlsx/.pptx).
|
||||
*/
|
||||
private static void checkDocxContainer(byte[] docxBytes) throws ValidationException {
|
||||
long maxTotal = WordPdfSettings.MAX_DECOMPRESSED_MB * 1024 * 1024;
|
||||
long total = 0;
|
||||
int entries = 0;
|
||||
ByteArrayOutputStream ctBuf = new ByteArrayOutputStream();
|
||||
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docxBytes))) {
|
||||
ZipEntry entry;
|
||||
while ((entry = zip.getNextEntry()) != null) {
|
||||
if (!entry.isDirectory()) {
|
||||
entries++;
|
||||
if (entries > WordPdfSettings.MAX_ZIP_ENTRIES) {
|
||||
throw new ValidationException("Слишком много записей в архиве: больше "
|
||||
+ WordPdfSettings.MAX_ZIP_ENTRIES);
|
||||
}
|
||||
}
|
||||
boolean isCt = "[Content_Types].xml".equals(entry.getName());
|
||||
byte[] buf = new byte[8192];
|
||||
int n;
|
||||
while ((n = zip.read(buf)) > 0) {
|
||||
total += n;
|
||||
if (total > maxTotal) {
|
||||
throw new ValidationException("Распакованный размер архива больше "
|
||||
+ WordPdfSettings.MAX_DECOMPRESSED_MB + " МБ (признак zip-бомбы)");
|
||||
}
|
||||
if (isCt) {
|
||||
if (ctBuf.size() + n > 8 * 1024 * 1024) {
|
||||
throw new ValidationException(
|
||||
"Слишком большой [Content_Types].xml: больше 8 МБ");
|
||||
}
|
||||
ctBuf.write(buf, 0, n);
|
||||
}
|
||||
}
|
||||
}
|
||||
} catch (ValidationException e) {
|
||||
throw e;
|
||||
} catch (IOException | RuntimeException e) {
|
||||
throw new ValidationException("Не удалось разобрать байты .docx", e);
|
||||
}
|
||||
// Маркер — подстрока content-type части документа
|
||||
// (application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml):
|
||||
// URI пространства имён wml в [Content_Types].xml не появляется ни у
|
||||
// одного генератора (Word/POI/docx4j пишут только content-type), а в
|
||||
// манифестах .xlsx/.pptx стоит spreadsheetml/presentationml — не матчится.
|
||||
String marker = "wordprocessingml.document";
|
||||
if (!containsAscii(ctBuf.toByteArray(), marker)) {
|
||||
throw new ValidationException("Архив не является .docx: в [Content_Types].xml нет "
|
||||
+ "декларации документа wordprocessingml");
|
||||
}
|
||||
}
|
||||
|
||||
/** Поиск байтов ASCII-строки в массиве (манифест ограничен 8 МБ — наивного поиска достаточно). */
|
||||
private static boolean containsAscii(byte[] data, String needle) {
|
||||
byte[] pat = needle.getBytes(StandardCharsets.UTF_8);
|
||||
outer:
|
||||
for (int i = 0; i + pat.length <= data.length; i++) {
|
||||
for (int j = 0; j < pat.length; j++) {
|
||||
if (data[i + j] != pat[j]) {
|
||||
continue outer;
|
||||
}
|
||||
}
|
||||
return true;
|
||||
}
|
||||
return false;
|
||||
}
|
||||
|
||||
/** Поставщик потока по имени части zip; null — части нет. */
|
||||
private interface PartStream {
|
||||
InputStream open(String name) throws IOException;
|
||||
|
||||
@@ -463,6 +463,25 @@ class WordPdfConverterTest {
|
||||
"сообщение должно упоминать zip-подпись: " + ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
* Валидный zip без манифеста wordprocessingml — отказ как некорректный
|
||||
* вход (ValidationException) до рендера, а не ошибка загрузки docx4j.
|
||||
* Регрессия — WordPdfValidatorTest#validate_plainZipRejected.
|
||||
*/
|
||||
@Test
|
||||
void inputNotDocx_rejectedBeforeRender() throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
zos.putNextEntry(new ZipEntry("hello.txt"));
|
||||
zos.write("не документ".getBytes(StandardCharsets.UTF_8));
|
||||
zos.closeEntry();
|
||||
}
|
||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||
WordPdfConverter.convert(out.toByteArray(), "x"));
|
||||
assertTrue(ex.getMessage().contains("не является .docx"),
|
||||
"сообщение должно указывать на не-.docx-контейнер: " + ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
* Лимит размера переопределяется {@link ConvertOptions} на вызов:
|
||||
* maxMb=1 отсекает вход больше 1 MiB до рендера, сообщение содержит
|
||||
|
||||
@@ -1,5 +1,6 @@
|
||||
package ru.pjandro.wordpdf;
|
||||
|
||||
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
|
||||
import org.apache.poi.xwpf.usermodel.BreakType;
|
||||
import org.apache.poi.xwpf.usermodel.XWPFDocument;
|
||||
import org.apache.poi.xwpf.usermodel.XWPFParagraph;
|
||||
@@ -284,6 +285,92 @@ class WordPdfValidatorTest {
|
||||
"сообщение должно упоминать zip-подпись: " + ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
* Валидный zip, не являющийся .docx (в {@code [Content_Types].xml} нет
|
||||
* декларации wordprocessingml), отвергается валидацией — а не доходит
|
||||
* до загрузки docx4j. Регрессия — WordPdfValidator#checkDocxContainer
|
||||
* (на HTTP-границе — {@code ConvertControllerTest#plainZipNotDocx_rejected}).
|
||||
*/
|
||||
@Test
|
||||
void validate_plainZipRejected() throws Exception {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
zos.putNextEntry(new ZipEntry("hello.txt"));
|
||||
zos.write("не документ".getBytes(StandardCharsets.UTF_8));
|
||||
zos.closeEntry();
|
||||
}
|
||||
byte[] zip = out.toByteArray();
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
|
||||
assertTrue(ex.getMessage().contains("не является .docx"),
|
||||
"zip без манифеста wordprocessingml — не .docx: " + ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
* .xlsx под .docx-суффиксом: манифест xlsx декларирует spreadsheetml,
|
||||
* не wordprocessingml — отказ как не-.docx, а не 500 на загрузке docx4j.
|
||||
* Регрессия — WordPdfValidator#checkDocxContainer.
|
||||
*/
|
||||
@Test
|
||||
void validate_xlsxRenamedRejected() throws Exception {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
try (XSSFWorkbook wb = new XSSFWorkbook()) {
|
||||
wb.createSheet("S1");
|
||||
wb.write(out);
|
||||
}
|
||||
byte[] xlsx = out.toByteArray();
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(xlsx, ConvertOptions.defaults()));
|
||||
assertTrue(ex.getMessage().contains("не является .docx"),
|
||||
"манифест xlsx — spreadsheetml: " + ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
* Zip-бомба: распакованный суммарный размер больше
|
||||
* {@link WordPdfSettings#MAX_DECOMPRESSED_MB} отсекается потоково — до
|
||||
* {@code readAllBytes} в {@code checkPageCount} (без проверки валидатор
|
||||
* прочитал бы 200+ МБ в память). Регрессия — WordPdfValidator#checkDocxContainer.
|
||||
*/
|
||||
@Test
|
||||
void validate_zipBombRejected() throws Exception {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
zos.putNextEntry(new ZipEntry("word/document.xml"));
|
||||
zos.write(new byte[1024]);
|
||||
zos.closeEntry();
|
||||
zos.putNextEntry(new ZipEntry("bomb.bin"));
|
||||
zos.write(new byte[(int) (WordPdfSettings.MAX_DECOMPRESSED_MB * 1024 * 1024) + 1]);
|
||||
zos.closeEntry();
|
||||
}
|
||||
byte[] zip = out.toByteArray();
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
|
||||
assertTrue(ex.getMessage().contains("zip-бомбы"), ex.getMessage());
|
||||
assertTrue(ex.getMessage().contains(String.valueOf(WordPdfSettings.MAX_DECOMPRESSED_MB)),
|
||||
"сообщение должно упоминать лимит: " + ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
* Бомба «много записей»: больше {@link WordPdfSettings#MAX_ZIP_ENTRIES}
|
||||
* записей отвергаются до разбора содержимого.
|
||||
* Регрессия — WordPdfValidator#checkDocxContainer.
|
||||
*/
|
||||
@Test
|
||||
void validate_tooManyEntriesRejected() throws Exception {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
for (int i = 0; i <= WordPdfSettings.MAX_ZIP_ENTRIES; i++) {
|
||||
zos.putNextEntry(new ZipEntry("e" + i + ".txt"));
|
||||
zos.write(new byte[] {1});
|
||||
zos.closeEntry();
|
||||
}
|
||||
}
|
||||
byte[] zip = out.toByteArray();
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
|
||||
assertTrue(ex.getMessage().contains("записей"), ex.getMessage());
|
||||
}
|
||||
|
||||
@Test
|
||||
void validate_tooManyPages() throws Exception {
|
||||
byte[] bytes = docxWithPageBreaks(120);
|
||||
|
||||
Reference in New Issue
Block a user