Аудит безопасности: OOM-гейты входа, потокобезопасность, периметр #99

Merged
pjandro merged 7 commits from audit-security-memory-threading into main 2026-11-08 23:38:05 +03:00
23 changed files with 375 additions and 362 deletions
Showing only changes of commit af5d09e001 - Show all commits
+4 -4
View File
@@ -8,7 +8,7 @@
| Модуль | Содержимое |
|---|---|
| `wordpdf-core` | библиотека: 62 Java-файла (7 — публичный API, 16 `internal/`, 18 `internal/doc/`, 18 `internal/chart/`, 3 `fonts/`) |
|`wordpdf-core`|библиотека: 61 Java-файл (6 — публичный API, 16 `internal/`, 18 `internal/doc/`, 18 `internal/chart/`, 3 `fonts/`)|
| `wordpdf-app` | REST API на Spring Boot 4.1.1: 11 классов, единственный `public` — `WordPdfApplication` |
| `wordpdf-web` | SPA (React 19 + TS + Vite + Tailwind), вне Maven-реактора, отдельный образ |
@@ -30,12 +30,12 @@
## REST API (`wordpdf-app`, всё package-private кроме `WordPdfApplication`)
`POST /api/v1/convert`: multipart-поле `file` (`.docx`/`.doc`) + query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолты — `WordPdfSettings.ERROR_ON_*`). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`; имя — `ConversionService.safeBaseName`. Тело ошибки — `{"error": …}`. Error-флаги на `.doc` **не срабатывают** (BLIP-плейсхолдеры → картинки). `ApiExceptionHandler` не видит ошибок фильтров — 401 пишет сам `ApiKeyFilter`.
`POST /api/v1/convert`: multipart-поле `file` (`.docx`/`.doc`) + query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолт каждого — `false`), `maxMb`/`maxPages` (лимиты входа: переопределяют серверный дефолт в обе стороны; ≤ 0 → 400). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`; имя — `ConversionService.safeBaseName`. Тело ошибки — `{"error": …}`. Error-флаги на `.doc` **не срабатывают** (BLIP-плейсхолдеры → картинки). `ApiExceptionHandler` не видит ошибок фильтров — 401 пишет сам `ApiKeyFilter`.
- **Коды**: 400 — `ValidationException`/`BadRequestException`/битые параметры; 401 — `ApiKeyFilter`; 404/405/415 — путь/метод/content-type; 413 — multipart; **422** — `DrawingRejectedException` (core-`DrawingFoundException`, `Kind {CHARTS, SMARTART, OLE}`); 500/503/504 — `ConversionFailedException`/`ConversionRejectedException`/`ConversionTimeoutException`. 500 отвечает фиксированный текст («Внутренняя ошибка конвертации») — сообщение ядра логируется, наружу не попадает. Полная карта — `docs/agent/repo-map.md`.
- **Текст 422** — контракт с фронтом: «Конвертация отменена: в документе найдены диаграммы/найден SmartArt/найдены OLE-объекты».
- **Ключ**: `X-API-Key` ↔ `wordpdf.api-key` (пустое = выключено); без ключа открыты только `OPEN_PREFIXES` (`/actuator/`, `/swagger-ui`, `/v3/api-docs`), пути с точечными сегментами — никогда.
- **Очередь и лимиты**: конвертации сериализованы однопоточным `ThreadPoolExecutor` (`QUEUE_CAPACITY = 16`, переполнение → 503): ядро дополнительно сериализует конвертации монитором `WordPdfConverter.class` (`convert()` безопасен из нескольких потоков); головой очереди на старте стоит `warmup()`. До очереди — только дешёвый гейт размера (`WordPdfValidator.checkInput` на потоке Tomcat); полный `validate` (контейнер/страницы — бюджет распаковки считается из лимитов входа `maxMb`/`maxPages`, крышки 64/32 МБ) выполняется внутри воркера ядром, `ValidationException` из `ExecutionException` пробрасывается как 400. Лимиты входа — только конфигурация сервера (`wordpdf.max-mb`/`max-pages`, дефолты из `WordPdfSettings`; ≤ 0 → `IllegalStateException`; параметрами запроса не переопределяются).
- **Очередь и лимиты**: конвертации сериализованы однопоточным `ThreadPoolExecutor` (`QUEUE_CAPACITY = 16`, переполнение → 503): ядро дополнительно сериализует конвертации монитором `WordPdfConverter.class` (`convert()` безопасен из нескольких потоков); головой очереди на старте стоит `warmup()`. До очереди — только дешёвый гейт размера (`WordPdfValidator.checkInput` на потоке Tomcat); полный `validate` (контейнер/страницы — бюджеты распаковки и прочие пороги выводятся из лимитов входа `maxMb`/`maxPages` методом `WordPdfValidator.max*`, крышек нет) выполняется внутри воркера ядром, `ValidationException` из `ExecutionException` пробрасывается как 400. Лимиты входа: `wordpdf.max-mb`/`max-pages` — дефолт эндпоинта (литералы 5/100 в `@Value`; значение свойства ≤ 0 → `IllegalStateException` на старте); параметры запроса `maxMb`/`maxPages` переопределяют дефолт в обе стороны (≤ 0 → 400), верхнего потолка нет.
- **SPA**: вся сеть в `wordpdf-web/src/api.ts`; ключ в `localStorage` (`wordpdf.api.key`); `ApiKeyGate` — только если `probeApiKey()` подтвердил требование ключа (признак открытого сервера — **405**); base — `VITE_BASE`; DropZone `.docx,.doc`.
## Chart/SmartArt-движок (`internal/chart`, 18 классов)
@@ -93,7 +93,7 @@ python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources
- Ошибки публичного API — только `ConversionException extends RuntimeException` (unchecked); внутренние исключения оборачиваются на границе. В chart — деградация вместо падения. `ValidationException` — собственность `WordPdfValidator`; не оборачивать в общий `ConversionException`.
- DI в `wordpdf-app` — конструкторная инъекция Spring; состояние сервисов `private final`. SPA: единственный источник состояния — `useState` в `App.tsx`, вся сеть — в `api.ts`.
- Javadoc на русском, объясняет «почему» и ссылается на регрессию и фикстуру (формат: `Регрессия — WordPdfConverterTest#имя, фикстура samples/….docx`).
- Константы UPPER_SNAKE с эталонными значениями (`PIE_DEPTH`, `MAX_PAGES`); начертания `V_REGULAR/V_BOLD/V_ITALIC/V_BOLD_ITALIC`; модели — `record`; размеры в chart — в пунктах, растр × `DPI/72`.
- Константы UPPER_SNAKE с эталонными значениями (`PIE_DEPTH`, `DECOMPRESS_MB_PER_MAX_MB`); начертания `V_REGULAR/V_BOLD/V_ITALIC/V_BOLD_ITALIC`; модели — `record`; размеры в chart — в пунктах, растр × `DPI/72`.
- Логирование: `java.util.logging.Logger` в корневом пакете и `internal/`, SLF4J — в `internal/chart` и `wordpdf-app`.
- Тестовые методы: регрессионные — `объект_условие` через underscore (`ruPlain_cyrillicAndStyles`), юниты — camelCase (`pageFieldBecomesFldSimple`); оба стиля разрешает PMD-паттерн `junit5TestPattern` (`^[a-z][a-zA-Z0-9]*(_[a-zA-Z0-9]+)*$`).
- PMD (`pmd-ruleset.xml`, execution `pmd-check` на `verify` в обоих модулях, `includeTests=true`, валится нарушение любой приоритетности): полные исключения категории, кастомное XPath-правило `LiteralFirstInEquals` и настройки — в самом ruleset.
+8 -6
View File
@@ -35,9 +35,9 @@ java-word-pdf/
|Класс|Назначение|
|---|---|
|`ru.pjandro.wordpdf.WordPdfConverter`|публичный API: `convert(byte[], String[, ConvertOptions])` — .docx/.doc по сигнатуре байтов, байты PDF на выходе; `warmup()` — прогрев ядра|
|`ru.pjandro.wordpdf.WordPdfConverter`|публичный API: `convert(byte[], String, ConvertOptions)` — .docx/.doc по сигнатуре байтов, байты PDF на выходе; `warmup()` — прогрев ядра|
|`ru.pjandro.wordpdf.WordPdfValidator`|валидация входа и lightweight-оценка страниц без рендера (`checkInput`/`checkPageCount`/`checkPageCountDoc`/`isBinaryDoc`/`validate`)|
|`ru.pjandro.wordpdf.ConvertOptions`|опции конвертации (record `errorOnCharts, errorOnSmartArt, errorOnOle, maxMb, maxPages`; `ConvertOptions.defaults()`)|
|`ru.pjandro.wordpdf.ConvertOptions`|опции конвертации (record `errorOnCharts, errorOnSmartArt, errorOnOle, maxMb, maxPages`); дефолтов в ядре нет — значения задаёт вызывающий|
|`ru.pjandro.wordpdf.ConversionException`|ошибки конвертации; подтипы `ValidationException` (некорректный вход) и `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`)|
|`ru.pjandro.wordpdf.fonts.BundledFonts`|выгрузка TTF из jar и регистрация в docx4j|
|`ru.pjandro.wordpdf.fonts.BundledFontMapper`|маппинг имён шрифтов документа → TTF|
@@ -128,14 +128,16 @@ dev-стенд). Без ключа открыты `/actuator/`, `/swagger-ui`, `
конвертацию с 422. Диаграммы/SmartArt конвертируются в растры всегда; OLE-объекты
при `errorOnOle=false` тихо удаляются.
**Лимиты входа** задаёт только конфигурация сервера: `wordpdf.max-mb`/`wordpdf.max-pages`
(env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`, дефолты 5 МБ / 100 страниц); параметрами
запроса не переопределяются.
**Лимиты входа**: свойства `wordpdf.max-mb`/`wordpdf.max-pages`
(env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`, дефолты 5 МБ / 100 страниц) —
дефолт эндпоинта; query/form-параметры `maxMb`/`maxPages` переопределяют его
в обе стороны (значения ≤ 0 → 400). Остальные пороги (распаковка архива,
XML-части, площади растров, число записей zip) выводятся из лимитов входа.
|Код|Смысл|
|---|---|
|200|PDF в теле ответа|
|400|некорректный вход (пустой / расширение не .docx/.doc / содержимое не zip и не CFB / зашифрованный .doc / больше `wordpdf.max-mb` / больше `wordpdf.max-pages` страниц), отсутствующая часть `file`, некорректное значение error-флага|
|400|некорректный вход (пустой / расширение не .docx/.doc / содержимое не zip и не CFB / зашифрованный .doc / больше лимита размера (`maxMb` или `wordpdf.max-mb`) / больше лимита страниц (`maxPages` или `wordpdf.max-pages`) / `maxMb`≤0 / `maxPages`≤0), отсутствующая часть `file`, некорректное значение error-флага|
|401|нет или неверен `X-API-Key`|
|404|неизвестный путь (в т.ч. `/v3/api-docs` при выключенном springdoc)|
|405|не-POST|
+4 -4
View File
@@ -4,7 +4,7 @@
| Путь | Назначение |
|---|---|
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String[,ConvertOptions])`), `WordPdfValidator` (`checkInput`/`checkPageCount`/`validate` — без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`), `WordPdfSettings` (`MAX_INPUT_MB=5`, `MAX_PAGES=100`, крышки автобюджетов распаковки `MAX_DECOMPRESSED_MB=64`/`MAX_DECOMPRESSED_XML_MB=32` — сами бюджеты считает `WordPdfValidator.maxDecompressed*` из `maxMb`/`maxPages`, коэффициенты в `WordPdfConverter.DECOMPRESS_*`; защитные `MAX_IMAGE_PIXELS=25_000_000`/`MAX_ZIP_ENTRIES=8192`, `ERROR_ON_*=false`), `ConvertOptions` (record) |
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String,ConvertOptions)`), `WordPdfValidator` (`checkInput`/`checkPageCount`/`checkPageCountDoc`/`validate` — без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`), `ConvertOptions` (record; дефолтов в ядре нет). Пороги защиты — производные от лимитов входа: `WordPdfValidator.maxDecompressedBytes`/`maxDecompressedXmlBytes` (`max(MIN_*×MiB, maxMb×10/4MiB + maxPages×64/32KiB)`, крышек нет), `maxZipEntries` (`max(2048, maxMb×512 + maxPages×32)`), `maxImagePixels` (`maxMb×5_000_000`); коэффициенты и полы — package-private литералы `WordPdfConverter` (`DECOMPRESS_*`, `MIN_DECOMPRESSED_*`, `IMAGE_PIXELS_PER_MAX_MB`, `ZIP_ENTRIES_*`, javac их инлайнит — валидатор не инициализирует конвертер) |
| `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontMapper` (алиасы, self-map, `DISPLAY_NAMES`, `bundledFamily`), `GlyphFont` (глиф-движок fontbox) |
| `…/wordpdf/internal/` | 11 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–10, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы `public` (иначе родительский пакет не вызвал бы), публичные члены наружу только `normalize`/`STEP`/`declare`/`DependencyGuard.check`/`LayoutPostRenderer.register`; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `DrawingFoundException(OLE)` |
| `…/wordpdf/internal/doc/` | Мост `.doc` → `.docx`: 18 классов (детали — `docs/agent/doc-bridge.md`) — `CfbReader`, `FibHeader`, `PieceTable`, `Grpprl`, `ChpxIndex`, `PapxIndex`, `Styles`, `Tables`, `Lists`, `Sections`, `FontTable`, `SummaryInfo`, `Headers`, `OfficeArt`, `PrcData`, `DocFile`, `DocxWriter`, `DocToDocx` (публичные `convert`/`countPages`; вложенный `DocxBody` — рендер текста и табличного автомата в XML) |
@@ -29,7 +29,7 @@
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java` — точка входа библиотеки + static-блок `gsubFeatures` + `normalizers(options)` (порядок цепочки).
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java` — валидация входа и lightweight-подсчёт страниц (StAX, без docx4j).
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfSettings.java` — все дефолты ядра (`MAX_INPUT_MB = 5`, `MAX_PAGES = 100`, `ERROR_ON_* = false`); рантайм-конфигурации в ядре нет.
- Дефолтов лимитов в ядре нет (`WordPdfSettings` упразднён): лимиты входа всегда приходят с вызовом через `ConvertOptions`, производные пороги считает `WordPdfValidator.max*` (см. таблицу выше).
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java` — замена диаграмм/SmartArt на PNG; владеет `MAX_EXTENT_EMU` и деградацией при падении рендера.
- `wordpdf-app/src/main/resources/application.properties` — multipart 100MB (`max-file-size`/`max-request-size` + `file-size-threshold=2MB` — части крупнее 2 МБ на диск, не в память; в тон gateway `client_max_body_size 100m`), `wordpdf.convert-timeout=2m`, пустой `wordpdf.api-key`, `server.forward-headers-strategy=framework` (префикс прод-прокси для springdoc) + `springdoc.swagger-ui.persist-authorization=true`; `wordpdf.max-mb`/`max-pages` здесь намеренно нет.
- `wordpdf-app/pom.xml` — `spring-boot-maven-plugin` с **явной** execution `repackage` (в 4.1.1 сам не связывается, jar останется тонким); `slf4j-simple` исключён; `spring-boot-starter-webmvc` (Boot 4: переименован из starter-web) + `spring-boot-starter-actuator` (нужен HEALTHCHECK контейнера `/actuator/health`); тест-зависимости: `spring-boot-webmvc-test` (в Boot 4 автоконфиг MockMvc вынесен из starter-test), test-jar core.
@@ -80,7 +80,7 @@ unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-expo
## REST API (детали bullet'ов)
Единственный эндпоинт `POST /api/v1/convert`: multipart-поле `file` + факультативные query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолт каждого — `WordPdfSettings.ERROR_ON_*`). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка `.docx`/`.doc`-расширения — в `ConvertController` (ошибочный текст 400 — контракт с фронтом); `ConversionService.safeBaseName` — единый источник имени для файла, заголовка ответа и PDF-title (срезает оба расширения; разрешены `[\p{L}\p{N} ._-]`, пустое → `document`). Error-флаги диаграмм/SmartArt/OLE на `.doc` не срабатывают (BLIP-плейсхолдеры → картинки, см. «Мост») — описано в `@Operation`.
Единственный эндпоинт `POST /api/v1/convert`: multipart-поле `file` + факультативные query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолт каждого — `false`) и `maxMb`/`maxPages` (лимиты входа, см. «Лимиты входа» ниже). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка `.docx`/`.doc`-расширения — в `ConvertController` (ошибочный текст 400 — контракт с фронтом); `ConversionService.safeBaseName` — единый источник имени для файла, заголовка ответа и PDF-title (срезает оба расширения; разрешены `[\p{L}\p{N} ._-]`, пустое → `document`). Error-флаги диаграмм/SmartArt/OLE на `.doc` не срабатывают (BLIP-плейсхолдеры → картинки, см. «Мост») — описано в `@Operation`.
Полная карта ответов:
@@ -97,7 +97,7 @@ unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-expo
- **Ключ доступа**: `ApiKeyFilter` сверяет заголовок `X-API-Key` (`ApiKeyFilter.HEADER`) со свойством `wordpdf.api-key` (env `WORDPDF_API_KEY`, сравнение `MessageDigest.isEqual`). Пустое свойство = аутентификация выключена (dev `java -jar`, тесты). Без ключа открыты `OPEN_PREFIXES` = `/actuator/`, `/swagger-ui`, `/v3/api-docs` — матч по пути **без** forwarded-contextPath (`getRequestURI()` минус `getContextPath()`; иначе под `X-Forwarded-Prefix` HEALTHCHECK получил бы 401). Пути с точечными сегментами (`..`/`%2e`) открытыми не считаются никогда.
- **Очередь**: конвертации сериализованы однопоточным `ThreadPoolExecutor` (`ConversionService.QUEUE_CAPACITY = 16`, переполнение → 503): ядро мутирует глобальный реестр `PhysicalFonts` и **сериализует конвертации монитором класса `WordPdfConverter.class`**; однопоточность воркера — ради 503/timeout. Головой очереди конструктор ставит `WordPdfConverter.warmup()` — прогрев ядра минимальным in-code docx + растром (~1,5–2,5 с, Future никто не забирает, warmup не бросает): первый реальный запрос после деплоя — за прогретым ядром (замер 2026-11: 0,13 с против 1,74 с на `main`), запросы периода прогрева ждут в очереди штатно. `future.cancel(true)` при таймауте не останавливает FOP мгновенно — осознанный компромисс.
- **Лимиты входа** задаёт только конфигурация сервера: `wordpdf.max-mb`/`wordpdf.max-pages` (env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`), `@Value` в `ConvertController` с дефолтом-SpEL из `WordPdfSettings` (5 МБ / 100); значение ≤ 0 → `IllegalStateException` на старте; параметрами запроса не переопределяются. Ключи в `application.properties` **не объявлены** — пустое значение затенит SpEL-дефолт.
- **Лимиты входа**: `wordpdf.max-mb`/`wordpdf.max-pages` (env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`) — дефолт эндпоинта, `@Value` в `ConvertController` с литеральными дефолтами 5/100; значение свойства ≤ 0 → `IllegalStateException` на старте. Параметры запроса `maxMb`/`maxPages` переопределяют дефолт в обе стороны (значения ≤ 0 → 400), верхнего серверного потолка нет — пороги распаковки/записей/растров растут вместе с ними. Ключи в `application.properties` **не объявлены** — пустое значение затенит дефолт `@Value`.
- **SPA**: вся сеть в `wordpdf-web/src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), при 401 очищается, экран `ApiKeyGate` (`UnauthorizedError` — наследник `ApiError`, проверяется раньше); гейт показывается только когда `probeApiKey()` (GET /api/v1/convert → 401) подтвердил требование ключа. Запросы на `${import.meta.env.BASE_URL}api/...` (vite `base` из `VITE_BASE`, дефолт `/`) — CORS не нужен (dev: vite-proxy → :8080; prod: nginx под префиксом `/pdf-converter/`). Три переключателя error-флагов в форме («Диаграммы», «SmartArt», «OLE-объекты», дефолт — все выключены). DropZone принимает `.docx,.doc` (`accept` + текст зоны).
+1 -1
View File
@@ -20,7 +20,7 @@
- Юниты моста (`internal/doc/`): `CfbReaderTest` строит крафтовый CFB-байтстрим (сектор 512/mini 64: FAT/DIFAT/miniFAT/directory руками) и бьёт все guard-ветки (циклы FAT/DIFAT/MiniFAT, ссылки за файл, обрезанные потоки, root без mini stream, мусор в directory); `SummaryInfoTest` — крафтовый PropertySetStream (пинит **относительность offset от начала PropertySet**, реальные фикстуры её не различают); `PieceTableTest`/`ChpxIndexTest`/`PapxIndexTest` (в т.ч. `istdFor`: istd из UpxPapx, пустой grpprl ≠ null, bOffset=0 → дефолтные свойства при сохранённой границе)/`SectionsTest`/`FibHeaderTest` (пара fcStshf)/`GrpprlTest` (в т.ч. спец-длины: двухбайтовый cb у sprmTDefTable при operand >255 Б, у 0xC60D cb=0xFF — обрыв, у 0xC615 cb=0xFF — длина по формуле §2.9.182 (`scan_pChgTabsSentinel_lengthByFormula`))/`FontTableTest`/`HeadersTest`/`OfficeArtTest`/`PrcDataTest` — byte[]-конструкции in memory (`PrcDataTest`: разворачивание huge-PAPX/PTableProps на позиции указателя, union цепочки с легаси-зеркалом, guard'ы — cb-капа 0x3FA2, ptr за Data, цикл A→B→A); `StylesTest` — крафтовый STSH (LPStd/LPUpx): цепочка base→derived, цикл → пустая таблица, чужой stk/битый STSH нисходительны; `TablesTest` — крафтовый TAP: сетка TDefTable (XAS со знаком), границы Brc (cv fAuto) и Brc80 (ico, приоритет 0xD613), выравнивание sprmTJc/sprmTJc90 (u16, приоритет современного, 0 → null), деградация при битом TDefTable; `ListsTest` — крафтовые PlfLst/PlfLfo байтстримом (счёт LVL по fSimpleList 1/9, плейсхолдеры xst → `%{n+1}` и литеральный `%` → `%%`, MSONFC→ST_NumberFormat вкл. экзотика→decimal, ixchFollow→`w:suff`, grpprl уровня → `w:ind`/`w:rFonts`, LFOLVL fStartAt/fFormatting, обрыв LVL-массива, lsid без LSTF, нулевые lcb); `DocToDocxFormattingTest` — полный синтетический .doc через POIFS (крафтовые FIB/Clx/FKP-страницы: полные CHPX/PAPX-свойства, STSH-цепочка с переопределением и победой direct, spacing/tabs, таблица TTP+TDefTable+Brc с деградацией строки без сетки и многострочной ячейкой, колонтитук со стилевым jc, табы колонтитука из стиля sprmPChgTabs (`styleTabsChg_reachesFooterPart`/`styleTabsChgDel_removesStop`: прямой del с rgdxaClose вырезает stop стиля), таблица в odd footer со sprmTJc (`footerTable_jcCenterEmitted`: guard-¶ отдельным абзацем после строки, как в реальных Plcfhdd), знаки, поле в основном тексте, picLocation=0, 0Table, отсутствие табличного потока, списки: `listParagraphs_getNumPrAndNumberingPart` (sprmPIlfo/sprmPIlvl в PAPX → `w:numPr` + `word/numbering.xml` c `w:num`/Override/rels), `listCancelledByDirectZero_noNumPr` (ilfo стиля, перекрытый прямым 0), `ilvlSkipValue_noNumPr` (ilvl=0x0C), `missingListTables_degradeToPlain` (нулевые FIB-пары 73/74 — ни numbering-части, ни numPr)). Doc-регрессии конвертера — общие assert-хелперы docx-пар: `assertCyrillicAndStyles`/`assertPageNumbers`/`assertTableImage`/`assertOleObjectsRemoved`/`assertDrawingsBecomeImages`/`assertTooManyPages`/`assertExoticGlyphs` вызываются с `ru-plain.doc`/`page-numbers.doc`/`ru-table-image.doc`/`ole-embedded.doc`/`charts-smartart.doc`/`too-many-pages.doc`/`exotic-glyphs.doc` (тесты-пары называются по docx-имени, внутри зовут оба формата); `WordPdfValidatorTest#checkPageCountDoc_*` + `ConvertControllerTest` (`.doc` upload, `nonDocxFilename_rejected`).
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); четыре контекста — `ConvertControllerTest` (пустой ключ), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` max-mb/max-pages), `ConversionTimeoutTest` (`@TestPropertySource` convert-timeout=1ms) — четыре разных набора свойств = четыре кэшированных контекста (отдельные классы, не `@Nested`: `@Nested` + `@TestPropertySource` не даёт отдельного контекста); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring-контекста (прямые юниты).
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); четыре контекста — `ConvertControllerTest` (пин `wordpdf.api-key=` — HTTP-контексты явно пиныт пустой ключ: mise подмешивает корневой `.env` в окружение тасок, ambient `WORDPDF_API_KEY` иначе дал бы 401 во всех MockMvc-тестах), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` max-mb/max-pages), `ConversionTimeoutTest` (`@TestPropertySource` convert-timeout=1ms) — четыре разных набора свойств = четыре кэшированных контекста (отдельные классы, не `@Nested`: `@Nested` + `@TestPropertySource` не даёт отдельного контекста); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring-контекста (прямые юниты).
- UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn). Прод-автотесты (pytest 9.1.1 + requests 2.34.2, 31 проверка — 27 под маркером `needs_key` (SKIP без ключа; включая `.doc`-фикстуры обоих путей — растры/OLE и границы страниц), 4 открытых: health/SPA-root/swagger/spec; env-конфиг, `mise exec -- python -m pytest -q .` из `prod-autotests/`) гоняются CI после deploy против живого прода.
+3 -3
View File
@@ -8,9 +8,9 @@ WORDPDF_BASE_URL обязателен: без него все проверки
не знает ни одного хоста. WORDPDF_API_KEY факультативен: без него проверки,
где есть заголовок ключа или ожидается 401, пропускаются (без локального ключа
нельзя знать, включена ли аутентификация на стенде). WORDPDF_MAX_PAGES — ожидаемый
лимит страниц стенда (конфигурация сервера, не константа набора; дефолт 100 =
дефолт ядра). WORDPDF_MAX_MB — ожидаемый лимит размера .docx стенда в МБ (MiB; дефолт
5 = дефолт ядра). .docx-фикстуры — из wordpdf-core/src/test/resources/samples,
лимит страниц стенда (конфигурация сервера, не константа набора; дефолт эндпоинта
100). WORDPDF_MAX_MB — ожидаемый лимит размера .docx стенда в МБ (MiB; дефолт
эндпоинта 5). .docx-фикстуры — из wordpdf-core/src/test/resources/samples,
либо из WORDPDF_SAMPLES_DIR.
"""
@@ -12,7 +12,6 @@ import org.springframework.web.bind.annotation.RestController;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.multipart.MultipartFile;
import ru.pjandro.wordpdf.ConvertOptions;
import ru.pjandro.wordpdf.WordPdfSettings;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
@@ -25,10 +24,11 @@ import java.util.Locale;
* <p>Здесь только HTTP-слой: проверка presence/расширения и формирование
* {@code Content-Disposition}; проверка содержимого (zip, размер, страницы) —
* зона {@link ConversionService}. Ошибки в JSON-ответ переводит
* {@link ApiExceptionHandler}. Лимиты входа — только конфигурация сервера
* (свойства {@code wordpdf.max-mb}/{@code wordpdf.max-pages}, env
* {@code WORDPDF_MAX_MB}/{@code WORDPDF_MAX_PAGES}); параметрами запроса
* они не переопределяются.</p>
* {@link ApiExceptionHandler}. Лимиты входа: свойства
* {@code wordpdf.max-mb}/{@code wordpdf.max-pages} (env
* {@code WORDPDF_MAX_MB}/{@code WORDPDF_MAX_PAGES}) — дефолт эндпоинта;
* параметры запроса {@code maxMb}/{@code maxPages} переопределяют его в обе
* стороны (значения ≤ 0 → 400).</p>
*/
@RestController
final class ConvertController {
@@ -38,14 +38,15 @@ final class ConvertController {
private final int maxPages;
/**
* Дефолт плейсхолдеров — константы ядра через SpEL: буквальное значение
* в свойствах не дублируется. Невалидное значение (<= 0) роняет
* Дефолт плейсхолдеров — буквенные литералы 5/100 (дефолтов лимитов в
* ядре нет); свойства/env переопределяют их, параметры запроса — см.
* {@link #convert}. Невалидное значение свойства (<= 0) роняет
* приложение на старте (fail-fast): «сервис поднят, но весь вход
* отсекается» — худший исход, чем не поднявшийся сервис.
*/
ConvertController(ConversionService conversionService,
@Value("${wordpdf.max-mb:#{T(ru.pjandro.wordpdf.WordPdfSettings).MAX_INPUT_MB}}") long maxMb,
@Value("${wordpdf.max-pages:#{T(ru.pjandro.wordpdf.WordPdfSettings).MAX_PAGES}}") int maxPages) {
@Value("${wordpdf.max-mb:5}") long maxMb,
@Value("${wordpdf.max-pages:100}") int maxPages) {
if (maxMb <= 0) {
throw new IllegalStateException("wordpdf.max-mb должен быть больше 0: " + maxMb);
}
@@ -60,10 +61,11 @@ final class ConvertController {
@Operation(summary = "Конвертировать .docx/.doc в PDF",
description = "Принимаются .docx (OOXML) и .doc (Word 97–2003, переносится в .docx "
+ "мостом: текст и прямое форматирование). errorOnCharts/errorOnSmartArt/errorOnOle — факультативно, по умолчанию "
+ "настройки ядра (ошибка не выбрасывается); диаграммы/SmartArt "
+ "ошибка не выбрасывается; диаграммы/SmartArt "
+ "конвертируются всегда, OLE-объекты при выключенном флаге тихо удаляются. "
+ "Лимиты входа (размер/страницы) задаёт только конфигурация сервера "
+ "(свойства wordpdf.max-mb/wordpdf.max-pages), параметрами запроса не переопределяются")
+ "Лимиты входа (размер/страницы): свойства wordpdf.max-mb/wordpdf.max-pages — "
+ "дефолт; параметры запроса maxMb/maxPages переопределяют его в обе стороны "
+ "(значения ≤ 0 → 400)")
@SecurityRequirement(name = OpenApiConfig.SCHEME)
@PostMapping(
path = "/api/v1/convert",
@@ -73,7 +75,9 @@ final class ConvertController {
@RequestParam("file") MultipartFile file,
@RequestParam(name = "errorOnCharts", required = false) Boolean errorOnCharts,
@RequestParam(name = "errorOnSmartArt", required = false) Boolean errorOnSmartArt,
@RequestParam(name = "errorOnOle", required = false) Boolean errorOnOle) {
@RequestParam(name = "errorOnOle", required = false) Boolean errorOnOle,
@RequestParam(name = "maxMb", required = false) Long maxMbParam,
@RequestParam(name = "maxPages", required = false) Integer maxPagesParam) {
if (file == null || file.isEmpty()) {
throw new BadRequestException("Файл не передан (multipart-поле «file» обязательно)");
}
@@ -84,13 +88,24 @@ final class ConvertController {
// .doc (Word 97–2003) переносится в .docx мостом internal.doc
throw new BadRequestException("Поддерживаются только .docx и .doc: " + name);
}
// Лимиты входа: свойства сервера — дефолт, параметры запроса
// переопределяют в обе стороны (верхнего потолка нет — осознанное
// решение; остаточная защита от загрузки — multipart-лимит сервера).
if (maxMbParam != null && maxMbParam <= 0) {
throw new BadRequestException("maxMb должен быть больше 0: " + maxMbParam);
}
if (maxPagesParam != null && maxPagesParam <= 0) {
throw new BadRequestException("maxPages должен быть больше 0: " + maxPagesParam);
}
long effMaxMb = maxMbParam != null ? maxMbParam : maxMb;
int effMaxPages = maxPagesParam != null ? maxPagesParam : maxPages;
// Размер проверяется до getBytes(): multipart-лимит сервера (100 МБ)
// больше логического лимита входа (wordpdf.max-mb), и без этого гварда
// заведомо oversized-upload сначала материализовался бы в куче.
// больше логического лимита входа, и без этого гварда заведомо
// oversized-upload сначала материализовался бы в куче.
// Текст — тот же формат, что WordPdfValidator.checkInput.
long maxBytes = maxMb * 1024 * 1024;
long maxBytes = effMaxMb * 1024 * 1024;
if (file.getSize() > maxBytes) {
throw new BadRequestException("Файл больше " + maxMb + " МБ: "
throw new BadRequestException("Файл больше " + effMaxMb + " МБ: "
+ file.getSize() + " байт > " + maxBytes + " байт");
}
byte[] docxBytes;
@@ -100,10 +115,10 @@ final class ConvertController {
throw new BadRequestException("Не удалось прочитать загруженный файл", e);
}
ConvertOptions options = new ConvertOptions(
errorOnCharts != null ? errorOnCharts : WordPdfSettings.ERROR_ON_CHARTS,
errorOnSmartArt != null ? errorOnSmartArt : WordPdfSettings.ERROR_ON_SMARTART,
errorOnOle != null ? errorOnOle : WordPdfSettings.ERROR_ON_OLE,
maxMb, maxPages);
Boolean.TRUE.equals(errorOnCharts),
Boolean.TRUE.equals(errorOnSmartArt),
Boolean.TRUE.equals(errorOnOle),
effMaxMb, effMaxPages);
byte[] pdf = conversionService.convert(docxBytes, name, options);
ContentDisposition disposition = ContentDisposition.attachment()
.filename(ConversionService.safeBaseName(name) + ".pdf", StandardCharsets.UTF_8)
@@ -1,12 +1,12 @@
spring.application.name=wordpdf-app
# Потолок инфраструктуры — 100 МБ (совпадает с client_max_body_size в
# nginx-шлюзах): больше не пропустит ни шлюз, ни контейнер. Авторитетный
# лимит — свойство wordpdf.max-mb (env WORDPDF_MAX_MB, МБ), по умолчанию
# WordPdfSettings.MAX_INPUT_MB = 5; здесь только потолок загрузки.
# Лимиты входа: env WORDPDF_MAX_MB (МБ) / WORDPDF_MAX_PAGES (страницы),
# дефолты — константы ядра (5 / 100), задаются ConvertController.
# Значение <= 0 — падение на старте. Сами ключи здесь не объявлены:
# пустое значение затенит SpEL-дефолт @Value.
# nginx-шлюзах): больше не пропустит ни шлюз, ни контейнер. Логический лимит
# входа — свойство wordpdf.max-mb (env WORDPDF_MAX_MB, МБ) /
# wordpdf.max-pages (env WORDPDF_MAX_PAGES): дефолты 5/100 — литералы @Value
# в ConvertController (дефолтов лимитов в ядре нет); параметрами запроса
# maxMb/maxPages дефолт переопределяется в обе стороны. Значение свойства
# <= 0 — падение на старте. Сами ключи здесь не объявлены: пустое значение
# затенит дефолт @Value.
# file-size-threshold=2MB: части больше 2 МБ сбрасываются на диск Tomcat, heap
# держит только копию getBytes() одной сериализованной конвертации (порог 100MB
# буферизовал в heap каждую параллельную загрузку до валидации размера — OOM-килл
@@ -92,7 +92,7 @@ class ConversionServiceTest {
byte[] sample = bytes("/samples/ru-plain.docx");
ConversionRejectedException e = assertThrows(ConversionRejectedException.class,
() -> svc.convert(sample, "queue.docx", ConvertOptions.defaults()));
() -> svc.convert(sample, "queue.docx", new ConvertOptions(false, false, false, 5, 100)));
assertEquals("Сервис конвертации занят — повторите позже", e.getMessage());
} finally {
block.countDown();
@@ -115,7 +115,7 @@ class ConversionServiceTest {
try {
Thread.currentThread().interrupt();
ConversionRejectedException e = assertThrows(ConversionRejectedException.class,
() -> svc.convert(sample, "ru-plain.docx", ConvertOptions.defaults()));
() -> svc.convert(sample, "ru-plain.docx", new ConvertOptions(false, false, false, 5, 100)));
assertEquals("Сервис конвертации занят — повторите позже", e.getMessage());
assertTrue(Thread.currentThread().isInterrupted(),
"флаг прерывания обязан быть восстановлен");
@@ -125,7 +125,7 @@ class ConversionServiceTest {
// барьер: отменённая задача ещё домучивает рендер на воркере, а
// глобальный реестр шрифтов ядра не потокобезопасен — ждём освобождения
// воркера через успешную сериализованную конвертацию
byte[] pdf = svc.convert(sample, "barrier.docx", ConvertOptions.defaults());
byte[] pdf = svc.convert(sample, "barrier.docx", new ConvertOptions(false, false, false, 5, 100));
assertEquals("%PDF", new String(pdf, 0, 4, StandardCharsets.US_ASCII));
svc.shutdown();
}
@@ -30,7 +30,10 @@ import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.
*/
@SpringBootTest
@AutoConfigureMockMvc
@TestPropertySource(properties = "wordpdf.convert-timeout=1ms")
@TestPropertySource(properties = {"wordpdf.convert-timeout=1ms",
// пустой ключ = фильтр выключен; пин от ambient WORDPDF_API_KEY
// (mise подмешивает корневой .env в окружение тасок)
"wordpdf.api-key="})
class ConversionTimeoutTest {
private static final MediaType DOCX =
@@ -44,7 +44,8 @@ import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.
* ядра, PDF разбирается PDFBox, текст нормализуется по пробелам — паттерны
* {@code WordPdfConverterTest} (norm/pdfText).
*/
@SpringBootTest
@SpringBootTest(properties = "wordpdf.api-key=") // пустой = фильтр выключен; пин от
// ambient WORDPDF_API_KEY (mise подмешивает корневой .env в окружение тасок)
@AutoConfigureMockMvc
class ConvertControllerTest {
@@ -311,8 +312,8 @@ class ConvertControllerTest {
@Test
void oversizedOverCoreLimit_rejected() throws Exception {
// 5 MiB + 1 байт: проходит контейнерный multipart-лимит (100 МБ)
// и отсекается валидацией ядра до очереди (дефолт ядра цел —
// лимит задаёт только конфигурация сервера)
// и отсекается валидацией ядра до очереди (дефолт эндпоинта 5 МБ —
// параметры запроса здесь не участвуют)
byte[] big = new byte[5 * 1024 * 1024 + 1];
mockMvc.perform(multipart("/api/v1/convert").file(docx("big.docx", big)))
.andExpect(status().isBadRequest())
@@ -321,20 +322,60 @@ class ConvertControllerTest {
}
/**
* Регрессия env-only: лимиты входа параметрами запроса не задаются.
* maxMb/maxPages в multipart-форме игнорируются — маленький
* документ проходит на серверных лимитах (дефолты ядра).
* Параметр запроса maxMb ужимает серверный дефолт: файл в пределах
* серверных 5 МБ отвергается по параметру 1 МБ (текст гварда — с
* числом из запроса).
*/
@Test
void requestLimitParams_areIgnored() throws Exception {
void requestLimit_maxMbTightens_rejected() throws Exception {
byte[] twoMb = new byte[2 * 1024 * 1024];
mockMvc.perform(multipart("/api/v1/convert")
.file(docx("two.docx", twoMb))
.param("maxMb", "1"))
.andExpect(status().isBadRequest())
.andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("больше 1 МБ")));
}
/** Параметр maxMb поднимает серверный дефолт: обычный документ проходит. */
@Test
void requestLimit_maxMbRaises_smallOk() throws Exception {
mockMvc.perform(multipart("/api/v1/convert")
.file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx")))
.param("maxMb", "1000")
.param("maxPages", "1"))
.param("maxPages", "1000"))
.andExpect(status().isOk())
.andExpect(content().contentType(MediaType.APPLICATION_PDF));
}
/** Параметр maxPages ужимает дефолт: фикстура на 110 границ отвергается с числом из запроса. */
@Test
void requestLimit_maxPagesTightens_rejected() throws Exception {
mockMvc.perform(multipart("/api/v1/convert")
.file(docx("stale-cache.docx", bytes("/samples/stale-cache.docx")))
.param("maxPages", "1"))
.andExpect(status().isBadRequest())
.andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("длиннее 1 страниц")));
}
/** Нулевые лимиты в запросе — 400 до любой работы с файлом. */
@Test
void requestLimit_nonPositive_rejected() throws Exception {
mockMvc.perform(multipart("/api/v1/convert")
.file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx")))
.param("maxMb", "0"))
.andExpect(status().isBadRequest())
.andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("maxMb должен быть больше 0")));
mockMvc.perform(multipart("/api/v1/convert")
.file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx")))
.param("maxPages", "0"))
.andExpect(status().isBadRequest())
.andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("maxPages должен быть больше 0")));
}
/**
* Невалидные лимиты в конфигурации — падение на старте (fail-fast):
* «сервис поднят, но весь вход отсекается» хуже не поднявшегося.
@@ -480,7 +521,7 @@ class ConvertControllerTest {
ConvertController controller =
new ConvertController(new ConversionService(Duration.ofSeconds(5)), 5L, 100);
BadRequestException e = assertThrows(BadRequestException.class,
() -> controller.convert(broken, null, null, null));
() -> controller.convert(broken, null, null, null, null, null));
assertTrue(e.getMessage().contains("Не удалось прочитать"), e.getMessage());
}
}
@@ -35,7 +35,10 @@ import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.
*/
@SpringBootTest
@AutoConfigureMockMvc
@TestPropertySource(properties = {"wordpdf.max-mb=1", "wordpdf.max-pages=1"})
@TestPropertySource(properties = {"wordpdf.max-mb=1", "wordpdf.max-pages=1",
// пустой ключ = фильтр выключен; пин от ambient WORDPDF_API_KEY
// (mise подмешивает корневой .env в окружение тасок)
"wordpdf.api-key="})
class ConvertLimitsTest {
private static final MediaType DOCX =
@@ -90,4 +93,26 @@ class ConvertLimitsTest {
.andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("страниц")));
}
/**
* Параметры запроса ПОДНИМАЮТ configured-дефолты (свойство — дефолт, не
* потолок): maxMb=5 — и файл за 1 MiB проходит байтовый гейт (отказ уже
* по контейнеру, не по размеру); maxPages=2 — и текст отказа несёт
* двойку, а не configured единицу.
*/
@Test
void restParamAboveConfigured_applies() throws Exception {
mockMvc.perform(multipart("/api/v1/convert")
.file(docx("big.docx", oversizedZip()))
.param("maxMb", "5"))
.andExpect(status().isBadRequest())
.andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("не является .docx")));
mockMvc.perform(multipart("/api/v1/convert")
.file(docx("too-many-pages.docx", bytes("/samples/too-many-pages.docx")))
.param("maxPages", "2"))
.andExpect(status().isBadRequest())
.andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("длиннее 2 страниц")));
}
}
@@ -2,8 +2,8 @@ package ru.pjandro.wordpdf;
/**
* на один вызов: error-флаги рисунков и лимиты входа (размер/страницы).
* Дефолты — константы {@link WordPdfSettings}; вызывающий (например, REST API)
* может переопределить их на конкретный вызов. Диаграммы/SmartArt
* Дефолтов в ядре нет — значения задаёт вызывающий (приложение: свойства
* сервера как дефолт REST-эндпоинта + параметры запроса). Диаграммы/SmartArt
* конвертируются всегда.
*
* @param errorOnCharts бросать {@link DrawingFoundException} при находке диаграмм
@@ -11,16 +11,9 @@ package ru.pjandro.wordpdf;
* @param errorOnOle бросать {@link DrawingFoundException} при находке OLE-объектов
* (иначе — тихо удалить их из документа)
* @param maxMb лимит размера входа в МБ (MiB) на этот вызов;
* дефолт — {@link WordPdfSettings#MAX_INPUT_MB}
* @param maxPages лимит числа страниц на этот вызов;
* дефолт — {@link WordPdfSettings#MAX_PAGES}
* должен быть больше 0
* @param maxPages лимит числа страниц на этот вызов; должен быть больше 0
*/
public record ConvertOptions(boolean errorOnCharts, boolean errorOnSmartArt, boolean errorOnOle,
long maxMb, int maxPages) {
/** Дефолты ядра из {@link WordPdfSettings}. */
public static ConvertOptions defaults() {
return new ConvertOptions(WordPdfSettings.ERROR_ON_CHARTS, WordPdfSettings.ERROR_ON_SMARTART,
WordPdfSettings.ERROR_ON_OLE, WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES);
}
}
@@ -145,37 +145,10 @@ public final class WordPdfConverter {
/**
* Конвертирует байты .docx (или бинарного .doc Word 97–2003 — формат
* определяется по сигнатуре байтов) в PDF. Работа с файлами — забота
* определяется по сигнатуре байтов) в PDF с настройками на вызов:
* error-флаги диаграмм/SmartArt и лимиты входа. Работа с файлами — забота
* вызывающего (файловое API было здесь раньше; ядро пути не принимает).
*
* <p>.doc предварительно переносится в .docx мостом
* {@link ru.pjandro.wordpdf.internal.doc.DocToDocx} (текст + прямое
* форматирование); число страниц для .doc проверяется мостом по чистому
* бинарному документу (кэш PageCount + явные разрывы), сгенерированный
* .docx валидацией не проверяется. Для .docx вход проверяется
* {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера:
* {@code null} / размер больше {@link WordPdfSettings#MAX_INPUT_MB} (МБ) / zip-подпись /
* число страниц больше {@link WordPdfSettings#MAX_PAGES} — при отказе байтов результата нет;
* страницы считаются ровно раз по сырому входу, повторного скана по
* нормализованным байтам нет (см. javadoc перегрузки с {@link ConvertOptions}).
*
* @param docxBytes байты .docx или бинарного .doc
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
* @return байты готового PDF
* @throws ValidationException некорректный вход: {@code null}, размер больше
* {@link WordPdfSettings#MAX_INPUT_MB} (МБ), не .docx/.doc, зашифрованный .doc,
* документ длиннее {@link WordPdfSettings#MAX_PAGES} страниц
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
*/
public static byte[] convert(byte[] docxBytes, String title) throws ConversionException {
return convert(docxBytes, title, ConvertOptions.defaults());
}
/**
* Конвертирует байты .docx (или бинарного .doc Word 97–2003 — формат
* определяется по сигнатуре байтов, см. перегрузку выше) в PDF с
* настройками на вызов: error-флаги диаграмм/SmartArt и лимиты входа.
*
* <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)}
* до рендера — одна проверка на оба формата: {@code null} / размер больше
* {@code options.maxMb()} (МБ) / не .docx и не .doc / число страниц больше
@@ -190,8 +163,8 @@ public final class WordPdfConverter {
*
* @param docxBytes байты .docx или бинарного .doc
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
* @param options error-флаги и лимиты входа на этот вызов; {@code null} —
* дефолты (константы {@link WordPdfSettings})
* @param options error-флаги и лимиты входа на этот вызов; обязательны,
* {@code null} → {@link ValidationException} (дефолтов в ядре нет)
* @return байты готового PDF
* @throws ValidationException некорректный вход: {@code null}, размер больше
* {@code options.maxMb()} (МБ), не .docx/.doc, зашифрованный .doc,
@@ -199,7 +172,11 @@ public final class WordPdfConverter {
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
*/
public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options) throws ConversionException {
ConvertOptions opts = options == null ? ConvertOptions.defaults() : options;
if (options == null) {
throw new ValidationException("Не переданы параметры конвертации (ConvertOptions): "
+ "лимиты входа задаёт вызывающий");
}
ConvertOptions opts = options;
// Полная проверка входа — одна на оба формата: размер до
// классификации (враждебный вход без подписи обязан получить ошибку
// лимита), затем для .docx — zip/контейнер/страницы, для .doc —
@@ -219,7 +196,8 @@ public final class WordPdfConverter {
// (реентельно) и DCL в sharedFopFactory. Регрессия —
// WordPdfConverterTest#concurrentConversions_twoThreadsBothSucceed.
synchronized (WordPdfConverter.class) {
docxBytes = WordPdfValidator.isBinaryDoc(docxBytes) ? DocToDocx.convert(docxBytes) : docxBytes;
docxBytes = WordPdfValidator.isBinaryDoc(docxBytes)
? DocToDocx.convert(docxBytes, opts.maxMb()) : docxBytes;
ByteArrayOutputStream bos = new ByteArrayOutputStream(Math.max(1 << 16, docxBytes.length));
try {
convertToStream(docxBytes, title, opts, bos);
@@ -239,10 +217,10 @@ public final class WordPdfConverter {
private static final Logger LOG = Logger.getLogger(WordPdfConverter.class.getName());
// Бюджеты распаковки docx (считает WordPdfValidator.maxDecompressed* от
// лимитов входа ConvertOptions). Значения — строго литералы compile-time
// констант: javac инлайнит их в WordPdfValidator, и обращение из валидатора
// НЕ инициализирует этот класс (его static-блок выставляет sysprops docx4j —
// Пороги защиты входа (считает WordPdfValidator.max* от лимитов входа
// ConvertOptions). Значения — строго литералы compile-time констант: javac
// инлайнит их в WordPdfValidator, и обращение из валидатора НЕ
// инициализирует этот класс (его static-блок выставляет sysprops docx4j —
// инвариант «WordPdfValidator не зависит от docx4j» сохраняется).
/** Бюджет суммарной распаковки: MiB на каждый МБ лимита размера входа. */
static final int DECOMPRESS_MB_PER_MAX_MB = 10;
@@ -256,6 +234,14 @@ public final class WordPdfConverter {
static final long MIN_DECOMPRESSED_MB = 16;
/** Пол бюджета XML-частей (MiB). */
static final long MIN_DECOMPRESSED_XML_MB = 4;
/** Порог пиксельной площади одного растра: пикселей на каждый МБ лимита размера. */
static final long IMAGE_PIXELS_PER_MAX_MB = 5_000_000;
/** Порог числа zip-записей: записей на каждый МБ лимита размера. */
static final int ZIP_ENTRIES_PER_MAX_MB = 512;
/** Порог числа zip-записей: записей на каждую страницу лимита. */
static final int ZIP_ENTRIES_PER_PAGE = 32;
/** Пол порога числа zip-записей. */
static final int MIN_ZIP_ENTRIES = 2048;
/**
* Прогрев ядра: первая конвертация после старта JVM стоит 1,3–1,7 с
@@ -275,7 +261,7 @@ public final class WordPdfConverter {
return;
}
try {
convert(warmupDocx(), "warmup");
convert(warmupDocx(), "warmup", new ConvertOptions(false, false, false, 1, 1));
warmRaster();
warmedUp = true;
} catch (Throwable t) {
@@ -1,66 +0,0 @@
package ru.pjandro.wordpdf;
/**
* Единая точка конфигурации ядра: все настройки-дефолты — константы здесь.
* Рантайм-конфигурации нет: изменение значения = правка этого файла и пересборка.
* Лимиты входа ({@link #MAX_INPUT_MB}, {@link #MAX_PAGES}) — дефолты:
* вызывающий может переопределить их на конкретный вызов через
* {@link ConvertOptions}.
*/
public final class WordPdfSettings {
/** Максимальный размер входного .docx в МБ (дефолт). МБ = MiB = 1024 × 1024 байт. */
public static final long MAX_INPUT_MB = 5;
/** Документ длиннее — ошибка (дефолт). */
public static final int MAX_PAGES = 100;
/**
* Жёсткая крышка автоматического бюджета суммарного распакованного размера
* архива (МБ) — защита от zip-бомбы. Бюджет считается из лимитов входа
* ({@code maxMb}/{@code maxPages}) в {@link WordPdfValidator#maxDecompressedBytes}
* (коэффициенты — {@code WordPdfConverter.DECOMPRESS_*}); эта константа не
* даёт ему вырасти при raise-е {@code wordpdf.max-mb}: легитимный документ
* суммарно распаковывается в единицы МБ, 64 МБ — запас на huge-таблицы.
*/
public static final long MAX_DECOMPRESSED_MB = 64;
/**
* Жёсткая крышка автоматического бюджета суммарного распакованного размера
* XML-частей ({@code *.xml}, {@code *.rels}) в МБ
* ({@link WordPdfValidator#maxDecompressedXmlBytes}) — отдельный гейт:
* байтовый бюджет архива можно выжатый XML уложить в десятки МБ, а
* JAXB-разбор такого документа стоит CPU/heap несоизмеримо дороже байт.
*/
public static final long MAX_DECOMPRESSED_XML_MB = 32;
/**
* Потолок пиксельной площади одного растрового изображения (PNG/GIF/BMP/JPEG
* в {@code word/media/*}, DIB в .doc). Байтовый лимит архива от raster-bomb
* не спасает: ~40 КиБ PNG с IHDR 50000×50000 декодируется в гигабайт ARGB.
* 25 Мпикс ≈ 100 МБ ARGB на расшифровке — выше любых реальных фото.
*/
public static final long MAX_IMAGE_PIXELS = 25_000_000;
/** Потолок числа записей в архиве — защита от бомбы «много записей». */
public static final int MAX_ZIP_ENTRIES = 8192;
/**
* Ошибка при находке диаграмм ({@code c:chart}) — {@link DrawingFoundException}.
* Дефолт {@code false} — конвертация проходит.
*/
public static final boolean ERROR_ON_CHARTS = false;
/** Ошибка при находке SmartArt ({@code dgm:relIds}) — {@link DrawingFoundException}. */
public static final boolean ERROR_ON_SMARTART = false;
/**
* Ошибка при находке OLE-объектов (бинарные {@code .bin}-части) —
* {@link DrawingFoundException}. Дефолт {@code false} — объекты тихо
* удаляются из документа (см. OleObjectNormalizer), конвертация проходит.
*/
public static final boolean ERROR_ON_OLE = false;
private WordPdfSettings() {
}
}
@@ -30,25 +30,15 @@ import java.util.zip.ZipInputStream;
* но им можно пользоваться и напрямую — например, проверить байты
* документа, полученного из сети или БД, до любой работы с ними.
*
* <p>Лимиты по умолчанию:
* <ul>
* <li>{@link WordPdfSettings#MAX_INPUT_MB} — максимальный размер входного .docx (МБ);</li>
* <li>{@link WordPdfSettings#MAX_PAGES} — максимально допустимое число страниц;</li>
* <li>{@link WordPdfSettings#MAX_DECOMPRESSED_MB} — жёсткая крышка
* автоматического бюджета суммарного распакованного размера архива
* (считается из лимитов входа, см. {@link #maxDecompressedBytes});</li>
* <li>{@link WordPdfSettings#MAX_DECOMPRESSED_XML_MB} — жёсткая крышка
* автоматического бюджета распакованных XML-частей
* (см. {@link #maxDecompressedXmlBytes});</li>
* <li>{@link WordPdfSettings#MAX_IMAGE_PIXELS} — потолок пиксельной площади
* одного растрового медиа;</li>
* <li>{@link WordPdfSettings#MAX_ZIP_ENTRIES} — потолок числа записей
* в архиве (имена обязаны быть уникальны).</li>
* </ul>
* Первые два переопределяются на вызов: перегрузками с явным лимитом или
* {@link ConvertOptions} (конвертер {@link WordPdfConverter} применяет их сам).
* Последние два — защитные константные пороги ({@link #validate(byte[], ConvertOptions)}),
* {@link ConvertOptions} их не переопределяет.
* <p>Лимитов-констант в ядре нет: все пороги выводятся из лимитов входа
* {@link ConvertOptions} ({@code maxMb} — размер в МБ, {@code maxPages} —
* число страниц): бюджеты распаковки {@link #maxDecompressedBytes(long, int)}
* и {@link #maxDecompressedXmlBytes(long, int)}, порог площади растра
* {@link #maxImagePixels(long)}, потолок числа zip-записей
* {@code maxZipEntries} (package-private) — коэффициенты в
* {@link WordPdfConverter}. Конвертер применяет {@link ConvertOptions} сам;
* одноаргументных оверлодов-дефолтов нет — лимит задаётся параметром каждого
* метода.
*
* <p>Проверка контейнера: архив обязан декларировать документ
* wordprocessingml в {@code [Content_Types].xml} — иначе это не .docx
@@ -85,15 +75,6 @@ public final class WordPdfValidator {
private WordPdfValidator() {
}
/**
* Проверяет размер байтов входа (для документа, полученного из сети/БД).
*
* @throws ValidationException при {@code null} или превышении лимита (МБ)
*/
public static void checkInput(byte[] docxBytes) throws ValidationException {
checkInput(docxBytes, WordPdfSettings.MAX_INPUT_MB);
}
/**
* Проверяет размер байтов входа против явного лимита в МБ (переопределение
* на вызов, см. {@link ConvertOptions#maxMb()}). МБ = MiB = 1024 × 1024 байт.
@@ -160,15 +141,9 @@ public final class WordPdfValidator {
* .docx-манифест и распакованный размер (регрессия —
* {@code WordPdfValidatorTest#validate_notAZip}); поэтому вызывать
* {@code checkPageCount} напрямую допустимо только над доверенным входом.
* @throws ValidationException при {@code null}, ошибке разбора zip или превышении {@link WordPdfSettings#MAX_PAGES}
*/
public static void checkPageCount(byte[] docxBytes) throws ValidationException {
checkPageCount(docxBytes, WordPdfSettings.MAX_PAGES);
}
/**
* То же, что {@link #checkPageCount(byte[])}, с явным лимитом
* страниц (переопределение на вызов, см. {@link ConvertOptions#maxPages()}).
*
* <p>Лимит страниц задаётся параметром (переопределение на вызов,
* см. {@link ConvertOptions#maxPages()}).
*
* @throws ValidationException при {@code null}, ошибке разбора zip или превышении {@code maxPages}
*/
@@ -221,17 +196,7 @@ public final class WordPdfValidator {
* разрывы 0x0C − непрерывные межсекционные разрывы + абзацы с
* pageBreakBefore)} — тот же контур, что lightweight-скан по zip для
* .docx. Разбор делает {@code internal.doc} ({@link DocToDocx#countPages(byte[])}).
*
* @throws ValidationException при {@code null}, не-.doc-входе, шифровании
* или превышении {@link WordPdfSettings#MAX_PAGES}
*/
public static void checkPageCountDoc(byte[] docBytes) throws ValidationException {
checkPageCountDoc(docBytes, WordPdfSettings.MAX_PAGES);
}
/**
* То же, что {@link #checkPageCountDoc(byte[])}, с явным лимитом
* страниц (переопределение на вызов, см. {@link ConvertOptions#maxPages()}).
* Лимит страниц задаётся параметром (см. {@link ConvertOptions#maxPages()}).
*
* <p>Отказ разбора {@code .doc}-моста ({@code internal.doc}) —
* {@link ConversionException} — оборачивается здесь в
@@ -279,18 +244,25 @@ public final class WordPdfValidator {
* <p>Проверка контейнера: в {@code [Content_Types].xml} обязана быть
* декларация документа wordprocessingml (архив без неё — не .docx);
* zip-бомба отсекается потоковым счётчиком распакованных байт
* ({@link WordPdfSettings#MAX_DECOMPRESSED_MB}) и числом записей
* ({@link WordPdfSettings#MAX_ZIP_ENTRIES}) — до разбора содержимого
* в {@link #checkPageCount(byte[], int)}. Оба лимита —
* защитные пороги, {@link ConvertOptions} их не переопределяет.
* ({@link #maxDecompressedBytes(long, int)}, XML —
* {@link #maxDecompressedXmlBytes(long, int)}) и числом записей
* ({@code maxZipEntries}) — до разбора содержимого
* в {@link #checkPageCount(byte[], int)}. Все пороги — производные от
* {@code options.maxMb()}/{@code options.maxPages()}, отдельных
* констант в ядре нет.
* Регрессии — {@code WordPdfValidatorTest#validate_plainZipRejected},
* {@code #validate_xlsxRenamedRejected}, {@code #validate_zipBombRejected},
* {@code #validate_tooManyEntriesRejected}.</p>
* @throws ValidationException при {@code null}, превышении {@code options.maxMb()},
* @throws ValidationException при {@code null} входа или {@code options},
* превышении {@code options.maxMb()},
* отсутствии zip-подписи, не-.docx-контейнере, признаках zip-бомбы,
* ошибке разбора zip или превышении {@code options.maxPages()}
*/
public static void validate(byte[] docxBytes, ConvertOptions options) throws ValidationException {
if (options == null) {
throw new ValidationException("Не переданы параметры конвертации (ConvertOptions): "
+ "лимиты входа задаёт вызывающий");
}
checkInput(docxBytes, options.maxMb());
if (isBinaryDoc(docxBytes)) {
// Бинарный .doc: страницы — по чистому бинарному документу,
@@ -304,7 +276,9 @@ public final class WordPdfValidator {
}
checkDocxContainer(docxBytes,
maxDecompressedBytes(options.maxMb(), options.maxPages()),
maxDecompressedXmlBytes(options.maxMb(), options.maxPages()));
maxDecompressedXmlBytes(options.maxMb(), options.maxPages()),
maxZipEntries(options.maxMb(), options.maxPages()),
maxImagePixels(options.maxMb()));
checkPageCount(docxBytes, options.maxPages());
}
@@ -315,12 +289,14 @@ public final class WordPdfValidator {
* {@code [Content_Types].xml} декларации документа wordprocessingml
* (архив без неё — не .docx: обычный zip, переименованный .xlsx/.pptx).
*
* <p>Бюджеты распаковки передаются параметром (считает
* <p>Пороги передаются параметром (считает
* {@link #validate(byte[], ConvertOptions)} из лимитов входа через
* {@link #maxDecompressedBytes} / {@link #maxDecompressedXmlBytes}):
* заголовок центрального каталога врёт о размере, поэтому считается по ходу чтения.
* {@link #maxDecompressedBytes} / {@link #maxDecompressedXmlBytes} /
* {@code maxZipEntries} / {@link #maxImagePixels}): заголовок
* центрального каталога врёт о размере, поэтому считается по ходу чтения.
*/
private static void checkDocxContainer(byte[] docxBytes, long maxTotal, long maxXmlTotal)
private static void checkDocxContainer(byte[] docxBytes, long maxTotal, long maxXmlTotal,
long maxEntries, long maxPixels)
throws ValidationException {
long total = 0;
long xmlTotal = 0;
@@ -338,9 +314,9 @@ public final class WordPdfValidator {
}
if (!entry.isDirectory()) {
entries++;
if (entries > WordPdfSettings.MAX_ZIP_ENTRIES) {
if (entries > maxEntries) {
throw new ValidationException("Слишком много записей в архиве: больше "
+ WordPdfSettings.MAX_ZIP_ENTRIES);
+ maxEntries);
}
}
String name = entry.getName();
@@ -382,7 +358,7 @@ public final class WordPdfValidator {
}
if (head != null) {
long area = rasterArea(name, head, headLen);
if (area > WordPdfSettings.MAX_IMAGE_PIXELS) {
if (area > maxPixels) {
throw new ValidationException("Изображение слишком большое: " + name
+ " объявляет не менее " + area + " пикселей");
}
@@ -406,13 +382,13 @@ public final class WordPdfValidator {
}
/**
* Бюджет суммарной распаковки docx, байты: {@code clamp(maxMb×10MiB +
* maxPages×64KiB, 16MiB, }}{@link WordPdfSettings#MAX_DECOMPRESSED_MB}{@code )}.
* Бюджет суммарной распаковки docx, байты: {@code max(MIN_DECOMPRESSED_MB×MiB,
* maxMb×10MiB + maxPages×64KiB)} — без верхней крышки: бюджет догоняет
* лимиты входа (защита от upload-бомбы масштабируется вместе с них).
* Коэффициенты — {@link WordPdfConverter#DECOMPRESS_MB_PER_MAX_MB} и
* {@link WordPdfConverter#DECOMPRESS_KIB_PER_PAGE} (запас на XML/медиа
* легитимного архива), пол — {@link WordPdfConverter#MIN_DECOMPRESSED_MB}
* (мелким лимитам входа), крышка — константа WordPdfSettings (защита JAXB
* DOM при raise-е {@code wordpdf.max-mb}). Регрессия —
* (мелким лимитам входа). Регрессия —
* WordPdfValidatorTest#validate_smallLimitsBudgetFloor,
* #validate_budgetScalesWithInputLimits.
*/
@@ -420,23 +396,38 @@ public final class WordPdfValidator {
long budget = Math.multiplyExact(maxMb,
WordPdfConverter.DECOMPRESS_MB_PER_MAX_MB * 1048576L)
+ (long) maxPages * WordPdfConverter.DECOMPRESS_KIB_PER_PAGE * 1024L;
return Math.min(WordPdfSettings.MAX_DECOMPRESSED_MB * 1048576L,
Math.max(WordPdfConverter.MIN_DECOMPRESSED_MB * 1048576L, budget));
return Math.max(WordPdfConverter.MIN_DECOMPRESSED_MB * 1048576L, budget);
}
/**
* Бюджет распаковки XML-частей docx, байты: {@code clamp(maxMb×4MiB +
* maxPages×32KiB, 4MiB, }}{@link WordPdfSettings#MAX_DECOMPRESSED_XML_MB}{@code )}
* (XML парсится JAXB DOM — дороже байта, поэтому коэффициенты вдвое ниже
* суммарных). Инвариант: при одних лимитах строго меньше суммарного
* бюджета, поэтому гейт XML достижим.
* Бюджет распаковки XML-частей docx, байты: {@code max(MIN_DECOMPRESSED_XML_MB×MiB,
* maxMb×4MiB + maxPages×32KiB)} (XML парсится JAXB DOM — дороже байта,
* поэтому коэффициенты вдвое ниже суммарных, и пол ниже). Инвариант: при
* одних лимитах строго меньше суммарного бюджета, поэтому гейт XML
* достижим.
*/
static long maxDecompressedXmlBytes(long maxMb, int maxPages) {
long budget = Math.multiplyExact(maxMb,
WordPdfConverter.DECOMPRESS_XML_MB_PER_MAX_MB * 1048576L)
+ (long) maxPages * WordPdfConverter.DECOMPRESS_XML_KIB_PER_PAGE * 1024L;
return Math.min(WordPdfSettings.MAX_DECOMPRESSED_XML_MB * 1048576L,
Math.max(WordPdfConverter.MIN_DECOMPRESSED_XML_MB * 1048576L, budget));
return Math.max(WordPdfConverter.MIN_DECOMPRESSED_XML_MB * 1048576L, budget);
}
/**
* Порог пиксельной площади одного растрового медиа, пиксели:
* {@code maxMb×5_000_000} (при лимите 5 МБ — 25 Мпикс, как в Word;
* разложение в ARGB-буфер ≈ 4 байта/пиксель). Публичный — нужен
* .doc-мосту ({@code OfficeArt}) для той же защиты на своём пути.
*/
public static long maxImagePixels(long maxMb) {
return Math.multiplyExact(maxMb, WordPdfConverter.IMAGE_PIXELS_PER_MAX_MB);
}
/** Порог числа zip-записей: {@code max(2048, maxMb×512 + maxPages×32)} — защита от бомбы «много записей». */
static long maxZipEntries(long maxMb, int maxPages) {
long v = Math.multiplyExact(maxMb, WordPdfConverter.ZIP_ENTRIES_PER_MAX_MB)
+ (long) maxPages * WordPdfConverter.ZIP_ENTRIES_PER_PAGE;
return Math.max(WordPdfConverter.MIN_ZIP_ENTRIES, v);
}
/** Поиск байтов ASCII-строки в массиве (манифест ограничен 8 МБ — наивного поиска достаточно). */
@@ -1,5 +1,7 @@
package ru.pjandro.wordpdf.internal.doc;
import ru.pjandro.wordpdf.WordPdfValidator;
import java.nio.charset.StandardCharsets;
import java.util.ArrayDeque;
import java.util.ArrayList;
@@ -15,7 +17,7 @@ import java.util.regex.Pattern;
/**
* Мост бинарного .doc (Word 97–2003) → минимальный transitional-.docx.
*
* <p>Точки входа пакета: {@link #convert(byte[])} (конвертация) и
* <p>Точки входа пакета: {@link #convert(byte[], long)} (конвертация) и
* {@link #countPages(byte[])} (нижняя оценка страниц для валидатора).
* Разбор строго по [MS-DOC]/[MS-CFB]/[MS-OLEPS]: контейнер — {@link CfbReader},
* общий разбор — {@link DocFile}, заголовок — {@link FibHeader}, текст —
@@ -114,9 +116,12 @@ public final class DocToDocx {
* {@link #countPages(byte[])}, но до всякой конвертации).</p>
*
* @param docBytes контейнер Word 97–2003
* @param maxMb лимит размера входа (МБ) — из него порог пиксельной
* площади растра ({@code WordPdfValidator.maxImagePixels})
* @throws ConversionException на некорректном/зашифрованном/чужом входе
*/
public static byte[] convert(byte[] docBytes) {
public static byte[] convert(byte[] docBytes, long maxMb) {
long maxPixels = WordPdfValidator.maxImagePixels(maxMb);
DocFile file = DocFile.open(docBytes);
FibHeader fib = file.fib();
FontTable fonts = FontTable.read(file.table(), fib.fcSttbfFfn(), fib.lcbSttbfFfn());
@@ -146,7 +151,7 @@ public final class DocToDocx {
byte[] data = CfbReader.stream(file.streams(), "Data");
file.releaseRawStreams();
DocxBody body = new DocxBody(file.pieces(), chpx, papx, fonts, styles, lists,
fib.ccpText(), data, parts);
fib.ccpText(), data, maxPixels, parts);
List<Sections.Section> secs = sections.list();
String[] hdrRel = new String[secs.size()];
String[] ftrRel = new String[secs.size()];
@@ -263,6 +268,8 @@ public final class DocToDocx {
private final int ccpText;
/** Data-поток (.doc) для BLIP по sprmCPicLocation. */
private final byte[] dataStream;
/** Порог пиксельной площади растра (WordPdfValidator.maxImagePixels). */
private final long maxPixels;
/** Части пакета (колонтитуки + media); id связи = rId{позиция+1}. */
private final List<DocxWriter.Part> parts;
private final Deque<Boolean> fieldStack = new ArrayDeque<>();
@@ -292,7 +299,7 @@ public final class DocToDocx {
DocxBody(PieceTable pieces, ChpxIndex chpx, PapxIndex papx, FontTable fonts,
Styles styles, Lists lists, int ccpText, byte[] dataStream,
List<DocxWriter.Part> parts) {
long maxPixels, List<DocxWriter.Part> parts) {
this.pieces = pieces;
this.chpx = chpx;
this.papx = papx;
@@ -301,6 +308,7 @@ public final class DocToDocx {
this.lists = lists;
this.ccpText = ccpText;
this.dataStream = dataStream;
this.maxPixels = maxPixels;
this.parts = parts;
}
@@ -872,7 +880,7 @@ public final class DocToDocx {
if (picLoc < 0) {
return;
}
OfficeArt.Picture pic = OfficeArt.read(dataStream, picLoc);
OfficeArt.Picture pic = OfficeArt.read(dataStream, picLoc, maxPixels);
if (pic == null) {
return;
}
@@ -1,7 +1,5 @@
package ru.pjandro.wordpdf.internal.doc;
import ru.pjandro.wordpdf.WordPdfSettings;
/**
* Извлечение растровой картинки из {@code PICFAndOfficeArtData}
* ([MS-DOC] §2.9.192, операнд {@code sprmCPicLocation} = offset в Data-потоке)
@@ -62,8 +60,10 @@ final class OfficeArt {
/**
* Картинка по {@code picLocation} в Data-потоке; {@code null} — нет
* данных/векторный формат/битая запись (деградация, не ошибка).
* Порог пиксельной площади растра ({@code maxPixels}, считает
* {@code WordPdfValidator.maxImagePixels}) приходит параметром.
*/
static Picture read(byte[] dataStream, long picLocation) {
static Picture read(byte[] dataStream, long picLocation, long maxPixels) {
if (picLocation < 0 || picLocation + PICF_SIZE > dataStream.length) {
return null;
}
@@ -81,7 +81,7 @@ final class OfficeArt {
scanFrom += 1 + (dataStream[scanFrom] & 0xFF); // cchPicName + stPicName
}
for (int p = scanFrom; p + 8 <= end; p++) {
Picture pic = tryBlip(dataStream, p, end, sizeX, sizeY);
Picture pic = tryBlip(dataStream, p, end, sizeX, sizeY, maxPixels);
if (pic != null) {
return pic;
}
@@ -90,7 +90,7 @@ final class OfficeArt {
}
/** Кандидат на BLIP-запись по смещению {@code p}; {@code null} — не он. */
private static Picture tryBlip(byte[] data, int p, int end, int sizeX, int sizeY) {
private static Picture tryBlip(byte[] data, int p, int end, int sizeX, int sizeY, long maxPixels) {
int verInstance = (int) (CfbReader.u32(data, p) & 0xFFFF);
int type = (int) (CfbReader.u32(data, p + 2) & 0xFFFF);
long cb = CfbReader.u32(data, p + 4);
@@ -119,7 +119,7 @@ final class OfficeArt {
? new Picture("jpg", "image/jpeg", slice(data, dataOff, dataLen),
emu(sizeX), emu(sizeY))
: null;
case BLIP_DIB -> dibToPng(data, dataOff, dataLen, sizeX, sizeY);
case BLIP_DIB -> dibToPng(data, dataOff, dataLen, sizeX, sizeY, maxPixels);
case BLIP_EMF, BLIP_WMF, BLIP_PICT -> null; // метафайлы не рендерим
default -> null;
};
@@ -162,17 +162,18 @@ final class OfficeArt {
private static final int BITMAPINFOHEADER_SIZE = 40;
/** DIB (BITMAPINFOHEADER + пиксели) → PNG через ImageIO; битый → null. */
private static Picture dibToPng(byte[] data, int off, int len, int sizeX, int sizeY) {
private static Picture dibToPng(byte[] data, int off, int len, int sizeX, int sizeY, long maxPixels) {
if (len < BITMAPINFOHEADER_SIZE) {
return null;
}
// Raster-bomb: BITMAPINFOHEADER из нескольких сотен байтов может
// объявить 50000×50000 — ImageIO аллоцирует растр ПО ЗАГОЛОВКУ и
// бросает OutOfMemoryError (Error, не ловится catch ниже). Отказ по
// площади — та же семантика «битый → объект пропущен».
// площади — та же семантика «битый → объект пропущен»; порог
// приходит параметром (WordPdfValidator.maxImagePixels).
long area = (long) Math.abs((int) CfbReader.u32(data, off + 4))
* Math.abs((int) CfbReader.u32(data, off + 8));
if (area > WordPdfSettings.MAX_IMAGE_PIXELS) {
if (area > maxPixels) {
return null;
}
try {
@@ -46,6 +46,11 @@ import static org.junit.jupiter.api.Assertions.*;
*/
class WordPdfConverterTest {
/** Эквивалент прежних дефолтов ядра: без error-флагов, лимиты 5 МБ / 100 страниц. */
private static ConvertOptions opts() {
return new ConvertOptions(false, false, false, 5, 100);
}
/** Готовый тестовый документ (коммитится, создан SampleDocxGenerator). */
private static byte[] sampleBytes(String name) throws IOException {
try (InputStream in = WordPdfConverterTest.class.getClassLoader()
@@ -98,7 +103,7 @@ class WordPdfConverterTest {
/** Конвертирует байты docx и пишет PDF во временный файл (PDFBox читает по пути). */
private static Path convertPdf(byte[] docxBytes, String title) throws IOException {
Path out = Files.createTempFile("converted-", ".pdf");
Files.write(out, WordPdfConverter.convert(docxBytes, title));
Files.write(out, WordPdfConverter.convert(docxBytes, title, opts()));
return out;
}
@@ -281,7 +286,7 @@ class WordPdfConverterTest {
ConversionException ex = assertThrows(ConversionException.class, () ->
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
new ConvertOptions(true, false, false,
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
5, 100)));
assertTrue(ex instanceof DrawingFoundException dfe
&& dfe.kind() == DrawingFoundException.Kind.CHARTS,
@@ -299,7 +304,7 @@ class WordPdfConverterTest {
ConversionException ex = assertThrows(ConversionException.class, () ->
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
new ConvertOptions(false, true, false,
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
5, 100)));
assertTrue(ex instanceof DrawingFoundException dfe
&& dfe.kind() == DrawingFoundException.Kind.SMARTART,
@@ -356,7 +361,7 @@ class WordPdfConverterTest {
ConversionException ex = assertThrows(ConversionException.class, () ->
convertPdf(sampleBytes("ole-embedded.docx"), "ole-embedded",
new ConvertOptions(false, false, true,
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
5, 100)));
assertTrue(ex instanceof DrawingFoundException dfe
&& dfe.kind() == DrawingFoundException.Kind.OLE,
@@ -629,7 +634,7 @@ class WordPdfConverterTest {
@Test
void invalidInputRejected() {
assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(null, "x"));
WordPdfConverter.convert(null, "x", opts()));
}
/**
@@ -637,9 +642,9 @@ class WordPdfConverterTest {
*/
@Test
void inputTooLarge() {
byte[] tooBig = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1];
byte[] tooBig = new byte[5 * 1024 * 1024 + 1];
ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(tooBig, "too-big"));
WordPdfConverter.convert(tooBig, "too-big", opts()));
assertTrue(ex.getMessage().contains("5 МБ"),
"сообщение должно упоминать лимит: " + ex.getMessage());
}
@@ -654,7 +659,7 @@ class WordPdfConverterTest {
void inputNotAZip_rejectedBeforeRender() {
byte[] junk = {1, 2, 3, 4, 5, 6, 7, 8};
ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(junk, "junk"));
WordPdfConverter.convert(junk, "junk", opts()));
assertTrue(ex.getMessage().contains("не похоже на .docx или .doc"),
"сообщение должно перечислять форматы: " + ex.getMessage());
}
@@ -673,7 +678,7 @@ class WordPdfConverterTest {
zos.closeEntry();
}
ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(out.toByteArray(), "x"));
WordPdfConverter.convert(out.toByteArray(), "x", opts()));
assertTrue(ex.getMessage().contains("не является .docx"),
"сообщение должно указывать на не-.docx-контейнер: " + ex.getMessage());
}
@@ -688,7 +693,7 @@ class WordPdfConverterTest {
byte[] big = new byte[1024 * 1024 + 1];
ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(big, "x",
new ConvertOptions(false, false, false, 1, WordPdfSettings.MAX_PAGES)));
new ConvertOptions(false, false, false, 1, 100)));
assertTrue(ex.getMessage().contains("1 МБ"),
"сообщение должно упоминать переданный лимит: " + ex.getMessage());
assertTrue(ex.getMessage().contains("1048576 байт"),
@@ -711,7 +716,7 @@ class WordPdfConverterTest {
ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(
sampleBytes(fixture), baseName(fixture),
new ConvertOptions(false, false, false, WordPdfSettings.MAX_INPUT_MB, 100)));
new ConvertOptions(false, false, false, 5, 100)));
assertTrue(ex.getMessage().contains("100"),
fixture + ": сообщение должно упоминать лимит: " + ex.getMessage());
}
@@ -727,7 +732,7 @@ class WordPdfConverterTest {
void staleCachePageCountRejectedBeforeRender() {
ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(sampleBytes("stale-cache.docx"), "stale-cache",
new ConvertOptions(false, false, false, WordPdfSettings.MAX_INPUT_MB, 100)));
new ConvertOptions(false, false, false, 5, 100)));
assertTrue(ex.getMessage().contains("100"),
"сообщение должно упоминать лимит: " + ex.getMessage());
}
@@ -743,7 +748,7 @@ class WordPdfConverterTest {
@Test
void staleCache_docConvertsByCacheOnly() throws Exception {
Path pdf = convertPdf(sampleBytes("stale-cache.doc"), "stale-cache",
new ConvertOptions(false, false, false, WordPdfSettings.MAX_INPUT_MB, 100));
new ConvertOptions(false, false, false, 5, 100));
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
assertTrue(doc.getNumberOfPages() >= 1, "PDF не отрендерился");
}
@@ -1372,7 +1377,7 @@ class WordPdfConverterTest {
ConversionException ex = assertThrows(ConversionException.class, () ->
convertPdf(docx, "no-extent",
new ConvertOptions(true, false, false,
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
5, 100)));
assertTrue(ex instanceof DrawingFoundException dfe
&& dfe.kind() == DrawingFoundException.Kind.CHARTS,
"ожидался DrawingFoundException(CHARTS), получено: " + ex);
@@ -1412,7 +1417,7 @@ class WordPdfConverterTest {
"второй страницы нет");
assertThrows(ValidationException.class, () -> convertPdf(sampleBytes("doc-formats.doc"),
"doc-formats", new ConvertOptions(false, false, false,
WordPdfSettings.MAX_INPUT_MB, 1)),
5, 1)),
"лимит 1 страница не удержал двухстраничный .doc");
}
@@ -2317,7 +2322,7 @@ class WordPdfConverterTest {
/** Черный (ink) / желтый пиксели первой страницы при 150 dpi (замеры аудита). */
private static int countPixels(byte[] docx, boolean yellow) throws IOException {
byte[] pdf = WordPdfConverter.convert(docx, "тест");
byte[] pdf = WordPdfConverter.convert(docx, "тест", opts());
try (PDDocument d = Loader.loadPDF(pdf)) {
java.awt.image.BufferedImage img = new PDFRenderer(d).renderImageWithDPI(0, 150);
int n = 0;
@@ -2755,9 +2760,9 @@ class WordPdfConverterTest {
*/
@Test
void fopFactorySharedAcrossConversions() throws Exception {
WordPdfConverter.convert(sampleBytes("ru-plain.docx"), "ru-plain");
WordPdfConverter.convert(sampleBytes("ru-plain.docx"), "ru-plain", opts());
FopFactory first = sharedFopFactoryRef();
WordPdfConverter.convert(sampleBytes("en-plain.docx"), "en-plain");
WordPdfConverter.convert(sampleBytes("en-plain.docx"), "en-plain", opts());
assertSame(first, sharedFopFactoryRef(),
"повторная конвертация обязана переиспользовать ту же FopFactory");
}
@@ -2771,7 +2776,7 @@ class WordPdfConverterTest {
*/
@Test
void sharedImageCaches_clearedAfterConversion() throws Exception {
WordPdfConverter.convert(sampleBytes("chart-types.docx"), "chart-types");
WordPdfConverter.convert(sampleBytes("chart-types.docx"), "chart-types", opts());
FopFactory factory = sharedFopFactoryRef();
Object imageCache = factory.getImageManager().getCache();
@@ -2812,8 +2817,8 @@ class WordPdfConverterTest {
byte[] chart = sampleBytes("chart-types.docx");
byte[][] out = new byte[2][];
Runnable[] jobs = {
() -> out[0] = WordPdfConverter.convert(plain, "ru-plain"),
() -> out[1] = WordPdfConverter.convert(chart, "chart-types"),
() -> out[0] = WordPdfConverter.convert(plain, "ru-plain", opts()),
() -> out[1] = WordPdfConverter.convert(chart, "chart-types", opts()),
};
Thread[] ts = new Thread[2];
for (int i = 0; i < 2; i++) {
@@ -2845,8 +2850,8 @@ class WordPdfConverterTest {
byte[] chart = sampleBytes("chart-types.docx");
byte[][] out = new byte[2][];
Runnable[] jobs = {
() -> out[0] = WordPdfConverter.convert(plain, "ru-plain"),
() -> out[1] = WordPdfConverter.convert(chart, "chart-types"),
() -> out[0] = WordPdfConverter.convert(plain, "ru-plain", opts()),
() -> out[1] = WordPdfConverter.convert(chart, "chart-types", opts()),
};
Thread[] ts = new Thread[3];
ts[0] = new Thread(jobs[0]);
@@ -2910,7 +2915,7 @@ class WordPdfConverterTest {
putZip(zos, "word/document.xml", doc);
}
ConversionException e = assertThrows(ConversionException.class,
() -> WordPdfConverter.convert(out.toByteArray(), "xxe"));
() -> WordPdfConverter.convert(out.toByteArray(), "xxe", opts()));
assertFalse(e.getMessage() != null && e.getMessage().contains("XXE-SECRET-42"),
"содержимое внешнего файла не должно попадать в сообщение ошибки");
} finally {
@@ -22,6 +22,8 @@ class WordPdfValidatorTest {
/** Лимит страниц в тесте точной границы (99 разрывов проходят, 100 — нет). */
private static final int PAGE_LIMIT = 100;
/** Эквивалент прежних дефолтов ядра: лимиты входа 5 МБ / 100 страниц. */
private static final ConvertOptions DEF_OPTS = new ConvertOptions(false, false, false, 5, 100);
/** Путь основной части документа в zip. */
private static final String DOCUMENT_PART = "word/document.xml";
@@ -41,14 +43,14 @@ class WordPdfValidatorTest {
@Test
void checkInput_bytesWithinLimit() {
assertDoesNotThrow(() ->
WordPdfValidator.checkInput(new byte[1024]));
WordPdfValidator.checkInput(new byte[1024], 5));
}
@Test
void checkInput_bytesOverLimit() {
byte[] big = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1];
byte[] big = new byte[5 * 1024 * 1024 + 1];
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.checkInput(big));
() -> WordPdfValidator.checkInput(big, 5));
assertTrue(ex.getMessage().contains("5 МБ"),
"сообщение должно упоминать лимит: " + ex.getMessage());
}
@@ -56,7 +58,7 @@ class WordPdfValidatorTest {
@Test
void checkInput_bytesNull() {
assertThrows(ValidationException.class,
() -> WordPdfValidator.checkInput((byte[]) null));
() -> WordPdfValidator.checkInput((byte[]) null, 5));
}
/**
@@ -77,7 +79,7 @@ class WordPdfValidatorTest {
@Test
void checkPageCount_bytesWithinLimit() throws Exception {
byte[] bytes = docxWithPageBreaks(5);
assertDoesNotThrow(() -> WordPdfValidator.checkPageCount(bytes));
assertDoesNotThrow(() -> WordPdfValidator.checkPageCount(bytes, PAGE_LIMIT));
}
@Test
@@ -257,7 +259,7 @@ class WordPdfValidatorTest {
@Test
void checkPageCount_bytesNull() {
assertThrows(ValidationException.class,
() -> WordPdfValidator.checkPageCount((byte[]) null));
() -> WordPdfValidator.checkPageCount((byte[]) null, PAGE_LIMIT));
}
// ===== validate(byte[], ConvertOptions) =====
@@ -269,14 +271,14 @@ class WordPdfValidatorTest {
@Test
void validate_withinLimits() throws Exception {
assertDoesNotThrow(() -> WordPdfValidator.validate(
docxWithPageBreaks(5), ConvertOptions.defaults()));
docxWithPageBreaks(5), DEF_OPTS));
}
@Test
void validate_bytesOverLimit() {
byte[] big = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1];
byte[] big = new byte[5 * 1024 * 1024 + 1];
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(big, ConvertOptions.defaults()));
() -> WordPdfValidator.validate(big, DEF_OPTS));
assertTrue(ex.getMessage().contains("5 МБ"),
"размер проверяется первым: " + ex.getMessage());
}
@@ -285,7 +287,7 @@ class WordPdfValidatorTest {
void validate_notAZip() {
byte[] junk = {1, 2, 3, 4, 5};
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(junk, ConvertOptions.defaults()));
() -> WordPdfValidator.validate(junk, DEF_OPTS));
assertTrue(ex.getMessage().contains("не zip-архив"),
"сообщение должно упоминать zip-подпись: " + ex.getMessage());
}
@@ -306,7 +308,7 @@ class WordPdfValidatorTest {
}
byte[] zip = out.toByteArray();
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
() -> WordPdfValidator.validate(zip, DEF_OPTS));
assertTrue(ex.getMessage().contains("не является .docx"),
"zip без манифеста wordprocessingml — не .docx: " + ex.getMessage());
}
@@ -325,14 +327,14 @@ class WordPdfValidatorTest {
}
byte[] xlsx = out.toByteArray();
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(xlsx, ConvertOptions.defaults()));
() -> WordPdfValidator.validate(xlsx, DEF_OPTS));
assertTrue(ex.getMessage().contains("не является .docx"),
"манифест xlsx — spreadsheetml: " + ex.getMessage());
}
/**
* Zip-бомба: распакованный суммарный размер больше бюджета распаковки
* (из лимитов входа, крышка {@link WordPdfSettings#MAX_DECOMPRESSED_MB})
* (из лимитов входа, см. {@link WordPdfValidator#maxDecompressedBytes})
* отсекается потоково — до
* {@code readAllBytes} в {@code checkPageCount} (без проверки валидатор
* прочитал бы 200+ МБ в память). Регрессия — WordPdfValidator#checkDocxContainer.
@@ -345,29 +347,30 @@ class WordPdfValidatorTest {
zos.write(new byte[1024]);
zos.closeEntry();
zos.putNextEntry(new ZipEntry("bomb.bin"));
zos.write(new byte[(int) (WordPdfSettings.MAX_DECOMPRESSED_MB * 1024 * 1024) + 1]);
zos.write(new byte[(int) (WordPdfValidator.maxDecompressedBytes(5, 100) + 1)]);
zos.closeEntry();
}
byte[] zip = out.toByteArray();
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
() -> WordPdfValidator.validate(zip, DEF_OPTS));
assertTrue(ex.getMessage().contains("zip-бомбы"), ex.getMessage());
assertTrue(ex.getMessage().contains(String.valueOf(
WordPdfValidator.maxDecompressedBytes(WordPdfSettings.MAX_INPUT_MB,
WordPdfSettings.MAX_PAGES) / 1048576)),
WordPdfValidator.maxDecompressedBytes(5,
100) / 1048576)),
"сообщение должно упоминать вычисленный бюджет: " + ex.getMessage());
}
/**
* Бомба «много записей»: больше {@link WordPdfSettings#MAX_ZIP_ENTRIES}
* записей отвергаются до разбора содержимого.
* Бомба «много записей»: больше {@link WordPdfValidator#maxZipEntries}
* (при лимитах 5/100 — 5760) записей отвергаются до разбора содержимого.
* Регрессия — WordPdfValidator#checkDocxContainer.
*/
@Test
void validate_tooManyEntriesRejected() throws Exception {
int limit = (int) WordPdfValidator.maxZipEntries(5, 100);
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
for (int i = 0; i <= WordPdfSettings.MAX_ZIP_ENTRIES; i++) {
for (int i = 0; i <= limit; i++) {
zos.putNextEntry(new ZipEntry("e" + i + ".txt"));
zos.write(new byte[] {1});
zos.closeEntry();
@@ -375,13 +378,13 @@ class WordPdfValidatorTest {
}
byte[] zip = out.toByteArray();
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
() -> WordPdfValidator.validate(zip, DEF_OPTS));
assertTrue(ex.getMessage().contains("записей"), ex.getMessage());
}
/**
* XML-бомба: распакованные XML-части больше
* {@link WordPdfSettings#MAX_DECOMPRESSED_XML_MB} — отказ по байтовому
* {@link WordPdfValidator#maxDecompressedXmlBytes} — отказ по байтовому
* гейту XML (байтовый лимит архива ещё не исчерпан).
* Регрессия — WordPdfValidator#checkDocxContainer (xmlTotal).
*/
@@ -393,12 +396,12 @@ class WordPdfValidatorTest {
zos.write(CONTENT_TYPES.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
zos.putNextEntry(new ZipEntry("word/document.xml"));
zos.write(new byte[(int) (WordPdfSettings.MAX_DECOMPRESSED_XML_MB * 1024 * 1024) + 1]);
zos.write(new byte[(int) (WordPdfValidator.maxDecompressedXmlBytes(5, 100) + 1)]);
zos.closeEntry();
}
byte[] zip = out.toByteArray();
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
() -> WordPdfValidator.validate(zip, DEF_OPTS));
assertTrue(ex.getMessage().contains("XML-частей"), ex.getMessage());
}
@@ -427,8 +430,9 @@ class WordPdfValidatorTest {
/**
* Бюджет растёт с лимитами входа: maxMb=2/maxPages=20 дают ~21 МБ — 20 МБ
* non-XML-распаковки проходят; те же байты при maxMb=1/maxPages=10 (пол
* 16 МБ) отвергаются. Крышка WordPdfSettings: maxMb=10/maxPages=100 →
* 64 МБ, 65 МБ — отказ. Регрессия — WordPdfValidator#maxDecompressedBytes.
* 16 МБ) отвергаются. Верхних крышек нет: при maxMb=10/maxPages=100 бюджет
* ~106 МБ — 65 МБ проходят (защита масштабируется вместе с лимитами).
* Регрессия — WordPdfValidator#maxDecompressedBytes.
*/
@Test
void validate_budgetScalesWithInputLimits() throws Exception {
@@ -438,10 +442,8 @@ class WordPdfValidatorTest {
() -> WordPdfValidator.validate(zip, options(1, 10)));
assertTrue(floor.getMessage().contains("16 МБ"), floor.getMessage());
byte[] big = zipOf("word/bomb.bin", new byte[65 * 1024 * 1024]);
ValidationException capped = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(big, options(10, 100)));
assertTrue(capped.getMessage().contains("64 МБ"),
"крышка WordPdfSettings.MAX_DECOMPRESSED_MB: " + capped.getMessage());
assertDoesNotThrow(() -> WordPdfValidator.validate(big, options(10, 100)),
"крышек нет — бюджет догоняет лимиты входа");
}
/**
@@ -459,7 +461,7 @@ class WordPdfValidatorTest {
"word/document.xml"},
new byte[][] {ct, doc, doc});
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
() -> WordPdfValidator.validate(zip, DEF_OPTS));
assertTrue(ex.getMessage().contains("Дубликаты записей"), ex.getMessage());
}
@@ -587,7 +589,8 @@ class WordPdfValidatorTest {
/**
* Raster-bomb: заголовок растра (PNG/GIF/BMP/JPEG — каждый свой формат)
* объявляет площадь выше {@link WordPdfSettings#MAX_IMAGE_PIXELS} — отказ
* объявляет площадь выше {@link WordPdfValidator#maxImagePixels(long)}
* (при лимите 5 МБ — 25 Мпикс) — отказ
* до любого декодирования. Регрессия — WordPdfValidator#rasterArea.
*/
@Test
@@ -598,7 +601,7 @@ class WordPdfValidatorTest {
for (int i = 0; i < bombs.length; i++) {
byte[] zip = zipOf(exts[i], bombs[i]);
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()),
() -> WordPdfValidator.validate(zip, DEF_OPTS),
"должно отклоняться: " + exts[i]);
assertTrue(ex.getMessage().contains("Изображение слишком большое"), ex.getMessage());
}
@@ -628,7 +631,7 @@ class WordPdfValidatorTest {
"word/media/a.jpeg"};
for (int i = 0; i < ok.length; i++) {
byte[] zip = zipOf(exts[i], ok[i]);
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()),
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, DEF_OPTS),
exts[i]);
}
}
@@ -653,7 +656,7 @@ class WordPdfValidatorTest {
byte[][] heads = {png, gif, bmp, jpeg};
for (int i = 0; i < heads.length; i++) {
byte[] zip = zipOf(exts[i], heads[i]);
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()),
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, DEF_OPTS),
exts[i]);
}
}
@@ -663,7 +666,7 @@ class WordPdfValidatorTest {
byte[] bytes = docxWithPageBreaks(120);
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(bytes,
options(WordPdfSettings.MAX_INPUT_MB, 100)));
options(5, 100)));
assertTrue(ex.getMessage().contains("не менее 121"),
"оценка = 1 + 120 разрывов: " + ex.getMessage());
}
@@ -671,7 +674,7 @@ class WordPdfValidatorTest {
@Test
void validate_nullBytes() {
assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(null, ConvertOptions.defaults()));
() -> WordPdfValidator.validate(null, DEF_OPTS));
}
/**
@@ -848,7 +851,7 @@ class WordPdfValidatorTest {
DOCUMENT_PART, docPart("")));
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(docx,
options(WordPdfSettings.MAX_INPUT_MB, PAGE_LIMIT)));
options(5, PAGE_LIMIT)));
assertTrue(ex.getMessage().contains("8 МБ"), ex.getMessage());
}
@@ -857,14 +860,14 @@ class WordPdfValidatorTest {
void validate_shortAndBrokenPkPrefixRejected() {
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(new byte[]{'P', 'K'},
ConvertOptions.defaults()));
DEF_OPTS));
assertTrue(ex.getMessage().contains("не zip"), ex.getMessage());
assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(new byte[]{'P', 'K', 3, 9},
ConvertOptions.defaults()));
DEF_OPTS));
assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(new byte[]{'P', 'K', 0, 4},
ConvertOptions.defaults()));
DEF_OPTS));
}
/** Фикстура samples/*.doc (бинарный .doc заказчика). */
@@ -926,7 +929,7 @@ class WordPdfValidatorTest {
byte[] doc = sample("too-many-pages.doc");
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(doc,
options(WordPdfSettings.MAX_INPUT_MB, PAGE_LIMIT)));
options(5, PAGE_LIMIT)));
assertTrue(ex.getMessage().contains("не менее 151"), ex.getMessage());
}
}
@@ -94,11 +94,12 @@ class DrawingPreRendererTest {
@Test
void pngBudget_exhausted_dropsObjects() throws Exception {
WordprocessingMLPackage poor = chartPkg();
DrawingPreRenderer.run(poor, ru.pjandro.wordpdf.ConvertOptions.defaults(), 1);
DrawingPreRenderer.run(poor, new ru.pjandro.wordpdf.ConvertOptions(false, false, false, 5, 100), 1);
assertEquals(0, chartMedia(poor).size(),
"исчерпанный бюджет обязан удалить все chart-объекты без media-частей");
WordprocessingMLPackage rich = chartPkg();
DrawingPreRenderer.run(rich, ru.pjandro.wordpdf.ConvertOptions.defaults(), Long.MAX_VALUE);
DrawingPreRenderer.run(rich, new ru.pjandro.wordpdf.ConvertOptions(false, false, false, 5, 100),
Long.MAX_VALUE);
assertTrue(!chartMedia(rich).isEmpty(), "неограниченный бюджет обязан отрендерить объекты");
}
@@ -399,7 +399,7 @@ class DocToDocxFormattingTest {
}
private static String partXml(byte[] doc, String entry) throws IOException {
return new String(zipPart(DocToDocx.convert(doc), entry), StandardCharsets.UTF_8);
return new String(zipPart(DocToDocx.convert(doc, 5), entry), StandardCharsets.UTF_8);
}
/** Байты zip-записи из уже сконвертированного .docx. */
@@ -489,7 +489,7 @@ class DocToDocxFormattingTest {
void embeddedObjectsWithoutPicture_skipped() throws IOException {
// U+0001 без sprmCPicLocation и с picLocation на мусорный Data —
// ни одной image-части
byte[] docx = DocToDocx.convert(cfb(true, true));
byte[] docx = DocToDocx.convert(cfb(true, true), 5);
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docx))) {
ZipEntry e;
while ((e = zip.getNextEntry()) != null) {
@@ -568,7 +568,7 @@ class DocToDocxFormattingTest {
@Test
void missingTableStream_rejected() throws IOException {
ConversionException ex = assertThrows(ConversionException.class,
() -> DocToDocx.convert(cfb(true, false)));
() -> DocToDocx.convert(cfb(true, false), 5));
assertSame(ConversionException.class, ex.getClass());
assertTrue(ex.getMessage().contains("1Table"), ex.getMessage());
}
@@ -1122,7 +1122,7 @@ class DocToDocxFormattingTest {
@Test
void listParagraphs_getNumPrAndNumberingPart() throws IOException {
byte[] docx = DocToDocx.convert(listDoc(true));
byte[] docx = DocToDocx.convert(listDoc(true), 5);
String xml = new String(zipPart(docx, DOCUMENT_XML), StandardCharsets.UTF_8);
assertTrue(xml.contains("<w:numPr><w:ilvl w:val=\"0\"/><w:numId w:val=\"1\"/></w:numPr>"),
xml);
@@ -1174,7 +1174,7 @@ class DocToDocxFormattingTest {
@Test
void missingListTables_degradeToPlain() throws IOException {
byte[] docx = DocToDocx.convert(listDoc(false));
byte[] docx = DocToDocx.convert(listDoc(false), 5);
String xml = new String(zipPart(docx, DOCUMENT_XML), StandardCharsets.UTF_8);
assertFalse(xml.contains("<w:numPr>"), xml);
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docx))) {
@@ -1274,7 +1274,7 @@ class DocToDocxFormattingTest {
*/
@Test
void twoSections_perSectionSectPrAndParts() throws IOException {
byte[] docx = DocToDocx.convert(twoSectionDoc());
byte[] docx = DocToDocx.convert(twoSectionDoc(), 5);
String xml = new String(zipPart(docx, DOCUMENT_XML), StandardCharsets.UTF_8);
// разрыв секции НЕ эмитится как разрыв страницы
assertFalse(xml.contains("<w:br w:type=\"page\"/>"),
@@ -2070,7 +2070,7 @@ class DocToDocxFormattingTest {
byte[] region = picRegion();
byte[] docx = DocToDocx.convert(craftDoc((char) 0x08 + "\r", null, region,
List.of(new ChpxRun(0, new byte[] {0x03, 0x6A, 0, 0, 0, 0})),
List.of(new PapxRun(0, null))));
List.of(new PapxRun(0, null))), 5);
String xml = new String(zipPart(docx, DOCUMENT_XML), StandardCharsets.UTF_8);
assertTrue(xml.contains("<w:drawing>"), "0x08 обязан стать картинкой: " + xml);
assertTrue(zipPart(docx, "word/media/image1.png").length > 0);
@@ -37,7 +37,7 @@ class DocToDocxTest {
/** document.xml из конвертированного .docx. */
private static String documentXml(byte[] docBytes) throws IOException {
byte[] docx = DocToDocx.convert(docBytes);
byte[] docx = DocToDocx.convert(docBytes, 5);
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docx))) {
ZipEntry entry;
while ((entry = zip.getNextEntry()) != null) {
@@ -99,7 +99,7 @@ class DocToDocxTest {
@Test
void tableFixture_becomesTblWithImage() throws IOException {
byte[] docx = DocToDocx.convert(sample("ru-table-image.doc"));
byte[] docx = DocToDocx.convert(sample("ru-table-image.doc"), 5);
String xml = documentXml(sample("ru-table-image.doc"));
assertTrue(xml.contains("<w:tbl>"), "таблица не перенесена структурой");
assertTrue(xml.contains("<w:gridCol"), "сетка потеряна");
@@ -117,7 +117,7 @@ class DocToDocxTest {
void encrypted_rejected() throws IOException {
byte[] cfb = cfbWith("EncryptedPackage", "WordDocument");
ConversionException e = assertThrows(ConversionException.class,
() -> DocToDocx.convert(cfb));
() -> DocToDocx.convert(cfb, 5));
assertSame(ConversionException.class, e.getClass());
assertTrue(e.getMessage().contains("зашифрован"), e.getMessage());
}
@@ -126,7 +126,7 @@ class DocToDocxTest {
void cfbWithoutWordDocument_rejected() throws IOException {
byte[] cfb = cfbWith("Workbook");
ConversionException e = assertThrows(ConversionException.class,
() -> DocToDocx.convert(cfb));
() -> DocToDocx.convert(cfb, 5));
assertSame(ConversionException.class, e.getClass());
assertTrue(e.getMessage().contains("не похоже"), e.getMessage());
}
@@ -136,7 +136,7 @@ class DocToDocxTest {
byte[] full = sample("ru-plain.doc");
byte[] cut = Arrays.copyOf(full, 2048);
ConversionException e = assertThrows(ConversionException.class,
() -> DocToDocx.convert(cut));
() -> DocToDocx.convert(cut, 5));
assertSame(ConversionException.class, e.getClass());
}
@@ -1,5 +1,7 @@
package ru.pjandro.wordpdf.internal.doc;
import ru.pjandro.wordpdf.WordPdfValidator;
import static org.junit.jupiter.api.Assertions.assertArrayEquals;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertNotNull;
@@ -18,13 +20,16 @@ import org.junit.jupiter.api.Test;
*/
class OfficeArtTest {
/** Порог площади растра как у штатных лимитов входа (5 МБ → 25 Мпикс). */
private static final long MAX_PX = WordPdfValidator.maxImagePixels(5);
private static final byte[] PNG_TINY = pngBytes();
@Test
void pngBlip_extractedWithScaledSize() {
byte[] region = region(picf(1800, 900, 1000, 1000),
blip(0x6E0, 0xF01E, 16, PNG_TINY));
OfficeArt.Picture pic = OfficeArt.read(region, 0);
OfficeArt.Picture pic = OfficeArt.read(region, 0, MAX_PX);
assertNotNull(pic);
assertEquals("png", pic.extension());
assertEquals("image/png", pic.contentType());
@@ -37,7 +42,7 @@ class OfficeArtTest {
void oddInstance_secondUidSkipped() {
byte[] region = region(picf(100, 100, 1000, 1000),
blip(0x6E1, 0xF01E, 32, PNG_TINY));
OfficeArt.Picture pic = OfficeArt.read(region, 0);
OfficeArt.Picture pic = OfficeArt.read(region, 0, MAX_PX);
assertNotNull(pic, "нечётный recInstance — два UID, данные после 32+1");
assertArrayEquals(PNG_TINY, pic.data());
}
@@ -46,7 +51,7 @@ class OfficeArtTest {
void jpegBlip_extracted() {
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xE0, 1, 2, 3};
byte[] region = region(picf(100, 100, 1000, 1000), blip(0x46B, 0xF01D, 16, jpeg));
OfficeArt.Picture pic = OfficeArt.read(region, 0);
OfficeArt.Picture pic = OfficeArt.read(region, 0, MAX_PX);
assertNotNull(pic);
assertEquals("jpg", pic.extension());
assertEquals("image/jpeg", pic.contentType());
@@ -57,7 +62,7 @@ class OfficeArtTest {
// [MS-ODRAW] A.1: 0xF02A трактуется как 0xF01D
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, 1, 2};
byte[] region = region(picf(100, 100, 1000, 1000), blip(0x46B, 0xF02A, 16, jpeg));
assertNotNull(OfficeArt.read(region, 0));
assertNotNull(OfficeArt.read(region, 0, MAX_PX));
}
@Test
@@ -65,7 +70,7 @@ class OfficeArtTest {
for (int type : new int[] {0xF01A, 0xF01B, 0xF01C}) {
byte[] region = region(picf(100, 100, 1000, 1000),
blip(0x2FC, type, 16, PNG_TINY));
assertNull(OfficeArt.read(region, 0),
assertNull(OfficeArt.read(region, 0, MAX_PX),
"метафайл 0x" + Integer.toHexString(type) + " не рендерится");
}
}
@@ -74,7 +79,7 @@ class OfficeArtTest {
void pngSignatureRequired() {
byte[] region = region(picf(100, 100, 1000, 1000),
blip(0x6E0, 0xF01E, 16, new byte[] {1, 2, 3, 4, 5, 6, 7, 8, 9}));
assertNull(OfficeArt.read(region, 0), "recType=PNG без сигнатуры — ложное срабатывание");
assertNull(OfficeArt.read(region, 0, MAX_PX), "recType=PNG без сигнатуры — ложное срабатывание");
}
@Test
@@ -82,18 +87,18 @@ class OfficeArtTest {
byte[] good = region(picf(100, 100, 1000, 1000), blip(0x6E0, 0xF01E, 16, PNG_TINY));
byte[] badCb = good.clone();
badCb[4] = 0x40; // cbHeader ≠ 0x44 (NilPICFAndBinData — OLE-бинарник)
assertNull(OfficeArt.read(badCb, 0));
assertNull(OfficeArt.read(badCb, 0, MAX_PX));
byte[] badLcb = good.clone();
put32(badLcb, 0, 40); // lcb < PICF_SIZE
assertNull(OfficeArt.read(badLcb, 0));
assertNull(OfficeArt.read(badLcb, 0, MAX_PX));
assertNull(OfficeArt.read(good, -1), "отрицательный picLocation");
assertNull(OfficeArt.read(good, good.length - 10), "PICF не влезает в поток");
assertNull(OfficeArt.read(good, -1, MAX_PX), "отрицательный picLocation");
assertNull(OfficeArt.read(good, good.length - 10, MAX_PX), "PICF не влезает в поток");
byte[] truncated = new byte[good.length - 1];
System.arraycopy(good, 0, truncated, 0, truncated.length);
assertNull(OfficeArt.read(truncated, 0), "off + lcb за концом потока");
assertNull(OfficeArt.read(truncated, 0, MAX_PX), "off + lcb за концом потока");
}
@Test
@@ -104,7 +109,7 @@ class OfficeArtTest {
}
put32(region, 0, region.length);
put16(region, 4, 0x44);
assertNull(OfficeArt.read(region, 0));
assertNull(OfficeArt.read(region, 0, MAX_PX));
}
@Test
@@ -119,14 +124,14 @@ class OfficeArtTest {
System.arraycopy(name, 0, region, picf.length, name.length);
System.arraycopy(blip, 0, region, picf.length + name.length, blip.length);
put32(region, 0, region.length);
assertNotNull(OfficeArt.read(region, 0));
assertNotNull(OfficeArt.read(region, 0, MAX_PX));
}
@Test
void pngSizeFallsBackToIhdr() {
// dxaGoal=0 → размер из IHDR @96 dpi: 100×50 px → 1500×750 twips
byte[] region = region(picf(0, 0, 1000, 1000), blip(0x6E0, 0xF01E, 16, PNG_TINY));
OfficeArt.Picture pic = OfficeArt.read(region, 0);
OfficeArt.Picture pic = OfficeArt.read(region, 0, MAX_PX);
assertNotNull(pic);
assertEquals(1500 * 635, pic.cxEmu());
assertEquals(750 * 635, pic.cyEmu());
@@ -136,7 +141,7 @@ class OfficeArtTest {
void dibReencodedToPng() {
byte[] dib = dib24();
byte[] region = region(picf(100, 100, 1000, 1000), blip(0x6E4, 0xF01F, 16, dib));
OfficeArt.Picture pic = OfficeArt.read(region, 0);
OfficeArt.Picture pic = OfficeArt.read(region, 0, MAX_PX);
assertNotNull(pic, "DIB обязан перекодироваться в PNG");
assertEquals("png", pic.extension());
assertEquals((byte) 0x89, pic.data()[0]);
@@ -147,14 +152,14 @@ class OfficeArtTest {
void truncatedDib_null() {
byte[] region = region(picf(100, 100, 1000, 1000),
blip(0x6E4, 0xF01F, 16, new byte[20]));
assertNull(OfficeArt.read(region, 0));
assertNull(OfficeArt.read(region, 0, MAX_PX));
}
/**
* Raster bomb: BITMAPINFOHEADER объявляет 50000×50000 — отказ по площади
* ДО ImageIO.read (растр аллоцируется по заголовку и бросает
* OutOfMemoryError, который местный catch не ловит).
* Регрессия — OfficeArt#dibToPng (WordPdfSettings.MAX_IMAGE_PIXELS).
* Регрессия — OfficeArt#dibToPng (порог-параметр maxPixels).
*/
@Test
void oversizedDib_null() {
@@ -166,7 +171,7 @@ class OfficeArtTest {
}
byte[] region = region(picf(100, 100, 1000, 1000),
blip(0x6E4, 0xF01F, 16, buf.array()));
assertNull(OfficeArt.read(region, 0), "DIB с завышенной площадью обязан пропускаться");
assertNull(OfficeArt.read(region, 0, MAX_PX), "DIB с завышенной площадью обязан пропускаться");
}
@Test
@@ -177,7 +182,7 @@ class OfficeArtTest {
System.arraycopy(picf, 0, region, 0, picf.length);
System.arraycopy(blip, 0, region, picf.length, blip.length);
put32(region, 0, picf.length + 4); // lcb обрезает BLIP-область
assertNull(OfficeArt.read(region, 0), "cb за пределами lcb — не картинка");
assertNull(OfficeArt.read(region, 0, MAX_PX), "cb за пределами lcb — не картинка");
}
// --- конструкторы крафтовых областей -------------------------------