Аудит безопасности: OOM-гейты входа, потокобезопасность, периметр #99
@@ -329,6 +329,14 @@ jobs:
|
|||||||
resolver 10.112.0.1 valid=10s ipv6=off;
|
resolver 10.112.0.1 valid=10s ipv6=off;
|
||||||
set \$upstream_app http://app:8080;
|
set \$upstream_app http://app:8080;
|
||||||
set \$upstream_web http://web:80;
|
set \$upstream_web http://web:80;
|
||||||
|
# X-Forwarded-* переписываются безусловно: клиент не должен иметь
|
||||||
|
# возможности подсунуть бэкенду подставной "реальный IP/схема/хост"
|
||||||
|
# (Spring ForwardedHeaderFilter доверяет этим заголовкам).
|
||||||
|
# X-Forwarded-Prefix не трогаем: его проставляет внешний nginx,
|
||||||
|
# на нём держится корректный base у swagger-ui за прокси.
|
||||||
|
proxy_set_header X-Forwarded-For \$remote_addr;
|
||||||
|
proxy_set_header X-Forwarded-Proto \$scheme;
|
||||||
|
proxy_set_header X-Forwarded-Host \$host;
|
||||||
location /api/ {
|
location /api/ {
|
||||||
# в proxy_pass нет path-части, поэтому URI передаётся как есть
|
# в proxy_pass нет path-части, поэтому URI передаётся как есть
|
||||||
proxy_pass \$upstream_app;
|
proxy_pass \$upstream_app;
|
||||||
|
|||||||
@@ -8,7 +8,7 @@
|
|||||||
|
|
||||||
| Модуль | Содержимое |
|
| Модуль | Содержимое |
|
||||||
|---|---|
|
|---|---|
|
||||||
| `wordpdf-core` | библиотека: 62 Java-файла (7 — публичный API, 16 `internal/`, 18 `internal/doc/`, 18 `internal/chart/`, 3 `fonts/`) |
|
|`wordpdf-core`|библиотека: 61 Java-файл (6 — публичный API, 16 `internal/`, 18 `internal/doc/`, 18 `internal/chart/`, 3 `fonts/`)|
|
||||||
| `wordpdf-app` | REST API на Spring Boot 4.1.1: 11 классов, единственный `public` — `WordPdfApplication` |
|
| `wordpdf-app` | REST API на Spring Boot 4.1.1: 11 классов, единственный `public` — `WordPdfApplication` |
|
||||||
| `wordpdf-web` | SPA (React 19 + TS + Vite + Tailwind), вне Maven-реактора, отдельный образ |
|
| `wordpdf-web` | SPA (React 19 + TS + Vite + Tailwind), вне Maven-реактора, отдельный образ |
|
||||||
|
|
||||||
@@ -18,7 +18,7 @@
|
|||||||
|
|
||||||
Порядок шагов 0–7 фиксирован (`convertToStream`), местами менять нельзя. Вход роутируется по сигнатуре: `PK\x03\x04` → docx-путь; `D0 CF 11 E0 A1 B1 1A E1` (CFB, MS-CFB §2.2) → `DocToDocx.convert` → in-memory `.docx` → тот же конвейер (предикат — `WordPdfValidator.isBinaryDoc`). Валидация — **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись zip/CFB → контейнер → страницы); для `.doc` — `checkPageCountDoc` по сырым байтам.
|
Порядок шагов 0–7 фиксирован (`convertToStream`), местами менять нельзя. Вход роутируется по сигнатуре: `PK\x03\x04` → docx-путь; `D0 CF 11 E0 A1 B1 1A E1` (CFB, MS-CFB §2.2) → `DocToDocx.convert` → in-memory `.docx` → тот же конвейер (предикат — `WordPdfValidator.isBinaryDoc`). Валидация — **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись zip/CFB → контейнер → страницы); для `.doc` — `checkPageCountDoc` по сырым байтам.
|
||||||
|
|
||||||
Порядок: шрифты (`BundledFontMapper` → `BundledFonts.init` → `restrictToBundled`) и правила 1–10 (`DocxRewritePipeline.STEP`) + `OleObjectNormalizer` — до `WordprocessingMLPackage.load`; `FOSettings`/`FopFallbackFonts`/`LayoutPostRenderer` — до `setCustomXsltTemplates(VendoredXslt.TEMPLATES)`; `Docx4J.toFO(…, FLAG_EXPORT_PREFER_XSL)` — последним; `finally` → `deleteEmbeddedFontTempFiles()`. Полная таблица шагов и подсчёт страниц — `docs/agent/pipeline.md`.
|
Порядок: шрифты (`BundledFontMapper` → `BundledFonts.init` → `restrictToBundled`) и правила 1–10 (`DocxRewritePipeline.STEP`) + `OleObjectNormalizer` — до `WordprocessingMLPackage.load`; `FOSettings`/`FopFallbackFonts`/`LayoutPostRenderer` — до `setCustomXsltTemplates(VendoredXslt.TEMPLATES)`; `Docx4J.toFO(…, FLAG_EXPORT_PREFER_XSL)` — последним; `finally` → `deleteEmbeddedFontTempFiles()` + сброс имиджевых кешей общей FopFactory + `BundledFonts.restrictToBundled()` (реестр шрифтов возвращается в бандл-состояние: `load()` регистрирует встроенные шрифты документа в глобальном `PhysicalFonts`). Полная таблица шагов и подсчёт страниц — `docs/agent/pipeline.md`.
|
||||||
|
|
||||||
## Нормализаторы (`internal/DocxNormalizer`)
|
## Нормализаторы (`internal/DocxNormalizer`)
|
||||||
|
|
||||||
@@ -26,23 +26,23 @@
|
|||||||
|
|
||||||
## Мост `.doc` → `.docx` (`internal/doc`)
|
## Мост `.doc` → `.docx` (`internal/doc`)
|
||||||
|
|
||||||
18 классов, 16 package-private; наружу — `DocToDocx` (`convert`/`countPages`) и `CfbReader`. Общий разбор — `DocFile`: CFB → потоки WordDocument / 0Table|1Table / Data + FIB + piece table. Новых runtime-зависимостей нет (POI/POIFS — test-scope). Источники: [MS-DOC] (`docs/standards/doc/`), [MS-CFB]/[MS-OLEPS]/[MS-ODRAW] (`docs/standards/binary/`). Байтовые раскладки по классам — `docs/agent/doc-bridge.md`.
|
18 классов, 17 package-private; наружу — только `DocToDocx` (`convert`/`countPages`). Общий разбор — `DocFile`: CFB → потоки WordDocument / 0Table|1Table / Data + FIB + piece table. Новых runtime-зависимостей нет (POI/POIFS — test-scope). Источники: [MS-DOC] (`docs/standards/doc/`), [MS-CFB]/[MS-OLEPS]/[MS-ODRAW] (`docs/standards/binary/`). Байтовые раскладки по классам — `docs/agent/doc-bridge.md`.
|
||||||
|
|
||||||
## REST API (`wordpdf-app`, всё package-private кроме `WordPdfApplication`)
|
## REST API (`wordpdf-app`, всё package-private кроме `WordPdfApplication`)
|
||||||
|
|
||||||
`POST /api/v1/convert`: multipart-поле `file` (`.docx`/`.doc`) + query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолты — `WordPdfSettings.ERROR_ON_*`). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`; имя — `ConversionService.safeBaseName`. Тело ошибки — `{"error": …}`. Error-флаги на `.doc` **не срабатывают** (BLIP-плейсхолдеры → картинки). `ApiExceptionHandler` не видит ошибок фильтров — 401 пишет сам `ApiKeyFilter`.
|
`POST /api/v1/convert`: multipart-поле `file` (`.docx`/`.doc`) + query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолт каждого — `false`), `maxMb`/`maxPages` (лимиты входа: переопределяют серверный дефолт в обе стороны; ≤ 0 → 400). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`; имя — `ConversionService.safeBaseName`. Тело ошибки — `{"error": …}`. Error-флаги на `.doc` **не срабатывают** (BLIP-плейсхолдеры → картинки). `ApiExceptionHandler` не видит ошибок фильтров — 401 пишет сам `ApiKeyFilter`.
|
||||||
|
|
||||||
- **Коды**: 400 — `ValidationException`/`BadRequestException`/битые параметры; 401 — `ApiKeyFilter`; 404/405/415 — путь/метод/content-type; 413 — multipart; **422** — `DrawingRejectedException` (core-`DrawingFoundException`, `Kind {CHARTS, SMARTART, OLE}`); 500/503/504 — `ConversionFailedException`/`ConversionRejectedException`/`ConversionTimeoutException`. Полная карта — `docs/agent/repo-map.md`.
|
- **Коды**: 400 — `ValidationException`/`BadRequestException`/битые параметры; 401 — `ApiKeyFilter`; 404/405/415 — путь/метод/content-type; 413 — multipart; **422** — `DrawingRejectedException` (core-`DrawingFoundException`, `Kind {CHARTS, SMARTART, OLE}`); 500/503/504 — `ConversionFailedException`/`ConversionRejectedException`/`ConversionTimeoutException`. 500 отвечает фиксированный текст («Внутренняя ошибка конвертации») — сообщение ядра логируется, наружу не попадает. Полная карта — `docs/agent/repo-map.md`.
|
||||||
- **Текст 422** — контракт с фронтом: «Конвертация отменена: в документе найдены диаграммы/найден SmartArt/найдены OLE-объекты».
|
- **Текст 422** — контракт с фронтом: «Конвертация отменена: в документе найдены диаграммы/найден SmartArt/найдены OLE-объекты».
|
||||||
- **Ключ**: `X-API-Key` ↔ `wordpdf.api-key` (пустое = выключено); без ключа открыты только `OPEN_PREFIXES` (`/actuator/`, `/swagger-ui`, `/v3/api-docs`), пути с точечными сегментами — никогда.
|
- **Ключ**: `X-API-Key` ↔ `wordpdf.api-key` (пустое = выключено); без ключа открыты только `OPEN_PREFIXES` (`/actuator/`, `/swagger-ui`, `/v3/api-docs`), пути с точечными сегментами — никогда.
|
||||||
- **Очередь и лимиты**: конвертации сериализованы однопоточным `ThreadPoolExecutor` (`QUEUE_CAPACITY = 16`, переполнение → 503): ядро дополнительно сериализует конвертации монитором `WordPdfConverter.class` (`convert()` безопасен из нескольких потоков); головой очереди на старте стоит `warmup()`. Лимиты входа — только конфигурация сервера (`wordpdf.max-mb`/`max-pages`, дефолты из `WordPdfSettings`; ≤ 0 → `IllegalStateException`; параметрами запроса не переопределяются).
|
- **Очередь и лимиты**: конвертации сериализованы однопоточным `ThreadPoolExecutor` (`QUEUE_CAPACITY = 16`, переполнение → 503): ядро дополнительно сериализует конвертации монитором `WordPdfConverter.class` (`convert()` безопасен из нескольких потоков); головой очереди на старте стоит `warmup()`. До очереди — только дешёвый гейт размера (`WordPdfValidator.checkInput` на потоке Tomcat); полный `validate` (контейнер/страницы — бюджеты распаковки и прочие пороги выводятся из лимитов входа `maxMb`/`maxPages` методом `WordPdfValidator.max*`, крышек нет) выполняется внутри воркера ядром, `ValidationException` из `ExecutionException` пробрасывается как 400. Лимиты входа: `wordpdf.max-mb`/`max-pages` — дефолт эндпоинта (литералы 5/100 в `@Value`; значение свойства ≤ 0 → `IllegalStateException` на старте); параметры запроса `maxMb`/`maxPages` переопределяют дефолт в обе стороны (≤ 0 → 400), верхнего потолка нет.
|
||||||
- **SPA**: вся сеть в `wordpdf-web/src/api.ts`; ключ в `localStorage` (`wordpdf.api.key`); `ApiKeyGate` — только если `probeApiKey()` подтвердил требование ключа (признак открытого сервера — **405**); base — `VITE_BASE`; DropZone `.docx,.doc`.
|
- **SPA**: вся сеть в `wordpdf-web/src/api.ts`; ключ в `localStorage` (`wordpdf.api.key`); `ApiKeyGate` — только если `probeApiKey()` подтвердил требование ключа (признак открытого сервера — **405**); base — `VITE_BASE`; DropZone `.docx,.doc`.
|
||||||
|
|
||||||
## Chart/SmartArt-движок (`internal/chart`, 18 классов)
|
## Chart/SmartArt-движок (`internal/chart`, 18 классов)
|
||||||
|
|
||||||
Нормативный источник — ECMA-376 (`docs/standards/ooxml/`: графики §21.2, diagram-разметка §21.4, пресет-геометрия Annex D, XSD); поведение Word — `ms-oi29500.md`, `ms-odrawxml.md`. Калибровки (камера, `PIE_DEPTH`) меняются только с пиксельными тестами; невалидная фикстура правится, не код.
|
Нормативный источник — ECMA-376 (`docs/standards/ooxml/`: графики §21.2, diagram-разметка §21.4, пресет-геометрия Annex D, XSD); поведение Word — `ms-oi29500.md`, `ms-odrawxml.md`. Калибровки (камера, `PIE_DEPTH`) меняются только с пиксельными тестами; невалидная фикстура правится, не код.
|
||||||
|
|
||||||
Java2D → PNG: `ChartRenderer.DPI = 300`, потолок `MAX_PIXELS = 16_777_216` (`fitDpi`); лимиты `ChartSpec.MAX_POINTS = 100_000`, `ChartRenderer.MAX_TICKS = 1000`, `DrawingPreRenderer.MAX_EXTENT_EMU = 22_000_000` — деградация «объект как есть / удалён + warn», не OOM. Chart-PNG вставляются media-частями вручную (`addChartMedia`, `/word/media/chart-*`, без `createImagePart`); `ChartImageHandler` отключает «Compress Pictures» (CR-029) только для них. Пейнтеры, `autoTitleDeleted`, Combo, обходы JAXB — `docs/agent/chart.md`.
|
Java2D → PNG: `ChartRenderer.DPI = 300`, потолок `MAX_PIXELS = 16_777_216` (`fitDpi`); лимиты `ChartSpec.MAX_POINTS = 100_000`, `ChartRenderer.MAX_TICKS = 1000`, `DrawingPreRenderer.MAX_EXTENT_EMU = 22_000_000`, суммарный бюджет chart-PNG на документ `MAX_CHART_PNG_BYTES_TOTAL = 128 MiB` (превышение — объект удалён + warn; тестовый шов `run(pkg, options, maxPngBytesTotal)`) — деградация «объект как есть / удалён + warn», не OOM; сам `OutOfMemoryError` при рендере — не деградация, а `ConversionException` (500: состояние кучи после OOM ненадёжно). Chart-PNG вставляются media-частями вручную (`addChartMedia`, `/word/media/chart-*`, без `createImagePart`); `ChartImageHandler` отключает «Compress Pictures» (CR-029) только для них. Пейнтеры, `autoTitleDeleted`, Combo, обходы JAXB — `docs/agent/chart.md`.
|
||||||
|
|
||||||
## Критические инварианты (нарушение = битый вывод, не исключение)
|
## Критические инварианты (нарушение = битый вывод, не исключение)
|
||||||
|
|
||||||
@@ -51,7 +51,7 @@ Java2D → PNG: `ChartRenderer.DPI = 300`, потолок `MAX_PIXELS = 16_777_2
|
|||||||
- Единственный XSL-FO-стилист — вендорный `xslt/docx2fo.xslt` (копия из docx4j-export-fo 17.3.2 + два AUDIT-FIX-патча: `w:rPr/w:position` → `baseline-shift`, Part 1 §17.3.2.24; AUDIT-FIX-2 — `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir`, иначе их ловит catch-all `match="*"` и текст теряется). Дрейф-гейт `vendoredXsltTracksJarCopy`: вне AUDIT-FIX-регионов копия побайтно равна стилю из jar'а. `setCustomXsltTemplates` принимает предкомпилированный `Templates`.
|
- Единственный XSL-FO-стилист — вендорный `xslt/docx2fo.xslt` (копия из docx4j-export-fo 17.3.2 + два AUDIT-FIX-патча: `w:rPr/w:position` → `baseline-shift`, Part 1 §17.3.2.24; AUDIT-FIX-2 — `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir`, иначе их ловит catch-all `match="*"` и текст теряется). Дрейф-гейт `vendoredXsltTracksJarCopy`: вне AUDIT-FIX-регионов копия побайтно равна стилю из jar'а. `setCustomXsltTemplates` принимает предкомпилированный `Templates`.
|
||||||
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`); приложение исключает его — логи ведёт logback.
|
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`); приложение исключает его — логи ведёт logback.
|
||||||
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 (транзитив от `docx4j-export-fo`, в pom не пинится; пакеты `org.apache.fop.*`). `FopFallbackFonts` берёт `w:renderer` с mime `application/pdf`, иначе первый со шрифтами.
|
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 (транзитив от `docx4j-export-fo`, в pom не пинится; пакеты `org.apache.fop.*`). `FopFallbackFonts` берёт `w:renderer` с mime `application/pdf`, иначе первый со шрифтами.
|
||||||
- `BundledFonts.init()` идемпотентен и `synchronized`, распаковывает TTF в `wordpdf-fonts-*` (`deleteOnExit`); `dropNonBundled()` чистит `PhysicalFonts` от всего, что вне бандла; `font()`/`regular()`/... синхронизированы с `init()` (реестр `VARIANTS`). Внешние `init()`/`restrictToBundled()` во время идущих конвертаций — только под монитором `WordPdfConverter.class`.
|
- `BundledFonts.init()` идемпотентен, распаковывает TTF в `wordpdf-fonts-*` (`deleteOnExit`); `dropNonBundled()` чистит `PhysicalFonts` от всего, что вне бандла; ВСЕ синхронизированные методы `BundledFonts` (`init`/`restrictToBundled`/`font`) держат монитор `WordPdfConverter.class` (не собственный замок класса) — тот же, что сериализует конвертации, поэтому внешний вызов рядом с идущей конвертацией безопасен автоматически. Регрессия — `WordPdfConverterTest#concurrentFontMutators_conversionsUnharmed`.
|
||||||
- `PhysicalFonts` — глобальный и мутируемый → конвертации сериализуются монитором `WordPdfConverter.class` внутри ядра (общая `FopFactory` и сброс её image-кешей — под тем же монитором); приложение держит однопоточный воркер ради 503/timeout; `warmup()` идёт тем же потоком.
|
- `PhysicalFonts` — глобальный и мутируемый → конвертации сериализуются монитором `WordPdfConverter.class` внутри ядра (общая `FopFactory` и сброс её image-кешей — под тем же монитором); приложение держит однопоточный воркер ради 503/timeout; `warmup()` идёт тем же потоком.
|
||||||
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; правила StAX-подсчёта — `docs/agent/pipeline.md`.
|
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; правила StAX-подсчёта — `docs/agent/pipeline.md`.
|
||||||
- Не чинить: `jc="distribute"`, `suff="tab"`/`lvlJc`, метрика «single», кернинг, `framePr`, `REF`/`SEQ`/`TOC`-кэш, руби-надстрочница, U+2188/U+218A — доказательства в `docs/agent/render-limitations.md`.
|
- Не чинить: `jc="distribute"`, `suff="tab"`/`lvlJc`, метрика «single», кернинг, `framePr`, `REF`/`SEQ`/`TOC`-кэш, руби-надстрочница, U+2188/U+218A — доказательства в `docs/agent/render-limitations.md`.
|
||||||
@@ -88,12 +88,12 @@ python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources
|
|||||||
## Code Conventions & Common Patterns
|
## Code Conventions & Common Patterns
|
||||||
|
|
||||||
- Классы `final`, приватный конструктор, только `static` (stateless, DI нет; конфигурация — `Docx4jProperties` + classpath-ресурсы). Исключения — экземпляры по природе: `BundledFontMapper`, `DrawMlColor`, Spring-компоненты `wordpdf-app`.
|
- Классы `final`, приватный конструктор, только `static` (stateless, DI нет; конфигурация — `Docx4jProperties` + classpath-ресурсы). Исключения — экземпляры по природе: `BundledFontMapper`, `DrawMlColor`, Spring-компоненты `wordpdf-app`.
|
||||||
- В `internal/**` классы `public` (иначе родительский пакет не вызвал бы), но публичные члены наружу ограничены: `normalize`/`STEP`/`declare`/`run`/`check`/`register`; `rewrite`-хуки — package-private. В `wordpdf-app` всё package-private кроме `WordPdfApplication`; в `internal/doc` публичны только `DocToDocx` и `CfbReader`.
|
- В `internal/**` классы package-private, `public` — только вызываемые извне пакета: в `internal` — `DocxNormalizer`, `DocxRewritePipeline` (наружу только `STEP`), `OleObjectNormalizer` (только `normalize(byte[], boolean)`), `FopFallbackFonts` (`declare`), `LayoutPostRenderer` (`register`/`render`), `DependencyGuard` (`check`); в `internal/chart` — `DrawingPreRenderer` (`run`) и `ChartImageHandler`. Публичные члены наружу ничем шире этого не расширять; `rewrite`-хуки — package-private. В `wordpdf-app` всё package-private кроме `WordPdfApplication`; в `internal/doc` публичен только `DocToDocx`.
|
||||||
- Нормализаторы — единый контракт `internal/DocxNormalizer` + константа `STEP`; порядок цепочки — см. «Нормализаторы», правятся только `word/*.xml`.
|
- Нормализаторы — единый контракт `internal/DocxNormalizer` + константа `STEP`; порядок цепочки — см. «Нормализаторы», правятся только `word/*.xml`.
|
||||||
- Ошибки публичного API — только `ConversionException extends RuntimeException` (unchecked); внутренние исключения оборачиваются на границе. В chart — деградация вместо падения. `ValidationException` — собственность `WordPdfValidator`; не оборачивать в общий `ConversionException`.
|
- Ошибки публичного API — только `ConversionException extends RuntimeException` (unchecked); внутренние исключения оборачиваются на границе. В chart — деградация вместо падения. `ValidationException` — собственность `WordPdfValidator`; не оборачивать в общий `ConversionException`.
|
||||||
- DI в `wordpdf-app` — конструкторная инъекция Spring; состояние сервисов `private final`. SPA: единственный источник состояния — `useState` в `App.tsx`, вся сеть — в `api.ts`.
|
- DI в `wordpdf-app` — конструкторная инъекция Spring; состояние сервисов `private final`. SPA: единственный источник состояния — `useState` в `App.tsx`, вся сеть — в `api.ts`.
|
||||||
- Javadoc на русском, объясняет «почему» и ссылается на регрессию и фикстуру (формат: `Регрессия — WordPdfConverterTest#имя, фикстура samples/….docx`).
|
- Javadoc на русском, объясняет «почему» и ссылается на регрессию и фикстуру (формат: `Регрессия — WordPdfConverterTest#имя, фикстура samples/….docx`).
|
||||||
- Константы UPPER_SNAKE с эталонными значениями (`PIE_DEPTH`, `MAX_PAGES`); начертания `V_REGULAR/V_BOLD/V_ITALIC/V_BOLD_ITALIC`; модели — `record`; размеры в chart — в пунктах, растр × `DPI/72`.
|
- Константы UPPER_SNAKE с эталонными значениями (`PIE_DEPTH`, `DECOMPRESS_MB_PER_MAX_MB`); начертания `V_REGULAR/V_BOLD/V_ITALIC/V_BOLD_ITALIC`; модели — `record`; размеры в chart — в пунктах, растр × `DPI/72`.
|
||||||
- Логирование: `java.util.logging.Logger` в корневом пакете и `internal/`, SLF4J — в `internal/chart` и `wordpdf-app`.
|
- Логирование: `java.util.logging.Logger` в корневом пакете и `internal/`, SLF4J — в `internal/chart` и `wordpdf-app`.
|
||||||
- Тестовые методы: регрессионные — `объект_условие` через underscore (`ruPlain_cyrillicAndStyles`), юниты — camelCase (`pageFieldBecomesFldSimple`); оба стиля разрешает PMD-паттерн `junit5TestPattern` (`^[a-z][a-zA-Z0-9]*(_[a-zA-Z0-9]+)*$`).
|
- Тестовые методы: регрессионные — `объект_условие` через underscore (`ruPlain_cyrillicAndStyles`), юниты — camelCase (`pageFieldBecomesFldSimple`); оба стиля разрешает PMD-паттерн `junit5TestPattern` (`^[a-z][a-zA-Z0-9]*(_[a-zA-Z0-9]+)*$`).
|
||||||
- PMD (`pmd-ruleset.xml`, execution `pmd-check` на `verify` в обоих модулях, `includeTests=true`, валится нарушение любой приоритетности): полные исключения категории, кастомное XPath-правило `LiteralFirstInEquals` и настройки — в самом ruleset.
|
- PMD (`pmd-ruleset.xml`, execution `pmd-check` на `verify` в обоих модулях, `includeTests=true`, валится нарушение любой приоритетности): полные исключения категории, кастомное XPath-правило `LiteralFirstInEquals` и настройки — в самом ruleset.
|
||||||
|
|||||||
@@ -35,9 +35,9 @@ java-word-pdf/
|
|||||||
|
|
||||||
|Класс|Назначение|
|
|Класс|Назначение|
|
||||||
|---|---|
|
|---|---|
|
||||||
|`ru.pjandro.wordpdf.WordPdfConverter`|публичный API: `convert(byte[], String[, ConvertOptions])` — .docx/.doc по сигнатуре байтов, байты PDF на выходе; `warmup()` — прогрев ядра|
|
|`ru.pjandro.wordpdf.WordPdfConverter`|публичный API: `convert(byte[], String, ConvertOptions)` — .docx/.doc по сигнатуре байтов, байты PDF на выходе; `warmup()` — прогрев ядра|
|
||||||
|`ru.pjandro.wordpdf.WordPdfValidator`|валидация входа и lightweight-оценка страниц без рендера (`checkInput`/`checkPageCount`/`checkPageCountDoc`/`isBinaryDoc`/`validate`)|
|
|`ru.pjandro.wordpdf.WordPdfValidator`|валидация входа и lightweight-оценка страниц без рендера (`checkInput`/`validate`; подсчёт страниц — внутренний метод)|
|
||||||
|`ru.pjandro.wordpdf.ConvertOptions`|опции конвертации (record `errorOnCharts, errorOnSmartArt, errorOnOle, maxMb, maxPages`; `ConvertOptions.defaults()`)|
|
|`ru.pjandro.wordpdf.ConvertOptions`|опции конвертации (record `errorOnCharts, errorOnSmartArt, errorOnOle, maxMb, maxPages`); дефолтов в ядре нет — значения задаёт вызывающий|
|
||||||
|`ru.pjandro.wordpdf.ConversionException`|ошибки конвертации; подтипы `ValidationException` (некорректный вход) и `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`)|
|
|`ru.pjandro.wordpdf.ConversionException`|ошибки конвертации; подтипы `ValidationException` (некорректный вход) и `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`)|
|
||||||
|`ru.pjandro.wordpdf.fonts.BundledFonts`|выгрузка TTF из jar и регистрация в docx4j|
|
|`ru.pjandro.wordpdf.fonts.BundledFonts`|выгрузка TTF из jar и регистрация в docx4j|
|
||||||
|`ru.pjandro.wordpdf.fonts.BundledFontMapper`|маппинг имён шрифтов документа → TTF|
|
|`ru.pjandro.wordpdf.fonts.BundledFontMapper`|маппинг имён шрифтов документа → TTF|
|
||||||
@@ -128,14 +128,16 @@ dev-стенд). Без ключа открыты `/actuator/`, `/swagger-ui`, `
|
|||||||
конвертацию с 422. Диаграммы/SmartArt конвертируются в растры всегда; OLE-объекты
|
конвертацию с 422. Диаграммы/SmartArt конвертируются в растры всегда; OLE-объекты
|
||||||
при `errorOnOle=false` тихо удаляются.
|
при `errorOnOle=false` тихо удаляются.
|
||||||
|
|
||||||
**Лимиты входа** задаёт только конфигурация сервера: `wordpdf.max-mb`/`wordpdf.max-pages`
|
**Лимиты входа**: свойства `wordpdf.max-mb`/`wordpdf.max-pages`
|
||||||
(env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`, дефолты 5 МБ / 100 страниц); параметрами
|
(env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`, дефолты 5 МБ / 100 страниц) —
|
||||||
запроса не переопределяются.
|
дефолт эндпоинта; query/form-параметры `maxMb`/`maxPages` переопределяют его
|
||||||
|
в обе стороны (значения ≤ 0 → 400). Остальные пороги (распаковка архива,
|
||||||
|
XML-части, площади растров, число записей zip) выводятся из лимитов входа.
|
||||||
|
|
||||||
|Код|Смысл|
|
|Код|Смысл|
|
||||||
|---|---|
|
|---|---|
|
||||||
|200|PDF в теле ответа|
|
|200|PDF в теле ответа|
|
||||||
|400|некорректный вход (пустой / расширение не .docx/.doc / содержимое не zip и не CFB / зашифрованный .doc / больше `wordpdf.max-mb` / больше `wordpdf.max-pages` страниц), отсутствующая часть `file`, некорректное значение error-флага|
|
|400|некорректный вход (пустой / расширение не .docx/.doc / содержимое не zip и не CFB / зашифрованный .doc / больше лимита размера (`maxMb` или `wordpdf.max-mb`) / больше лимита страниц (`maxPages` или `wordpdf.max-pages`) / `maxMb`≤0 / `maxPages`≤0), отсутствующая часть `file`, некорректное значение error-флага|
|
||||||
|401|нет или неверен `X-API-Key`|
|
|401|нет или неверен `X-API-Key`|
|
||||||
|404|неизвестный путь (в т.ч. `/v3/api-docs` при выключенном springdoc)|
|
|404|неизвестный путь (в т.ч. `/v3/api-docs` при выключенном springdoc)|
|
||||||
|405|не-POST|
|
|405|не-POST|
|
||||||
|
|||||||
@@ -1,6 +1,6 @@
|
|||||||
> читать при правке моста `internal/doc`. Авторитетно наравне с AGENTS.md.
|
> читать при правке моста `internal/doc`. Авторитетно наравне с AGENTS.md.
|
||||||
|
|
||||||
Нормативный источник — [MS-DOC] в `docs/standards/doc/`, общее OLE-окружение ([MS-CFB], [MS-OLEPS], [MS-ODRAW]) в `docs/standards/binary/`, [MS-ODRAWXML] в `docs/standards/ooxml/`, ссылки — с номерами секций. Новых runtime-зависимостей нет (POI остаётся test-scope; POIFS — только в тестах для упаковки крафтовых CFB). Публичные точки: `DocToDocx.convert(byte[])` (вызывает `WordPdfConverter`) и `DocToDocx.countPages(byte[])` (вызывает `WordPdfValidator.checkPageCountDoc`); общий разбор — `DocFile` (CFB → потоки WordDocument / 0Table|1Table / Data + FIB + piece table). 16 из 18 классов package-private; наружу — `DocToDocx` и `CfbReader` (public, публичный член — `static readStreams(byte[])`).
|
Нормативный источник — [MS-DOC] в `docs/standards/doc/`, общее OLE-окружение ([MS-CFB], [MS-OLEPS], [MS-ODRAW]) в `docs/standards/binary/`, [MS-ODRAWXML] в `docs/standards/ooxml/`, ссылки — с номерами секций. Новых runtime-зависимостей нет (POI остаётся test-scope; POIFS — только в тестах для упаковки крафтовых CFB). Публичные точки: `DocToDocx.convert(byte[], long)` (вызывает `WordPdfConverter`) и `DocToDocx.countPages(byte[])` (вызывает `WordPdfValidator.checkPageCountDoc`). 17 из 18 классов package-private; наружу — только `DocToDocx`: у `CfbReader` (`static readStreams(byte[])`) все вызывающие внутри пакета; общий разбор — `DocFile` (CFB → потоки WordDocument / 0Table|1Table / Data + FIB + piece table).
|
||||||
|
|
||||||
|Класс|Спецификация|
|
|Класс|Спецификация|
|
||||||
|---|---|
|
|---|---|
|
||||||
|
|||||||
@@ -4,9 +4,9 @@
|
|||||||
|
|
||||||
| Путь | Назначение |
|
| Путь | Назначение |
|
||||||
|---|---|
|
|---|---|
|
||||||
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String[,ConvertOptions])`), `WordPdfValidator` (`checkInput`/`checkPageCount`/`validate` — без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`), `WordPdfSettings` (`MAX_INPUT_MB=5`, `MAX_PAGES=100`, защитные `MAX_DECOMPRESSED_MB=200`/`MAX_ZIP_ENTRIES=8192`, `ERROR_ON_*=false`), `ConvertOptions` (record) |
|
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String,ConvertOptions)`), `WordPdfValidator` (`checkInput`/`validate` наружу; `checkPageCount`/`checkPageCountDoc`/`isBinaryDoc` — package-private, всё без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`), `ConvertOptions` (record; дефолтов в ядре нет). Пороги защиты — производные от лимитов входа: `WordPdfValidator.maxDecompressedBytes`/`maxDecompressedXmlBytes` (`max(MIN_*×MiB, maxMb×10/4MiB + maxPages×64/32KiB)`, крышек нет), `maxZipEntries` (`max(2048, maxMb×512 + maxPages×32)`), `maxImagePixels` (`maxMb×5_000_000`); коэффициенты и полы — package-private литералы `WordPdfConverter` (`DECOMPRESS_*`, `MIN_DECOMPRESSED_*`, `IMAGE_PIXELS_PER_MAX_MB`, `ZIP_ENTRIES_*`, javac их инлайнит — валидатор не инициализирует конвертер) |
|
||||||
| `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontMapper` (алиасы, self-map, `DISPLAY_NAMES`, `bundledFamily`), `GlyphFont` (глиф-движок fontbox) |
|
| `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontMapper` (алиасы, self-map, `DISPLAY_NAMES`, `bundledFamily`), `GlyphFont` (глиф-движок fontbox) |
|
||||||
| `…/wordpdf/internal/` | 11 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–10, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы `public` (иначе родительский пакет не вызвал бы), публичные члены наружу только `normalize`/`STEP`/`declare`/`DependencyGuard.check`/`LayoutPostRenderer.register`; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `DrawingFoundException(OLE)` |
|
| `…/wordpdf/internal/` | 11 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–10, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы package-private; `public` — `DocxNormalizer`, `DocxRewritePipeline` (наружу только `STEP`, `normalize` package-private), `OleObjectNormalizer`, `FopFallbackFonts` (`declare`), `LayoutPostRenderer` (`register`), `DependencyGuard` (`check`), остальные нормализаторы полностью package-private; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `DrawingFoundException(OLE)` |
|
||||||
| `…/wordpdf/internal/doc/` | Мост `.doc` → `.docx`: 18 классов (детали — `docs/agent/doc-bridge.md`) — `CfbReader`, `FibHeader`, `PieceTable`, `Grpprl`, `ChpxIndex`, `PapxIndex`, `Styles`, `Tables`, `Lists`, `Sections`, `FontTable`, `SummaryInfo`, `Headers`, `OfficeArt`, `PrcData`, `DocFile`, `DocxWriter`, `DocToDocx` (публичные `convert`/`countPages`; вложенный `DocxBody` — рендер текста и табличного автомата в XML) |
|
| `…/wordpdf/internal/doc/` | Мост `.doc` → `.docx`: 18 классов (детали — `docs/agent/doc-bridge.md`) — `CfbReader`, `FibHeader`, `PieceTable`, `Grpprl`, `ChpxIndex`, `PapxIndex`, `Styles`, `Tables`, `Lists`, `Sections`, `FontTable`, `SummaryInfo`, `Headers`, `OfficeArt`, `PrcData`, `DocFile`, `DocxWriter`, `DocToDocx` (публичные `convert`/`countPages`; вложенный `DocxBody` — рендер текста и табличного автомата в XML) |
|
||||||
| `…/wordpdf/internal/chart/` |18 классов Java2D-рендера диаграмм/SmartArt в PNG (public: `DrawingPreRenderer.run` и `ChartImageHandler` — второй инстанцируется из `WordPdfConverter`)|
|
| `…/wordpdf/internal/chart/` |18 классов Java2D-рендера диаграмм/SmartArt в PNG (public: `DrawingPreRenderer.run` и `ChartImageHandler` — второй инстанцируется из `WordPdfConverter`)|
|
||||||
| `wordpdf-core/src/main/resources/fonts/` | 30 TTF + 3 лицензии — бинарные фикстуры, часть jar |
|
| `wordpdf-core/src/main/resources/fonts/` | 30 TTF + 3 лицензии — бинарные фикстуры, часть jar |
|
||||||
@@ -15,7 +15,8 @@
|
|||||||
| `wordpdf-core/src/test/resources/geom/` | `presetShapeDefinitions.xml` — копия приложения ECMA-376, синхрон таблицы `PresetGeometry` (только в тестах, в jar не попадает) |
|
| `wordpdf-core/src/test/resources/geom/` | `presetShapeDefinitions.xml` — копия приложения ECMA-376, синхрон таблицы `PresetGeometry` (только в тестах, в jar не попадает) |
|
||||||
| `wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/` | REST API (11 классов): `WordPdfApplication` (единственный public), `ConvertController`, `ConversionService` (очередь), `ApiExceptionHandler`, `ApiKeyFilter`, `OpenApiConfig` (`@SecurityScheme` X-API-Key) + 5 классов исключений (`BadRequest`, `DrawingRejected`, `ConversionFailed`, `ConversionRejected`, `ConversionTimeout`) |
|
| `wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/` | REST API (11 классов): `WordPdfApplication` (единственный public), `ConvertController`, `ConversionService` (очередь), `ApiExceptionHandler`, `ApiKeyFilter`, `OpenApiConfig` (`@SecurityScheme` X-API-Key) + 5 классов исключений (`BadRequest`, `DrawingRejected`, `ConversionFailed`, `ConversionRejected`, `ConversionTimeout`) |
|
||||||
| `wordpdf-web/src/` | SPA: `api.ts` (вся сеть), `components/` (App, ApiKeyGate, PdfPreview, StatusMessage, DropZone, Logo) |
|
| `wordpdf-web/src/` | SPA: `api.ts` (вся сеть), `components/` (App, ApiKeyGate, PdfPreview, StatusMessage, DropZone, Logo) |
|
||||||
| корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf` | Образ бэкенда (multi-stage `maven:3.9-eclipse-temurin-17` → `eclipse-temurin:17-jre-alpine`, non-root uid 10001, фиксированный heap `-Xms2g -Xmx2g`, HEALTHCHECK — busybox `wget`); compose app+web+gateway (`mem_limit: 3g` app, подсеть `10.113.0.0/24` gw `10.113.0.1`, `x-podman.name_separator_compat`); прод-compose не в репо — его рендерит job `deploy`; в репо-`compose.yml` springdoc выключен env (`SPRINGDOC_API_DOCS_ENABLED=false`, `SPRINGDOC_SWAGGER_UI_ENABLED=false`), в `compose.dev.yml` springdoc-переменных нет вовсе — включён по умолчанию (не отключается). `wordpdf-web/Containerfile` — `node:24-alpine` → `nginx:alpine`, `ARG VITE_BASE=/` (прод-CI печёт `/pdf-converter/`); репозиторный `wordpdf-web/nginx.conf` в образ **не** копируется (SPA одностраничная, без клиентского роутинга — SPA-fallback не нужен) |
|
| `wordpdf-web/nginx.conf` | В образ SPA (`Containerfile` COPY в `/etc/nginx/conf.d/default.conf` — переопределение default-сервера, отдельного монтирования нет): `try_files` SPA-fallback + `add_header ... always` (езжают и на 4xx/5xx): CSP `default-src 'self'; script-src 'self'; style-src 'self' 'unsafe-inline'` (inline-стили React); `img-src`/`frame-src` + blob: (PDF-предпросмотр в iframe); `connect-src 'self'`; `object-src 'none'` + `nosniff`, XFO DENY (не мешает blob-iframe), Referrer-Policy no-referrer |
|
||||||
|
| корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf` | Образ бэкенда (multi-stage `maven:3.9-eclipse-temurin-17` → `eclipse-temurin:17-jre-alpine`, non-root uid 10001, фиксированный heap `-Xms2g -Xmx2g`, HEALTHCHECK — busybox `wget`); compose app+web+gateway (`mem_limit: 3g` app, подсеть `10.113.0.0/24` gw `10.113.0.1`, `x-podman.name_separator_compat`); прод-compose не в репо — его рендерит job `deploy`; в репо-`compose.yml` springdoc выключен env (`SPRINGDOC_API_DOCS_ENABLED=false`, `SPRINGDOC_SWAGGER_UI_ENABLED=false`), в `compose.dev.yml` springdoc-переменных нет вовсе — включён по умолчанию (не отключается). `wordpdf-web/Containerfile` — `node:24-alpine` → `nginx:alpine`, `ARG VITE_BASE=/` (прод-CI печёт `/pdf-converter/`); `wordpdf-web/nginx.conf` копируется в образ (см. строку выше) |
|
||||||
| `.env.example` | Шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES` (пустое значение ломает binding long/int). Проду `.env` не нужен — ключ и лимиты подаёт job `deploy` из Gitea Secrets/Variables |
|
| `.env.example` | Шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES` (пустое значение ломает binding long/int). Проду `.env` не нужен — ключ и лимиты подаёт job `deploy` из Gitea Secrets/Variables |
|
||||||
| `.gitea/workflows/` | Gitea Actions: `pr.yml` (`PR checks`), `main.yml` (тесты + coverage-сводка и комментарий в PR → `images-app`/`images-web` (build+push в Nexus) → deploy (рендер прод-конфигов + pull) → autotests → rollback) |
|
| `.gitea/workflows/` | Gitea Actions: `pr.yml` (`PR checks`), `main.yml` (тесты + coverage-сводка и комментарий в PR → `images-app`/`images-web` (build+push в Nexus) → deploy (рендер прод-конфигов + pull) → autotests → rollback) |
|
||||||
| `GITEA-vars.md` | Инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений |
|
| `GITEA-vars.md` | Инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений |
|
||||||
@@ -28,7 +29,7 @@
|
|||||||
|
|
||||||
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java` — точка входа библиотеки + static-блок `gsubFeatures` + `normalizers(options)` (порядок цепочки).
|
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java` — точка входа библиотеки + static-блок `gsubFeatures` + `normalizers(options)` (порядок цепочки).
|
||||||
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java` — валидация входа и lightweight-подсчёт страниц (StAX, без docx4j).
|
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java` — валидация входа и lightweight-подсчёт страниц (StAX, без docx4j).
|
||||||
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfSettings.java` — все дефолты ядра (`MAX_INPUT_MB = 5`, `MAX_PAGES = 100`, `ERROR_ON_* = false`); рантайм-конфигурации в ядре нет.
|
- Дефолтов лимитов в ядре нет (`WordPdfSettings` упразднён): лимиты входа всегда приходят с вызовом через `ConvertOptions`, производные пороги считает `WordPdfValidator.max*` (см. таблицу выше).
|
||||||
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java` — замена диаграмм/SmartArt на PNG; владеет `MAX_EXTENT_EMU` и деградацией при падении рендера.
|
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java` — замена диаграмм/SmartArt на PNG; владеет `MAX_EXTENT_EMU` и деградацией при падении рендера.
|
||||||
- `wordpdf-app/src/main/resources/application.properties` — multipart 100MB (`max-file-size`/`max-request-size` + `file-size-threshold=2MB` — части крупнее 2 МБ на диск, не в память; в тон gateway `client_max_body_size 100m`), `wordpdf.convert-timeout=2m`, пустой `wordpdf.api-key`, `server.forward-headers-strategy=framework` (префикс прод-прокси для springdoc) + `springdoc.swagger-ui.persist-authorization=true`; `wordpdf.max-mb`/`max-pages` здесь намеренно нет.
|
- `wordpdf-app/src/main/resources/application.properties` — multipart 100MB (`max-file-size`/`max-request-size` + `file-size-threshold=2MB` — части крупнее 2 МБ на диск, не в память; в тон gateway `client_max_body_size 100m`), `wordpdf.convert-timeout=2m`, пустой `wordpdf.api-key`, `server.forward-headers-strategy=framework` (префикс прод-прокси для springdoc) + `springdoc.swagger-ui.persist-authorization=true`; `wordpdf.max-mb`/`max-pages` здесь намеренно нет.
|
||||||
- `wordpdf-app/pom.xml` — `spring-boot-maven-plugin` с **явной** execution `repackage` (в 4.1.1 сам не связывается, jar останется тонким); `slf4j-simple` исключён; `spring-boot-starter-webmvc` (Boot 4: переименован из starter-web) + `spring-boot-starter-actuator` (нужен HEALTHCHECK контейнера `/actuator/health`); тест-зависимости: `spring-boot-webmvc-test` (в Boot 4 автоконфиг MockMvc вынесен из starter-test), test-jar core.
|
- `wordpdf-app/pom.xml` — `spring-boot-maven-plugin` с **явной** execution `repackage` (в 4.1.1 сам не связывается, jar останется тонким); `slf4j-simple` исключён; `spring-boot-starter-webmvc` (Boot 4: переименован из starter-web) + `spring-boot-starter-actuator` (нужен HEALTHCHECK контейнера `/actuator/health`); тест-зависимости: `spring-boot-webmvc-test` (в Boot 4 автоконфиг MockMvc вынесен из starter-test), test-jar core.
|
||||||
@@ -37,7 +38,7 @@
|
|||||||
- `pmd-ruleset.xml` — ruleset PMD (см. Code Conventions).
|
- `pmd-ruleset.xml` — ruleset PMD (см. Code Conventions).
|
||||||
- `.ci/maven-settings.xml` — Maven-зеркало Nexus с URL из `${env.MAVEN_MIRROR_URL}` (общий файл CI-job'ов `java` и Containerfile; координаты стенда в репо не хранятся — Variable/build-arg).
|
- `.ci/maven-settings.xml` — Maven-зеркало Nexus с URL из `${env.MAVEN_MIRROR_URL}` (общий файл CI-job'ов `java` и Containerfile; координаты стенда в репо не хранятся — Variable/build-arg).
|
||||||
- `wordpdf-core/src/main/resources/slf4j-simple.properties` — без него предупреждение лезет в PDF.
|
- `wordpdf-core/src/main/resources/slf4j-simple.properties` — без него предупреждение лезет в PDF.
|
||||||
- `gateway/nginx.conf` — единственный вход: `/api/`, `/swagger-ui`, `/v3/api-docs`, `/actuator` → `app:8080`, остальное → `web:80`; `client_max_body_size 100m` (без директивы upload режется HTML-413 шлюза вместо JSON-ошибки API); `proxy_read_timeout`/`proxy_send_timeout 300s` (дефолтные 60s рвут 2-минутные конвертации 504 раньше app-ного 504); `resolver 10.113.0.1` + `proxy_pass` через переменные (статический `proxy_pass` резолвит имя один раз при старте — gateway, поднявшийся раньше app, получал бы 502 до перезапуска).
|
- `gateway/nginx.conf` — единственный вход: `/api/`, `/swagger-ui`, `/v3/api-docs`, `/actuator` → `app:8080`, остальное → `web:80`; `client_max_body_size 100m` (без директивы upload режется HTML-413 шлюза вместо JSON-ошибки API); `proxy_read_timeout`/`proxy_send_timeout 300s` (дефолтные 60s рвут 2-минутные конвертации 504 раньше app-ного 504); `resolver 10.113.0.1` + `proxy_pass` через переменные (статический `proxy_pass` резолвит имя один раз при старте — gateway, поднявшийся раньше app, получал бы 502 до перезапуска); `X-Forwarded-For`/`-Proto`/`-Host` переписываются безусловно (`$remote_addr`/`$scheme`/`$host` — клиент не подставляет доверяемые Spring заголовки; `X-Forwarded-Prefix` проходит как есть — на нём base swagger-ui за внешним прокси). Тот же набор в прод-ренвере job `deploy` (`main.yml`, heredoc `NGINX`).
|
||||||
- `wordpdf-core/src/test/java/ru/pjandro/wordpdf/SampleDocxGenerator.java` — main()-утилита пересоздания фикстур; `ChartTypesDocxGenerator.java` — генератор `chart-types.docx`.
|
- `wordpdf-core/src/test/java/ru/pjandro/wordpdf/SampleDocxGenerator.java` — main()-утилита пересоздания фикстур; `ChartTypesDocxGenerator.java` — генератор `chart-types.docx`.
|
||||||
- `wordpdf-web/vite.local.config.ts` — легаси-одноразовщик (прокси `/api` → :8091), в `tsconfig.node.json` не включён; кандидат на удаление, не тиражировать паттерн. Корневые `javac.*.args` — мусор пробной компиляции (gitignored), тоже кандидат на удаление.
|
- `wordpdf-web/vite.local.config.ts` — легаси-одноразовщик (прокси `/api` → :8091), в `tsconfig.node.json` не включён; кандидат на удаление, не тиражировать паттерн. Корневые `javac.*.args` — мусор пробной компиляции (gitignored), тоже кандидат на удаление.
|
||||||
|
|
||||||
@@ -79,7 +80,7 @@ unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-expo
|
|||||||
|
|
||||||
## REST API (детали bullet'ов)
|
## REST API (детали bullet'ов)
|
||||||
|
|
||||||
Единственный эндпоинт `POST /api/v1/convert`: multipart-поле `file` + факультативные query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолт каждого — `WordPdfSettings.ERROR_ON_*`). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка `.docx`/`.doc`-расширения — в `ConvertController` (ошибочный текст 400 — контракт с фронтом); `ConversionService.safeBaseName` — единый источник имени для файла, заголовка ответа и PDF-title (срезает оба расширения; разрешены `[\p{L}\p{N} ._-]`, пустое → `document`). Error-флаги диаграмм/SmartArt/OLE на `.doc` не срабатывают (BLIP-плейсхолдеры → картинки, см. «Мост») — описано в `@Operation`.
|
Единственный эндпоинт `POST /api/v1/convert`: multipart-поле `file` + факультативные query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолт каждого — `false`) и `maxMb`/`maxPages` (лимиты входа, см. «Лимиты входа» ниже). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка `.docx`/`.doc`-расширения — в `ConvertController` (ошибочный текст 400 — контракт с фронтом); `ConversionService.safeBaseName` — единый источник имени для файла, заголовка ответа и PDF-title (срезает оба расширения; разрешены `[\p{L}\p{N} ._-]`, пустое → `document`). Error-флаги диаграмм/SmartArt/OLE на `.doc` не срабатывают (BLIP-плейсхолдеры → картинки, см. «Мост») — описано в `@Operation`.
|
||||||
|
|
||||||
Полная карта ответов:
|
Полная карта ответов:
|
||||||
|
|
||||||
@@ -96,7 +97,7 @@ unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-expo
|
|||||||
|
|
||||||
- **Ключ доступа**: `ApiKeyFilter` сверяет заголовок `X-API-Key` (`ApiKeyFilter.HEADER`) со свойством `wordpdf.api-key` (env `WORDPDF_API_KEY`, сравнение `MessageDigest.isEqual`). Пустое свойство = аутентификация выключена (dev `java -jar`, тесты). Без ключа открыты `OPEN_PREFIXES` = `/actuator/`, `/swagger-ui`, `/v3/api-docs` — матч по пути **без** forwarded-contextPath (`getRequestURI()` минус `getContextPath()`; иначе под `X-Forwarded-Prefix` HEALTHCHECK получил бы 401). Пути с точечными сегментами (`..`/`%2e`) открытыми не считаются никогда.
|
- **Ключ доступа**: `ApiKeyFilter` сверяет заголовок `X-API-Key` (`ApiKeyFilter.HEADER`) со свойством `wordpdf.api-key` (env `WORDPDF_API_KEY`, сравнение `MessageDigest.isEqual`). Пустое свойство = аутентификация выключена (dev `java -jar`, тесты). Без ключа открыты `OPEN_PREFIXES` = `/actuator/`, `/swagger-ui`, `/v3/api-docs` — матч по пути **без** forwarded-contextPath (`getRequestURI()` минус `getContextPath()`; иначе под `X-Forwarded-Prefix` HEALTHCHECK получил бы 401). Пути с точечными сегментами (`..`/`%2e`) открытыми не считаются никогда.
|
||||||
- **Очередь**: конвертации сериализованы однопоточным `ThreadPoolExecutor` (`ConversionService.QUEUE_CAPACITY = 16`, переполнение → 503): ядро мутирует глобальный реестр `PhysicalFonts` и **сериализует конвертации монитором класса `WordPdfConverter.class`**; однопоточность воркера — ради 503/timeout. Головой очереди конструктор ставит `WordPdfConverter.warmup()` — прогрев ядра минимальным in-code docx + растром (~1,5–2,5 с, Future никто не забирает, warmup не бросает): первый реальный запрос после деплоя — за прогретым ядром (замер 2026-11: 0,13 с против 1,74 с на `main`), запросы периода прогрева ждут в очереди штатно. `future.cancel(true)` при таймауте не останавливает FOP мгновенно — осознанный компромисс.
|
- **Очередь**: конвертации сериализованы однопоточным `ThreadPoolExecutor` (`ConversionService.QUEUE_CAPACITY = 16`, переполнение → 503): ядро мутирует глобальный реестр `PhysicalFonts` и **сериализует конвертации монитором класса `WordPdfConverter.class`**; однопоточность воркера — ради 503/timeout. Головой очереди конструктор ставит `WordPdfConverter.warmup()` — прогрев ядра минимальным in-code docx + растром (~1,5–2,5 с, Future никто не забирает, warmup не бросает): первый реальный запрос после деплоя — за прогретым ядром (замер 2026-11: 0,13 с против 1,74 с на `main`), запросы периода прогрева ждут в очереди штатно. `future.cancel(true)` при таймауте не останавливает FOP мгновенно — осознанный компромисс.
|
||||||
- **Лимиты входа** задаёт только конфигурация сервера: `wordpdf.max-mb`/`wordpdf.max-pages` (env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`), `@Value` в `ConvertController` с дефолтом-SpEL из `WordPdfSettings` (5 МБ / 100); значение ≤ 0 → `IllegalStateException` на старте; параметрами запроса не переопределяются. Ключи в `application.properties` **не объявлены** — пустое значение затенит SpEL-дефолт.
|
- **Лимиты входа**: `wordpdf.max-mb`/`wordpdf.max-pages` (env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`) — дефолт эндпоинта, `@Value` в `ConvertController` с литеральными дефолтами 5/100; значение свойства ≤ 0 → `IllegalStateException` на старте. Параметры запроса `maxMb`/`maxPages` переопределяют дефолт в обе стороны (значения ≤ 0 → 400), верхнего серверного потолка нет — пороги распаковки/записей/растров растут вместе с ними. Ключи в `application.properties` **не объявлены** — пустое значение затенит дефолт `@Value`.
|
||||||
|
|
||||||
- **SPA**: вся сеть в `wordpdf-web/src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), при 401 очищается, экран `ApiKeyGate` (`UnauthorizedError` — наследник `ApiError`, проверяется раньше); гейт показывается только когда `probeApiKey()` (GET /api/v1/convert → 401) подтвердил требование ключа. Запросы на `${import.meta.env.BASE_URL}api/...` (vite `base` из `VITE_BASE`, дефолт `/`) — CORS не нужен (dev: vite-proxy → :8080; prod: nginx под префиксом `/pdf-converter/`). Три переключателя error-флагов в форме («Диаграммы», «SmartArt», «OLE-объекты», дефолт — все выключены). DropZone принимает `.docx,.doc` (`accept` + текст зоны).
|
- **SPA**: вся сеть в `wordpdf-web/src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), при 401 очищается, экран `ApiKeyGate` (`UnauthorizedError` — наследник `ApiError`, проверяется раньше); гейт показывается только когда `probeApiKey()` (GET /api/v1/convert → 401) подтвердил требование ключа. Запросы на `${import.meta.env.BASE_URL}api/...` (vite `base` из `VITE_BASE`, дефолт `/`) — CORS не нужен (dev: vite-proxy → :8080; prod: nginx под префиксом `/pdf-converter/`). Три переключателя error-флагов в форме («Диаграммы», «SmartArt», «OLE-объекты», дефолт — все выключены). DropZone принимает `.docx,.doc` (`accept` + текст зоны).
|
||||||
|
|
||||||
|
|||||||
@@ -20,7 +20,7 @@
|
|||||||
|
|
||||||
- Юниты моста (`internal/doc/`): `CfbReaderTest` строит крафтовый CFB-байтстрим (сектор 512/mini 64: FAT/DIFAT/miniFAT/directory руками) и бьёт все guard-ветки (циклы FAT/DIFAT/MiniFAT, ссылки за файл, обрезанные потоки, root без mini stream, мусор в directory); `SummaryInfoTest` — крафтовый PropertySetStream (пинит **относительность offset от начала PropertySet**, реальные фикстуры её не различают); `PieceTableTest`/`ChpxIndexTest`/`PapxIndexTest` (в т.ч. `istdFor`: istd из UpxPapx, пустой grpprl ≠ null, bOffset=0 → дефолтные свойства при сохранённой границе)/`SectionsTest`/`FibHeaderTest` (пара fcStshf)/`GrpprlTest` (в т.ч. спец-длины: двухбайтовый cb у sprmTDefTable при operand >255 Б, у 0xC60D cb=0xFF — обрыв, у 0xC615 cb=0xFF — длина по формуле §2.9.182 (`scan_pChgTabsSentinel_lengthByFormula`))/`FontTableTest`/`HeadersTest`/`OfficeArtTest`/`PrcDataTest` — byte[]-конструкции in memory (`PrcDataTest`: разворачивание huge-PAPX/PTableProps на позиции указателя, union цепочки с легаси-зеркалом, guard'ы — cb-капа 0x3FA2, ptr за Data, цикл A→B→A); `StylesTest` — крафтовый STSH (LPStd/LPUpx): цепочка base→derived, цикл → пустая таблица, чужой stk/битый STSH нисходительны; `TablesTest` — крафтовый TAP: сетка TDefTable (XAS со знаком), границы Brc (cv fAuto) и Brc80 (ico, приоритет 0xD613), выравнивание sprmTJc/sprmTJc90 (u16, приоритет современного, 0 → null), деградация при битом TDefTable; `ListsTest` — крафтовые PlfLst/PlfLfo байтстримом (счёт LVL по fSimpleList 1/9, плейсхолдеры xst → `%{n+1}` и литеральный `%` → `%%`, MSONFC→ST_NumberFormat вкл. экзотика→decimal, ixchFollow→`w:suff`, grpprl уровня → `w:ind`/`w:rFonts`, LFOLVL fStartAt/fFormatting, обрыв LVL-массива, lsid без LSTF, нулевые lcb); `DocToDocxFormattingTest` — полный синтетический .doc через POIFS (крафтовые FIB/Clx/FKP-страницы: полные CHPX/PAPX-свойства, STSH-цепочка с переопределением и победой direct, spacing/tabs, таблица TTP+TDefTable+Brc с деградацией строки без сетки и многострочной ячейкой, колонтитук со стилевым jc, табы колонтитука из стиля sprmPChgTabs (`styleTabsChg_reachesFooterPart`/`styleTabsChgDel_removesStop`: прямой del с rgdxaClose вырезает stop стиля), таблица в odd footer со sprmTJc (`footerTable_jcCenterEmitted`: guard-¶ отдельным абзацем после строки, как в реальных Plcfhdd), знаки, поле в основном тексте, picLocation=0, 0Table, отсутствие табличного потока, списки: `listParagraphs_getNumPrAndNumberingPart` (sprmPIlfo/sprmPIlvl в PAPX → `w:numPr` + `word/numbering.xml` c `w:num`/Override/rels), `listCancelledByDirectZero_noNumPr` (ilfo стиля, перекрытый прямым 0), `ilvlSkipValue_noNumPr` (ilvl=0x0C), `missingListTables_degradeToPlain` (нулевые FIB-пары 73/74 — ни numbering-части, ни numPr)). Doc-регрессии конвертера — общие assert-хелперы docx-пар: `assertCyrillicAndStyles`/`assertPageNumbers`/`assertTableImage`/`assertOleObjectsRemoved`/`assertDrawingsBecomeImages`/`assertTooManyPages`/`assertExoticGlyphs` вызываются с `ru-plain.doc`/`page-numbers.doc`/`ru-table-image.doc`/`ole-embedded.doc`/`charts-smartart.doc`/`too-many-pages.doc`/`exotic-glyphs.doc` (тесты-пары называются по docx-имени, внутри зовут оба формата); `WordPdfValidatorTest#checkPageCountDoc_*` + `ConvertControllerTest` (`.doc` upload, `nonDocxFilename_rejected`).
|
- Юниты моста (`internal/doc/`): `CfbReaderTest` строит крафтовый CFB-байтстрим (сектор 512/mini 64: FAT/DIFAT/miniFAT/directory руками) и бьёт все guard-ветки (циклы FAT/DIFAT/MiniFAT, ссылки за файл, обрезанные потоки, root без mini stream, мусор в directory); `SummaryInfoTest` — крафтовый PropertySetStream (пинит **относительность offset от начала PropertySet**, реальные фикстуры её не различают); `PieceTableTest`/`ChpxIndexTest`/`PapxIndexTest` (в т.ч. `istdFor`: istd из UpxPapx, пустой grpprl ≠ null, bOffset=0 → дефолтные свойства при сохранённой границе)/`SectionsTest`/`FibHeaderTest` (пара fcStshf)/`GrpprlTest` (в т.ч. спец-длины: двухбайтовый cb у sprmTDefTable при operand >255 Б, у 0xC60D cb=0xFF — обрыв, у 0xC615 cb=0xFF — длина по формуле §2.9.182 (`scan_pChgTabsSentinel_lengthByFormula`))/`FontTableTest`/`HeadersTest`/`OfficeArtTest`/`PrcDataTest` — byte[]-конструкции in memory (`PrcDataTest`: разворачивание huge-PAPX/PTableProps на позиции указателя, union цепочки с легаси-зеркалом, guard'ы — cb-капа 0x3FA2, ptr за Data, цикл A→B→A); `StylesTest` — крафтовый STSH (LPStd/LPUpx): цепочка base→derived, цикл → пустая таблица, чужой stk/битый STSH нисходительны; `TablesTest` — крафтовый TAP: сетка TDefTable (XAS со знаком), границы Brc (cv fAuto) и Brc80 (ico, приоритет 0xD613), выравнивание sprmTJc/sprmTJc90 (u16, приоритет современного, 0 → null), деградация при битом TDefTable; `ListsTest` — крафтовые PlfLst/PlfLfo байтстримом (счёт LVL по fSimpleList 1/9, плейсхолдеры xst → `%{n+1}` и литеральный `%` → `%%`, MSONFC→ST_NumberFormat вкл. экзотика→decimal, ixchFollow→`w:suff`, grpprl уровня → `w:ind`/`w:rFonts`, LFOLVL fStartAt/fFormatting, обрыв LVL-массива, lsid без LSTF, нулевые lcb); `DocToDocxFormattingTest` — полный синтетический .doc через POIFS (крафтовые FIB/Clx/FKP-страницы: полные CHPX/PAPX-свойства, STSH-цепочка с переопределением и победой direct, spacing/tabs, таблица TTP+TDefTable+Brc с деградацией строки без сетки и многострочной ячейкой, колонтитук со стилевым jc, табы колонтитука из стиля sprmPChgTabs (`styleTabsChg_reachesFooterPart`/`styleTabsChgDel_removesStop`: прямой del с rgdxaClose вырезает stop стиля), таблица в odd footer со sprmTJc (`footerTable_jcCenterEmitted`: guard-¶ отдельным абзацем после строки, как в реальных Plcfhdd), знаки, поле в основном тексте, picLocation=0, 0Table, отсутствие табличного потока, списки: `listParagraphs_getNumPrAndNumberingPart` (sprmPIlfo/sprmPIlvl в PAPX → `w:numPr` + `word/numbering.xml` c `w:num`/Override/rels), `listCancelledByDirectZero_noNumPr` (ilfo стиля, перекрытый прямым 0), `ilvlSkipValue_noNumPr` (ilvl=0x0C), `missingListTables_degradeToPlain` (нулевые FIB-пары 73/74 — ни numbering-части, ни numPr)). Doc-регрессии конвертера — общие assert-хелперы docx-пар: `assertCyrillicAndStyles`/`assertPageNumbers`/`assertTableImage`/`assertOleObjectsRemoved`/`assertDrawingsBecomeImages`/`assertTooManyPages`/`assertExoticGlyphs` вызываются с `ru-plain.doc`/`page-numbers.doc`/`ru-table-image.doc`/`ole-embedded.doc`/`charts-smartart.doc`/`too-many-pages.doc`/`exotic-glyphs.doc` (тесты-пары называются по docx-имени, внутри зовут оба формата); `WordPdfValidatorTest#checkPageCountDoc_*` + `ConvertControllerTest` (`.doc` upload, `nonDocxFilename_rejected`).
|
||||||
|
|
||||||
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); четыре контекста — `ConvertControllerTest` (пустой ключ), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` max-mb/max-pages), `ConversionTimeoutTest` (`@TestPropertySource` convert-timeout=1ms) — четыре разных набора свойств = четыре кэшированных контекста (отдельные классы, не `@Nested`: `@Nested` + `@TestPropertySource` не даёт отдельного контекста); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring-контекста (прямые юниты).
|
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); четыре контекста — `ConvertControllerTest` (пин `wordpdf.api-key=` — HTTP-контексты явно пиныт пустой ключ: mise подмешивает корневой `.env` в окружение тасок, ambient `WORDPDF_API_KEY` иначе дал бы 401 во всех MockMvc-тестах), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` max-mb/max-pages), `ConversionTimeoutTest` (`@TestPropertySource` convert-timeout=1ms) — четыре разных набора свойств = четыре кэшированных контекста (отдельные классы, не `@Nested`: `@Nested` + `@TestPropertySource` не даёт отдельного контекста); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring-контекста (прямые юниты).
|
||||||
|
|
||||||
- UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn). Прод-автотесты (pytest 9.1.1 + requests 2.34.2, 31 проверка — 27 под маркером `needs_key` (SKIP без ключа; включая `.doc`-фикстуры обоих путей — растры/OLE и границы страниц), 4 открытых: health/SPA-root/swagger/spec; env-конфиг, `mise exec -- python -m pytest -q .` из `prod-autotests/`) гоняются CI после deploy против живого прода.
|
- UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn). Прод-автотесты (pytest 9.1.1 + requests 2.34.2, 31 проверка — 27 под маркером `needs_key` (SKIP без ключа; включая `.doc`-фикстуры обоих путей — растры/OLE и границы страниц), 4 открытых: health/SPA-root/swagger/spec; env-конфиг, `mise exec -- python -m pytest -q .` из `prod-autotests/`) гоняются CI после deploy против живого прода.
|
||||||
|
|
||||||
|
|||||||
@@ -16,6 +16,16 @@ server {
|
|||||||
set $upstream_app http://app:8080;
|
set $upstream_app http://app:8080;
|
||||||
set $upstream_web http://web:80;
|
set $upstream_web http://web:80;
|
||||||
|
|
||||||
|
# X-Forwarded-* переписываются безусловно: клиент не должен иметь возможности
|
||||||
|
# подсунуть бэкенду подставной "реальный IP/схема/хост" (Spring
|
||||||
|
# ForwardedHeaderFilter доверяет этим заголовкам; прямое попадание на
|
||||||
|
# 9010 мимо внешнего reverse-proxy — штатный случай стенда).
|
||||||
|
# X-Forwarded-Prefix не трогаем: его проставляет внешний nginx, на нём
|
||||||
|
# держится корректный base у swagger-ui за прокси.
|
||||||
|
proxy_set_header X-Forwarded-For $remote_addr;
|
||||||
|
proxy_set_header X-Forwarded-Proto $scheme;
|
||||||
|
proxy_set_header X-Forwarded-Host $host;
|
||||||
|
|
||||||
location /api/ {
|
location /api/ {
|
||||||
# в proxy_pass нет path-части, поэтому URI передаётся как есть
|
# в proxy_pass нет path-части, поэтому URI передаётся как есть
|
||||||
proxy_pass $upstream_app;
|
proxy_pass $upstream_app;
|
||||||
|
|||||||
@@ -8,9 +8,9 @@ WORDPDF_BASE_URL обязателен: без него все проверки
|
|||||||
не знает ни одного хоста. WORDPDF_API_KEY факультативен: без него проверки,
|
не знает ни одного хоста. WORDPDF_API_KEY факультативен: без него проверки,
|
||||||
где есть заголовок ключа или ожидается 401, пропускаются (без локального ключа
|
где есть заголовок ключа или ожидается 401, пропускаются (без локального ключа
|
||||||
нельзя знать, включена ли аутентификация на стенде). WORDPDF_MAX_PAGES — ожидаемый
|
нельзя знать, включена ли аутентификация на стенде). WORDPDF_MAX_PAGES — ожидаемый
|
||||||
лимит страниц стенда (конфигурация сервера, не константа набора; дефолт 100 =
|
лимит страниц стенда (конфигурация сервера, не константа набора; дефолт эндпоинта
|
||||||
дефолт ядра). WORDPDF_MAX_MB — ожидаемый лимит размера .docx стенда в МБ (MiB; дефолт
|
100). WORDPDF_MAX_MB — ожидаемый лимит размера .docx стенда в МБ (MiB; дефолт
|
||||||
5 = дефолт ядра). .docx-фикстуры — из wordpdf-core/src/test/resources/samples,
|
эндпоинта 5). .docx-фикстуры — из wordpdf-core/src/test/resources/samples,
|
||||||
либо из WORDPDF_SAMPLES_DIR.
|
либо из WORDPDF_SAMPLES_DIR.
|
||||||
"""
|
"""
|
||||||
|
|
||||||
|
|||||||
@@ -63,11 +63,17 @@ final class ApiExceptionHandler {
|
|||||||
.body(new ApiError(e.getMessage()));
|
.body(new ApiError(e.getMessage()));
|
||||||
}
|
}
|
||||||
|
|
||||||
/** Ошибка ядра/рендера при формально корректном входе. */
|
/**
|
||||||
|
* Ошибка ядра/рендера при формально корректном входе. Сообщение ядра
|
||||||
|
* (тексты docx4j/FOP/JAXB, пути temp-файлов) — только в лог: наружу
|
||||||
|
* фиксированный текст, иначе 500 становится каналом внутренней информации.
|
||||||
|
* Регрессия — ConvertControllerTest#conversionFailure_hidesInternalDetails.
|
||||||
|
*/
|
||||||
@ExceptionHandler(ConversionFailedException.class)
|
@ExceptionHandler(ConversionFailedException.class)
|
||||||
ResponseEntity<ApiError> conversionFailed(ConversionFailedException e) {
|
ResponseEntity<ApiError> conversionFailed(ConversionFailedException e) {
|
||||||
|
LOG.error("Конвертация не удалась", e);
|
||||||
return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR)
|
return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR)
|
||||||
.body(new ApiError(e.getMessage()));
|
.body(new ApiError("Не удалось конвертировать документ"));
|
||||||
}
|
}
|
||||||
|
|
||||||
/** Очередь конвертации занята/прерывание — повторить позже. */
|
/** Очередь конвертации занята/прерывание — повторить позже. */
|
||||||
|
|||||||
@@ -35,10 +35,11 @@ import java.util.concurrent.TimeoutException;
|
|||||||
* {@link ValidationException} (400), ошибка рендер-стадии →
|
* {@link ValidationException} (400), ошибка рендер-стадии →
|
||||||
* {@link ConversionFailedException} (500). Граница: сломанный контейнер
|
* {@link ConversionFailedException} (500). Граница: сломанный контейнер
|
||||||
* (не zip / битый zip / слишком большой / слишком длинный) — 400; валидный
|
* (не zip / битый zip / слишком большой / слишком длинный) — 400; валидный
|
||||||
* zip с мусором внутри (нет {@code word/document.xml}) — 500: до очереди и
|
* zip с мусором внутри (нет {@code word/document.xml}) — 500: до очереди
|
||||||
* в конвейере ядра вход проверяется тем же
|
* проверяется только размер, корректность контейнера и число страниц —
|
||||||
* {@link WordPdfValidator#validate(byte[], ConvertOptions)}, поэтому уже
|
* сериализованно внутри воркера (ядро вызывает тот же
|
||||||
* принятый запрос внутренняя проверка ядра в ошибку не превратит.</p>
|
* {@link WordPdfValidator#validate(byte[], ConvertOptions)}), поэтому
|
||||||
|
* тяжёлая проверка не занимает потоки контейнера в обход сериализации.</p>
|
||||||
*/
|
*/
|
||||||
@Service
|
@Service
|
||||||
final class ConversionService {
|
final class ConversionService {
|
||||||
@@ -64,9 +65,9 @@ final class ConversionService {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Полный путь: синхронная валидация байтов (до очереди — от obvious-отказа
|
* Полный путь: синхронная проверка размера (до очереди) → постановка
|
||||||
* единый воркер не должен быть занят) → постановка в очередь → ожидание
|
* в очередь → ожидание результата с таймаутом; корректность контейнера
|
||||||
* результата с таймаутом.
|
* и число страниц проверяются сериализованно, внутри воркера (ядро).
|
||||||
*
|
*
|
||||||
* @throws ValidationException некорректный вход (400)
|
* @throws ValidationException некорректный вход (400)
|
||||||
* @throws ConversionFailedException ошибка ядра/рендера (500)
|
* @throws ConversionFailedException ошибка ядра/рендера (500)
|
||||||
@@ -78,14 +79,14 @@ final class ConversionService {
|
|||||||
* {@code null} не допускается (контроллер строит всегда).</p>
|
* {@code null} не допускается (контроллер строит всегда).</p>
|
||||||
*/
|
*/
|
||||||
byte[] convert(byte[] docxBytes, String originalFilename, ConvertOptions options) {
|
byte[] convert(byte[] docxBytes, String originalFilename, ConvertOptions options) {
|
||||||
// Бинарный .doc — не zip: .docx-валидация к нему неприменима, размер
|
// До очереди — только дешёвый гейт размера. Полная валидация
|
||||||
// проверяется общим checkInput, страницы — мостом по чистому .doc
|
// (контейнер + страницы — до двух полных распакованных проходов до
|
||||||
// (ядро бросит ValidationException → 400 тем же обработчиком).
|
// 64 МБ на обоих форматах) сериализована воркером: её выполняет ядро
|
||||||
if (WordPdfValidator.isBinaryDoc(docxBytes)) {
|
// внутри WordPdfConverter.convert (тот же validate с теми же
|
||||||
|
// options, ValidationException → 400 тем же путём). Синхронный
|
||||||
|
// полный validate до submit отдавал бы zip-бомбе потоки Tomcat
|
||||||
|
// в обход сериализации.
|
||||||
WordPdfValidator.checkInput(docxBytes, options.maxMb());
|
WordPdfValidator.checkInput(docxBytes, options.maxMb());
|
||||||
} else {
|
|
||||||
WordPdfValidator.validate(docxBytes, options);
|
|
||||||
}
|
|
||||||
Future<byte[]> future;
|
Future<byte[]> future;
|
||||||
try {
|
try {
|
||||||
future = workers.submit(() -> doConvert(docxBytes, originalFilename, options));
|
future = workers.submit(() -> doConvert(docxBytes, originalFilename, options));
|
||||||
|
|||||||
@@ -12,7 +12,6 @@ import org.springframework.web.bind.annotation.RestController;
|
|||||||
import org.springframework.beans.factory.annotation.Value;
|
import org.springframework.beans.factory.annotation.Value;
|
||||||
import org.springframework.web.multipart.MultipartFile;
|
import org.springframework.web.multipart.MultipartFile;
|
||||||
import ru.pjandro.wordpdf.ConvertOptions;
|
import ru.pjandro.wordpdf.ConvertOptions;
|
||||||
import ru.pjandro.wordpdf.WordPdfSettings;
|
|
||||||
|
|
||||||
import java.io.IOException;
|
import java.io.IOException;
|
||||||
import java.nio.charset.StandardCharsets;
|
import java.nio.charset.StandardCharsets;
|
||||||
@@ -25,10 +24,11 @@ import java.util.Locale;
|
|||||||
* <p>Здесь только HTTP-слой: проверка presence/расширения и формирование
|
* <p>Здесь только HTTP-слой: проверка presence/расширения и формирование
|
||||||
* {@code Content-Disposition}; проверка содержимого (zip, размер, страницы) —
|
* {@code Content-Disposition}; проверка содержимого (zip, размер, страницы) —
|
||||||
* зона {@link ConversionService}. Ошибки в JSON-ответ переводит
|
* зона {@link ConversionService}. Ошибки в JSON-ответ переводит
|
||||||
* {@link ApiExceptionHandler}. Лимиты входа — только конфигурация сервера
|
* {@link ApiExceptionHandler}. Лимиты входа: свойства
|
||||||
* (свойства {@code wordpdf.max-mb}/{@code wordpdf.max-pages}, env
|
* {@code wordpdf.max-mb}/{@code wordpdf.max-pages} (env
|
||||||
* {@code WORDPDF_MAX_MB}/{@code WORDPDF_MAX_PAGES}); параметрами запроса
|
* {@code WORDPDF_MAX_MB}/{@code WORDPDF_MAX_PAGES}) — дефолт эндпоинта;
|
||||||
* они не переопределяются.</p>
|
* параметры запроса {@code maxMb}/{@code maxPages} переопределяют его в обе
|
||||||
|
* стороны (значения ≤ 0 → 400).</p>
|
||||||
*/
|
*/
|
||||||
@RestController
|
@RestController
|
||||||
final class ConvertController {
|
final class ConvertController {
|
||||||
@@ -38,14 +38,15 @@ final class ConvertController {
|
|||||||
private final int maxPages;
|
private final int maxPages;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Дефолт плейсхолдеров — константы ядра через SpEL: буквальное значение
|
* Дефолт плейсхолдеров — буквенные литералы 5/100 (дефолтов лимитов в
|
||||||
* в свойствах не дублируется. Невалидное значение (<= 0) роняет
|
* ядре нет); свойства/env переопределяют их, параметры запроса — см.
|
||||||
|
* {@link #convert}. Невалидное значение свойства (<= 0) роняет
|
||||||
* приложение на старте (fail-fast): «сервис поднят, но весь вход
|
* приложение на старте (fail-fast): «сервис поднят, но весь вход
|
||||||
* отсекается» — худший исход, чем не поднявшийся сервис.
|
* отсекается» — худший исход, чем не поднявшийся сервис.
|
||||||
*/
|
*/
|
||||||
ConvertController(ConversionService conversionService,
|
ConvertController(ConversionService conversionService,
|
||||||
@Value("${wordpdf.max-mb:#{T(ru.pjandro.wordpdf.WordPdfSettings).MAX_INPUT_MB}}") long maxMb,
|
@Value("${wordpdf.max-mb:5}") long maxMb,
|
||||||
@Value("${wordpdf.max-pages:#{T(ru.pjandro.wordpdf.WordPdfSettings).MAX_PAGES}}") int maxPages) {
|
@Value("${wordpdf.max-pages:100}") int maxPages) {
|
||||||
if (maxMb <= 0) {
|
if (maxMb <= 0) {
|
||||||
throw new IllegalStateException("wordpdf.max-mb должен быть больше 0: " + maxMb);
|
throw new IllegalStateException("wordpdf.max-mb должен быть больше 0: " + maxMb);
|
||||||
}
|
}
|
||||||
@@ -60,10 +61,11 @@ final class ConvertController {
|
|||||||
@Operation(summary = "Конвертировать .docx/.doc в PDF",
|
@Operation(summary = "Конвертировать .docx/.doc в PDF",
|
||||||
description = "Принимаются .docx (OOXML) и .doc (Word 97–2003, переносится в .docx "
|
description = "Принимаются .docx (OOXML) и .doc (Word 97–2003, переносится в .docx "
|
||||||
+ "мостом: текст и прямое форматирование). errorOnCharts/errorOnSmartArt/errorOnOle — факультативно, по умолчанию "
|
+ "мостом: текст и прямое форматирование). errorOnCharts/errorOnSmartArt/errorOnOle — факультативно, по умолчанию "
|
||||||
+ "настройки ядра (ошибка не выбрасывается); диаграммы/SmartArt "
|
+ "ошибка не выбрасывается; диаграммы/SmartArt "
|
||||||
+ "конвертируются всегда, OLE-объекты при выключенном флаге тихо удаляются. "
|
+ "конвертируются всегда, OLE-объекты при выключенном флаге тихо удаляются. "
|
||||||
+ "Лимиты входа (размер/страницы) задаёт только конфигурация сервера "
|
+ "Лимиты входа (размер/страницы): свойства wordpdf.max-mb/wordpdf.max-pages — "
|
||||||
+ "(свойства wordpdf.max-mb/wordpdf.max-pages), параметрами запроса не переопределяются")
|
+ "дефолт; параметры запроса maxMb/maxPages переопределяют его в обе стороны "
|
||||||
|
+ "(значения ≤ 0 → 400)")
|
||||||
@SecurityRequirement(name = OpenApiConfig.SCHEME)
|
@SecurityRequirement(name = OpenApiConfig.SCHEME)
|
||||||
@PostMapping(
|
@PostMapping(
|
||||||
path = "/api/v1/convert",
|
path = "/api/v1/convert",
|
||||||
@@ -73,7 +75,9 @@ final class ConvertController {
|
|||||||
@RequestParam("file") MultipartFile file,
|
@RequestParam("file") MultipartFile file,
|
||||||
@RequestParam(name = "errorOnCharts", required = false) Boolean errorOnCharts,
|
@RequestParam(name = "errorOnCharts", required = false) Boolean errorOnCharts,
|
||||||
@RequestParam(name = "errorOnSmartArt", required = false) Boolean errorOnSmartArt,
|
@RequestParam(name = "errorOnSmartArt", required = false) Boolean errorOnSmartArt,
|
||||||
@RequestParam(name = "errorOnOle", required = false) Boolean errorOnOle) {
|
@RequestParam(name = "errorOnOle", required = false) Boolean errorOnOle,
|
||||||
|
@RequestParam(name = "maxMb", required = false) Long maxMbParam,
|
||||||
|
@RequestParam(name = "maxPages", required = false) Integer maxPagesParam) {
|
||||||
if (file == null || file.isEmpty()) {
|
if (file == null || file.isEmpty()) {
|
||||||
throw new BadRequestException("Файл не передан (multipart-поле «file» обязательно)");
|
throw new BadRequestException("Файл не передан (multipart-поле «file» обязательно)");
|
||||||
}
|
}
|
||||||
@@ -84,13 +88,24 @@ final class ConvertController {
|
|||||||
// .doc (Word 97–2003) переносится в .docx мостом internal.doc
|
// .doc (Word 97–2003) переносится в .docx мостом internal.doc
|
||||||
throw new BadRequestException("Поддерживаются только .docx и .doc: " + name);
|
throw new BadRequestException("Поддерживаются только .docx и .doc: " + name);
|
||||||
}
|
}
|
||||||
|
// Лимиты входа: свойства сервера — дефолт, параметры запроса
|
||||||
|
// переопределяют в обе стороны (верхнего потолка нет — осознанное
|
||||||
|
// решение; остаточная защита от загрузки — multipart-лимит сервера).
|
||||||
|
if (maxMbParam != null && maxMbParam <= 0) {
|
||||||
|
throw new BadRequestException("maxMb должен быть больше 0: " + maxMbParam);
|
||||||
|
}
|
||||||
|
if (maxPagesParam != null && maxPagesParam <= 0) {
|
||||||
|
throw new BadRequestException("maxPages должен быть больше 0: " + maxPagesParam);
|
||||||
|
}
|
||||||
|
long effMaxMb = maxMbParam != null ? maxMbParam : maxMb;
|
||||||
|
int effMaxPages = maxPagesParam != null ? maxPagesParam : maxPages;
|
||||||
// Размер проверяется до getBytes(): multipart-лимит сервера (100 МБ)
|
// Размер проверяется до getBytes(): multipart-лимит сервера (100 МБ)
|
||||||
// больше логического лимита входа (wordpdf.max-mb), и без этого гварда
|
// больше логического лимита входа, и без этого гварда заведомо
|
||||||
// заведомо oversized-upload сначала материализовался бы в куче.
|
// oversized-upload сначала материализовался бы в куче.
|
||||||
// Текст — тот же формат, что WordPdfValidator.checkInput.
|
// Текст — тот же формат, что WordPdfValidator.checkInput.
|
||||||
long maxBytes = maxMb * 1024 * 1024;
|
long maxBytes = effMaxMb * 1024 * 1024;
|
||||||
if (file.getSize() > maxBytes) {
|
if (file.getSize() > maxBytes) {
|
||||||
throw new BadRequestException("Файл больше " + maxMb + " МБ: "
|
throw new BadRequestException("Файл больше " + effMaxMb + " МБ: "
|
||||||
+ file.getSize() + " байт > " + maxBytes + " байт");
|
+ file.getSize() + " байт > " + maxBytes + " байт");
|
||||||
}
|
}
|
||||||
byte[] docxBytes;
|
byte[] docxBytes;
|
||||||
@@ -100,10 +115,10 @@ final class ConvertController {
|
|||||||
throw new BadRequestException("Не удалось прочитать загруженный файл", e);
|
throw new BadRequestException("Не удалось прочитать загруженный файл", e);
|
||||||
}
|
}
|
||||||
ConvertOptions options = new ConvertOptions(
|
ConvertOptions options = new ConvertOptions(
|
||||||
errorOnCharts != null ? errorOnCharts : WordPdfSettings.ERROR_ON_CHARTS,
|
Boolean.TRUE.equals(errorOnCharts),
|
||||||
errorOnSmartArt != null ? errorOnSmartArt : WordPdfSettings.ERROR_ON_SMARTART,
|
Boolean.TRUE.equals(errorOnSmartArt),
|
||||||
errorOnOle != null ? errorOnOle : WordPdfSettings.ERROR_ON_OLE,
|
Boolean.TRUE.equals(errorOnOle),
|
||||||
maxMb, maxPages);
|
effMaxMb, effMaxPages);
|
||||||
byte[] pdf = conversionService.convert(docxBytes, name, options);
|
byte[] pdf = conversionService.convert(docxBytes, name, options);
|
||||||
ContentDisposition disposition = ContentDisposition.attachment()
|
ContentDisposition disposition = ContentDisposition.attachment()
|
||||||
.filename(ConversionService.safeBaseName(name) + ".pdf", StandardCharsets.UTF_8)
|
.filename(ConversionService.safeBaseName(name) + ".pdf", StandardCharsets.UTF_8)
|
||||||
|
|||||||
@@ -1,12 +1,12 @@
|
|||||||
spring.application.name=wordpdf-app
|
spring.application.name=wordpdf-app
|
||||||
# Потолок инфраструктуры — 100 МБ (совпадает с client_max_body_size в
|
# Потолок инфраструктуры — 100 МБ (совпадает с client_max_body_size в
|
||||||
# nginx-шлюзах): больше не пропустит ни шлюз, ни контейнер. Авторитетный
|
# nginx-шлюзах): больше не пропустит ни шлюз, ни контейнер. Логический лимит
|
||||||
# лимит — свойство wordpdf.max-mb (env WORDPDF_MAX_MB, МБ), по умолчанию
|
# входа — свойство wordpdf.max-mb (env WORDPDF_MAX_MB, МБ) /
|
||||||
# WordPdfSettings.MAX_INPUT_MB = 5; здесь только потолок загрузки.
|
# wordpdf.max-pages (env WORDPDF_MAX_PAGES): дефолты 5/100 — литералы @Value
|
||||||
# Лимиты входа: env WORDPDF_MAX_MB (МБ) / WORDPDF_MAX_PAGES (страницы),
|
# в ConvertController (дефолтов лимитов в ядре нет); параметрами запроса
|
||||||
# дефолты — константы ядра (5 / 100), задаются ConvertController.
|
# maxMb/maxPages дефолт переопределяется в обе стороны. Значение свойства
|
||||||
# Значение <= 0 — падение на старте. Сами ключи здесь не объявлены:
|
# <= 0 — падение на старте. Сами ключи здесь не объявлены: пустое значение
|
||||||
# пустое значение затенит SpEL-дефолт @Value.
|
# затенит дефолт @Value.
|
||||||
# file-size-threshold=2MB: части больше 2 МБ сбрасываются на диск Tomcat, heap
|
# file-size-threshold=2MB: части больше 2 МБ сбрасываются на диск Tomcat, heap
|
||||||
# держит только копию getBytes() одной сериализованной конвертации (порог 100MB
|
# держит только копию getBytes() одной сериализованной конвертации (порог 100MB
|
||||||
# буферизовал в heap каждую параллельную загрузку до валидации размера — OOM-килл
|
# буферизовал в heap каждую параллельную загрузку до валидации размера — OOM-килл
|
||||||
|
|||||||
@@ -92,7 +92,7 @@ class ConversionServiceTest {
|
|||||||
|
|
||||||
byte[] sample = bytes("/samples/ru-plain.docx");
|
byte[] sample = bytes("/samples/ru-plain.docx");
|
||||||
ConversionRejectedException e = assertThrows(ConversionRejectedException.class,
|
ConversionRejectedException e = assertThrows(ConversionRejectedException.class,
|
||||||
() -> svc.convert(sample, "queue.docx", ConvertOptions.defaults()));
|
() -> svc.convert(sample, "queue.docx", new ConvertOptions(false, false, false, 5, 100)));
|
||||||
assertEquals("Сервис конвертации занят — повторите позже", e.getMessage());
|
assertEquals("Сервис конвертации занят — повторите позже", e.getMessage());
|
||||||
} finally {
|
} finally {
|
||||||
block.countDown();
|
block.countDown();
|
||||||
@@ -115,7 +115,7 @@ class ConversionServiceTest {
|
|||||||
try {
|
try {
|
||||||
Thread.currentThread().interrupt();
|
Thread.currentThread().interrupt();
|
||||||
ConversionRejectedException e = assertThrows(ConversionRejectedException.class,
|
ConversionRejectedException e = assertThrows(ConversionRejectedException.class,
|
||||||
() -> svc.convert(sample, "ru-plain.docx", ConvertOptions.defaults()));
|
() -> svc.convert(sample, "ru-plain.docx", new ConvertOptions(false, false, false, 5, 100)));
|
||||||
assertEquals("Сервис конвертации занят — повторите позже", e.getMessage());
|
assertEquals("Сервис конвертации занят — повторите позже", e.getMessage());
|
||||||
assertTrue(Thread.currentThread().isInterrupted(),
|
assertTrue(Thread.currentThread().isInterrupted(),
|
||||||
"флаг прерывания обязан быть восстановлен");
|
"флаг прерывания обязан быть восстановлен");
|
||||||
@@ -125,7 +125,7 @@ class ConversionServiceTest {
|
|||||||
// барьер: отменённая задача ещё домучивает рендер на воркере, а
|
// барьер: отменённая задача ещё домучивает рендер на воркере, а
|
||||||
// глобальный реестр шрифтов ядра не потокобезопасен — ждём освобождения
|
// глобальный реестр шрифтов ядра не потокобезопасен — ждём освобождения
|
||||||
// воркера через успешную сериализованную конвертацию
|
// воркера через успешную сериализованную конвертацию
|
||||||
byte[] pdf = svc.convert(sample, "barrier.docx", ConvertOptions.defaults());
|
byte[] pdf = svc.convert(sample, "barrier.docx", new ConvertOptions(false, false, false, 5, 100));
|
||||||
assertEquals("%PDF", new String(pdf, 0, 4, StandardCharsets.US_ASCII));
|
assertEquals("%PDF", new String(pdf, 0, 4, StandardCharsets.US_ASCII));
|
||||||
svc.shutdown();
|
svc.shutdown();
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -30,7 +30,10 @@ import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.
|
|||||||
*/
|
*/
|
||||||
@SpringBootTest
|
@SpringBootTest
|
||||||
@AutoConfigureMockMvc
|
@AutoConfigureMockMvc
|
||||||
@TestPropertySource(properties = "wordpdf.convert-timeout=1ms")
|
@TestPropertySource(properties = {"wordpdf.convert-timeout=1ms",
|
||||||
|
// пустой ключ = фильтр выключен; пин от ambient WORDPDF_API_KEY
|
||||||
|
// (mise подмешивает корневой .env в окружение тасок)
|
||||||
|
"wordpdf.api-key="})
|
||||||
class ConversionTimeoutTest {
|
class ConversionTimeoutTest {
|
||||||
|
|
||||||
private static final MediaType DOCX =
|
private static final MediaType DOCX =
|
||||||
|
|||||||
@@ -44,7 +44,8 @@ import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.
|
|||||||
* ядра, PDF разбирается PDFBox, текст нормализуется по пробелам — паттерны
|
* ядра, PDF разбирается PDFBox, текст нормализуется по пробелам — паттерны
|
||||||
* {@code WordPdfConverterTest} (norm/pdfText).
|
* {@code WordPdfConverterTest} (norm/pdfText).
|
||||||
*/
|
*/
|
||||||
@SpringBootTest
|
@SpringBootTest(properties = "wordpdf.api-key=") // пустой = фильтр выключен; пин от
|
||||||
|
// ambient WORDPDF_API_KEY (mise подмешивает корневой .env в окружение тасок)
|
||||||
@AutoConfigureMockMvc
|
@AutoConfigureMockMvc
|
||||||
class ConvertControllerTest {
|
class ConvertControllerTest {
|
||||||
|
|
||||||
@@ -311,8 +312,8 @@ class ConvertControllerTest {
|
|||||||
@Test
|
@Test
|
||||||
void oversizedOverCoreLimit_rejected() throws Exception {
|
void oversizedOverCoreLimit_rejected() throws Exception {
|
||||||
// 5 MiB + 1 байт: проходит контейнерный multipart-лимит (100 МБ)
|
// 5 MiB + 1 байт: проходит контейнерный multipart-лимит (100 МБ)
|
||||||
// и отсекается валидацией ядра до очереди (дефолт ядра цел —
|
// и отсекается валидацией ядра до очереди (дефолт эндпоинта 5 МБ —
|
||||||
// лимит задаёт только конфигурация сервера)
|
// параметры запроса здесь не участвуют)
|
||||||
byte[] big = new byte[5 * 1024 * 1024 + 1];
|
byte[] big = new byte[5 * 1024 * 1024 + 1];
|
||||||
mockMvc.perform(multipart("/api/v1/convert").file(docx("big.docx", big)))
|
mockMvc.perform(multipart("/api/v1/convert").file(docx("big.docx", big)))
|
||||||
.andExpect(status().isBadRequest())
|
.andExpect(status().isBadRequest())
|
||||||
@@ -321,20 +322,60 @@ class ConvertControllerTest {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Регрессия env-only: лимиты входа параметрами запроса не задаются.
|
* Параметр запроса maxMb ужимает серверный дефолт: файл в пределах
|
||||||
* maxMb/maxPages в multipart-форме игнорируются — маленький
|
* серверных 5 МБ отвергается по параметру 1 МБ (текст гварда — с
|
||||||
* документ проходит на серверных лимитах (дефолты ядра).
|
* числом из запроса).
|
||||||
*/
|
*/
|
||||||
@Test
|
@Test
|
||||||
void requestLimitParams_areIgnored() throws Exception {
|
void requestLimit_maxMbTightens_rejected() throws Exception {
|
||||||
|
byte[] twoMb = new byte[2 * 1024 * 1024];
|
||||||
|
mockMvc.perform(multipart("/api/v1/convert")
|
||||||
|
.file(docx("two.docx", twoMb))
|
||||||
|
.param("maxMb", "1"))
|
||||||
|
.andExpect(status().isBadRequest())
|
||||||
|
.andExpect(jsonPath("$.error",
|
||||||
|
org.hamcrest.Matchers.containsString("больше 1 МБ")));
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Параметр maxMb поднимает серверный дефолт: обычный документ проходит. */
|
||||||
|
@Test
|
||||||
|
void requestLimit_maxMbRaises_smallOk() throws Exception {
|
||||||
mockMvc.perform(multipart("/api/v1/convert")
|
mockMvc.perform(multipart("/api/v1/convert")
|
||||||
.file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx")))
|
.file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx")))
|
||||||
.param("maxMb", "1000")
|
.param("maxMb", "1000")
|
||||||
.param("maxPages", "1"))
|
.param("maxPages", "1000"))
|
||||||
.andExpect(status().isOk())
|
.andExpect(status().isOk())
|
||||||
.andExpect(content().contentType(MediaType.APPLICATION_PDF));
|
.andExpect(content().contentType(MediaType.APPLICATION_PDF));
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/** Параметр maxPages ужимает дефолт: фикстура на 110 границ отвергается с числом из запроса. */
|
||||||
|
@Test
|
||||||
|
void requestLimit_maxPagesTightens_rejected() throws Exception {
|
||||||
|
mockMvc.perform(multipart("/api/v1/convert")
|
||||||
|
.file(docx("stale-cache.docx", bytes("/samples/stale-cache.docx")))
|
||||||
|
.param("maxPages", "1"))
|
||||||
|
.andExpect(status().isBadRequest())
|
||||||
|
.andExpect(jsonPath("$.error",
|
||||||
|
org.hamcrest.Matchers.containsString("длиннее 1 страниц")));
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Нулевые лимиты в запросе — 400 до любой работы с файлом. */
|
||||||
|
@Test
|
||||||
|
void requestLimit_nonPositive_rejected() throws Exception {
|
||||||
|
mockMvc.perform(multipart("/api/v1/convert")
|
||||||
|
.file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx")))
|
||||||
|
.param("maxMb", "0"))
|
||||||
|
.andExpect(status().isBadRequest())
|
||||||
|
.andExpect(jsonPath("$.error",
|
||||||
|
org.hamcrest.Matchers.containsString("maxMb должен быть больше 0")));
|
||||||
|
mockMvc.perform(multipart("/api/v1/convert")
|
||||||
|
.file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx")))
|
||||||
|
.param("maxPages", "0"))
|
||||||
|
.andExpect(status().isBadRequest())
|
||||||
|
.andExpect(jsonPath("$.error",
|
||||||
|
org.hamcrest.Matchers.containsString("maxPages должен быть больше 0")));
|
||||||
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Невалидные лимиты в конфигурации — падение на старте (fail-fast):
|
* Невалидные лимиты в конфигурации — падение на старте (fail-fast):
|
||||||
* «сервис поднят, но весь вход отсекается» хуже не поднявшегося.
|
* «сервис поднят, но весь вход отсекается» хуже не поднявшегося.
|
||||||
@@ -417,8 +458,14 @@ class ConvertControllerTest {
|
|||||||
mockMvc.perform(multipart("/api/v1/convert")
|
mockMvc.perform(multipart("/api/v1/convert")
|
||||||
.file(docx("bad.docx", docxPackageWithGarbage())))
|
.file(docx("bad.docx", docxPackageWithGarbage())))
|
||||||
.andExpect(status().isInternalServerError())
|
.andExpect(status().isInternalServerError())
|
||||||
.andExpect(jsonPath("$.error",
|
// фиксированный текст: сообщение ядра (docx4j/FOP/JAXB) —
|
||||||
org.hamcrest.Matchers.containsString("Не удалось конвертировать")));
|
// только в лог, наружу не уходит
|
||||||
|
.andExpect(jsonPath("$.error").value("Не удалось конвертировать документ"))
|
||||||
|
.andExpect(result -> {
|
||||||
|
String body = result.getResponse().getContentAsString();
|
||||||
|
assertTrue(!body.contains("docx4j") && !body.contains("Exception"),
|
||||||
|
"500 протёк внутренними деталями: " + body);
|
||||||
|
});
|
||||||
}
|
}
|
||||||
|
|
||||||
@Test
|
@Test
|
||||||
@@ -474,7 +521,7 @@ class ConvertControllerTest {
|
|||||||
ConvertController controller =
|
ConvertController controller =
|
||||||
new ConvertController(new ConversionService(Duration.ofSeconds(5)), 5L, 100);
|
new ConvertController(new ConversionService(Duration.ofSeconds(5)), 5L, 100);
|
||||||
BadRequestException e = assertThrows(BadRequestException.class,
|
BadRequestException e = assertThrows(BadRequestException.class,
|
||||||
() -> controller.convert(broken, null, null, null));
|
() -> controller.convert(broken, null, null, null, null, null));
|
||||||
assertTrue(e.getMessage().contains("Не удалось прочитать"), e.getMessage());
|
assertTrue(e.getMessage().contains("Не удалось прочитать"), e.getMessage());
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -35,7 +35,10 @@ import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.
|
|||||||
*/
|
*/
|
||||||
@SpringBootTest
|
@SpringBootTest
|
||||||
@AutoConfigureMockMvc
|
@AutoConfigureMockMvc
|
||||||
@TestPropertySource(properties = {"wordpdf.max-mb=1", "wordpdf.max-pages=1"})
|
@TestPropertySource(properties = {"wordpdf.max-mb=1", "wordpdf.max-pages=1",
|
||||||
|
// пустой ключ = фильтр выключен; пин от ambient WORDPDF_API_KEY
|
||||||
|
// (mise подмешивает корневой .env в окружение тасок)
|
||||||
|
"wordpdf.api-key="})
|
||||||
class ConvertLimitsTest {
|
class ConvertLimitsTest {
|
||||||
|
|
||||||
private static final MediaType DOCX =
|
private static final MediaType DOCX =
|
||||||
@@ -90,4 +93,26 @@ class ConvertLimitsTest {
|
|||||||
.andExpect(jsonPath("$.error",
|
.andExpect(jsonPath("$.error",
|
||||||
org.hamcrest.Matchers.containsString("страниц")));
|
org.hamcrest.Matchers.containsString("страниц")));
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Параметры запроса ПОДНИМАЮТ configured-дефолты (свойство — дефолт, не
|
||||||
|
* потолок): maxMb=5 — и файл за 1 MiB проходит байтовый гейт (отказ уже
|
||||||
|
* по контейнеру, не по размеру); maxPages=2 — и текст отказа несёт
|
||||||
|
* двойку, а не configured единицу.
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void restParamAboveConfigured_applies() throws Exception {
|
||||||
|
mockMvc.perform(multipart("/api/v1/convert")
|
||||||
|
.file(docx("big.docx", oversizedZip()))
|
||||||
|
.param("maxMb", "5"))
|
||||||
|
.andExpect(status().isBadRequest())
|
||||||
|
.andExpect(jsonPath("$.error",
|
||||||
|
org.hamcrest.Matchers.containsString("не является .docx")));
|
||||||
|
mockMvc.perform(multipart("/api/v1/convert")
|
||||||
|
.file(docx("too-many-pages.docx", bytes("/samples/too-many-pages.docx")))
|
||||||
|
.param("maxPages", "2"))
|
||||||
|
.andExpect(status().isBadRequest())
|
||||||
|
.andExpect(jsonPath("$.error",
|
||||||
|
org.hamcrest.Matchers.containsString("длиннее 2 страниц")));
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -2,8 +2,8 @@ package ru.pjandro.wordpdf;
|
|||||||
|
|
||||||
/**
|
/**
|
||||||
* на один вызов: error-флаги рисунков и лимиты входа (размер/страницы).
|
* на один вызов: error-флаги рисунков и лимиты входа (размер/страницы).
|
||||||
* Дефолты — константы {@link WordPdfSettings}; вызывающий (например, REST API)
|
* Дефолтов в ядре нет — значения задаёт вызывающий (приложение: свойства
|
||||||
* может переопределить их на конкретный вызов. Диаграммы/SmartArt
|
* сервера как дефолт REST-эндпоинта + параметры запроса). Диаграммы/SmartArt
|
||||||
* конвертируются всегда.
|
* конвертируются всегда.
|
||||||
*
|
*
|
||||||
* @param errorOnCharts бросать {@link DrawingFoundException} при находке диаграмм
|
* @param errorOnCharts бросать {@link DrawingFoundException} при находке диаграмм
|
||||||
@@ -11,16 +11,9 @@ package ru.pjandro.wordpdf;
|
|||||||
* @param errorOnOle бросать {@link DrawingFoundException} при находке OLE-объектов
|
* @param errorOnOle бросать {@link DrawingFoundException} при находке OLE-объектов
|
||||||
* (иначе — тихо удалить их из документа)
|
* (иначе — тихо удалить их из документа)
|
||||||
* @param maxMb лимит размера входа в МБ (MiB) на этот вызов;
|
* @param maxMb лимит размера входа в МБ (MiB) на этот вызов;
|
||||||
* дефолт — {@link WordPdfSettings#MAX_INPUT_MB}
|
* должен быть больше 0
|
||||||
* @param maxPages лимит числа страниц на этот вызов;
|
* @param maxPages лимит числа страниц на этот вызов; должен быть больше 0
|
||||||
* дефолт — {@link WordPdfSettings#MAX_PAGES}
|
|
||||||
*/
|
*/
|
||||||
public record ConvertOptions(boolean errorOnCharts, boolean errorOnSmartArt, boolean errorOnOle,
|
public record ConvertOptions(boolean errorOnCharts, boolean errorOnSmartArt, boolean errorOnOle,
|
||||||
long maxMb, int maxPages) {
|
long maxMb, int maxPages) {
|
||||||
|
|
||||||
/** Дефолты ядра из {@link WordPdfSettings}. */
|
|
||||||
public static ConvertOptions defaults() {
|
|
||||||
return new ConvertOptions(WordPdfSettings.ERROR_ON_CHARTS, WordPdfSettings.ERROR_ON_SMARTART,
|
|
||||||
WordPdfSettings.ERROR_ON_OLE, WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES);
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -100,10 +100,11 @@ public final class WordPdfConverter {
|
|||||||
* каждого изображения (замер 2026-11: ~1,5 ГБ живых byte[] после 30
|
* каждого изображения (замер 2026-11: ~1,5 ГБ живых byte[] после 30
|
||||||
* конвертаций с картинками). Поэтому каждая конвертация обязана вызвать
|
* конвертаций с картинками). Поэтому каждая конвертация обязана вызвать
|
||||||
* {@link #resetSharedImageCaches()} в finally. Вызывается только под локом
|
* {@link #resetSharedImageCaches()} в finally. Вызывается только под локом
|
||||||
* конвертации (см. {@code convert}), сброс mid-render невозможен.
|
* конвертации (см. {@code convert}), сброс mid-render невозможен. Методы
|
||||||
* Регрессия — WordPdfConverterTest#sharedImageCaches_clearedAfterConversion.
|
* приватны: вызов вне лока конвертера вскрыл бы DCL/сброс на параллельный
|
||||||
|
* рендер. Регрессия — WordPdfConverterTest#sharedImageCaches_clearedAfterConversion.
|
||||||
*/
|
*/
|
||||||
static FopFactory sharedFopFactory(final FOSettings foSettings) {
|
private static FopFactory sharedFopFactory(final FOSettings foSettings) {
|
||||||
FopFactory factory = sharedFopFactory;
|
FopFactory factory = sharedFopFactory;
|
||||||
if (factory == null) {
|
if (factory == null) {
|
||||||
synchronized (WordPdfConverter.class) {
|
synchronized (WordPdfConverter.class) {
|
||||||
@@ -130,7 +131,7 @@ public final class WordPdfConverter {
|
|||||||
* {@code convert}) — параллельный рендер под сброс не попадает.
|
* {@code convert}) — параллельный рендер под сброс не попадает.
|
||||||
* Регрессия — WordPdfConverterTest#sharedImageCaches_clearedAfterConversion.
|
* Регрессия — WordPdfConverterTest#sharedImageCaches_clearedAfterConversion.
|
||||||
*/
|
*/
|
||||||
static void resetSharedImageCaches() {
|
private static void resetSharedImageCaches() {
|
||||||
FopFactory factory = sharedFopFactory;
|
FopFactory factory = sharedFopFactory;
|
||||||
if (factory == null) {
|
if (factory == null) {
|
||||||
return;
|
return;
|
||||||
@@ -144,37 +145,10 @@ public final class WordPdfConverter {
|
|||||||
|
|
||||||
/**
|
/**
|
||||||
* Конвертирует байты .docx (или бинарного .doc Word 97–2003 — формат
|
* Конвертирует байты .docx (или бинарного .doc Word 97–2003 — формат
|
||||||
* определяется по сигнатуре байтов) в PDF. Работа с файлами — забота
|
* определяется по сигнатуре байтов) в PDF с настройками на вызов:
|
||||||
|
* error-флаги диаграмм/SmartArt и лимиты входа. Работа с файлами — забота
|
||||||
* вызывающего (файловое API было здесь раньше; ядро пути не принимает).
|
* вызывающего (файловое API было здесь раньше; ядро пути не принимает).
|
||||||
*
|
*
|
||||||
* <p>.doc предварительно переносится в .docx мостом
|
|
||||||
* {@link ru.pjandro.wordpdf.internal.doc.DocToDocx} (текст + прямое
|
|
||||||
* форматирование); число страниц для .doc проверяется мостом по чистому
|
|
||||||
* бинарному документу (кэш PageCount + явные разрывы), сгенерированный
|
|
||||||
* .docx валидацией не проверяется. Для .docx вход проверяется
|
|
||||||
* {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера:
|
|
||||||
* {@code null} / размер больше {@link WordPdfSettings#MAX_INPUT_MB} (МБ) / zip-подпись /
|
|
||||||
* число страниц больше {@link WordPdfSettings#MAX_PAGES} — при отказе байтов результата нет;
|
|
||||||
* страницы считаются ровно раз по сырому входу, повторного скана по
|
|
||||||
* нормализованным байтам нет (см. javadoc перегрузки с {@link ConvertOptions}).
|
|
||||||
*
|
|
||||||
* @param docxBytes байты .docx или бинарного .doc
|
|
||||||
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
|
|
||||||
* @return байты готового PDF
|
|
||||||
* @throws ValidationException некорректный вход: {@code null}, размер больше
|
|
||||||
* {@link WordPdfSettings#MAX_INPUT_MB} (МБ), не .docx/.doc, зашифрованный .doc,
|
|
||||||
* документ длиннее {@link WordPdfSettings#MAX_PAGES} страниц
|
|
||||||
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
|
|
||||||
*/
|
|
||||||
public static byte[] convert(byte[] docxBytes, String title) throws ConversionException {
|
|
||||||
return convert(docxBytes, title, ConvertOptions.defaults());
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Конвертирует байты .docx (или бинарного .doc Word 97–2003 — формат
|
|
||||||
* определяется по сигнатуре байтов, см. перегрузку выше) в PDF с
|
|
||||||
* настройками на вызов: error-флаги диаграмм/SmartArt и лимиты входа.
|
|
||||||
*
|
|
||||||
* <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)}
|
* <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)}
|
||||||
* до рендера — одна проверка на оба формата: {@code null} / размер больше
|
* до рендера — одна проверка на оба формата: {@code null} / размер больше
|
||||||
* {@code options.maxMb()} (МБ) / не .docx и не .doc / число страниц больше
|
* {@code options.maxMb()} (МБ) / не .docx и не .doc / число страниц больше
|
||||||
@@ -189,8 +163,8 @@ public final class WordPdfConverter {
|
|||||||
*
|
*
|
||||||
* @param docxBytes байты .docx или бинарного .doc
|
* @param docxBytes байты .docx или бинарного .doc
|
||||||
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
|
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
|
||||||
* @param options error-флаги и лимиты входа на этот вызов; {@code null} —
|
* @param options error-флаги и лимиты входа на этот вызов; обязательны,
|
||||||
* дефолты (константы {@link WordPdfSettings})
|
* {@code null} → {@link ValidationException} (дефолтов в ядре нет)
|
||||||
* @return байты готового PDF
|
* @return байты готового PDF
|
||||||
* @throws ValidationException некорректный вход: {@code null}, размер больше
|
* @throws ValidationException некорректный вход: {@code null}, размер больше
|
||||||
* {@code options.maxMb()} (МБ), не .docx/.doc, зашифрованный .doc,
|
* {@code options.maxMb()} (МБ), не .docx/.doc, зашифрованный .doc,
|
||||||
@@ -198,7 +172,11 @@ public final class WordPdfConverter {
|
|||||||
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
|
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
|
||||||
*/
|
*/
|
||||||
public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options) throws ConversionException {
|
public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options) throws ConversionException {
|
||||||
ConvertOptions opts = options == null ? ConvertOptions.defaults() : options;
|
if (options == null) {
|
||||||
|
throw new ValidationException("Не переданы параметры конвертации (ConvertOptions): "
|
||||||
|
+ "лимиты входа задаёт вызывающий");
|
||||||
|
}
|
||||||
|
ConvertOptions opts = options;
|
||||||
// Полная проверка входа — одна на оба формата: размер до
|
// Полная проверка входа — одна на оба формата: размер до
|
||||||
// классификации (враждебный вход без подписи обязан получить ошибку
|
// классификации (враждебный вход без подписи обязан получить ошибку
|
||||||
// лимита), затем для .docx — zip/контейнер/страницы, для .doc —
|
// лимита), затем для .docx — zip/контейнер/страницы, для .doc —
|
||||||
@@ -218,7 +196,8 @@ public final class WordPdfConverter {
|
|||||||
// (реентельно) и DCL в sharedFopFactory. Регрессия —
|
// (реентельно) и DCL в sharedFopFactory. Регрессия —
|
||||||
// WordPdfConverterTest#concurrentConversions_twoThreadsBothSucceed.
|
// WordPdfConverterTest#concurrentConversions_twoThreadsBothSucceed.
|
||||||
synchronized (WordPdfConverter.class) {
|
synchronized (WordPdfConverter.class) {
|
||||||
docxBytes = WordPdfValidator.isBinaryDoc(docxBytes) ? DocToDocx.convert(docxBytes) : docxBytes;
|
docxBytes = WordPdfValidator.isBinaryDoc(docxBytes)
|
||||||
|
? DocToDocx.convert(docxBytes, opts.maxMb()) : docxBytes;
|
||||||
ByteArrayOutputStream bos = new ByteArrayOutputStream(Math.max(1 << 16, docxBytes.length));
|
ByteArrayOutputStream bos = new ByteArrayOutputStream(Math.max(1 << 16, docxBytes.length));
|
||||||
try {
|
try {
|
||||||
convertToStream(docxBytes, title, opts, bos);
|
convertToStream(docxBytes, title, opts, bos);
|
||||||
@@ -238,6 +217,32 @@ public final class WordPdfConverter {
|
|||||||
|
|
||||||
private static final Logger LOG = Logger.getLogger(WordPdfConverter.class.getName());
|
private static final Logger LOG = Logger.getLogger(WordPdfConverter.class.getName());
|
||||||
|
|
||||||
|
// Пороги защиты входа (считает WordPdfValidator.max* от лимитов входа
|
||||||
|
// ConvertOptions). Значения — строго литералы compile-time констант: javac
|
||||||
|
// инлайнит их в WordPdfValidator, и обращение из валидатора НЕ
|
||||||
|
// инициализирует этот класс (его static-блок выставляет sysprops docx4j —
|
||||||
|
// инвариант «WordPdfValidator не зависит от docx4j» сохраняется).
|
||||||
|
/** Бюджет суммарной распаковки: MiB на каждый МБ лимита размера входа. */
|
||||||
|
static final int DECOMPRESS_MB_PER_MAX_MB = 10;
|
||||||
|
/** Бюджет суммарной распаковки: KiB на каждую страницу лимита. */
|
||||||
|
static final int DECOMPRESS_KIB_PER_PAGE = 64;
|
||||||
|
/** Бюджет XML-частей: MiB на каждый МБ лимита (JAXB-разбор дороже байта). */
|
||||||
|
static final int DECOMPRESS_XML_MB_PER_MAX_MB = 4;
|
||||||
|
/** Бюджет XML-частей: KiB на каждую страницу лимита. */
|
||||||
|
static final int DECOMPRESS_XML_KIB_PER_PAGE = 32;
|
||||||
|
/** Пол бюджета суммарной распаковки (MiB) — чтобы мелкие лимиты не ломали легитимные документы. */
|
||||||
|
static final long MIN_DECOMPRESSED_MB = 16;
|
||||||
|
/** Пол бюджета XML-частей (MiB). */
|
||||||
|
static final long MIN_DECOMPRESSED_XML_MB = 4;
|
||||||
|
/** Порог пиксельной площади одного растра: пикселей на каждый МБ лимита размера. */
|
||||||
|
static final long IMAGE_PIXELS_PER_MAX_MB = 5_000_000;
|
||||||
|
/** Порог числа zip-записей: записей на каждый МБ лимита размера. */
|
||||||
|
static final int ZIP_ENTRIES_PER_MAX_MB = 512;
|
||||||
|
/** Порог числа zip-записей: записей на каждую страницу лимита. */
|
||||||
|
static final int ZIP_ENTRIES_PER_PAGE = 32;
|
||||||
|
/** Пол порога числа zip-записей. */
|
||||||
|
static final int MIN_ZIP_ENTRIES = 2048;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Прогрев ядра: первая конвертация после старта JVM стоит 1,3–1,7 с
|
* Прогрев ядра: первая конвертация после старта JVM стоит 1,3–1,7 с
|
||||||
* (JAXB/XSLT/FOP/классы), её платил первый запрос после деплоя. Прогоняет
|
* (JAXB/XSLT/FOP/классы), её платил первый запрос после деплоя. Прогоняет
|
||||||
@@ -256,7 +261,7 @@ public final class WordPdfConverter {
|
|||||||
return;
|
return;
|
||||||
}
|
}
|
||||||
try {
|
try {
|
||||||
convert(warmupDocx(), "warmup");
|
convert(warmupDocx(), "warmup", new ConvertOptions(false, false, false, 1, 1));
|
||||||
warmRaster();
|
warmRaster();
|
||||||
warmedUp = true;
|
warmedUp = true;
|
||||||
} catch (Throwable t) {
|
} catch (Throwable t) {
|
||||||
@@ -411,14 +416,19 @@ public final class WordPdfConverter {
|
|||||||
// 6. Проход XSLT (медленнее, но полнее), вывод в поток
|
// 6. Проход XSLT (медленнее, но полнее), вывод в поток
|
||||||
Docx4J.toFO(foSettings, os, Docx4J.FLAG_EXPORT_PREFER_XSL);
|
Docx4J.toFO(foSettings, os, Docx4J.FLAG_EXPORT_PREFER_XSL);
|
||||||
} finally {
|
} finally {
|
||||||
// 7. Уборка временных файлов встроенных в docx шрифтов и сброс
|
// 7. Уборка временных файлов встроенных в docx шрифтов, сброс
|
||||||
// имиджевых кешей общей FopFactory (без него форк копит растр
|
// имиджевых кешей общей FopFactory (без него форк копит растр
|
||||||
// каждого изображения: ~1,5 ГБ на 30 конвертаций, 2026-11).
|
// каждого изображения: ~1,5 ГБ на 30 конвертаций, 2026-11) и
|
||||||
|
// возврат реестра шрифтов в бандл-состояние: load() регистрирует
|
||||||
|
// в глобальном PhysicalFonts встроенные шрифты документа, и без
|
||||||
|
// restrictToBundled последний документ продолжал бы влиять на
|
||||||
|
// выбор шрифта до следующей конвертации.
|
||||||
if (pkg.getMainDocumentPart() != null
|
if (pkg.getMainDocumentPart() != null
|
||||||
&& pkg.getMainDocumentPart().getFontTablePart() != null) {
|
&& pkg.getMainDocumentPart().getFontTablePart() != null) {
|
||||||
pkg.getMainDocumentPart().getFontTablePart().deleteEmbeddedFontTempFiles();
|
pkg.getMainDocumentPart().getFontTablePart().deleteEmbeddedFontTempFiles();
|
||||||
}
|
}
|
||||||
resetSharedImageCaches();
|
resetSharedImageCaches();
|
||||||
|
BundledFonts.restrictToBundled();
|
||||||
// Примечание: в docx4j 11.x OpcPackage.close() отсутствует —
|
// Примечание: в docx4j 11.x OpcPackage.close() отсутствует —
|
||||||
// пакет загружается в память и ничего не закрывает.
|
// пакет загружается в память и ничего не закрывает.
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -1,42 +0,0 @@
|
|||||||
package ru.pjandro.wordpdf;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Единая точка конфигурации ядра: все настройки-дефолты — константы здесь.
|
|
||||||
* Рантайм-конфигурации нет: изменение значения = правка этого файла и пересборка.
|
|
||||||
* Лимиты входа ({@link #MAX_INPUT_MB}, {@link #MAX_PAGES}) — дефолты:
|
|
||||||
* вызывающий может переопределить их на конкретный вызов через
|
|
||||||
* {@link ConvertOptions}.
|
|
||||||
*/
|
|
||||||
public final class WordPdfSettings {
|
|
||||||
|
|
||||||
/** Максимальный размер входного .docx в МБ (дефолт). МБ = MiB = 1024 × 1024 байт. */
|
|
||||||
public static final long MAX_INPUT_MB = 5;
|
|
||||||
|
|
||||||
/** Документ длиннее — ошибка (дефолт). */
|
|
||||||
public static final int MAX_PAGES = 100;
|
|
||||||
|
|
||||||
/** Потолок суммарного распакованного размера архива (МБ) — защита от zip-бомбы. */
|
|
||||||
public static final long MAX_DECOMPRESSED_MB = 200;
|
|
||||||
|
|
||||||
/** Потолок числа записей в архиве — защита от бомбы «много записей». */
|
|
||||||
public static final int MAX_ZIP_ENTRIES = 8192;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Ошибка при находке диаграмм ({@code c:chart}) — {@link DrawingFoundException}.
|
|
||||||
* Дефолт {@code false} — конвертация проходит.
|
|
||||||
*/
|
|
||||||
public static final boolean ERROR_ON_CHARTS = false;
|
|
||||||
|
|
||||||
/** Ошибка при находке SmartArt ({@code dgm:relIds}) — {@link DrawingFoundException}. */
|
|
||||||
public static final boolean ERROR_ON_SMARTART = false;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Ошибка при находке OLE-объектов (бинарные {@code .bin}-части) —
|
|
||||||
* {@link DrawingFoundException}. Дефолт {@code false} — объекты тихо
|
|
||||||
* удаляются из документа (см. OleObjectNormalizer), конвертация проходит.
|
|
||||||
*/
|
|
||||||
public static final boolean ERROR_ON_OLE = false;
|
|
||||||
|
|
||||||
private WordPdfSettings() {
|
|
||||||
}
|
|
||||||
}
|
|
||||||
@@ -30,19 +30,15 @@ import java.util.zip.ZipInputStream;
|
|||||||
* но им можно пользоваться и напрямую — например, проверить байты
|
* но им можно пользоваться и напрямую — например, проверить байты
|
||||||
* документа, полученного из сети или БД, до любой работы с ними.
|
* документа, полученного из сети или БД, до любой работы с ними.
|
||||||
*
|
*
|
||||||
* <p>Лимиты по умолчанию:
|
* <p>Лимитов-констант в ядре нет: все пороги выводятся из лимитов входа
|
||||||
* <ul>
|
* {@link ConvertOptions} ({@code maxMb} — размер в МБ, {@code maxPages} —
|
||||||
* <li>{@link WordPdfSettings#MAX_INPUT_MB} — максимальный размер входного .docx (МБ);</li>
|
* число страниц): бюджеты распаковки {@link #maxDecompressedBytes(long, int)}
|
||||||
* <li>{@link WordPdfSettings#MAX_PAGES} — максимально допустимое число страниц;</li>
|
* и {@link #maxDecompressedXmlBytes(long, int)}, порог площади растра
|
||||||
* <li>{@link WordPdfSettings#MAX_DECOMPRESSED_MB} — потолок суммарного
|
* {@link #maxImagePixels(long)}, потолок числа zip-записей
|
||||||
* распакованного размера архива (МБ);</li>
|
* {@code maxZipEntries} (package-private) — коэффициенты в
|
||||||
* <li>{@link WordPdfSettings#MAX_ZIP_ENTRIES} — потолок числа записей
|
* {@link WordPdfConverter}. Конвертер применяет {@link ConvertOptions} сам;
|
||||||
* в архиве.</li>
|
* одноаргументных оверлодов-дефолтов нет — лимит задаётся параметром каждого
|
||||||
* </ul>
|
* метода.
|
||||||
* Первые два переопределяются на вызов: перегрузками с явным лимитом или
|
|
||||||
* {@link ConvertOptions} (конвертер {@link WordPdfConverter} применяет их сам).
|
|
||||||
* Последние два — защитные константные пороги ({@link #validate(byte[], ConvertOptions)}),
|
|
||||||
* {@link ConvertOptions} их не переопределяет.
|
|
||||||
*
|
*
|
||||||
* <p>Проверка контейнера: архив обязан декларировать документ
|
* <p>Проверка контейнера: архив обязан декларировать документ
|
||||||
* wordprocessingml в {@code [Content_Types].xml} — иначе это не .docx
|
* wordprocessingml в {@code [Content_Types].xml} — иначе это не .docx
|
||||||
@@ -79,15 +75,6 @@ public final class WordPdfValidator {
|
|||||||
private WordPdfValidator() {
|
private WordPdfValidator() {
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
|
||||||
* Проверяет размер байтов входа (для документа, полученного из сети/БД).
|
|
||||||
*
|
|
||||||
* @throws ValidationException при {@code null} или превышении лимита (МБ)
|
|
||||||
*/
|
|
||||||
public static void checkInput(byte[] docxBytes) throws ValidationException {
|
|
||||||
checkInput(docxBytes, WordPdfSettings.MAX_INPUT_MB);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Проверяет размер байтов входа против явного лимита в МБ (переопределение
|
* Проверяет размер байтов входа против явного лимита в МБ (переопределение
|
||||||
* на вызов, см. {@link ConvertOptions#maxMb()}). МБ = MiB = 1024 × 1024 байт.
|
* на вызов, см. {@link ConvertOptions#maxMb()}). МБ = MiB = 1024 × 1024 байт.
|
||||||
@@ -111,7 +98,7 @@ public final class WordPdfValidator {
|
|||||||
* такой вход не проверяется .docx-валидацией (zip-пути), его страницы
|
* такой вход не проверяется .docx-валидацией (zip-пути), его страницы
|
||||||
* считает мост {@code internal.doc} по чистому бинарному документу.
|
* считает мост {@code internal.doc} по чистому бинарному документу.
|
||||||
*/
|
*/
|
||||||
public static boolean isBinaryDoc(byte[] bytes) {
|
static boolean isBinaryDoc(byte[] bytes) {
|
||||||
byte[] sig = {(byte) 0xD0, (byte) 0xCF, 0x11, (byte) 0xE0,
|
byte[] sig = {(byte) 0xD0, (byte) 0xCF, 0x11, (byte) 0xE0,
|
||||||
(byte) 0xA1, (byte) 0xB1, 0x1A, (byte) 0xE1};
|
(byte) 0xA1, (byte) 0xB1, 0x1A, (byte) 0xE1};
|
||||||
if (bytes == null || bytes.length < sig.length) {
|
if (bytes == null || bytes.length < sig.length) {
|
||||||
@@ -154,19 +141,13 @@ public final class WordPdfValidator {
|
|||||||
* .docx-манифест и распакованный размер (регрессия —
|
* .docx-манифест и распакованный размер (регрессия —
|
||||||
* {@code WordPdfValidatorTest#validate_notAZip}); поэтому вызывать
|
* {@code WordPdfValidatorTest#validate_notAZip}); поэтому вызывать
|
||||||
* {@code checkPageCount} напрямую допустимо только над доверенным входом.
|
* {@code checkPageCount} напрямую допустимо только над доверенным входом.
|
||||||
* @throws ValidationException при {@code null}, ошибке разбора zip или превышении {@link WordPdfSettings#MAX_PAGES}
|
*
|
||||||
*/
|
* <p>Лимит страниц задаётся параметром (переопределение на вызов,
|
||||||
public static void checkPageCount(byte[] docxBytes) throws ValidationException {
|
* см. {@link ConvertOptions#maxPages()}).
|
||||||
checkPageCount(docxBytes, WordPdfSettings.MAX_PAGES);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* То же, что {@link #checkPageCount(byte[])}, с явным лимитом
|
|
||||||
* страниц (переопределение на вызов, см. {@link ConvertOptions#maxPages()}).
|
|
||||||
*
|
*
|
||||||
* @throws ValidationException при {@code null}, ошибке разбора zip или превышении {@code maxPages}
|
* @throws ValidationException при {@code null}, ошибке разбора zip или превышении {@code maxPages}
|
||||||
*/
|
*/
|
||||||
public static void checkPageCount(byte[] docxBytes, int maxPages) throws ValidationException {
|
static void checkPageCount(byte[] docxBytes, int maxPages) throws ValidationException {
|
||||||
if (docxBytes == null) {
|
if (docxBytes == null) {
|
||||||
throw new ValidationException("Не указаны байты входного .docx");
|
throw new ValidationException("Не указаны байты входного .docx");
|
||||||
}
|
}
|
||||||
@@ -215,17 +196,7 @@ public final class WordPdfValidator {
|
|||||||
* разрывы 0x0C − непрерывные межсекционные разрывы + абзацы с
|
* разрывы 0x0C − непрерывные межсекционные разрывы + абзацы с
|
||||||
* pageBreakBefore)} — тот же контур, что lightweight-скан по zip для
|
* pageBreakBefore)} — тот же контур, что lightweight-скан по zip для
|
||||||
* .docx. Разбор делает {@code internal.doc} ({@link DocToDocx#countPages(byte[])}).
|
* .docx. Разбор делает {@code internal.doc} ({@link DocToDocx#countPages(byte[])}).
|
||||||
*
|
* Лимит страниц задаётся параметром (см. {@link ConvertOptions#maxPages()}).
|
||||||
* @throws ValidationException при {@code null}, не-.doc-входе, шифровании
|
|
||||||
* или превышении {@link WordPdfSettings#MAX_PAGES}
|
|
||||||
*/
|
|
||||||
public static void checkPageCountDoc(byte[] docBytes) throws ValidationException {
|
|
||||||
checkPageCountDoc(docBytes, WordPdfSettings.MAX_PAGES);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* То же, что {@link #checkPageCountDoc(byte[])}, с явным лимитом
|
|
||||||
* страниц (переопределение на вызов, см. {@link ConvertOptions#maxPages()}).
|
|
||||||
*
|
*
|
||||||
* <p>Отказ разбора {@code .doc}-моста ({@code internal.doc}) —
|
* <p>Отказ разбора {@code .doc}-моста ({@code internal.doc}) —
|
||||||
* {@link ConversionException} — оборачивается здесь в
|
* {@link ConversionException} — оборачивается здесь в
|
||||||
@@ -237,7 +208,7 @@ public final class WordPdfValidator {
|
|||||||
* @throws ValidationException при {@code null}, не-.doc-входе, шифровании
|
* @throws ValidationException при {@code null}, не-.doc-входе, шифровании
|
||||||
* или превышении {@code maxPages}
|
* или превышении {@code maxPages}
|
||||||
*/
|
*/
|
||||||
public static void checkPageCountDoc(byte[] docBytes, int maxPages) throws ValidationException {
|
static void checkPageCountDoc(byte[] docBytes, int maxPages) throws ValidationException {
|
||||||
if (docBytes == null) {
|
if (docBytes == null) {
|
||||||
throw new ValidationException("Не указаны байты входного .doc");
|
throw new ValidationException("Не указаны байты входного .doc");
|
||||||
}
|
}
|
||||||
@@ -273,18 +244,25 @@ public final class WordPdfValidator {
|
|||||||
* <p>Проверка контейнера: в {@code [Content_Types].xml} обязана быть
|
* <p>Проверка контейнера: в {@code [Content_Types].xml} обязана быть
|
||||||
* декларация документа wordprocessingml (архив без неё — не .docx);
|
* декларация документа wordprocessingml (архив без неё — не .docx);
|
||||||
* zip-бомба отсекается потоковым счётчиком распакованных байт
|
* zip-бомба отсекается потоковым счётчиком распакованных байт
|
||||||
* ({@link WordPdfSettings#MAX_DECOMPRESSED_MB}) и числом записей
|
* ({@link #maxDecompressedBytes(long, int)}, XML —
|
||||||
* ({@link WordPdfSettings#MAX_ZIP_ENTRIES}) — до разбора содержимого
|
* {@link #maxDecompressedXmlBytes(long, int)}) и числом записей
|
||||||
* в {@link #checkPageCount(byte[], int)}. Оба лимита —
|
* ({@code maxZipEntries}) — до разбора содержимого
|
||||||
* защитные пороги, {@link ConvertOptions} их не переопределяет.
|
* в {@link #checkPageCount(byte[], int)}. Все пороги — производные от
|
||||||
|
* {@code options.maxMb()}/{@code options.maxPages()}, отдельных
|
||||||
|
* констант в ядре нет.
|
||||||
* Регрессии — {@code WordPdfValidatorTest#validate_plainZipRejected},
|
* Регрессии — {@code WordPdfValidatorTest#validate_plainZipRejected},
|
||||||
* {@code #validate_xlsxRenamedRejected}, {@code #validate_zipBombRejected},
|
* {@code #validate_xlsxRenamedRejected}, {@code #validate_zipBombRejected},
|
||||||
* {@code #validate_tooManyEntriesRejected}.</p>
|
* {@code #validate_tooManyEntriesRejected}.</p>
|
||||||
* @throws ValidationException при {@code null}, превышении {@code options.maxMb()},
|
* @throws ValidationException при {@code null} входа или {@code options},
|
||||||
|
* превышении {@code options.maxMb()},
|
||||||
* отсутствии zip-подписи, не-.docx-контейнере, признаках zip-бомбы,
|
* отсутствии zip-подписи, не-.docx-контейнере, признаках zip-бомбы,
|
||||||
* ошибке разбора zip или превышении {@code options.maxPages()}
|
* ошибке разбора zip или превышении {@code options.maxPages()}
|
||||||
*/
|
*/
|
||||||
public static void validate(byte[] docxBytes, ConvertOptions options) throws ValidationException {
|
public static void validate(byte[] docxBytes, ConvertOptions options) throws ValidationException {
|
||||||
|
if (options == null) {
|
||||||
|
throw new ValidationException("Не переданы параметры конвертации (ConvertOptions): "
|
||||||
|
+ "лимиты входа задаёт вызывающий");
|
||||||
|
}
|
||||||
checkInput(docxBytes, options.maxMb());
|
checkInput(docxBytes, options.maxMb());
|
||||||
if (isBinaryDoc(docxBytes)) {
|
if (isBinaryDoc(docxBytes)) {
|
||||||
// Бинарный .doc: страницы — по чистому бинарному документу,
|
// Бинарный .doc: страницы — по чистому бинарному документу,
|
||||||
@@ -296,7 +274,11 @@ public final class WordPdfValidator {
|
|||||||
|| (docxBytes[2] & 0xFF) != 0x03 || (docxBytes[3] & 0xFF) != 0x04) {
|
|| (docxBytes[2] & 0xFF) != 0x03 || (docxBytes[3] & 0xFF) != 0x04) {
|
||||||
throw new ValidationException("Содержимое не похоже на .docx или .doc (не zip-архив)");
|
throw new ValidationException("Содержимое не похоже на .docx или .doc (не zip-архив)");
|
||||||
}
|
}
|
||||||
checkDocxContainer(docxBytes);
|
checkDocxContainer(docxBytes,
|
||||||
|
maxDecompressedBytes(options.maxMb(), options.maxPages()),
|
||||||
|
maxDecompressedXmlBytes(options.maxMb(), options.maxPages()),
|
||||||
|
maxZipEntries(options.maxMb(), options.maxPages()),
|
||||||
|
maxImagePixels(options.maxMb()));
|
||||||
checkPageCount(docxBytes, options.maxPages());
|
checkPageCount(docxBytes, options.maxPages());
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -306,30 +288,60 @@ public final class WordPdfValidator {
|
|||||||
* в {@link #checkPageCount(byte[], int)}) и наличие в
|
* в {@link #checkPageCount(byte[], int)}) и наличие в
|
||||||
* {@code [Content_Types].xml} декларации документа wordprocessingml
|
* {@code [Content_Types].xml} декларации документа wordprocessingml
|
||||||
* (архив без неё — не .docx: обычный zip, переименованный .xlsx/.pptx).
|
* (архив без неё — не .docx: обычный zip, переименованный .xlsx/.pptx).
|
||||||
|
*
|
||||||
|
* <p>Пороги передаются параметром (считает
|
||||||
|
* {@link #validate(byte[], ConvertOptions)} из лимитов входа через
|
||||||
|
* {@link #maxDecompressedBytes} / {@link #maxDecompressedXmlBytes} /
|
||||||
|
* {@code maxZipEntries} / {@link #maxImagePixels}): заголовок
|
||||||
|
* центрального каталога врёт о размере, поэтому считается по ходу чтения.
|
||||||
*/
|
*/
|
||||||
private static void checkDocxContainer(byte[] docxBytes) throws ValidationException {
|
private static void checkDocxContainer(byte[] docxBytes, long maxTotal, long maxXmlTotal,
|
||||||
long maxTotal = WordPdfSettings.MAX_DECOMPRESSED_MB * 1024 * 1024;
|
long maxEntries, long maxPixels)
|
||||||
|
throws ValidationException {
|
||||||
long total = 0;
|
long total = 0;
|
||||||
|
long xmlTotal = 0;
|
||||||
int entries = 0;
|
int entries = 0;
|
||||||
|
// OPC требует уникальных имён частей: дубликат — либо крафт, либо
|
||||||
|
// обход кэша страниц (валидатор читает ПЕРВУЮ партию document.xml,
|
||||||
|
// парсер может взять другую) — отказ по первому повтору имени.
|
||||||
|
Set<String> names = new HashSet<>();
|
||||||
ByteArrayOutputStream ctBuf = new ByteArrayOutputStream();
|
ByteArrayOutputStream ctBuf = new ByteArrayOutputStream();
|
||||||
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docxBytes))) {
|
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docxBytes))) {
|
||||||
ZipEntry entry;
|
ZipEntry entry;
|
||||||
while ((entry = zip.getNextEntry()) != null) {
|
while ((entry = zip.getNextEntry()) != null) {
|
||||||
|
if (!names.add(entry.getName())) {
|
||||||
|
throw new ValidationException("Дубликаты записей в архиве: " + entry.getName());
|
||||||
|
}
|
||||||
if (!entry.isDirectory()) {
|
if (!entry.isDirectory()) {
|
||||||
entries++;
|
entries++;
|
||||||
if (entries > WordPdfSettings.MAX_ZIP_ENTRIES) {
|
if (entries > maxEntries) {
|
||||||
throw new ValidationException("Слишком много записей в архиве: больше "
|
throw new ValidationException("Слишком много записей в архиве: больше "
|
||||||
+ WordPdfSettings.MAX_ZIP_ENTRIES);
|
+ maxEntries);
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
boolean isCt = "[Content_Types].xml".equals(entry.getName());
|
String name = entry.getName();
|
||||||
|
boolean isCt = "[Content_Types].xml".equals(name);
|
||||||
|
boolean isXml = name.endsWith(".xml") || name.endsWith(".rels");
|
||||||
|
// Raster-bomb: маленькая запись объявляет гигантский растр
|
||||||
|
// (декод по заголовку) — размеры читаются из head-буфера,
|
||||||
|
// весь содержимый поток идёт через счётчик total как раньше.
|
||||||
|
boolean isRaster = isRasterMedia(name);
|
||||||
|
byte[] head = isRaster ? new byte[RASTER_HEAD_LIMIT] : null;
|
||||||
|
int headLen = 0;
|
||||||
byte[] buf = new byte[8192];
|
byte[] buf = new byte[8192];
|
||||||
int n;
|
int n;
|
||||||
while ((n = zip.read(buf)) > 0) {
|
while ((n = zip.read(buf)) > 0) {
|
||||||
total += n;
|
total += n;
|
||||||
if (total > maxTotal) {
|
if (total > maxTotal) {
|
||||||
throw new ValidationException("Распакованный размер архива больше "
|
throw new ValidationException("Распакованный размер архива больше "
|
||||||
+ WordPdfSettings.MAX_DECOMPRESSED_MB + " МБ (признак zip-бомбы)");
|
+ (maxTotal / 1048576) + " МБ (признак zip-бомбы)");
|
||||||
|
}
|
||||||
|
if (isXml) {
|
||||||
|
xmlTotal += n;
|
||||||
|
if (xmlTotal > maxXmlTotal) {
|
||||||
|
throw new ValidationException("Суммарный распакованный размер XML-частей больше "
|
||||||
|
+ (maxXmlTotal / 1048576) + " МБ (признак zip-бомбы)");
|
||||||
|
}
|
||||||
}
|
}
|
||||||
if (isCt) {
|
if (isCt) {
|
||||||
if (ctBuf.size() + n > 8 * 1024 * 1024) {
|
if (ctBuf.size() + n > 8 * 1024 * 1024) {
|
||||||
@@ -338,6 +350,18 @@ public final class WordPdfValidator {
|
|||||||
}
|
}
|
||||||
ctBuf.write(buf, 0, n);
|
ctBuf.write(buf, 0, n);
|
||||||
}
|
}
|
||||||
|
if (head != null && headLen < head.length) {
|
||||||
|
int take = Math.min(n, head.length - headLen);
|
||||||
|
System.arraycopy(buf, 0, head, headLen, take);
|
||||||
|
headLen += take;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if (head != null) {
|
||||||
|
long area = rasterArea(name, head, headLen);
|
||||||
|
if (area > maxPixels) {
|
||||||
|
throw new ValidationException("Изображение слишком большое: " + name
|
||||||
|
+ " объявляет не менее " + area + " пикселей");
|
||||||
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
} catch (ValidationException e) {
|
} catch (ValidationException e) {
|
||||||
@@ -357,6 +381,55 @@ public final class WordPdfValidator {
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Бюджет суммарной распаковки docx, байты: {@code max(MIN_DECOMPRESSED_MB×MiB,
|
||||||
|
* maxMb×10MiB + maxPages×64KiB)} — без верхней крышки: бюджет догоняет
|
||||||
|
* лимиты входа (защита от upload-бомбы масштабируется вместе с них).
|
||||||
|
* Коэффициенты — {@link WordPdfConverter#DECOMPRESS_MB_PER_MAX_MB} и
|
||||||
|
* {@link WordPdfConverter#DECOMPRESS_KIB_PER_PAGE} (запас на XML/медиа
|
||||||
|
* легитимного архива), пол — {@link WordPdfConverter#MIN_DECOMPRESSED_MB}
|
||||||
|
* (мелким лимитам входа). Регрессия —
|
||||||
|
* WordPdfValidatorTest#validate_smallLimitsBudgetFloor,
|
||||||
|
* #validate_budgetScalesWithInputLimits.
|
||||||
|
*/
|
||||||
|
static long maxDecompressedBytes(long maxMb, int maxPages) {
|
||||||
|
long budget = Math.multiplyExact(maxMb,
|
||||||
|
WordPdfConverter.DECOMPRESS_MB_PER_MAX_MB * 1048576L)
|
||||||
|
+ (long) maxPages * WordPdfConverter.DECOMPRESS_KIB_PER_PAGE * 1024L;
|
||||||
|
return Math.max(WordPdfConverter.MIN_DECOMPRESSED_MB * 1048576L, budget);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Бюджет распаковки XML-частей docx, байты: {@code max(MIN_DECOMPRESSED_XML_MB×MiB,
|
||||||
|
* maxMb×4MiB + maxPages×32KiB)} (XML парсится JAXB DOM — дороже байта,
|
||||||
|
* поэтому коэффициенты вдвое ниже суммарных, и пол ниже). Инвариант: при
|
||||||
|
* одних лимитах строго меньше суммарного бюджета, поэтому гейт XML
|
||||||
|
* достижим.
|
||||||
|
*/
|
||||||
|
static long maxDecompressedXmlBytes(long maxMb, int maxPages) {
|
||||||
|
long budget = Math.multiplyExact(maxMb,
|
||||||
|
WordPdfConverter.DECOMPRESS_XML_MB_PER_MAX_MB * 1048576L)
|
||||||
|
+ (long) maxPages * WordPdfConverter.DECOMPRESS_XML_KIB_PER_PAGE * 1024L;
|
||||||
|
return Math.max(WordPdfConverter.MIN_DECOMPRESSED_XML_MB * 1048576L, budget);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Порог пиксельной площади одного растрового медиа, пиксели:
|
||||||
|
* {@code maxMb×5_000_000} (при лимите 5 МБ — 25 Мпикс, как в Word;
|
||||||
|
* разложение в ARGB-буфер ≈ 4 байта/пиксель). Публичный — нужен
|
||||||
|
* .doc-мосту ({@code OfficeArt}) для той же защиты на своём пути.
|
||||||
|
*/
|
||||||
|
public static long maxImagePixels(long maxMb) {
|
||||||
|
return Math.multiplyExact(maxMb, WordPdfConverter.IMAGE_PIXELS_PER_MAX_MB);
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Порог числа zip-записей: {@code max(2048, maxMb×512 + maxPages×32)} — защита от бомбы «много записей». */
|
||||||
|
static long maxZipEntries(long maxMb, int maxPages) {
|
||||||
|
long v = Math.multiplyExact(maxMb, WordPdfConverter.ZIP_ENTRIES_PER_MAX_MB)
|
||||||
|
+ (long) maxPages * WordPdfConverter.ZIP_ENTRIES_PER_PAGE;
|
||||||
|
return Math.max(WordPdfConverter.MIN_ZIP_ENTRIES, v);
|
||||||
|
}
|
||||||
|
|
||||||
/** Поиск байтов ASCII-строки в массиве (манифест ограничен 8 МБ — наивного поиска достаточно). */
|
/** Поиск байтов ASCII-строки в массиве (манифест ограничен 8 МБ — наивного поиска достаточно). */
|
||||||
private static boolean containsAscii(byte[] data, String needle) {
|
private static boolean containsAscii(byte[] data, String needle) {
|
||||||
byte[] pat = needle.getBytes(StandardCharsets.UTF_8);
|
byte[] pat = needle.getBytes(StandardCharsets.UTF_8);
|
||||||
@@ -372,6 +445,89 @@ public final class WordPdfValidator {
|
|||||||
return false;
|
return false;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/** Растровые медиа, чьи размеры читываются из заголовка (прочие форматы не инспектируются). */
|
||||||
|
private static boolean isRasterMedia(String name) {
|
||||||
|
String n = name.toLowerCase(java.util.Locale.ROOT);
|
||||||
|
return n.endsWith(".png") || n.endsWith(".gif") || n.endsWith(".bmp")
|
||||||
|
|| n.endsWith(".jpg") || n.endsWith(".jpeg");
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Хватает на PNG/GIF/BMP-заголовок и на JPEG-SOF даже с большими embedded-превью. */
|
||||||
|
private static final int RASTER_HEAD_LIMIT = 64 * 1024;
|
||||||
|
|
||||||
|
/** Минимальный читаемый заголовок GIF: сигнатура «GIF8xа» + width/height (2×u16). */
|
||||||
|
private static final int GIF_HEADER_MIN = 10;
|
||||||
|
/** Префикс каждого JPEG-сегмента: маркер 0xFF. */
|
||||||
|
private static final int JPEG_MARKER = 0xFF;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Пиксельная площадь по заголовку растра (PNG — IHDR big-endian, GIF/BMP —
|
||||||
|
* little-endian, JPEG — скан сегментов SOFn); нераспознанный/неполный
|
||||||
|
* заголовок → -1 (не отклонять: формат мог быть нестандартным, декод
|
||||||
|
* всё равно ограничен {@code total}).
|
||||||
|
*/
|
||||||
|
private static long rasterArea(String name, byte[] h, int len) {
|
||||||
|
String n = name.toLowerCase(java.util.Locale.ROOT);
|
||||||
|
if (n.endsWith(".png")) {
|
||||||
|
if (len >= 24 && (h[0] & 0xFF) == 0x89 && h[1] == 'P' && h[2] == 'N' && h[3] == 'G') {
|
||||||
|
return be32(h, 16) * (long) be32(h, 20);
|
||||||
|
}
|
||||||
|
return -1;
|
||||||
|
}
|
||||||
|
if (n.endsWith(".gif")) {
|
||||||
|
if (len >= GIF_HEADER_MIN) {
|
||||||
|
return (long) le16(h, 6) * le16(h, 8);
|
||||||
|
}
|
||||||
|
return -1;
|
||||||
|
}
|
||||||
|
if (n.endsWith(".bmp")) {
|
||||||
|
if (len >= 26 && h[0] == 'B' && h[1] == 'M') {
|
||||||
|
return Math.abs((long) le32(h, 18)) * Math.abs((long) le32(h, 22));
|
||||||
|
}
|
||||||
|
return -1;
|
||||||
|
}
|
||||||
|
// JPEG: скан маркеров до SOFn (C0–CF кроме C4/DHT, C8, CC/DAC);
|
||||||
|
// префикс FFD8 обязателен, иначе — не JPEG.
|
||||||
|
if (len < 4 || (h[0] & 0xFF) != 0xFF || (h[1] & 0xFF) != 0xD8) {
|
||||||
|
return -1;
|
||||||
|
}
|
||||||
|
int i = 2;
|
||||||
|
while (i + 4 <= len) {
|
||||||
|
if ((h[i] & JPEG_MARKER) != JPEG_MARKER) {
|
||||||
|
return -1;
|
||||||
|
}
|
||||||
|
int marker = h[i + 1] & 0xFF;
|
||||||
|
if (marker >= 0xC0 && marker <= 0xCF && marker != 0xC4 && marker != 0xC8 && marker != 0xCC) {
|
||||||
|
if (i + 9 > len) {
|
||||||
|
return -1;
|
||||||
|
}
|
||||||
|
return (long) be16(h, i + 7) * be16(h, i + 5);
|
||||||
|
}
|
||||||
|
if (marker == 0xD8 || (marker >= 0xD0 && marker <= 0xD7) || marker == 0x01) {
|
||||||
|
i += 2;
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
i += 2 + be16(h, i + 2);
|
||||||
|
}
|
||||||
|
return -1;
|
||||||
|
}
|
||||||
|
|
||||||
|
private static int be16(byte[] b, int off) {
|
||||||
|
return ((b[off] & 0xFF) << 8) | (b[off + 1] & 0xFF);
|
||||||
|
}
|
||||||
|
|
||||||
|
private static int le16(byte[] b, int off) {
|
||||||
|
return (b[off] & 0xFF) | ((b[off + 1] & 0xFF) << 8);
|
||||||
|
}
|
||||||
|
|
||||||
|
private static int be32(byte[] b, int off) {
|
||||||
|
return (be16(b, off) << 16) | be16(b, off + 2);
|
||||||
|
}
|
||||||
|
|
||||||
|
private static int le32(byte[] b, int off) {
|
||||||
|
return (le16(b, off) & 0xFFFF) | (le16(b, off + 2) << 16);
|
||||||
|
}
|
||||||
|
|
||||||
/** {@code word/headerN.xml} / {@code word/footerN.xml} (не .rels). */
|
/** {@code word/headerN.xml} / {@code word/footerN.xml} (не .rels). */
|
||||||
private static boolean isHeaderFooterPart(String name) {
|
private static boolean isHeaderFooterPart(String name) {
|
||||||
return (name.startsWith("word/header") || name.startsWith("word/footer"))
|
return (name.startsWith("word/header") || name.startsWith("word/footer"))
|
||||||
|
|||||||
@@ -107,7 +107,7 @@ public class BundledFontMapper extends BestMatchingMapper {
|
|||||||
|
|
||||||
/**
|
/**
|
||||||
* Имя шрифта, которое можно поставить в {@code w:rFonts}, чтобы получить
|
* Имя шрифта, которое можно поставить в {@code w:rFonts}, чтобы получить
|
||||||
* бандл-семейство {@code family}: {@link GlyphCoverageNormalizer} пишет
|
* бандл-семейство {@code family}: {@code GlyphCoverageNormalizer} пишет
|
||||||
* его в разрезанные раны. Обратная к {@link #bundledFamily} операция —
|
* его в разрезанные раны. Обратная к {@link #bundledFamily} операция —
|
||||||
* имена берутся из таблицы алиасов, поэтому маппинг гарантированно
|
* имена берутся из таблицы алиасов, поэтому маппинг гарантированно
|
||||||
* возвращается к тому же семейству.
|
* возвращается к тому же семейству.
|
||||||
|
|||||||
@@ -2,6 +2,7 @@ package ru.pjandro.wordpdf.fonts;
|
|||||||
|
|
||||||
import org.docx4j.fonts.PhysicalFont;
|
import org.docx4j.fonts.PhysicalFont;
|
||||||
import org.docx4j.fonts.PhysicalFonts;
|
import org.docx4j.fonts.PhysicalFonts;
|
||||||
|
import ru.pjandro.wordpdf.WordPdfConverter;
|
||||||
|
|
||||||
import java.io.IOException;
|
import java.io.IOException;
|
||||||
import java.io.InputStream;
|
import java.io.InputStream;
|
||||||
@@ -124,8 +125,15 @@ public final class BundledFonts {
|
|||||||
/**
|
/**
|
||||||
* Выгружает шрифты из jar и регистрирует их в docx4j.
|
* Выгружает шрифты из jar и регистрирует их в docx4j.
|
||||||
* Повторные вызовы игнорируются (idempotентно).
|
* Повторные вызовы игнорируются (idempotентно).
|
||||||
|
*
|
||||||
|
* <p>Монитор — {@code WordPdfConverter.class}, а не {@code BundledFonts.class}:
|
||||||
|
* {@code PhysicalFonts} и {@link #VARIANTS} читаются рендером внутри
|
||||||
|
* конвертации (она сериализована монитором конвертера), и мутация под
|
||||||
|
* собственным замком вырезала бы записи из-под идущего рендера.
|
||||||
|
* Все синхронизированные методы класса держат ровно этот монитор.</p>
|
||||||
*/
|
*/
|
||||||
public static synchronized void init() {
|
public static void init() {
|
||||||
|
synchronized (WordPdfConverter.class) {
|
||||||
if (inited) {
|
if (inited) {
|
||||||
return;
|
return;
|
||||||
}
|
}
|
||||||
@@ -176,6 +184,7 @@ public final class BundledFonts {
|
|||||||
extractDir.toFile().deleteOnExit();
|
extractDir.toFile().deleteOnExit();
|
||||||
inited = true;
|
inited = true;
|
||||||
}
|
}
|
||||||
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Удаляет из реестра docx4j все шрифты вне бандла (системные, которые
|
* Удаляет из реестра docx4j все шрифты вне бандла (системные, которые
|
||||||
@@ -188,18 +197,19 @@ public final class BundledFonts {
|
|||||||
* em-dash на шрифте ранa (Carlito) вместо fallback-DejaVu.
|
* em-dash на шрифте ранa (Carlito) вместо fallback-DejaVu.
|
||||||
* Шрифты, встроенные в docx, регистрируются при {@code load()} —
|
* Шрифты, встроенные в docx, регистрируются при {@code load()} —
|
||||||
* если чистить до load(), они останутся в реестре.
|
* если чистить до load(), они останутся в реестре.
|
||||||
* <p>Мутирует глобальный реестр {@code PhysicalFonts}: нельзя звать
|
* <p>Мутирует глобальный реестр {@code PhysicalFonts} под монитором
|
||||||
* параллельно идущей {@code WordPdfConverter.convert()} — рендер
|
* {@code WordPdfConverter.class} — тем же, что сериализует конвертации,
|
||||||
* начнёт терять шрифты. Внешний вызов рядом с идущей конвертацией
|
* поэтому вызов рядом с идущей {@code WordPdfConverter.convert()}
|
||||||
* обязан держать монитор {@code WordPdfConverter.class} — тот же,
|
* безопасен автоматически (замок удерживается внутри метода).
|
||||||
* что сериализует конвертации.
|
|
||||||
*/
|
*/
|
||||||
public static synchronized void restrictToBundled() {
|
public static void restrictToBundled() {
|
||||||
|
synchronized (WordPdfConverter.class) {
|
||||||
if (!inited) {
|
if (!inited) {
|
||||||
return;
|
return;
|
||||||
}
|
}
|
||||||
dropNonBundled();
|
dropNonBundled();
|
||||||
}
|
}
|
||||||
|
}
|
||||||
|
|
||||||
/** Удаляет из реестра всё, что не было выгружено из jar в {@link #extractDir}. */
|
/** Удаляет из реестра всё, что не было выгружено из jar в {@link #extractDir}. */
|
||||||
private static void dropNonBundled() {
|
private static void dropNonBundled() {
|
||||||
@@ -237,16 +247,19 @@ public final class BundledFonts {
|
|||||||
|
|
||||||
/**
|
/**
|
||||||
* Зарегистрированный шрифт: семейство (lowercase) + начертание.
|
* Зарегистрированный шрифт: семейство (lowercase) + начертание.
|
||||||
* Синхронизирован с {@link #init()}: {@code VARIANTS} — обычный
|
* Синхронизирован с {@link #init()} общим монитором
|
||||||
* {@code HashMap}, наполняемый в {@code init()} под тем же монитором
|
* {@code WordPdfConverter.class}: {@code VARIANTS} — обычный
|
||||||
* класса; без замка внешний читатель мог бы увидеть недобранную карту.
|
* {@code HashMap}, наполняемый в {@code init()}; без замка внешний
|
||||||
|
* читатель мог бы увидеть недобранную карту.
|
||||||
*
|
*
|
||||||
* @return PhysicalFont или null (если init() не вызван или шрифта нет)
|
* @return PhysicalFont или null (если init() не вызван или шрифта нет)
|
||||||
*/
|
*/
|
||||||
public static synchronized PhysicalFont font(String family, String variant) {
|
public static PhysicalFont font(String family, String variant) {
|
||||||
|
synchronized (WordPdfConverter.class) {
|
||||||
Map<String, PhysicalFont> m = VARIANTS.get(family);
|
Map<String, PhysicalFont> m = VARIANTS.get(family);
|
||||||
return m == null ? null : m.get(variant);
|
return m == null ? null : m.get(variant);
|
||||||
}
|
}
|
||||||
|
}
|
||||||
|
|
||||||
public static PhysicalFont regular(String family) {
|
public static PhysicalFont regular(String family) {
|
||||||
return font(family, V_REGULAR);
|
return font(family, V_REGULAR);
|
||||||
|
|||||||
@@ -24,7 +24,7 @@ import java.util.regex.Pattern;
|
|||||||
*
|
*
|
||||||
* Если совпадений нет, возвращает исходный массив без переупаковки zip.
|
* Если совпадений нет, возвращает исходный массив без переупаковки zip.
|
||||||
*/
|
*/
|
||||||
public final class DocxOnOffNormalizer {
|
final class DocxOnOffNormalizer {
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* {@code w:val="on"/"off"} только внутри открывающего тега: group 1 — от
|
* {@code w:val="on"/"off"} только внутри открывающего тега: group 1 — от
|
||||||
@@ -40,7 +40,7 @@ public final class DocxOnOffNormalizer {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||||
public static final DocxNormalizer STEP = DocxOnOffNormalizer::normalize;
|
static final DocxNormalizer STEP = DocxOnOffNormalizer::normalize;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Заменяет в XML-частях docx (word/*.xml) w:val="off"/"on"
|
* Заменяет в XML-частях docx (word/*.xml) w:val="off"/"on"
|
||||||
@@ -49,7 +49,7 @@ public final class DocxOnOffNormalizer {
|
|||||||
* @param docx байты .docx (zip)
|
* @param docx байты .docx (zip)
|
||||||
* @return те же или переупакованные байты
|
* @return те же или переупакованные байты
|
||||||
*/
|
*/
|
||||||
public static byte[] normalize(byte[] docx) throws IOException {
|
static byte[] normalize(byte[] docx) throws IOException {
|
||||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||||
boolean changed = false;
|
boolean changed = false;
|
||||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||||
|
|||||||
@@ -58,7 +58,7 @@ public final class DocxRewritePipeline {
|
|||||||
* @param docx байты .docx (валидный zip)
|
* @param docx байты .docx (валидный zip)
|
||||||
* @return те же или переупакованные байты
|
* @return те же или переупакованные байты
|
||||||
*/
|
*/
|
||||||
public static byte[] normalize(byte[] docx) throws IOException {
|
static byte[] normalize(byte[] docx) throws IOException {
|
||||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||||
boolean changed = false;
|
boolean changed = false;
|
||||||
try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx));
|
try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx));
|
||||||
|
|||||||
@@ -36,7 +36,7 @@ import java.util.zip.ZipOutputStream;
|
|||||||
* разбираются — если внутри {@code begin … end} встречается ещё один
|
* разбираются — если внутри {@code begin … end} встречается ещё один
|
||||||
* {@code begin}, поле пропускается.
|
* {@code begin}, поле пропускается.
|
||||||
*/
|
*/
|
||||||
public final class FieldNormalizer {
|
final class FieldNormalizer {
|
||||||
|
|
||||||
/** Инструкции, для которых в docx4j-export-fo есть обработчик fldSimple. */
|
/** Инструкции, для которых в docx4j-export-fo есть обработчик fldSimple. */
|
||||||
private static final String[] SUPPORTED = {"PAGE", "NUMPAGES", "SECTIONPAGES"};
|
private static final String[] SUPPORTED = {"PAGE", "NUMPAGES", "SECTIONPAGES"};
|
||||||
@@ -45,7 +45,7 @@ public final class FieldNormalizer {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||||
public static final DocxNormalizer STEP = FieldNormalizer::normalize;
|
static final DocxNormalizer STEP = FieldNormalizer::normalize;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Переписывает поддерживаемые поля во всех word/*.xml частях docx.
|
* Переписывает поддерживаемые поля во всех word/*.xml частях docx.
|
||||||
@@ -53,7 +53,7 @@ public final class FieldNormalizer {
|
|||||||
* @param docx байты .docx (zip)
|
* @param docx байты .docx (zip)
|
||||||
* @return те же или переупакованные байты
|
* @return те же или переупакованные байты
|
||||||
*/
|
*/
|
||||||
public static byte[] normalize(byte[] docx) throws IOException {
|
static byte[] normalize(byte[] docx) throws IOException {
|
||||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||||
boolean changed = false;
|
boolean changed = false;
|
||||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||||
|
|||||||
@@ -54,7 +54,7 @@ import java.util.concurrent.ConcurrentHashMap;
|
|||||||
*
|
*
|
||||||
* Как и {@link SymbolFontNormalizer}, правим байты zip до JAXB-разбора.
|
* Как и {@link SymbolFontNormalizer}, правим байты zip до JAXB-разбора.
|
||||||
*/
|
*/
|
||||||
public final class GlyphCoverageNormalizer {
|
final class GlyphCoverageNormalizer {
|
||||||
|
|
||||||
/** Семейства с засечками: для них fallback ищется сначала среди serif. */
|
/** Семейства с засечками: для них fallback ищется сначала среди serif. */
|
||||||
private static final List<String> SERIF_FAMILIES =
|
private static final List<String> SERIF_FAMILIES =
|
||||||
@@ -82,7 +82,7 @@ public final class GlyphCoverageNormalizer {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||||
public static final DocxNormalizer STEP = GlyphCoverageNormalizer::normalize;
|
static final DocxNormalizer STEP = GlyphCoverageNormalizer::normalize;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Разрезает раны с непокрытыми глифами в XML-частях docx (word/*.xml).
|
* Разрезает раны с непокрытыми глифами в XML-частях docx (word/*.xml).
|
||||||
@@ -90,7 +90,7 @@ public final class GlyphCoverageNormalizer {
|
|||||||
* @param docx байты .docx (zip)
|
* @param docx байты .docx (zip)
|
||||||
* @return те же или переупакованные байты
|
* @return те же или переупакованные байты
|
||||||
*/
|
*/
|
||||||
public static byte[] normalize(byte[] docx) throws IOException {
|
static byte[] normalize(byte[] docx) throws IOException {
|
||||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||||
boolean changed = false;
|
boolean changed = false;
|
||||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||||
|
|||||||
@@ -64,7 +64,7 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
|
|||||||
*
|
*
|
||||||
* <p>Регрессия — WordPdfConverterTest#hiddenText_notPrinted.
|
* <p>Регрессия — WordPdfConverterTest#hiddenText_notPrinted.
|
||||||
*/
|
*/
|
||||||
public final class HiddenTextNormalizer {
|
final class HiddenTextNormalizer {
|
||||||
|
|
||||||
/** Капа цепочки {@code w:basedOn} (образец — {@code doc.Styles.MAX_CHAIN}). */
|
/** Капа цепочки {@code w:basedOn} (образец — {@code doc.Styles.MAX_CHAIN}). */
|
||||||
private static final int MAX_CHAIN = 16;
|
private static final int MAX_CHAIN = 16;
|
||||||
@@ -98,7 +98,7 @@ public final class HiddenTextNormalizer {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||||
public static final DocxNormalizer STEP = HiddenTextNormalizer::normalize;
|
static final DocxNormalizer STEP = HiddenTextNormalizer::normalize;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Вырезает скрытые раны (только прямой {@code w:vanish}) из XML-частей
|
* Вырезает скрытые раны (только прямой {@code w:vanish}) из XML-частей
|
||||||
@@ -107,7 +107,7 @@ public final class HiddenTextNormalizer {
|
|||||||
* @param docx байты .docx (zip)
|
* @param docx байты .docx (zip)
|
||||||
* @return те же или переупакованные байты
|
* @return те же или переупакованные байты
|
||||||
*/
|
*/
|
||||||
public static byte[] normalize(byte[] docx) throws IOException {
|
static byte[] normalize(byte[] docx) throws IOException {
|
||||||
Set<String> vanishStyles = Set.of();
|
Set<String> vanishStyles = Set.of();
|
||||||
try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx))) {
|
try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx))) {
|
||||||
ZipArchiveEntry styles = zf.getEntry("word/styles.xml");
|
ZipArchiveEntry styles = zf.getEntry("word/styles.xml");
|
||||||
|
|||||||
@@ -38,7 +38,7 @@ import java.util.zip.ZipOutputStream;
|
|||||||
* Регрессия — WordPdfConverterTest#invisibleChars_noEmptyLines,
|
* Регрессия — WordPdfConverterTest#invisibleChars_noEmptyLines,
|
||||||
* WordPdfConverterTest#invisibleChars_arimoBoxesNotDrawn.
|
* WordPdfConverterTest#invisibleChars_arimoBoxesNotDrawn.
|
||||||
*/
|
*/
|
||||||
public final class InvisibleCharNormalizer {
|
final class InvisibleCharNormalizer {
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Коды на вырезание: явные переносы FOP (U+0085, U+2028, U+2029),
|
* Коды на вырезание: явные переносы FOP (U+0085, U+2028, U+2029),
|
||||||
@@ -87,7 +87,7 @@ public final class InvisibleCharNormalizer {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||||
public static final DocxNormalizer STEP = InvisibleCharNormalizer::normalize;
|
static final DocxNormalizer STEP = InvisibleCharNormalizer::normalize;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Вырезает невидимые символы из текстовых узлов XML-частей docx
|
* Вырезает невидимые символы из текстовых узлов XML-частей docx
|
||||||
@@ -96,7 +96,7 @@ public final class InvisibleCharNormalizer {
|
|||||||
* @param docx байты .docx (zip)
|
* @param docx байты .docx (zip)
|
||||||
* @return те же или переупакованные байты
|
* @return те же или переупакованные байты
|
||||||
*/
|
*/
|
||||||
public static byte[] normalize(byte[] docx) throws IOException {
|
static byte[] normalize(byte[] docx) throws IOException {
|
||||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||||
boolean changed = false;
|
boolean changed = false;
|
||||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||||
|
|||||||
+3
-3
@@ -29,7 +29,7 @@ import java.util.zip.ZipOutputStream;
|
|||||||
* заканчивающийся пробелом lvlText не дублируется. suff=tab/absent/nothing —
|
* заканчивающийся пробелом lvlText не дублируется. suff=tab/absent/nothing —
|
||||||
* не трогаем. Нечего менять → тот же массив.
|
* не трогаем. Нечего менять → тот же массив.
|
||||||
*/
|
*/
|
||||||
public final class NumberingSuffixNormalizer {
|
final class NumberingSuffixNormalizer {
|
||||||
|
|
||||||
private static final Pattern SUFF_SPACE =
|
private static final Pattern SUFF_SPACE =
|
||||||
Pattern.compile("<w:suff\\b[^>]*w:val=\"space\"[^>]*/>");
|
Pattern.compile("<w:suff\\b[^>]*w:val=\"space\"[^>]*/>");
|
||||||
@@ -39,7 +39,7 @@ public final class NumberingSuffixNormalizer {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||||
public static final DocxNormalizer STEP = NumberingSuffixNormalizer::normalize;
|
static final DocxNormalizer STEP = NumberingSuffixNormalizer::normalize;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Дописывает пробел в lvlText у уровней с suff=space.
|
* Дописывает пробел в lvlText у уровней с suff=space.
|
||||||
@@ -47,7 +47,7 @@ public final class NumberingSuffixNormalizer {
|
|||||||
* @param docx байты .docx (zip)
|
* @param docx байты .docx (zip)
|
||||||
* @return те же или переупакованные байты
|
* @return те же или переупакованные байты
|
||||||
*/
|
*/
|
||||||
public static byte[] normalize(byte[] docx) throws IOException {
|
static byte[] normalize(byte[] docx) throws IOException {
|
||||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||||
boolean changed = false;
|
boolean changed = false;
|
||||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||||
|
|||||||
@@ -33,7 +33,7 @@ import java.util.zip.ZipOutputStream;
|
|||||||
*
|
*
|
||||||
* <p>Регрессия — WordPdfConverterTest#rubyBase_textPrinted.
|
* <p>Регрессия — WordPdfConverterTest#rubyBase_textPrinted.
|
||||||
*/
|
*/
|
||||||
public final class RubyNormalizer {
|
final class RubyNormalizer {
|
||||||
|
|
||||||
private RubyNormalizer() {
|
private RubyNormalizer() {
|
||||||
}
|
}
|
||||||
@@ -78,7 +78,7 @@ public final class RubyNormalizer {
|
|||||||
* Индивидуальный контракт {@link DocxNormalizer} (тесты); в конвейере
|
* Индивидуальный контракт {@link DocxNormalizer} (тесты); в конвейере
|
||||||
* {@link DocxRewritePipeline} вызывает {@link #rewrite} в общем проходе.
|
* {@link DocxRewritePipeline} вызывает {@link #rewrite} в общем проходе.
|
||||||
*/
|
*/
|
||||||
public static byte[] normalize(byte[] docx) throws IOException {
|
static byte[] normalize(byte[] docx) throws IOException {
|
||||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||||
boolean changed = false;
|
boolean changed = false;
|
||||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||||
|
|||||||
@@ -77,7 +77,7 @@ import java.util.zip.ZipOutputStream;
|
|||||||
*
|
*
|
||||||
* Регрессия — WordPdfConverterTest#strictOoxml_convertsNotRejected.
|
* Регрессия — WordPdfConverterTest#strictOoxml_convertsNotRejected.
|
||||||
*/
|
*/
|
||||||
public final class StrictOoxmlNormalizer {
|
final class StrictOoxmlNormalizer {
|
||||||
|
|
||||||
/** Открывающий тег элемента префикса {@code a:} (DrawingML). */
|
/** Открывающий тег элемента префикса {@code a:} (DrawingML). */
|
||||||
private static final Pattern A_TAG = Pattern.compile("<a:[A-Za-z]+\\b[^>]*>");
|
private static final Pattern A_TAG = Pattern.compile("<a:[A-Za-z]+\\b[^>]*>");
|
||||||
@@ -122,7 +122,7 @@ public final class StrictOoxmlNormalizer {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||||
public static final DocxNormalizer STEP = StrictOoxmlNormalizer::normalize;
|
static final DocxNormalizer STEP = StrictOoxmlNormalizer::normalize;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Приводит strict-OOXML в XML-частях docx (word/*.xml) к виду, который
|
* Приводит strict-OOXML в XML-частях docx (word/*.xml) к виду, который
|
||||||
@@ -131,7 +131,7 @@ public final class StrictOoxmlNormalizer {
|
|||||||
* @param docx байты .docx (zip)
|
* @param docx байты .docx (zip)
|
||||||
* @return те же или переупакованные байты
|
* @return те же или переупакованные байты
|
||||||
*/
|
*/
|
||||||
public static byte[] normalize(byte[] docx) throws IOException {
|
static byte[] normalize(byte[] docx) throws IOException {
|
||||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||||
boolean changed = false;
|
boolean changed = false;
|
||||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||||
|
|||||||
@@ -42,7 +42,7 @@ import java.util.zip.ZipOutputStream;
|
|||||||
*
|
*
|
||||||
* Как и {@link DocxOnOffNormalizer}, правим байты zip до JAXB-разбора.
|
* Как и {@link DocxOnOffNormalizer}, правим байты zip до JAXB-разбора.
|
||||||
*/
|
*/
|
||||||
public final class SymbolFontNormalizer {
|
final class SymbolFontNormalizer {
|
||||||
|
|
||||||
/** Семейство, на которое заменяются символьные шрифты (есть в jar). */
|
/** Семейство, на которое заменяются символьные шрифты (есть в jar). */
|
||||||
static final String REPLACEMENT_FAMILY = "DejaVu Sans";
|
static final String REPLACEMENT_FAMILY = "DejaVu Sans";
|
||||||
@@ -71,7 +71,7 @@ public final class SymbolFontNormalizer {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||||
public static final DocxNormalizer STEP = SymbolFontNormalizer::normalize;
|
static final DocxNormalizer STEP = SymbolFontNormalizer::normalize;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Заменяет символьные шрифты в XML-частях docx (word/*.xml).
|
* Заменяет символьные шрифты в XML-частях docx (word/*.xml).
|
||||||
@@ -79,7 +79,7 @@ public final class SymbolFontNormalizer {
|
|||||||
* @param docx байты .docx (zip)
|
* @param docx байты .docx (zip)
|
||||||
* @return те же или переупакованные байты
|
* @return те же или переупакованные байты
|
||||||
*/
|
*/
|
||||||
public static byte[] normalize(byte[] docx) throws IOException {
|
static byte[] normalize(byte[] docx) throws IOException {
|
||||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||||
boolean changed = false;
|
boolean changed = false;
|
||||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||||
|
|||||||
@@ -46,7 +46,7 @@ import java.util.zip.ZipOutputStream;
|
|||||||
* WordPdfConverterTest#tableIndentCentered_shiftedLikeWord,
|
* WordPdfConverterTest#tableIndentCentered_shiftedLikeWord,
|
||||||
* #headerTableIndent_centeredInHeader.
|
* #headerTableIndent_centeredInHeader.
|
||||||
*/
|
*/
|
||||||
public final class TableIndentNormalizer {
|
final class TableIndentNormalizer {
|
||||||
|
|
||||||
/** Дефолт pgSz w:w (A4 portrait, twips) при отсутствии атрибута. */
|
/** Дефолт pgSz w:w (A4 portrait, twips) при отсутствии атрибута. */
|
||||||
private static final int DEFAULT_PG_W = 11906;
|
private static final int DEFAULT_PG_W = 11906;
|
||||||
@@ -75,7 +75,7 @@ public final class TableIndentNormalizer {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||||
public static final DocxNormalizer STEP = TableIndentNormalizer::normalize;
|
static final DocxNormalizer STEP = TableIndentNormalizer::normalize;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Переписывает jc+tblInd в абсолютный tblInd в {@code word/document.xml}.
|
* Переписывает jc+tblInd в абсолютный tblInd в {@code word/document.xml}.
|
||||||
@@ -83,7 +83,7 @@ public final class TableIndentNormalizer {
|
|||||||
* @param docx байты .docx (zip)
|
* @param docx байты .docx (zip)
|
||||||
* @return те же или переупакованные байты
|
* @return те же или переупакованные байты
|
||||||
*/
|
*/
|
||||||
public static byte[] normalize(byte[] docx) throws IOException {
|
static byte[] normalize(byte[] docx) throws IOException {
|
||||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||||
boolean changed = false;
|
boolean changed = false;
|
||||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||||
|
|||||||
+47
-10
@@ -36,6 +36,7 @@ import org.docx4j.wml.Drawing;
|
|||||||
import org.slf4j.Logger;
|
import org.slf4j.Logger;
|
||||||
import org.slf4j.LoggerFactory;
|
import org.slf4j.LoggerFactory;
|
||||||
import ru.pjandro.wordpdf.ConvertOptions;
|
import ru.pjandro.wordpdf.ConvertOptions;
|
||||||
|
import ru.pjandro.wordpdf.ConversionException;
|
||||||
import ru.pjandro.wordpdf.DrawingFoundException;
|
import ru.pjandro.wordpdf.DrawingFoundException;
|
||||||
|
|
||||||
import javax.imageio.ImageIO;
|
import javax.imageio.ImageIO;
|
||||||
@@ -102,6 +103,20 @@ public final class DrawingPreRenderer {
|
|||||||
* когда для объектов включён error-флаг ({@link ConvertOptions}).
|
* когда для объектов включён error-флаг ({@link ConvertOptions}).
|
||||||
*/
|
*/
|
||||||
public static void run(WordprocessingMLPackage pkg, ConvertOptions options) {
|
public static void run(WordprocessingMLPackage pkg, ConvertOptions options) {
|
||||||
|
run(pkg, options, MAX_CHART_PNG_BYTES_TOTAL);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Потолок суммарного размера chart-PNG на документ: пер-объектные гейты
|
||||||
|
* ({@code MAX_EXTENT_EMU}, {@code MAX_PIXELS}) ограничивают один объект,
|
||||||
|
* но тысячи chart-частей × MB PNG оседали бы в heap как media-части
|
||||||
|
* (много-ГБ пик с входа ≤5 MiB). Превышение — деградация «объект удалён
|
||||||
|
* + warn», конвертация продолжается.
|
||||||
|
*/
|
||||||
|
private static final long MAX_CHART_PNG_BYTES_TOTAL = 128L * 1024 * 1024;
|
||||||
|
|
||||||
|
/** Тестовый шов: бюджет задаётся явно (публичный {@link #run} — с константой). */
|
||||||
|
static void run(WordprocessingMLPackage pkg, ConvertOptions options, long maxPngBytesTotal) {
|
||||||
ThemePart themePart = null;
|
ThemePart themePart = null;
|
||||||
for (Part p : new ArrayList<>(pkg.getParts().getParts().values())) {
|
for (Part p : new ArrayList<>(pkg.getParts().getParts().values())) {
|
||||||
if (p instanceof ThemePart tp) {
|
if (p instanceof ThemePart tp) {
|
||||||
@@ -117,6 +132,7 @@ public final class DrawingPreRenderer {
|
|||||||
List<Part> parts = new ArrayList<>(pkg.getParts().getParts().values());
|
List<Part> parts = new ArrayList<>(pkg.getParts().getParts().values());
|
||||||
Set<Part> handled = new HashSet<>();
|
Set<Part> handled = new HashSet<>();
|
||||||
int[] idSeq = {1000};
|
int[] idSeq = {1000};
|
||||||
|
long[] pngTotal = {0};
|
||||||
for (Part p : parts) {
|
for (Part p : parts) {
|
||||||
if (!handled.add(p)) {
|
if (!handled.add(p)) {
|
||||||
continue;
|
continue;
|
||||||
@@ -125,7 +141,7 @@ public final class DrawingPreRenderer {
|
|||||||
if (content.isEmpty()) {
|
if (content.isEmpty()) {
|
||||||
continue;
|
continue;
|
||||||
}
|
}
|
||||||
walk(p, content, pkg, colors, idSeq, options);
|
walk(p, content, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options);
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -151,16 +167,17 @@ public final class DrawingPreRenderer {
|
|||||||
}
|
}
|
||||||
|
|
||||||
private static void walk(Part part, List<?> content, WordprocessingMLPackage pkg,
|
private static void walk(Part part, List<?> content, WordprocessingMLPackage pkg,
|
||||||
DrawMlColor colors, int[] idSeq, ConvertOptions options) {
|
DrawMlColor colors, int[] idSeq, long[] pngTotal,
|
||||||
|
long maxPngBytesTotal, ConvertOptions options) {
|
||||||
for (Object o : content) {
|
for (Object o : content) {
|
||||||
Object v = o instanceof JAXBElement ? ((JAXBElement<?>) o).getValue() : o;
|
Object v = o instanceof JAXBElement ? ((JAXBElement<?>) o).getValue() : o;
|
||||||
if (v instanceof Drawing drawing) {
|
if (v instanceof Drawing drawing) {
|
||||||
replaceDrawing(part, drawing, pkg, colors, idSeq, options);
|
replaceDrawing(part, drawing, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options);
|
||||||
continue;
|
continue;
|
||||||
}
|
}
|
||||||
List<?> nested = invokeList(v, "getContent");
|
List<?> nested = invokeList(v, "getContent");
|
||||||
if (!nested.isEmpty() && nested != content) {
|
if (!nested.isEmpty() && nested != content) {
|
||||||
walk(part, nested, pkg, colors, idSeq, options);
|
walk(part, nested, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options);
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
@@ -176,7 +193,8 @@ public final class DrawingPreRenderer {
|
|||||||
}
|
}
|
||||||
|
|
||||||
private static void replaceDrawing(Part part, Drawing drawing, WordprocessingMLPackage pkg,
|
private static void replaceDrawing(Part part, Drawing drawing, WordprocessingMLPackage pkg,
|
||||||
DrawMlColor colors, int[] idSeq, ConvertOptions options) {
|
DrawMlColor colors, int[] idSeq, long[] pngTotal,
|
||||||
|
long maxPngBytesTotal, ConvertOptions options) {
|
||||||
for (Object wrapper : drawing.getAnchorOrInline()) {
|
for (Object wrapper : drawing.getAnchorOrInline()) {
|
||||||
Graphic graphic;
|
Graphic graphic;
|
||||||
long cx;
|
long cx;
|
||||||
@@ -234,7 +252,7 @@ public final class DrawingPreRenderer {
|
|||||||
}
|
}
|
||||||
continue;
|
continue;
|
||||||
}
|
}
|
||||||
swapForPicture(part, gd, img, cx, cy, idSeq, pkg);
|
swapForPicture(part, gd, img, cx, cy, idSeq, pkg, pngTotal, maxPngBytesTotal);
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -248,8 +266,15 @@ public final class DrawingPreRenderer {
|
|||||||
try {
|
try {
|
||||||
ChartSpec spec = ChartSpec.parse(space, colors);
|
ChartSpec spec = ChartSpec.parse(space, colors);
|
||||||
return ChartRenderer.render(spec, cx / 12700.0, cy / 12700.0, colors);
|
return ChartRenderer.render(spec, cx / 12700.0, cy / 12700.0, colors);
|
||||||
} catch (RuntimeException | OutOfMemoryError e) {
|
} catch (OutOfMemoryError e) {
|
||||||
// OOM — второй эшелон после MAX_EXTENT_EMU/MAX_POINTS: враждебный
|
// OOM — не «деградация объекта»: состояние heap после него
|
||||||
|
// ненадёжно, продолжение рендера следующих объектов — второй
|
||||||
|
// OOM вместо одного детерминированного 500.
|
||||||
|
LOG.error("память исчерпана при рендере графика r:id={}", ref.getId(), e);
|
||||||
|
throw new ConversionException(
|
||||||
|
"Память исчерпана при рендере объектов рисования", e);
|
||||||
|
} catch (RuntimeException e) {
|
||||||
|
// второй эшелон после MAX_EXTENT_EMU/MAX_POINTS: враждебный
|
||||||
// chart-XML не должен валить всю конвертацию, деградация = объект удалён.
|
// chart-XML не должен валить всю конвертацию, деградация = объект удалён.
|
||||||
LOG.warn("рендер графика r:id={} упал: {}", ref.getId(), e.toString());
|
LOG.warn("рендер графика r:id={} упал: {}", ref.getId(), e.toString());
|
||||||
return null;
|
return null;
|
||||||
@@ -265,7 +290,11 @@ public final class DrawingPreRenderer {
|
|||||||
}
|
}
|
||||||
try {
|
try {
|
||||||
return SmartArtRenderer.render(drawing, colors, cx / 12700.0, cy / 12700.0);
|
return SmartArtRenderer.render(drawing, colors, cx / 12700.0, cy / 12700.0);
|
||||||
} catch (RuntimeException | OutOfMemoryError e) {
|
} catch (OutOfMemoryError e) {
|
||||||
|
LOG.error("память исчерпана при рендере SmartArt", e);
|
||||||
|
throw new ConversionException(
|
||||||
|
"Память исчерпана при рендере объектов рисования", e);
|
||||||
|
} catch (RuntimeException e) {
|
||||||
LOG.warn("рендер SmartArt упал: {}", e.toString());
|
LOG.warn("рендер SmartArt упал: {}", e.toString());
|
||||||
return null;
|
return null;
|
||||||
}
|
}
|
||||||
@@ -309,7 +338,8 @@ public final class DrawingPreRenderer {
|
|||||||
*/
|
*/
|
||||||
private static void swapForPicture(Part part, GraphicData gd, BufferedImage img,
|
private static void swapForPicture(Part part, GraphicData gd, BufferedImage img,
|
||||||
long cx, long cy, int[] idSeq,
|
long cx, long cy, int[] idSeq,
|
||||||
WordprocessingMLPackage pkg) {
|
WordprocessingMLPackage pkg,
|
||||||
|
long[] pngTotal, long maxPngBytesTotal) {
|
||||||
byte[] png;
|
byte[] png;
|
||||||
try {
|
try {
|
||||||
ByteArrayOutputStream bos = new ByteArrayOutputStream();
|
ByteArrayOutputStream bos = new ByteArrayOutputStream();
|
||||||
@@ -325,6 +355,13 @@ public final class DrawingPreRenderer {
|
|||||||
gd.getAny().clear(); // контракт: упавший рендер — объект удалён
|
gd.getAny().clear(); // контракт: упавший рендер — объект удалён
|
||||||
return;
|
return;
|
||||||
}
|
}
|
||||||
|
if (pngTotal[0] + png.length > maxPngBytesTotal) {
|
||||||
|
LOG.warn("суммарный размер chart-PNG превысил {} байт — объект удалён",
|
||||||
|
maxPngBytesTotal);
|
||||||
|
gd.getAny().clear(); // деградация «объект удалён + warn»
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
pngTotal[0] += png.length;
|
||||||
String relId;
|
String relId;
|
||||||
try {
|
try {
|
||||||
relId = addChartMedia(pkg, part, png);
|
relId = addChartMedia(pkg, part, png);
|
||||||
|
|||||||
@@ -22,7 +22,7 @@ import java.util.Map;
|
|||||||
* любой цепочки ограничена числом секторов файла, иначе враждебный FAT
|
* любой цепочки ограничена числом секторов файла, иначе враждебный FAT
|
||||||
* зациклил бы разбор.</p>
|
* зациклил бы разбор.</p>
|
||||||
*/
|
*/
|
||||||
public final class CfbReader {
|
final class CfbReader {
|
||||||
|
|
||||||
/** Сигнатура контейнера, MS-CFB §2.2 (Header Signature). */
|
/** Сигнатура контейнера, MS-CFB §2.2 (Header Signature). */
|
||||||
static final byte[] SIGNATURE = {(byte) 0xD0, (byte) 0xCF, 0x11, (byte) 0xE0,
|
static final byte[] SIGNATURE = {(byte) 0xD0, (byte) 0xCF, 0x11, (byte) 0xE0,
|
||||||
@@ -73,7 +73,7 @@ public final class CfbReader {
|
|||||||
* @throws ConversionException если это не CFB, файл обрезан или цепочки
|
* @throws ConversionException если это не CFB, файл обрезан или цепочки
|
||||||
* секторов цикличны/указывают за конец файла
|
* секторов цикличны/указывают за конец файла
|
||||||
*/
|
*/
|
||||||
public static Map<String, byte[]> readStreams(byte[] cfb) {
|
static Map<String, byte[]> readStreams(byte[] cfb) {
|
||||||
if (cfb == null || cfb.length < HEADER_SIZE || !startsWithSignature(cfb)) {
|
if (cfb == null || cfb.length < HEADER_SIZE || !startsWithSignature(cfb)) {
|
||||||
throw new ConversionException("Содержимое не похоже на .doc Word 97–2003");
|
throw new ConversionException("Содержимое не похоже на .doc Word 97–2003");
|
||||||
}
|
}
|
||||||
@@ -123,6 +123,13 @@ public final class CfbReader {
|
|||||||
}
|
}
|
||||||
|
|
||||||
if (rootStart >= 0 && rootSize > 0) {
|
if (rootStart >= 0 && rootSize > 0) {
|
||||||
|
// Root-запись не проходит фильтр «size <= cfb.length», что ниже для
|
||||||
|
// stream-записей: readChain аллоцирует new byte[(int) size] ДО
|
||||||
|
// любых проверок границ — завышенный rootSize уложил бы heap (MS-CFB §2.4,
|
||||||
|
// поток не может быть больше контейнера).
|
||||||
|
if (rootSize > cfb.length) {
|
||||||
|
throw new ConversionException("Размер mini stream .doc больше контейнера");
|
||||||
|
}
|
||||||
miniStream = readChain(cfb, fat, rootStart, rootSize, sectorSize, sectorTotal, "mini stream");
|
miniStream = readChain(cfb, fat, rootStart, rootSize, sectorSize, sectorTotal, "mini stream");
|
||||||
}
|
}
|
||||||
if (firstMiniFat != FREESECT && firstMiniFat != ENDOFCHAIN && firstMiniFat <= MAX_SECT) {
|
if (firstMiniFat != FREESECT && firstMiniFat != ENDOFCHAIN && firstMiniFat <= MAX_SECT) {
|
||||||
@@ -139,7 +146,18 @@ public final class CfbReader {
|
|||||||
|
|
||||||
// второй проход: содержимое потоков
|
// второй проход: содержимое потоков
|
||||||
Map<String, byte[]> result = new HashMap<>();
|
Map<String, byte[]> result = new HashMap<>();
|
||||||
|
// Суммарный бюджет аллокаций: FAT легально шарит сектора между
|
||||||
|
// записями, поэтому пер-запись «size <= cfb.length» не ограничивает
|
||||||
|
// итог — N записей с size ≈ cfb.length аллоцировали бы N×файл
|
||||||
|
// (OOM с одного враждебного контейнера). В легитимном контейнере
|
||||||
|
// потоки не перекрываются: rootSize + Σ sizes ≤ файл + служебные
|
||||||
|
// сектора (FAT/dir/докругление mini) ≈ 1.1×файла; 1.5× — запас.
|
||||||
|
long allocated = rootSize;
|
||||||
for (Entry e : entries) {
|
for (Entry e : entries) {
|
||||||
|
if (allocated + e.size() > 3L * cfb.length / 2) {
|
||||||
|
throw new ConversionException("Суммарный размер потоков .doc больше лимита контейнера");
|
||||||
|
}
|
||||||
|
allocated += e.size();
|
||||||
byte[] data;
|
byte[] data;
|
||||||
if (e.size() >= cutoff) {
|
if (e.size() >= cutoff) {
|
||||||
data = readChain(cfb, fat, e.start(), e.size(), sectorSize, sectorTotal,
|
data = readChain(cfb, fat, e.start(), e.size(), sectorSize, sectorTotal,
|
||||||
@@ -286,12 +304,15 @@ public final class CfbReader {
|
|||||||
if (sect >= miniFat.length) {
|
if (sect >= miniFat.length) {
|
||||||
throw new ConversionException("Mini-сектор за концом MiniFAT в .doc");
|
throw new ConversionException("Mini-сектор за концом MiniFAT в .doc");
|
||||||
}
|
}
|
||||||
int base = (int) sect * miniSectorSize;
|
|
||||||
int n = Math.min(miniSectorSize, (int) size - done);
|
int n = Math.min(miniSectorSize, (int) size - done);
|
||||||
if (base + n > miniStream.length) {
|
// long-арифметика: sect уже long, умножение не может уйти в
|
||||||
|
// отрицательный int-wrap и пройти прежний guard — arraycopy тогда бросал
|
||||||
|
// ArrayIndexOutOfBoundsException (не ConversionException → 500).
|
||||||
|
long base = sect * miniSectorSize;
|
||||||
|
if (base < 0 || base + n > miniStream.length) {
|
||||||
throw new ConversionException("Mini-поток .doc ссылается за конец mini stream");
|
throw new ConversionException("Mini-поток .doc ссылается за конец mini stream");
|
||||||
}
|
}
|
||||||
System.arraycopy(miniStream, base, out, done, n);
|
System.arraycopy(miniStream, (int) base, out, done, n);
|
||||||
done += n;
|
done += n;
|
||||||
sect = miniFat[(int) sect] & 0xFFFFFFFFL;
|
sect = miniFat[(int) sect] & 0xFFFFFFFFL;
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -1,5 +1,7 @@
|
|||||||
package ru.pjandro.wordpdf.internal.doc;
|
package ru.pjandro.wordpdf.internal.doc;
|
||||||
|
|
||||||
|
import ru.pjandro.wordpdf.WordPdfValidator;
|
||||||
|
|
||||||
import java.nio.charset.StandardCharsets;
|
import java.nio.charset.StandardCharsets;
|
||||||
import java.util.ArrayDeque;
|
import java.util.ArrayDeque;
|
||||||
import java.util.ArrayList;
|
import java.util.ArrayList;
|
||||||
@@ -9,12 +11,13 @@ import java.util.Iterator;
|
|||||||
import java.util.List;
|
import java.util.List;
|
||||||
import java.util.Locale;
|
import java.util.Locale;
|
||||||
import java.util.Map;
|
import java.util.Map;
|
||||||
|
import java.util.Set;
|
||||||
import java.util.regex.Pattern;
|
import java.util.regex.Pattern;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Мост бинарного .doc (Word 97–2003) → минимальный transitional-.docx.
|
* Мост бинарного .doc (Word 97–2003) → минимальный transitional-.docx.
|
||||||
*
|
*
|
||||||
* <p>Точки входа пакета: {@link #convert(byte[])} (конвертация) и
|
* <p>Точки входа пакета: {@link #convert(byte[], long)} (конвертация) и
|
||||||
* {@link #countPages(byte[])} (нижняя оценка страниц для валидатора).
|
* {@link #countPages(byte[])} (нижняя оценка страниц для валидатора).
|
||||||
* Разбор строго по [MS-DOC]/[MS-CFB]/[MS-OLEPS]: контейнер — {@link CfbReader},
|
* Разбор строго по [MS-DOC]/[MS-CFB]/[MS-OLEPS]: контейнер — {@link CfbReader},
|
||||||
* общий разбор — {@link DocFile}, заголовок — {@link FibHeader}, текст —
|
* общий разбор — {@link DocFile}, заголовок — {@link FibHeader}, текст —
|
||||||
@@ -113,9 +116,12 @@ public final class DocToDocx {
|
|||||||
* {@link #countPages(byte[])}, но до всякой конвертации).</p>
|
* {@link #countPages(byte[])}, но до всякой конвертации).</p>
|
||||||
*
|
*
|
||||||
* @param docBytes контейнер Word 97–2003
|
* @param docBytes контейнер Word 97–2003
|
||||||
|
* @param maxMb лимит размера входа (МБ) — из него порог пиксельной
|
||||||
|
* площади растра ({@code WordPdfValidator.maxImagePixels})
|
||||||
* @throws ConversionException на некорректном/зашифрованном/чужом входе
|
* @throws ConversionException на некорректном/зашифрованном/чужом входе
|
||||||
*/
|
*/
|
||||||
public static byte[] convert(byte[] docBytes) {
|
public static byte[] convert(byte[] docBytes, long maxMb) {
|
||||||
|
long maxPixels = WordPdfValidator.maxImagePixels(maxMb);
|
||||||
DocFile file = DocFile.open(docBytes);
|
DocFile file = DocFile.open(docBytes);
|
||||||
FibHeader fib = file.fib();
|
FibHeader fib = file.fib();
|
||||||
FontTable fonts = FontTable.read(file.table(), fib.fcSttbfFfn(), fib.lcbSttbfFfn());
|
FontTable fonts = FontTable.read(file.table(), fib.fcSttbfFfn(), fib.lcbSttbfFfn());
|
||||||
@@ -145,7 +151,7 @@ public final class DocToDocx {
|
|||||||
byte[] data = CfbReader.stream(file.streams(), "Data");
|
byte[] data = CfbReader.stream(file.streams(), "Data");
|
||||||
file.releaseRawStreams();
|
file.releaseRawStreams();
|
||||||
DocxBody body = new DocxBody(file.pieces(), chpx, papx, fonts, styles, lists,
|
DocxBody body = new DocxBody(file.pieces(), chpx, papx, fonts, styles, lists,
|
||||||
fib.ccpText(), data, parts);
|
fib.ccpText(), data, maxPixels, parts);
|
||||||
List<Sections.Section> secs = sections.list();
|
List<Sections.Section> secs = sections.list();
|
||||||
String[] hdrRel = new String[secs.size()];
|
String[] hdrRel = new String[secs.size()];
|
||||||
String[] ftrRel = new String[secs.size()];
|
String[] ftrRel = new String[secs.size()];
|
||||||
@@ -236,6 +242,14 @@ public final class DocToDocx {
|
|||||||
/** Схема URL в начале строки (RFC 3986 §3.1), lookingAt. */
|
/** Схема URL в начале строки (RFC 3986 §3.1), lookingAt. */
|
||||||
private static final Pattern URL_SCHEME =
|
private static final Pattern URL_SCHEME =
|
||||||
Pattern.compile("[A-Za-z][A-Za-z0-9+.\\-]*:");
|
Pattern.compile("[A-Za-z][A-Za-z0-9+.\\-]*:");
|
||||||
|
/**
|
||||||
|
* Разрешённые схемы гиперссылок: RFC 3986 пропускает {@code javascript:}
|
||||||
|
* и {@code file:}, они доезжают до /URI-аннотаций PDF (выполнение
|
||||||
|
* скрипта/локальный путь в просмотрщике). Прочие схемы → ссылка не
|
||||||
|
* эмитится, текст остаётся.
|
||||||
|
*/
|
||||||
|
private static final Set<String> ALLOWED_URL_SCHEMES =
|
||||||
|
Set.of("http", "https", "mailto", "ftp");
|
||||||
/** ASCII DEL — управляющий символ, невалидный в URL. */
|
/** ASCII DEL — управляющий символ, невалидный в URL. */
|
||||||
private static final char DEL = 0x7F;
|
private static final char DEL = 0x7F;
|
||||||
/** Кавычка-обёртка URL в инструкции HYPERLINK. */
|
/** Кавычка-обёртка URL в инструкции HYPERLINK. */
|
||||||
@@ -254,6 +268,8 @@ public final class DocToDocx {
|
|||||||
private final int ccpText;
|
private final int ccpText;
|
||||||
/** Data-поток (.doc) для BLIP по sprmCPicLocation. */
|
/** Data-поток (.doc) для BLIP по sprmCPicLocation. */
|
||||||
private final byte[] dataStream;
|
private final byte[] dataStream;
|
||||||
|
/** Порог пиксельной площади растра (WordPdfValidator.maxImagePixels). */
|
||||||
|
private final long maxPixels;
|
||||||
/** Части пакета (колонтитуки + media); id связи = rId{позиция+1}. */
|
/** Части пакета (колонтитуки + media); id связи = rId{позиция+1}. */
|
||||||
private final List<DocxWriter.Part> parts;
|
private final List<DocxWriter.Part> parts;
|
||||||
private final Deque<Boolean> fieldStack = new ArrayDeque<>();
|
private final Deque<Boolean> fieldStack = new ArrayDeque<>();
|
||||||
@@ -274,10 +290,16 @@ public final class DocToDocx {
|
|||||||
private Map<Integer, String> sectByEndCp = Map.of();
|
private Map<Integer, String> sectByEndCp = Map.of();
|
||||||
/** sectPr разрыва, потреблённого в текущем абзаце (прикрепляется к Para). */
|
/** sectPr разрыва, потреблённого в текущем абзаце (прикрепляется к Para). */
|
||||||
private String pendingSectPr;
|
private String pendingSectPr;
|
||||||
|
/** Остаток бюджета развёрнутых PrcData на документ (сброса нет). */
|
||||||
|
private final long[] prcBudget = {PrcData.MAX_BYTES_PER_DOCUMENT};
|
||||||
|
/** Номер следующей картинки ({@code word/media/imageN}); media-части
|
||||||
|
* добавляет только {@code emitPicture} — инкремент эквивалентен прежнему
|
||||||
|
* скану {@code parts} (тот был квадратичным на тысячах картинок). */
|
||||||
|
private int imageSeq;
|
||||||
|
|
||||||
DocxBody(PieceTable pieces, ChpxIndex chpx, PapxIndex papx, FontTable fonts,
|
DocxBody(PieceTable pieces, ChpxIndex chpx, PapxIndex papx, FontTable fonts,
|
||||||
Styles styles, Lists lists, int ccpText, byte[] dataStream,
|
Styles styles, Lists lists, int ccpText, byte[] dataStream,
|
||||||
List<DocxWriter.Part> parts) {
|
long maxPixels, List<DocxWriter.Part> parts) {
|
||||||
this.pieces = pieces;
|
this.pieces = pieces;
|
||||||
this.chpx = chpx;
|
this.chpx = chpx;
|
||||||
this.papx = papx;
|
this.papx = papx;
|
||||||
@@ -286,6 +308,7 @@ public final class DocToDocx {
|
|||||||
this.lists = lists;
|
this.lists = lists;
|
||||||
this.ccpText = ccpText;
|
this.ccpText = ccpText;
|
||||||
this.dataStream = dataStream;
|
this.dataStream = dataStream;
|
||||||
|
this.maxPixels = maxPixels;
|
||||||
this.parts = parts;
|
this.parts = parts;
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -365,7 +388,7 @@ public final class DocToDocx {
|
|||||||
// grpprl абзаца может быть вынесен Word в PrcData (Data-поток)
|
// grpprl абзаца может быть вынесен Word в PrcData (Data-поток)
|
||||||
// через sprmPHugePapx/sprmPTableProps — разворачиваем до
|
// через sprmPHugePapx/sprmPTableProps — разворачиваем до
|
||||||
// потребления: InTable/TTP/TAP видят автомат и paraProps (§2.9.210)
|
// потребления: InTable/TTP/TAP видят автомат и paraProps (§2.9.210)
|
||||||
byte[] direct = PrcData.resolve(dataStream, papx.grpprlFor(paraFc));
|
byte[] direct = PrcData.resolve(dataStream, papx.grpprlFor(paraFc), prcBudget);
|
||||||
int istd = istdOf(direct, papx.istdFor(paraFc));
|
int istd = istdOf(direct, papx.istdFor(paraFc));
|
||||||
byte[] styleChpx = styles.chpxChain(istd);
|
byte[] styleChpx = styles.chpxChain(istd);
|
||||||
StringBuilder runs = new StringBuilder();
|
StringBuilder runs = new StringBuilder();
|
||||||
@@ -857,16 +880,11 @@ public final class DocToDocx {
|
|||||||
if (picLoc < 0) {
|
if (picLoc < 0) {
|
||||||
return;
|
return;
|
||||||
}
|
}
|
||||||
OfficeArt.Picture pic = OfficeArt.read(dataStream, picLoc);
|
OfficeArt.Picture pic = OfficeArt.read(dataStream, picLoc, maxPixels);
|
||||||
if (pic == null) {
|
if (pic == null) {
|
||||||
return;
|
return;
|
||||||
}
|
}
|
||||||
int imageNo = 1;
|
int imageNo = ++imageSeq;
|
||||||
for (DocxWriter.Part p : parts) {
|
|
||||||
if (p.entry().startsWith("word/media/")) {
|
|
||||||
imageNo++;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
String entry = "word/media/image" + imageNo + "." + pic.extension();
|
String entry = "word/media/image" + imageNo + "." + pic.extension();
|
||||||
parts.add(new DocxWriter.Part(entry, pic.contentType(), IMAGE_REL_TYPE, pic.data()));
|
parts.add(new DocxWriter.Part(entry, pic.contentType(), IMAGE_REL_TYPE, pic.data()));
|
||||||
String relId = "rId" + parts.size();
|
String relId = "rId" + parts.size();
|
||||||
@@ -965,7 +983,9 @@ public final class DocToDocx {
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
if (url.isEmpty() || hasControlChar(url)
|
if (url.isEmpty() || hasControlChar(url)
|
||||||
|| !URL_SCHEME.matcher(url).lookingAt()) {
|
|| !URL_SCHEME.matcher(url).lookingAt()
|
||||||
|
|| !ALLOWED_URL_SCHEMES.contains(
|
||||||
|
url.substring(0, url.indexOf(':')).toLowerCase(Locale.ROOT))) {
|
||||||
return null;
|
return null;
|
||||||
}
|
}
|
||||||
return url;
|
return url;
|
||||||
|
|||||||
@@ -60,8 +60,10 @@ final class OfficeArt {
|
|||||||
/**
|
/**
|
||||||
* Картинка по {@code picLocation} в Data-потоке; {@code null} — нет
|
* Картинка по {@code picLocation} в Data-потоке; {@code null} — нет
|
||||||
* данных/векторный формат/битая запись (деградация, не ошибка).
|
* данных/векторный формат/битая запись (деградация, не ошибка).
|
||||||
|
* Порог пиксельной площади растра ({@code maxPixels}, считает
|
||||||
|
* {@code WordPdfValidator.maxImagePixels}) приходит параметром.
|
||||||
*/
|
*/
|
||||||
static Picture read(byte[] dataStream, long picLocation) {
|
static Picture read(byte[] dataStream, long picLocation, long maxPixels) {
|
||||||
if (picLocation < 0 || picLocation + PICF_SIZE > dataStream.length) {
|
if (picLocation < 0 || picLocation + PICF_SIZE > dataStream.length) {
|
||||||
return null;
|
return null;
|
||||||
}
|
}
|
||||||
@@ -79,7 +81,7 @@ final class OfficeArt {
|
|||||||
scanFrom += 1 + (dataStream[scanFrom] & 0xFF); // cchPicName + stPicName
|
scanFrom += 1 + (dataStream[scanFrom] & 0xFF); // cchPicName + stPicName
|
||||||
}
|
}
|
||||||
for (int p = scanFrom; p + 8 <= end; p++) {
|
for (int p = scanFrom; p + 8 <= end; p++) {
|
||||||
Picture pic = tryBlip(dataStream, p, end, sizeX, sizeY);
|
Picture pic = tryBlip(dataStream, p, end, sizeX, sizeY, maxPixels);
|
||||||
if (pic != null) {
|
if (pic != null) {
|
||||||
return pic;
|
return pic;
|
||||||
}
|
}
|
||||||
@@ -88,7 +90,7 @@ final class OfficeArt {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/** Кандидат на BLIP-запись по смещению {@code p}; {@code null} — не он. */
|
/** Кандидат на BLIP-запись по смещению {@code p}; {@code null} — не он. */
|
||||||
private static Picture tryBlip(byte[] data, int p, int end, int sizeX, int sizeY) {
|
private static Picture tryBlip(byte[] data, int p, int end, int sizeX, int sizeY, long maxPixels) {
|
||||||
int verInstance = (int) (CfbReader.u32(data, p) & 0xFFFF);
|
int verInstance = (int) (CfbReader.u32(data, p) & 0xFFFF);
|
||||||
int type = (int) (CfbReader.u32(data, p + 2) & 0xFFFF);
|
int type = (int) (CfbReader.u32(data, p + 2) & 0xFFFF);
|
||||||
long cb = CfbReader.u32(data, p + 4);
|
long cb = CfbReader.u32(data, p + 4);
|
||||||
@@ -117,7 +119,7 @@ final class OfficeArt {
|
|||||||
? new Picture("jpg", "image/jpeg", slice(data, dataOff, dataLen),
|
? new Picture("jpg", "image/jpeg", slice(data, dataOff, dataLen),
|
||||||
emu(sizeX), emu(sizeY))
|
emu(sizeX), emu(sizeY))
|
||||||
: null;
|
: null;
|
||||||
case BLIP_DIB -> dibToPng(data, dataOff, dataLen, sizeX, sizeY);
|
case BLIP_DIB -> dibToPng(data, dataOff, dataLen, sizeX, sizeY, maxPixels);
|
||||||
case BLIP_EMF, BLIP_WMF, BLIP_PICT -> null; // метафайлы не рендерим
|
case BLIP_EMF, BLIP_WMF, BLIP_PICT -> null; // метафайлы не рендерим
|
||||||
default -> null;
|
default -> null;
|
||||||
};
|
};
|
||||||
@@ -160,10 +162,20 @@ final class OfficeArt {
|
|||||||
private static final int BITMAPINFOHEADER_SIZE = 40;
|
private static final int BITMAPINFOHEADER_SIZE = 40;
|
||||||
|
|
||||||
/** DIB (BITMAPINFOHEADER + пиксели) → PNG через ImageIO; битый → null. */
|
/** DIB (BITMAPINFOHEADER + пиксели) → PNG через ImageIO; битый → null. */
|
||||||
private static Picture dibToPng(byte[] data, int off, int len, int sizeX, int sizeY) {
|
private static Picture dibToPng(byte[] data, int off, int len, int sizeX, int sizeY, long maxPixels) {
|
||||||
if (len < BITMAPINFOHEADER_SIZE) {
|
if (len < BITMAPINFOHEADER_SIZE) {
|
||||||
return null;
|
return null;
|
||||||
}
|
}
|
||||||
|
// Raster-bomb: BITMAPINFOHEADER из нескольких сотен байтов может
|
||||||
|
// объявить 50000×50000 — ImageIO аллоцирует растр ПО ЗАГОЛОВКУ и
|
||||||
|
// бросает OutOfMemoryError (Error, не ловится catch ниже). Отказ по
|
||||||
|
// площади — та же семантика «битый → объект пропущен»; порог
|
||||||
|
// приходит параметром (WordPdfValidator.maxImagePixels).
|
||||||
|
long area = (long) Math.abs((int) CfbReader.u32(data, off + 4))
|
||||||
|
* Math.abs((int) CfbReader.u32(data, off + 8));
|
||||||
|
if (area > maxPixels) {
|
||||||
|
return null;
|
||||||
|
}
|
||||||
try {
|
try {
|
||||||
java.awt.image.BufferedImage img = javax.imageio.ImageIO.read(
|
java.awt.image.BufferedImage img = javax.imageio.ImageIO.read(
|
||||||
new java.io.ByteArrayInputStream(wrapAsBmp(data, off, len)));
|
new java.io.ByteArrayInputStream(wrapAsBmp(data, off, len)));
|
||||||
|
|||||||
@@ -41,24 +41,49 @@ final class PrcData {
|
|||||||
private static final int MAX_CB_GRPPRL = 0x3FA2;
|
private static final int MAX_CB_GRPPRL = 0x3FA2;
|
||||||
/** Максимум разобранных PrcData на абзац — защита от цикла A→B→A. */
|
/** Максимум разобранных PrcData на абзац — защита от цикла A→B→A. */
|
||||||
private static final int MAX_HOPS = 32;
|
private static final int MAX_HOPS = 32;
|
||||||
|
/**
|
||||||
|
* Суммарный бюджет развёрнутых PrcData на документ (байт): все абзацы
|
||||||
|
* могут указывать указателями в одну и ту же цепочку Data, и пер-абзац
|
||||||
|
* ({@value #MAX_HOPS} × {@value #MAX_CB_GRPPRL}) не ограничивает итог —
|
||||||
|
* без бюджета враждебный файл получает CPU/alloc-шторм на весь разбор.
|
||||||
|
*/
|
||||||
|
static final long MAX_BYTES_PER_DOCUMENT = 32L * 1024 * 1024;
|
||||||
|
|
||||||
private PrcData() {
|
private PrcData() {
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Grpprl абзаца с развёрнутой цепочкой PrcData (бюджет на документ не
|
||||||
|
* учитывается — юнит-тесты; продакшен зовёт {@link #resolve(byte[], byte[], long[])}).
|
||||||
|
*/
|
||||||
|
static byte[] resolve(byte[] dataStream, byte[] grpprl) {
|
||||||
|
return resolve(dataStream, grpprl, new long[] {Long.MAX_VALUE});
|
||||||
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Grpprl абзаца с развёрнутой цепочкой PrcData. Без указателей
|
* Grpprl абзаца с развёрнутой цепочкой PrcData. Без указателей
|
||||||
* (0x6646/0x646B нет) возвращается <em>тот же массив</em>; иначе —
|
* (0x6646/0x646B нет) возвращается <em>тот же массив</em>; иначе —
|
||||||
* новый: не-спец-спрмы исходника дословно, спец-спрмы заменены
|
* новый: не-спец-спрмы исходника дословно, спец-спрмы заменены
|
||||||
* содержимым цепочки по их указателям.
|
* содержимым цепочки по их указателям.
|
||||||
|
*
|
||||||
|
* <p>{@code budget[0]} — остаток бюджета документа ({@link #MAX_BYTES_PER_DOCUMENT}):
|
||||||
|
* списывается размер результата; при исчерпании цепочка не разворачивается
|
||||||
|
* (деградация форматирования, а не отказ — та же «снисходительность», что
|
||||||
|
* для брака ниже). Мутатор — вызывающий на весь документ.</p>
|
||||||
*/
|
*/
|
||||||
static byte[] resolve(byte[] dataStream, byte[] grpprl) {
|
static byte[] resolve(byte[] dataStream, byte[] grpprl, long[] budget) {
|
||||||
if (!hasPointer(grpprl)) {
|
if (!hasPointer(grpprl)) {
|
||||||
return grpprl;
|
return grpprl;
|
||||||
}
|
}
|
||||||
|
if (budget[0] <= 0) {
|
||||||
|
return grpprl;
|
||||||
|
}
|
||||||
ByteArrayOutputStream out = new ByteArrayOutputStream(grpprl.length + 64);
|
ByteArrayOutputStream out = new ByteArrayOutputStream(grpprl.length + 64);
|
||||||
int[] hops = new int[1];
|
int[] hops = new int[1];
|
||||||
copyPrls(grpprl, 0, grpprl.length, dataStream, out, hops);
|
copyPrls(grpprl, 0, grpprl.length, dataStream, out, hops);
|
||||||
return out.toByteArray();
|
byte[] result = out.toByteArray();
|
||||||
|
budget[0] -= result.length;
|
||||||
|
return result;
|
||||||
}
|
}
|
||||||
|
|
||||||
/** Есть ли в массиве указатель на PrcData. */
|
/** Есть ли в массиве указатель на PrcData. */
|
||||||
|
|||||||
@@ -17,6 +17,7 @@ import org.apache.pdfbox.text.PDFTextStripper;
|
|||||||
import org.apache.poi.poifs.filesystem.POIFSFileSystem;
|
import org.apache.poi.poifs.filesystem.POIFSFileSystem;
|
||||||
import org.docx4j.Docx4jProperties;
|
import org.docx4j.Docx4jProperties;
|
||||||
import org.junit.jupiter.api.Test;
|
import org.junit.jupiter.api.Test;
|
||||||
|
import ru.pjandro.wordpdf.fonts.BundledFonts;
|
||||||
|
|
||||||
import java.io.ByteArrayInputStream;
|
import java.io.ByteArrayInputStream;
|
||||||
import java.io.ByteArrayOutputStream;
|
import java.io.ByteArrayOutputStream;
|
||||||
@@ -45,6 +46,11 @@ import static org.junit.jupiter.api.Assertions.*;
|
|||||||
*/
|
*/
|
||||||
class WordPdfConverterTest {
|
class WordPdfConverterTest {
|
||||||
|
|
||||||
|
/** Эквивалент прежних дефолтов ядра: без error-флагов, лимиты 5 МБ / 100 страниц. */
|
||||||
|
private static ConvertOptions opts() {
|
||||||
|
return new ConvertOptions(false, false, false, 5, 100);
|
||||||
|
}
|
||||||
|
|
||||||
/** Готовый тестовый документ (коммитится, создан SampleDocxGenerator). */
|
/** Готовый тестовый документ (коммитится, создан SampleDocxGenerator). */
|
||||||
private static byte[] sampleBytes(String name) throws IOException {
|
private static byte[] sampleBytes(String name) throws IOException {
|
||||||
try (InputStream in = WordPdfConverterTest.class.getClassLoader()
|
try (InputStream in = WordPdfConverterTest.class.getClassLoader()
|
||||||
@@ -97,7 +103,7 @@ class WordPdfConverterTest {
|
|||||||
/** Конвертирует байты docx и пишет PDF во временный файл (PDFBox читает по пути). */
|
/** Конвертирует байты docx и пишет PDF во временный файл (PDFBox читает по пути). */
|
||||||
private static Path convertPdf(byte[] docxBytes, String title) throws IOException {
|
private static Path convertPdf(byte[] docxBytes, String title) throws IOException {
|
||||||
Path out = Files.createTempFile("converted-", ".pdf");
|
Path out = Files.createTempFile("converted-", ".pdf");
|
||||||
Files.write(out, WordPdfConverter.convert(docxBytes, title));
|
Files.write(out, WordPdfConverter.convert(docxBytes, title, opts()));
|
||||||
return out;
|
return out;
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -280,7 +286,7 @@ class WordPdfConverterTest {
|
|||||||
ConversionException ex = assertThrows(ConversionException.class, () ->
|
ConversionException ex = assertThrows(ConversionException.class, () ->
|
||||||
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
|
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
|
||||||
new ConvertOptions(true, false, false,
|
new ConvertOptions(true, false, false,
|
||||||
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
|
5, 100)));
|
||||||
|
|
||||||
assertTrue(ex instanceof DrawingFoundException dfe
|
assertTrue(ex instanceof DrawingFoundException dfe
|
||||||
&& dfe.kind() == DrawingFoundException.Kind.CHARTS,
|
&& dfe.kind() == DrawingFoundException.Kind.CHARTS,
|
||||||
@@ -298,7 +304,7 @@ class WordPdfConverterTest {
|
|||||||
ConversionException ex = assertThrows(ConversionException.class, () ->
|
ConversionException ex = assertThrows(ConversionException.class, () ->
|
||||||
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
|
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
|
||||||
new ConvertOptions(false, true, false,
|
new ConvertOptions(false, true, false,
|
||||||
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
|
5, 100)));
|
||||||
|
|
||||||
assertTrue(ex instanceof DrawingFoundException dfe
|
assertTrue(ex instanceof DrawingFoundException dfe
|
||||||
&& dfe.kind() == DrawingFoundException.Kind.SMARTART,
|
&& dfe.kind() == DrawingFoundException.Kind.SMARTART,
|
||||||
@@ -355,7 +361,7 @@ class WordPdfConverterTest {
|
|||||||
ConversionException ex = assertThrows(ConversionException.class, () ->
|
ConversionException ex = assertThrows(ConversionException.class, () ->
|
||||||
convertPdf(sampleBytes("ole-embedded.docx"), "ole-embedded",
|
convertPdf(sampleBytes("ole-embedded.docx"), "ole-embedded",
|
||||||
new ConvertOptions(false, false, true,
|
new ConvertOptions(false, false, true,
|
||||||
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
|
5, 100)));
|
||||||
|
|
||||||
assertTrue(ex instanceof DrawingFoundException dfe
|
assertTrue(ex instanceof DrawingFoundException dfe
|
||||||
&& dfe.kind() == DrawingFoundException.Kind.OLE,
|
&& dfe.kind() == DrawingFoundException.Kind.OLE,
|
||||||
@@ -628,7 +634,7 @@ class WordPdfConverterTest {
|
|||||||
@Test
|
@Test
|
||||||
void invalidInputRejected() {
|
void invalidInputRejected() {
|
||||||
assertThrows(ValidationException.class, () ->
|
assertThrows(ValidationException.class, () ->
|
||||||
WordPdfConverter.convert(null, "x"));
|
WordPdfConverter.convert(null, "x", opts()));
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
@@ -636,9 +642,9 @@ class WordPdfConverterTest {
|
|||||||
*/
|
*/
|
||||||
@Test
|
@Test
|
||||||
void inputTooLarge() {
|
void inputTooLarge() {
|
||||||
byte[] tooBig = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1];
|
byte[] tooBig = new byte[5 * 1024 * 1024 + 1];
|
||||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||||
WordPdfConverter.convert(tooBig, "too-big"));
|
WordPdfConverter.convert(tooBig, "too-big", opts()));
|
||||||
assertTrue(ex.getMessage().contains("5 МБ"),
|
assertTrue(ex.getMessage().contains("5 МБ"),
|
||||||
"сообщение должно упоминать лимит: " + ex.getMessage());
|
"сообщение должно упоминать лимит: " + ex.getMessage());
|
||||||
}
|
}
|
||||||
@@ -653,7 +659,7 @@ class WordPdfConverterTest {
|
|||||||
void inputNotAZip_rejectedBeforeRender() {
|
void inputNotAZip_rejectedBeforeRender() {
|
||||||
byte[] junk = {1, 2, 3, 4, 5, 6, 7, 8};
|
byte[] junk = {1, 2, 3, 4, 5, 6, 7, 8};
|
||||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||||
WordPdfConverter.convert(junk, "junk"));
|
WordPdfConverter.convert(junk, "junk", opts()));
|
||||||
assertTrue(ex.getMessage().contains("не похоже на .docx или .doc"),
|
assertTrue(ex.getMessage().contains("не похоже на .docx или .doc"),
|
||||||
"сообщение должно перечислять форматы: " + ex.getMessage());
|
"сообщение должно перечислять форматы: " + ex.getMessage());
|
||||||
}
|
}
|
||||||
@@ -672,7 +678,7 @@ class WordPdfConverterTest {
|
|||||||
zos.closeEntry();
|
zos.closeEntry();
|
||||||
}
|
}
|
||||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||||
WordPdfConverter.convert(out.toByteArray(), "x"));
|
WordPdfConverter.convert(out.toByteArray(), "x", opts()));
|
||||||
assertTrue(ex.getMessage().contains("не является .docx"),
|
assertTrue(ex.getMessage().contains("не является .docx"),
|
||||||
"сообщение должно указывать на не-.docx-контейнер: " + ex.getMessage());
|
"сообщение должно указывать на не-.docx-контейнер: " + ex.getMessage());
|
||||||
}
|
}
|
||||||
@@ -687,7 +693,7 @@ class WordPdfConverterTest {
|
|||||||
byte[] big = new byte[1024 * 1024 + 1];
|
byte[] big = new byte[1024 * 1024 + 1];
|
||||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||||
WordPdfConverter.convert(big, "x",
|
WordPdfConverter.convert(big, "x",
|
||||||
new ConvertOptions(false, false, false, 1, WordPdfSettings.MAX_PAGES)));
|
new ConvertOptions(false, false, false, 1, 100)));
|
||||||
assertTrue(ex.getMessage().contains("1 МБ"),
|
assertTrue(ex.getMessage().contains("1 МБ"),
|
||||||
"сообщение должно упоминать переданный лимит: " + ex.getMessage());
|
"сообщение должно упоминать переданный лимит: " + ex.getMessage());
|
||||||
assertTrue(ex.getMessage().contains("1048576 байт"),
|
assertTrue(ex.getMessage().contains("1048576 байт"),
|
||||||
@@ -710,7 +716,7 @@ class WordPdfConverterTest {
|
|||||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||||
WordPdfConverter.convert(
|
WordPdfConverter.convert(
|
||||||
sampleBytes(fixture), baseName(fixture),
|
sampleBytes(fixture), baseName(fixture),
|
||||||
new ConvertOptions(false, false, false, WordPdfSettings.MAX_INPUT_MB, 100)));
|
new ConvertOptions(false, false, false, 5, 100)));
|
||||||
assertTrue(ex.getMessage().contains("100"),
|
assertTrue(ex.getMessage().contains("100"),
|
||||||
fixture + ": сообщение должно упоминать лимит: " + ex.getMessage());
|
fixture + ": сообщение должно упоминать лимит: " + ex.getMessage());
|
||||||
}
|
}
|
||||||
@@ -726,7 +732,7 @@ class WordPdfConverterTest {
|
|||||||
void staleCachePageCountRejectedBeforeRender() {
|
void staleCachePageCountRejectedBeforeRender() {
|
||||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||||
WordPdfConverter.convert(sampleBytes("stale-cache.docx"), "stale-cache",
|
WordPdfConverter.convert(sampleBytes("stale-cache.docx"), "stale-cache",
|
||||||
new ConvertOptions(false, false, false, WordPdfSettings.MAX_INPUT_MB, 100)));
|
new ConvertOptions(false, false, false, 5, 100)));
|
||||||
assertTrue(ex.getMessage().contains("100"),
|
assertTrue(ex.getMessage().contains("100"),
|
||||||
"сообщение должно упоминать лимит: " + ex.getMessage());
|
"сообщение должно упоминать лимит: " + ex.getMessage());
|
||||||
}
|
}
|
||||||
@@ -742,7 +748,7 @@ class WordPdfConverterTest {
|
|||||||
@Test
|
@Test
|
||||||
void staleCache_docConvertsByCacheOnly() throws Exception {
|
void staleCache_docConvertsByCacheOnly() throws Exception {
|
||||||
Path pdf = convertPdf(sampleBytes("stale-cache.doc"), "stale-cache",
|
Path pdf = convertPdf(sampleBytes("stale-cache.doc"), "stale-cache",
|
||||||
new ConvertOptions(false, false, false, WordPdfSettings.MAX_INPUT_MB, 100));
|
new ConvertOptions(false, false, false, 5, 100));
|
||||||
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
||||||
assertTrue(doc.getNumberOfPages() >= 1, "PDF не отрендерился");
|
assertTrue(doc.getNumberOfPages() >= 1, "PDF не отрендерился");
|
||||||
}
|
}
|
||||||
@@ -1371,7 +1377,7 @@ class WordPdfConverterTest {
|
|||||||
ConversionException ex = assertThrows(ConversionException.class, () ->
|
ConversionException ex = assertThrows(ConversionException.class, () ->
|
||||||
convertPdf(docx, "no-extent",
|
convertPdf(docx, "no-extent",
|
||||||
new ConvertOptions(true, false, false,
|
new ConvertOptions(true, false, false,
|
||||||
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
|
5, 100)));
|
||||||
assertTrue(ex instanceof DrawingFoundException dfe
|
assertTrue(ex instanceof DrawingFoundException dfe
|
||||||
&& dfe.kind() == DrawingFoundException.Kind.CHARTS,
|
&& dfe.kind() == DrawingFoundException.Kind.CHARTS,
|
||||||
"ожидался DrawingFoundException(CHARTS), получено: " + ex);
|
"ожидался DrawingFoundException(CHARTS), получено: " + ex);
|
||||||
@@ -1411,7 +1417,7 @@ class WordPdfConverterTest {
|
|||||||
"второй страницы нет");
|
"второй страницы нет");
|
||||||
assertThrows(ValidationException.class, () -> convertPdf(sampleBytes("doc-formats.doc"),
|
assertThrows(ValidationException.class, () -> convertPdf(sampleBytes("doc-formats.doc"),
|
||||||
"doc-formats", new ConvertOptions(false, false, false,
|
"doc-formats", new ConvertOptions(false, false, false,
|
||||||
WordPdfSettings.MAX_INPUT_MB, 1)),
|
5, 1)),
|
||||||
"лимит 1 страница не удержал двухстраничный .doc");
|
"лимит 1 страница не удержал двухстраничный .doc");
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -2316,7 +2322,7 @@ class WordPdfConverterTest {
|
|||||||
|
|
||||||
/** Черный (ink) / желтый пиксели первой страницы при 150 dpi (замеры аудита). */
|
/** Черный (ink) / желтый пиксели первой страницы при 150 dpi (замеры аудита). */
|
||||||
private static int countPixels(byte[] docx, boolean yellow) throws IOException {
|
private static int countPixels(byte[] docx, boolean yellow) throws IOException {
|
||||||
byte[] pdf = WordPdfConverter.convert(docx, "тест");
|
byte[] pdf = WordPdfConverter.convert(docx, "тест", opts());
|
||||||
try (PDDocument d = Loader.loadPDF(pdf)) {
|
try (PDDocument d = Loader.loadPDF(pdf)) {
|
||||||
java.awt.image.BufferedImage img = new PDFRenderer(d).renderImageWithDPI(0, 150);
|
java.awt.image.BufferedImage img = new PDFRenderer(d).renderImageWithDPI(0, 150);
|
||||||
int n = 0;
|
int n = 0;
|
||||||
@@ -2754,10 +2760,10 @@ class WordPdfConverterTest {
|
|||||||
*/
|
*/
|
||||||
@Test
|
@Test
|
||||||
void fopFactorySharedAcrossConversions() throws Exception {
|
void fopFactorySharedAcrossConversions() throws Exception {
|
||||||
WordPdfConverter.convert(sampleBytes("ru-plain.docx"), "ru-plain");
|
WordPdfConverter.convert(sampleBytes("ru-plain.docx"), "ru-plain", opts());
|
||||||
FopFactory first = WordPdfConverter.sharedFopFactory(null);
|
FopFactory first = sharedFopFactoryRef();
|
||||||
WordPdfConverter.convert(sampleBytes("en-plain.docx"), "en-plain");
|
WordPdfConverter.convert(sampleBytes("en-plain.docx"), "en-plain", opts());
|
||||||
assertSame(first, WordPdfConverter.sharedFopFactory(null),
|
assertSame(first, sharedFopFactoryRef(),
|
||||||
"повторная конвертация обязана переиспользовать ту же FopFactory");
|
"повторная конвертация обязана переиспользовать ту же FopFactory");
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -2770,9 +2776,9 @@ class WordPdfConverterTest {
|
|||||||
*/
|
*/
|
||||||
@Test
|
@Test
|
||||||
void sharedImageCaches_clearedAfterConversion() throws Exception {
|
void sharedImageCaches_clearedAfterConversion() throws Exception {
|
||||||
WordPdfConverter.convert(sampleBytes("chart-types.docx"), "chart-types");
|
WordPdfConverter.convert(sampleBytes("chart-types.docx"), "chart-types", opts());
|
||||||
|
|
||||||
FopFactory factory = WordPdfConverter.sharedFopFactory(null);
|
FopFactory factory = sharedFopFactoryRef();
|
||||||
Object imageCache = factory.getImageManager().getCache();
|
Object imageCache = factory.getImageManager().getCache();
|
||||||
assertEquals(0, softMapSize(imageCache, "imageInfos"),
|
assertEquals(0, softMapSize(imageCache, "imageInfos"),
|
||||||
"ImageCache.imageInfos обязан быть пуст после конвертации");
|
"ImageCache.imageInfos обязан быть пуст после конвертации");
|
||||||
@@ -2782,6 +2788,13 @@ class WordPdfConverterTest {
|
|||||||
"ImageObjectCacheImpl обязан быть пуст после конвертации");
|
"ImageObjectCacheImpl обязан быть пуст после конвертации");
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/** Зеркало private-поля {@code WordPdfConverter.sharedFopFactory} (шов для теста). */
|
||||||
|
private static FopFactory sharedFopFactoryRef() throws Exception {
|
||||||
|
java.lang.reflect.Field f = WordPdfConverter.class.getDeclaredField("sharedFopFactory");
|
||||||
|
f.setAccessible(true);
|
||||||
|
return (FopFactory) f.get(null);
|
||||||
|
}
|
||||||
|
|
||||||
/** Размер внутренней {@code map} SoftMapCache (package-private поле). */
|
/** Размер внутренней {@code map} SoftMapCache (package-private поле). */
|
||||||
private static int softMapSize(Object cacheHolder, String field) throws Exception {
|
private static int softMapSize(Object cacheHolder, String field) throws Exception {
|
||||||
java.lang.reflect.Field f = cacheHolder.getClass().getDeclaredField(field);
|
java.lang.reflect.Field f = cacheHolder.getClass().getDeclaredField(field);
|
||||||
@@ -2804,8 +2817,8 @@ class WordPdfConverterTest {
|
|||||||
byte[] chart = sampleBytes("chart-types.docx");
|
byte[] chart = sampleBytes("chart-types.docx");
|
||||||
byte[][] out = new byte[2][];
|
byte[][] out = new byte[2][];
|
||||||
Runnable[] jobs = {
|
Runnable[] jobs = {
|
||||||
() -> out[0] = WordPdfConverter.convert(plain, "ru-plain"),
|
() -> out[0] = WordPdfConverter.convert(plain, "ru-plain", opts()),
|
||||||
() -> out[1] = WordPdfConverter.convert(chart, "chart-types"),
|
() -> out[1] = WordPdfConverter.convert(chart, "chart-types", opts()),
|
||||||
};
|
};
|
||||||
Thread[] ts = new Thread[2];
|
Thread[] ts = new Thread[2];
|
||||||
for (int i = 0; i < 2; i++) {
|
for (int i = 0; i < 2; i++) {
|
||||||
@@ -2823,6 +2836,93 @@ class WordPdfConverterTest {
|
|||||||
assertTrue(norm(pdfTextBytes(out[1])).contains("Типы диаграмм"), "поток 2: текст потерян");
|
assertTrue(norm(pdfTextBytes(out[1])).contains("Типы диаграмм"), "поток 2: текст потерян");
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Внешние мутаторы шрифтового реестра ({@code BundledFonts.init()},
|
||||||
|
* {@code restrictToBundled()}) рядом с идущими конвертациями не должны
|
||||||
|
* влиять на их вывод: все синхронизированные операции BundledFonts и
|
||||||
|
* сериализация конвертаций держат один монитор ({@code WordPdfConverter.class}),
|
||||||
|
* поэтому чистка реестра не может вырезать шрифт из-под идущего рендера.
|
||||||
|
* Регрессия — этот тест, фикстуры samples/ru-plain.docx и samples/chart-types.docx.
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void concurrentFontMutators_conversionsUnharmed() throws Exception {
|
||||||
|
byte[] plain = sampleBytes("ru-plain.docx");
|
||||||
|
byte[] chart = sampleBytes("chart-types.docx");
|
||||||
|
byte[][] out = new byte[2][];
|
||||||
|
Runnable[] jobs = {
|
||||||
|
() -> out[0] = WordPdfConverter.convert(plain, "ru-plain", opts()),
|
||||||
|
() -> out[1] = WordPdfConverter.convert(chart, "chart-types", opts()),
|
||||||
|
};
|
||||||
|
Thread[] ts = new Thread[3];
|
||||||
|
ts[0] = new Thread(jobs[0]);
|
||||||
|
ts[1] = new Thread(jobs[1]);
|
||||||
|
ts[2] = new Thread(() -> {
|
||||||
|
for (int i = 0; i < 50; i++) {
|
||||||
|
BundledFonts.init();
|
||||||
|
BundledFonts.restrictToBundled();
|
||||||
|
}
|
||||||
|
});
|
||||||
|
for (Thread t : ts) {
|
||||||
|
t.start();
|
||||||
|
}
|
||||||
|
for (Thread t : ts) {
|
||||||
|
t.join();
|
||||||
|
}
|
||||||
|
assertTrue(out[0] != null && "%PDF".equals(new String(out[0], 0, 4, StandardCharsets.US_ASCII)),
|
||||||
|
"поток 1 не вернул PDF");
|
||||||
|
assertTrue(out[1] != null && "%PDF".equals(new String(out[1], 0, 4, StandardCharsets.US_ASCII)),
|
||||||
|
"поток 2 не вернул PDF");
|
||||||
|
String t0 = norm(pdfTextBytes(out[0]));
|
||||||
|
String t1 = norm(pdfTextBytes(out[1]));
|
||||||
|
assertTrue(t0.contains("Привет, мир!"), "поток 1: текст потерян");
|
||||||
|
assertTrue(t1.contains("Типы диаграмм"), "поток 2: текст потерян");
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* XXE-pin: {@code word/document.xml} с DOCTYPE и внешней сущностью
|
||||||
|
* ({@code file://}) обязан быть отвергнут до разбора — StAX валидатора
|
||||||
|
* работает с {@code SUPPORT_DTD=false}, JAXB docx4j — с
|
||||||
|
* {@code disallow-doctype-decl}. Цель сущности не читается, секрет не
|
||||||
|
* попадает ни в PDF, ни в сообщение ошибки.
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void xxeExternalEntity_rejectedNotRead() throws Exception {
|
||||||
|
Path secret = Files.createTempFile("wordpdf-xxe-", ".txt");
|
||||||
|
Files.writeString(secret, "XXE-SECRET-42");
|
||||||
|
try {
|
||||||
|
String w = "http://schemas.openxmlformats.org/wordprocessingml/2006/main";
|
||||||
|
String doc = "<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
|
||||||
|
+ "<!DOCTYPE w:document [ <!ENTITY xxe SYSTEM \"file://"
|
||||||
|
+ secret.toAbsolutePath() + "\"> ]>"
|
||||||
|
+ "<w:document xmlns:w=\"" + w + "\"><w:body>"
|
||||||
|
+ "<w:p><w:r><w:t>&xxe;</w:t></w:r></w:p>"
|
||||||
|
+ "<w:sectPr><w:pgSz w:w=\"11906\" w:h=\"16838\"/></w:sectPr>"
|
||||||
|
+ "</w:body></w:document>";
|
||||||
|
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||||
|
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||||
|
putZip(zos, "[Content_Types].xml",
|
||||||
|
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
|
||||||
|
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
|
||||||
|
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
|
||||||
|
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
|
||||||
|
+ "<Override PartName=\"/word/document.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml\"/>"
|
||||||
|
+ "</Types>");
|
||||||
|
putZip(zos, "_rels/.rels",
|
||||||
|
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
|
||||||
|
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
|
||||||
|
+ "<Relationship Id=\"rId1\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/officeDocument\" Target=\"word/document.xml\"/>"
|
||||||
|
+ "</Relationships>");
|
||||||
|
putZip(zos, "word/document.xml", doc);
|
||||||
|
}
|
||||||
|
ConversionException e = assertThrows(ConversionException.class,
|
||||||
|
() -> WordPdfConverter.convert(out.toByteArray(), "xxe", opts()));
|
||||||
|
assertFalse(e.getMessage() != null && e.getMessage().contains("XXE-SECRET-42"),
|
||||||
|
"содержимое внешнего файла не должно попадать в сообщение ошибки");
|
||||||
|
} finally {
|
||||||
|
Files.deleteIfExists(secret);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
/** Текст PDF из байтов (PDFBox) — для результатов прямого convert(). */
|
/** Текст PDF из байтов (PDFBox) — для результатов прямого convert(). */
|
||||||
private static String pdfTextBytes(byte[] pdf) throws IOException {
|
private static String pdfTextBytes(byte[] pdf) throws IOException {
|
||||||
try (PDDocument doc = Loader.loadPDF(pdf)) {
|
try (PDDocument doc = Loader.loadPDF(pdf)) {
|
||||||
|
|||||||
@@ -22,6 +22,8 @@ class WordPdfValidatorTest {
|
|||||||
|
|
||||||
/** Лимит страниц в тесте точной границы (99 разрывов проходят, 100 — нет). */
|
/** Лимит страниц в тесте точной границы (99 разрывов проходят, 100 — нет). */
|
||||||
private static final int PAGE_LIMIT = 100;
|
private static final int PAGE_LIMIT = 100;
|
||||||
|
/** Эквивалент прежних дефолтов ядра: лимиты входа 5 МБ / 100 страниц. */
|
||||||
|
private static final ConvertOptions DEF_OPTS = new ConvertOptions(false, false, false, 5, 100);
|
||||||
/** Путь основной части документа в zip. */
|
/** Путь основной части документа в zip. */
|
||||||
private static final String DOCUMENT_PART = "word/document.xml";
|
private static final String DOCUMENT_PART = "word/document.xml";
|
||||||
|
|
||||||
@@ -41,14 +43,14 @@ class WordPdfValidatorTest {
|
|||||||
@Test
|
@Test
|
||||||
void checkInput_bytesWithinLimit() {
|
void checkInput_bytesWithinLimit() {
|
||||||
assertDoesNotThrow(() ->
|
assertDoesNotThrow(() ->
|
||||||
WordPdfValidator.checkInput(new byte[1024]));
|
WordPdfValidator.checkInput(new byte[1024], 5));
|
||||||
}
|
}
|
||||||
|
|
||||||
@Test
|
@Test
|
||||||
void checkInput_bytesOverLimit() {
|
void checkInput_bytesOverLimit() {
|
||||||
byte[] big = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1];
|
byte[] big = new byte[5 * 1024 * 1024 + 1];
|
||||||
ValidationException ex = assertThrows(ValidationException.class,
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.checkInput(big));
|
() -> WordPdfValidator.checkInput(big, 5));
|
||||||
assertTrue(ex.getMessage().contains("5 МБ"),
|
assertTrue(ex.getMessage().contains("5 МБ"),
|
||||||
"сообщение должно упоминать лимит: " + ex.getMessage());
|
"сообщение должно упоминать лимит: " + ex.getMessage());
|
||||||
}
|
}
|
||||||
@@ -56,7 +58,7 @@ class WordPdfValidatorTest {
|
|||||||
@Test
|
@Test
|
||||||
void checkInput_bytesNull() {
|
void checkInput_bytesNull() {
|
||||||
assertThrows(ValidationException.class,
|
assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.checkInput((byte[]) null));
|
() -> WordPdfValidator.checkInput((byte[]) null, 5));
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
@@ -77,7 +79,7 @@ class WordPdfValidatorTest {
|
|||||||
@Test
|
@Test
|
||||||
void checkPageCount_bytesWithinLimit() throws Exception {
|
void checkPageCount_bytesWithinLimit() throws Exception {
|
||||||
byte[] bytes = docxWithPageBreaks(5);
|
byte[] bytes = docxWithPageBreaks(5);
|
||||||
assertDoesNotThrow(() -> WordPdfValidator.checkPageCount(bytes));
|
assertDoesNotThrow(() -> WordPdfValidator.checkPageCount(bytes, PAGE_LIMIT));
|
||||||
}
|
}
|
||||||
|
|
||||||
@Test
|
@Test
|
||||||
@@ -257,7 +259,7 @@ class WordPdfValidatorTest {
|
|||||||
@Test
|
@Test
|
||||||
void checkPageCount_bytesNull() {
|
void checkPageCount_bytesNull() {
|
||||||
assertThrows(ValidationException.class,
|
assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.checkPageCount((byte[]) null));
|
() -> WordPdfValidator.checkPageCount((byte[]) null, PAGE_LIMIT));
|
||||||
}
|
}
|
||||||
|
|
||||||
// ===== validate(byte[], ConvertOptions) =====
|
// ===== validate(byte[], ConvertOptions) =====
|
||||||
@@ -269,14 +271,14 @@ class WordPdfValidatorTest {
|
|||||||
@Test
|
@Test
|
||||||
void validate_withinLimits() throws Exception {
|
void validate_withinLimits() throws Exception {
|
||||||
assertDoesNotThrow(() -> WordPdfValidator.validate(
|
assertDoesNotThrow(() -> WordPdfValidator.validate(
|
||||||
docxWithPageBreaks(5), ConvertOptions.defaults()));
|
docxWithPageBreaks(5), DEF_OPTS));
|
||||||
}
|
}
|
||||||
|
|
||||||
@Test
|
@Test
|
||||||
void validate_bytesOverLimit() {
|
void validate_bytesOverLimit() {
|
||||||
byte[] big = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1];
|
byte[] big = new byte[5 * 1024 * 1024 + 1];
|
||||||
ValidationException ex = assertThrows(ValidationException.class,
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.validate(big, ConvertOptions.defaults()));
|
() -> WordPdfValidator.validate(big, DEF_OPTS));
|
||||||
assertTrue(ex.getMessage().contains("5 МБ"),
|
assertTrue(ex.getMessage().contains("5 МБ"),
|
||||||
"размер проверяется первым: " + ex.getMessage());
|
"размер проверяется первым: " + ex.getMessage());
|
||||||
}
|
}
|
||||||
@@ -285,7 +287,7 @@ class WordPdfValidatorTest {
|
|||||||
void validate_notAZip() {
|
void validate_notAZip() {
|
||||||
byte[] junk = {1, 2, 3, 4, 5};
|
byte[] junk = {1, 2, 3, 4, 5};
|
||||||
ValidationException ex = assertThrows(ValidationException.class,
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.validate(junk, ConvertOptions.defaults()));
|
() -> WordPdfValidator.validate(junk, DEF_OPTS));
|
||||||
assertTrue(ex.getMessage().contains("не zip-архив"),
|
assertTrue(ex.getMessage().contains("не zip-архив"),
|
||||||
"сообщение должно упоминать zip-подпись: " + ex.getMessage());
|
"сообщение должно упоминать zip-подпись: " + ex.getMessage());
|
||||||
}
|
}
|
||||||
@@ -306,7 +308,7 @@ class WordPdfValidatorTest {
|
|||||||
}
|
}
|
||||||
byte[] zip = out.toByteArray();
|
byte[] zip = out.toByteArray();
|
||||||
ValidationException ex = assertThrows(ValidationException.class,
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
|
() -> WordPdfValidator.validate(zip, DEF_OPTS));
|
||||||
assertTrue(ex.getMessage().contains("не является .docx"),
|
assertTrue(ex.getMessage().contains("не является .docx"),
|
||||||
"zip без манифеста wordprocessingml — не .docx: " + ex.getMessage());
|
"zip без манифеста wordprocessingml — не .docx: " + ex.getMessage());
|
||||||
}
|
}
|
||||||
@@ -325,14 +327,15 @@ class WordPdfValidatorTest {
|
|||||||
}
|
}
|
||||||
byte[] xlsx = out.toByteArray();
|
byte[] xlsx = out.toByteArray();
|
||||||
ValidationException ex = assertThrows(ValidationException.class,
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.validate(xlsx, ConvertOptions.defaults()));
|
() -> WordPdfValidator.validate(xlsx, DEF_OPTS));
|
||||||
assertTrue(ex.getMessage().contains("не является .docx"),
|
assertTrue(ex.getMessage().contains("не является .docx"),
|
||||||
"манифест xlsx — spreadsheetml: " + ex.getMessage());
|
"манифест xlsx — spreadsheetml: " + ex.getMessage());
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Zip-бомба: распакованный суммарный размер больше
|
* Zip-бомба: распакованный суммарный размер больше бюджета распаковки
|
||||||
* {@link WordPdfSettings#MAX_DECOMPRESSED_MB} отсекается потоково — до
|
* (из лимитов входа, см. {@link WordPdfValidator#maxDecompressedBytes})
|
||||||
|
* отсекается потоково — до
|
||||||
* {@code readAllBytes} в {@code checkPageCount} (без проверки валидатор
|
* {@code readAllBytes} в {@code checkPageCount} (без проверки валидатор
|
||||||
* прочитал бы 200+ МБ в память). Регрессия — WordPdfValidator#checkDocxContainer.
|
* прочитал бы 200+ МБ в память). Регрессия — WordPdfValidator#checkDocxContainer.
|
||||||
*/
|
*/
|
||||||
@@ -344,27 +347,30 @@ class WordPdfValidatorTest {
|
|||||||
zos.write(new byte[1024]);
|
zos.write(new byte[1024]);
|
||||||
zos.closeEntry();
|
zos.closeEntry();
|
||||||
zos.putNextEntry(new ZipEntry("bomb.bin"));
|
zos.putNextEntry(new ZipEntry("bomb.bin"));
|
||||||
zos.write(new byte[(int) (WordPdfSettings.MAX_DECOMPRESSED_MB * 1024 * 1024) + 1]);
|
zos.write(new byte[(int) (WordPdfValidator.maxDecompressedBytes(5, 100) + 1)]);
|
||||||
zos.closeEntry();
|
zos.closeEntry();
|
||||||
}
|
}
|
||||||
byte[] zip = out.toByteArray();
|
byte[] zip = out.toByteArray();
|
||||||
ValidationException ex = assertThrows(ValidationException.class,
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
|
() -> WordPdfValidator.validate(zip, DEF_OPTS));
|
||||||
assertTrue(ex.getMessage().contains("zip-бомбы"), ex.getMessage());
|
assertTrue(ex.getMessage().contains("zip-бомбы"), ex.getMessage());
|
||||||
assertTrue(ex.getMessage().contains(String.valueOf(WordPdfSettings.MAX_DECOMPRESSED_MB)),
|
assertTrue(ex.getMessage().contains(String.valueOf(
|
||||||
"сообщение должно упоминать лимит: " + ex.getMessage());
|
WordPdfValidator.maxDecompressedBytes(5,
|
||||||
|
100) / 1048576)),
|
||||||
|
"сообщение должно упоминать вычисленный бюджет: " + ex.getMessage());
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Бомба «много записей»: больше {@link WordPdfSettings#MAX_ZIP_ENTRIES}
|
* Бомба «много записей»: больше {@link WordPdfValidator#maxZipEntries}
|
||||||
* записей отвергаются до разбора содержимого.
|
* (при лимитах 5/100 — 5760) записей отвергаются до разбора содержимого.
|
||||||
* Регрессия — WordPdfValidator#checkDocxContainer.
|
* Регрессия — WordPdfValidator#checkDocxContainer.
|
||||||
*/
|
*/
|
||||||
@Test
|
@Test
|
||||||
void validate_tooManyEntriesRejected() throws Exception {
|
void validate_tooManyEntriesRejected() throws Exception {
|
||||||
|
int limit = (int) WordPdfValidator.maxZipEntries(5, 100);
|
||||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||||
for (int i = 0; i <= WordPdfSettings.MAX_ZIP_ENTRIES; i++) {
|
for (int i = 0; i <= limit; i++) {
|
||||||
zos.putNextEntry(new ZipEntry("e" + i + ".txt"));
|
zos.putNextEntry(new ZipEntry("e" + i + ".txt"));
|
||||||
zos.write(new byte[] {1});
|
zos.write(new byte[] {1});
|
||||||
zos.closeEntry();
|
zos.closeEntry();
|
||||||
@@ -372,16 +378,295 @@ class WordPdfValidatorTest {
|
|||||||
}
|
}
|
||||||
byte[] zip = out.toByteArray();
|
byte[] zip = out.toByteArray();
|
||||||
ValidationException ex = assertThrows(ValidationException.class,
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
|
() -> WordPdfValidator.validate(zip, DEF_OPTS));
|
||||||
assertTrue(ex.getMessage().contains("записей"), ex.getMessage());
|
assertTrue(ex.getMessage().contains("записей"), ex.getMessage());
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* XML-бомба: распакованные XML-части больше
|
||||||
|
* {@link WordPdfValidator#maxDecompressedXmlBytes} — отказ по байтовому
|
||||||
|
* гейту XML (байтовый лимит архива ещё не исчерпан).
|
||||||
|
* Регрессия — WordPdfValidator#checkDocxContainer (xmlTotal).
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void validate_xmlPartsBombRejected() throws Exception {
|
||||||
|
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||||
|
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||||
|
zos.putNextEntry(new ZipEntry("[Content_Types].xml"));
|
||||||
|
zos.write(CONTENT_TYPES.getBytes(StandardCharsets.UTF_8));
|
||||||
|
zos.closeEntry();
|
||||||
|
zos.putNextEntry(new ZipEntry("word/document.xml"));
|
||||||
|
zos.write(new byte[(int) (WordPdfValidator.maxDecompressedXmlBytes(5, 100) + 1)]);
|
||||||
|
zos.closeEntry();
|
||||||
|
}
|
||||||
|
byte[] zip = out.toByteArray();
|
||||||
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
|
() -> WordPdfValidator.validate(zip, DEF_OPTS));
|
||||||
|
assertTrue(ex.getMessage().contains("XML-частей"), ex.getMessage());
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Мелким лимитам входа — пол бюджета: maxMb=1/maxPages=10 дают 11 МБ,
|
||||||
|
* поднимается до пола 16 МБ; 17 МБ распаковки отвергаются с числом «16».
|
||||||
|
* Бросок случается в цикле до проверки манифеста — архив без
|
||||||
|
* [Content_Types].xml доходит до throw'а бюджета. Регрессия —
|
||||||
|
* WordPdfValidator#maxDecompressedBytes.
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void validate_smallLimitsBudgetFloor() throws Exception {
|
||||||
|
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||||
|
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||||
|
zos.putNextEntry(new ZipEntry("word/bomb.bin"));
|
||||||
|
zos.write(new byte[17 * 1024 * 1024]);
|
||||||
|
zos.closeEntry();
|
||||||
|
}
|
||||||
|
byte[] zip = out.toByteArray();
|
||||||
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
|
() -> WordPdfValidator.validate(zip, options(1, 10)));
|
||||||
|
assertTrue(ex.getMessage().contains("16 МБ"),
|
||||||
|
"бюджет мелких лимитов — пол 16 МБ: " + ex.getMessage());
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Бюджет растёт с лимитами входа: maxMb=2/maxPages=20 дают ~21 МБ — 20 МБ
|
||||||
|
* non-XML-распаковки проходят; те же байты при maxMb=1/maxPages=10 (пол
|
||||||
|
* 16 МБ) отвергаются. Верхних крышек нет: при maxMb=10/maxPages=100 бюджет
|
||||||
|
* ~106 МБ — 65 МБ проходят (защита масштабируется вместе с лимитами).
|
||||||
|
* Регрессия — WordPdfValidator#maxDecompressedBytes.
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void validate_budgetScalesWithInputLimits() throws Exception {
|
||||||
|
byte[] zip = zipOf("word/bomb.bin", new byte[20 * 1024 * 1024]);
|
||||||
|
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, options(2, 20)));
|
||||||
|
ValidationException floor = assertThrows(ValidationException.class,
|
||||||
|
() -> WordPdfValidator.validate(zip, options(1, 10)));
|
||||||
|
assertTrue(floor.getMessage().contains("16 МБ"), floor.getMessage());
|
||||||
|
byte[] big = zipOf("word/bomb.bin", new byte[65 * 1024 * 1024]);
|
||||||
|
assertDoesNotThrow(() -> WordPdfValidator.validate(big, options(10, 100)),
|
||||||
|
"крышек нет — бюджет догоняет лимиты входа");
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Дубликаты имён записей — отказ: OPC требует уникальных имён, а партии
|
||||||
|
* с одним именем по-разному трактуются валидатором (первая) и парсером.
|
||||||
|
* {@code ZipOutputStream} дубли не пишет — контейнер собирается вручную
|
||||||
|
* (STORED, локальные заголовки + central directory + EOCD).
|
||||||
|
* Регрессия — WordPdfValidator#checkDocxContainer (Set names).
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void validate_duplicateEntriesRejected() throws Exception {
|
||||||
|
byte[] ct = CONTENT_TYPES.getBytes(StandardCharsets.UTF_8);
|
||||||
|
byte[] doc = MINIMAL_DOCUMENT.getBytes(StandardCharsets.UTF_8);
|
||||||
|
byte[] zip = rawZip(new String[] {"[Content_Types].xml", "word/document.xml",
|
||||||
|
"word/document.xml"},
|
||||||
|
new byte[][] {ct, doc, doc});
|
||||||
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
|
() -> WordPdfValidator.validate(zip, DEF_OPTS));
|
||||||
|
assertTrue(ex.getMessage().contains("Дубликаты записей"), ex.getMessage());
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Минимальный zip: STORED-записи, central directory, EOCD. */
|
||||||
|
private static byte[] rawZip(String[] names, byte[][] data) {
|
||||||
|
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||||
|
long[] offsets = new long[names.length];
|
||||||
|
java.util.zip.CRC32 crc = new java.util.zip.CRC32();
|
||||||
|
for (int i = 0; i < names.length; i++) {
|
||||||
|
byte[] name = names[i].getBytes(StandardCharsets.UTF_8);
|
||||||
|
crc.reset();
|
||||||
|
crc.update(data[i]);
|
||||||
|
offsets[i] = out.size();
|
||||||
|
le32(out, 0x04034b50);
|
||||||
|
le16(out, 20);
|
||||||
|
le16(out, 0);
|
||||||
|
le16(out, 0);
|
||||||
|
le16(out, 0);
|
||||||
|
le16(out, 0);
|
||||||
|
le32(out, (int) crc.getValue());
|
||||||
|
le32(out, data[i].length);
|
||||||
|
le32(out, data[i].length);
|
||||||
|
le16(out, name.length);
|
||||||
|
le16(out, 0);
|
||||||
|
out.writeBytes(name);
|
||||||
|
out.writeBytes(data[i]);
|
||||||
|
}
|
||||||
|
long cdStart = out.size();
|
||||||
|
for (int i = 0; i < names.length; i++) {
|
||||||
|
byte[] name = names[i].getBytes(StandardCharsets.UTF_8);
|
||||||
|
crc.reset();
|
||||||
|
crc.update(data[i]);
|
||||||
|
le32(out, 0x02014b50);
|
||||||
|
le16(out, 20);
|
||||||
|
le16(out, 20);
|
||||||
|
le16(out, 0);
|
||||||
|
le16(out, 0);
|
||||||
|
le16(out, 0);
|
||||||
|
le16(out, 0);
|
||||||
|
le32(out, (int) crc.getValue());
|
||||||
|
le32(out, data[i].length);
|
||||||
|
le32(out, data[i].length);
|
||||||
|
le16(out, name.length);
|
||||||
|
le16(out, 0);
|
||||||
|
le16(out, 0);
|
||||||
|
le16(out, 0);
|
||||||
|
le16(out, 0);
|
||||||
|
le32(out, 0);
|
||||||
|
le32(out, (int) offsets[i]);
|
||||||
|
out.writeBytes(name);
|
||||||
|
}
|
||||||
|
long cdLen = out.size() - cdStart;
|
||||||
|
le32(out, 0x06054b50);
|
||||||
|
le16(out, 0);
|
||||||
|
le16(out, 0);
|
||||||
|
le16(out, names.length);
|
||||||
|
le16(out, names.length);
|
||||||
|
le32(out, (int) cdLen);
|
||||||
|
le32(out, (int) cdStart);
|
||||||
|
le16(out, 0);
|
||||||
|
return out.toByteArray();
|
||||||
|
}
|
||||||
|
|
||||||
|
private static void le16(ByteArrayOutputStream out, int v) {
|
||||||
|
out.write(v & 0xFF);
|
||||||
|
out.write((v >>> 8) & 0xFF);
|
||||||
|
}
|
||||||
|
|
||||||
|
private static void le32(ByteArrayOutputStream out, int v) {
|
||||||
|
le16(out, v & 0xFFFF);
|
||||||
|
le16(out, (v >>> 16) & 0xFFFF);
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Заготовки заголовков растров с площадью выше MAX_IMAGE_PIXELS. */
|
||||||
|
private static byte[][] rasterBombs() {
|
||||||
|
byte[] png = new byte[33];
|
||||||
|
System.arraycopy(new byte[] {(byte) 0x89, 'P', 'N', 'G', 0x0D, 0x0A, 0x1A, 0x0A}, 0, png, 0, 8);
|
||||||
|
png[12] = 'I';
|
||||||
|
png[13] = 'H';
|
||||||
|
png[14] = 'D';
|
||||||
|
png[15] = 'R';
|
||||||
|
putBe32(png, 16, 50000);
|
||||||
|
putBe32(png, 20, 50000);
|
||||||
|
byte[] gif = {'G', 'I', 'F', '8', '9', 'a',
|
||||||
|
(byte) 0xFF, (byte) 0xFF, (byte) 0xFF, (byte) 0xFF, 0, 0};
|
||||||
|
byte[] bmp = new byte[26];
|
||||||
|
bmp[0] = 'B';
|
||||||
|
bmp[1] = 'M';
|
||||||
|
putLe32(bmp, 18, 50000);
|
||||||
|
putLe32(bmp, 22, -50000); // top-down DIB — берётся abs высоты
|
||||||
|
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xC0,
|
||||||
|
0x00, 0x11, 0x08, (byte) 0xC3, 0x50, (byte) 0xC3, 0x50};
|
||||||
|
return new byte[][] {png, gif, bmp, jpeg};
|
||||||
|
}
|
||||||
|
|
||||||
|
private static void putBe32(byte[] b, int off, int v) {
|
||||||
|
b[off] = (byte) (v >>> 24);
|
||||||
|
b[off + 1] = (byte) (v >>> 16);
|
||||||
|
b[off + 2] = (byte) (v >>> 8);
|
||||||
|
b[off + 3] = (byte) v;
|
||||||
|
}
|
||||||
|
|
||||||
|
private static void putLe32(byte[] b, int off, int v) {
|
||||||
|
b[off] = (byte) v;
|
||||||
|
b[off + 1] = (byte) (v >>> 8);
|
||||||
|
b[off + 2] = (byte) (v >>> 16);
|
||||||
|
b[off + 3] = (byte) (v >>> 24);
|
||||||
|
}
|
||||||
|
|
||||||
|
private static byte[] zipOf(String name, byte[] media) throws Exception {
|
||||||
|
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||||
|
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||||
|
zos.putNextEntry(new ZipEntry("[Content_Types].xml"));
|
||||||
|
zos.write(CONTENT_TYPES.getBytes(StandardCharsets.UTF_8));
|
||||||
|
zos.closeEntry();
|
||||||
|
zos.putNextEntry(new ZipEntry("word/document.xml"));
|
||||||
|
zos.write(MINIMAL_DOCUMENT.getBytes(StandardCharsets.UTF_8));
|
||||||
|
zos.closeEntry();
|
||||||
|
zos.putNextEntry(new ZipEntry(name));
|
||||||
|
zos.write(media);
|
||||||
|
zos.closeEntry();
|
||||||
|
}
|
||||||
|
return out.toByteArray();
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Raster-bomb: заголовок растра (PNG/GIF/BMP/JPEG — каждый свой формат)
|
||||||
|
* объявляет площадь выше {@link WordPdfValidator#maxImagePixels(long)}
|
||||||
|
* (при лимите 5 МБ — 25 Мпикс) — отказ
|
||||||
|
* до любого декодирования. Регрессия — WordPdfValidator#rasterArea.
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void validate_rasterBombRejected() throws Exception {
|
||||||
|
String[] exts = {"word/media/b.png", "word/media/b.gif", "word/media/b.bmp",
|
||||||
|
"word/media/b.jpg"};
|
||||||
|
byte[][] bombs = rasterBombs();
|
||||||
|
for (int i = 0; i < bombs.length; i++) {
|
||||||
|
byte[] zip = zipOf(exts[i], bombs[i]);
|
||||||
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
|
() -> WordPdfValidator.validate(zip, DEF_OPTS),
|
||||||
|
"должно отклоняться: " + exts[i]);
|
||||||
|
assertTrue(ex.getMessage().contains("Изображение слишком большое"), ex.getMessage());
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Легитимные растры малых размеров проходят валидацию. */
|
||||||
|
@Test
|
||||||
|
void validate_smallRastersAccepted() throws Exception {
|
||||||
|
byte[] png = new byte[33];
|
||||||
|
System.arraycopy(new byte[] {(byte) 0x89, 'P', 'N', 'G', 0x0D, 0x0A, 0x1A, 0x0A}, 0, png, 0, 8);
|
||||||
|
png[12] = 'I';
|
||||||
|
png[13] = 'H';
|
||||||
|
png[14] = 'D';
|
||||||
|
png[15] = 'R';
|
||||||
|
putBe32(png, 16, 10);
|
||||||
|
putBe32(png, 20, 10);
|
||||||
|
byte[] gif = {'G', 'I', 'F', '8', '9', 'a', 10, 0, 10, 0, 0, 0};
|
||||||
|
byte[] bmp = new byte[26];
|
||||||
|
bmp[0] = 'B';
|
||||||
|
bmp[1] = 'M';
|
||||||
|
putLe32(bmp, 18, 10);
|
||||||
|
putLe32(bmp, 22, -10);
|
||||||
|
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xC0,
|
||||||
|
0x00, 0x11, 0x08, 0x00, 0x0A, 0x00, 0x0A};
|
||||||
|
byte[][] ok = {png, gif, bmp, jpeg};
|
||||||
|
String[] exts = {"word/media/a.png", "word/media/a.gif", "word/media/a.bmp",
|
||||||
|
"word/media/a.jpeg"};
|
||||||
|
for (int i = 0; i < ok.length; i++) {
|
||||||
|
byte[] zip = zipOf(exts[i], ok[i]);
|
||||||
|
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, DEF_OPTS),
|
||||||
|
exts[i]);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Нераспознанный/неполный заголовок растра (подписи нет или dimensions
|
||||||
|
* не влезают) — не отклонять: площадь не объявлена, а реальный decode
|
||||||
|
* ограничен бюджетом распаковки из лимитов входа (крышка
|
||||||
|
* {@code MAX_DECOMPRESSED_MB}). Регрессия —
|
||||||
|
* WordPdfValidator#rasterArea (ветки «-1» каждого формата).
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void validate_rasterUnknownHeadsAccepted() throws Exception {
|
||||||
|
byte[] png = new byte[20];
|
||||||
|
System.arraycopy(new byte[] {(byte) 0x89, 'P', 'N', 'G', 0x0D, 0x0A, 0x1A, 0x0A},
|
||||||
|
0, png, 0, 8); // сигнатура есть, IHDR (offset 16..24) не прочитан
|
||||||
|
byte[] gif = {'G', 'I', 'F', '8', '9', 'a'}; // сигнатура есть, размеров нет
|
||||||
|
byte[] bmp = new byte[26]; // длина достаточна, подписи 'BM' нет
|
||||||
|
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, 0x00, 0x00}; // FFD8, следующий маркер не FF
|
||||||
|
String[] exts = {"word/media/u.png", "word/media/u.gif", "word/media/u.bmp",
|
||||||
|
"word/media/u.jpg"};
|
||||||
|
byte[][] heads = {png, gif, bmp, jpeg};
|
||||||
|
for (int i = 0; i < heads.length; i++) {
|
||||||
|
byte[] zip = zipOf(exts[i], heads[i]);
|
||||||
|
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, DEF_OPTS),
|
||||||
|
exts[i]);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
@Test
|
@Test
|
||||||
void validate_tooManyPages() throws Exception {
|
void validate_tooManyPages() throws Exception {
|
||||||
byte[] bytes = docxWithPageBreaks(120);
|
byte[] bytes = docxWithPageBreaks(120);
|
||||||
ValidationException ex = assertThrows(ValidationException.class,
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.validate(bytes,
|
() -> WordPdfValidator.validate(bytes,
|
||||||
options(WordPdfSettings.MAX_INPUT_MB, 100)));
|
options(5, 100)));
|
||||||
assertTrue(ex.getMessage().contains("не менее 121"),
|
assertTrue(ex.getMessage().contains("не менее 121"),
|
||||||
"оценка = 1 + 120 разрывов: " + ex.getMessage());
|
"оценка = 1 + 120 разрывов: " + ex.getMessage());
|
||||||
}
|
}
|
||||||
@@ -389,7 +674,7 @@ class WordPdfValidatorTest {
|
|||||||
@Test
|
@Test
|
||||||
void validate_nullBytes() {
|
void validate_nullBytes() {
|
||||||
assertThrows(ValidationException.class,
|
assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.validate(null, ConvertOptions.defaults()));
|
() -> WordPdfValidator.validate(null, DEF_OPTS));
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
@@ -426,6 +711,19 @@ class WordPdfValidatorTest {
|
|||||||
}
|
}
|
||||||
// ---- ветви lightweight-сканера и контейнера ----
|
// ---- ветви lightweight-сканера и контейнера ----
|
||||||
|
|
||||||
|
/** Манифест с маркером документа wordprocessingml (минимум для checkDocxContainer). */
|
||||||
|
private static final String CONTENT_TYPES =
|
||||||
|
"<?xml version=\"1.0\"?><Types xmlns=\"http://schemas.openxmlformats.org"
|
||||||
|
+ "/package/2006/content-types\"><Override PartName=\"/word/document.xml\""
|
||||||
|
+ " ContentType=\"application/vnd.openxmlformats-officedocument"
|
||||||
|
+ ".wordprocessingml.document.main+xml\"/></Types>";
|
||||||
|
|
||||||
|
/** Пустое transitional-тело: 1 страница, ни одного разрыва. */
|
||||||
|
private static final String MINIMAL_DOCUMENT =
|
||||||
|
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
|
||||||
|
+ "<w:document xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\">"
|
||||||
|
+ "<w:body></w:body></w:document>";
|
||||||
|
|
||||||
private static final String TRANSITIONAL_W =
|
private static final String TRANSITIONAL_W =
|
||||||
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
|
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
|
||||||
|
|
||||||
@@ -553,7 +851,7 @@ class WordPdfValidatorTest {
|
|||||||
DOCUMENT_PART, docPart("")));
|
DOCUMENT_PART, docPart("")));
|
||||||
ValidationException ex = assertThrows(ValidationException.class,
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.validate(docx,
|
() -> WordPdfValidator.validate(docx,
|
||||||
options(WordPdfSettings.MAX_INPUT_MB, PAGE_LIMIT)));
|
options(5, PAGE_LIMIT)));
|
||||||
assertTrue(ex.getMessage().contains("8 МБ"), ex.getMessage());
|
assertTrue(ex.getMessage().contains("8 МБ"), ex.getMessage());
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -562,14 +860,14 @@ class WordPdfValidatorTest {
|
|||||||
void validate_shortAndBrokenPkPrefixRejected() {
|
void validate_shortAndBrokenPkPrefixRejected() {
|
||||||
ValidationException ex = assertThrows(ValidationException.class,
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.validate(new byte[]{'P', 'K'},
|
() -> WordPdfValidator.validate(new byte[]{'P', 'K'},
|
||||||
ConvertOptions.defaults()));
|
DEF_OPTS));
|
||||||
assertTrue(ex.getMessage().contains("не zip"), ex.getMessage());
|
assertTrue(ex.getMessage().contains("не zip"), ex.getMessage());
|
||||||
assertThrows(ValidationException.class,
|
assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.validate(new byte[]{'P', 'K', 3, 9},
|
() -> WordPdfValidator.validate(new byte[]{'P', 'K', 3, 9},
|
||||||
ConvertOptions.defaults()));
|
DEF_OPTS));
|
||||||
assertThrows(ValidationException.class,
|
assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.validate(new byte[]{'P', 'K', 0, 4},
|
() -> WordPdfValidator.validate(new byte[]{'P', 'K', 0, 4},
|
||||||
ConvertOptions.defaults()));
|
DEF_OPTS));
|
||||||
}
|
}
|
||||||
|
|
||||||
/** Фикстура samples/*.doc (бинарный .doc заказчика). */
|
/** Фикстура samples/*.doc (бинарный .doc заказчика). */
|
||||||
@@ -631,7 +929,7 @@ class WordPdfValidatorTest {
|
|||||||
byte[] doc = sample("too-many-pages.doc");
|
byte[] doc = sample("too-many-pages.doc");
|
||||||
ValidationException ex = assertThrows(ValidationException.class,
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.validate(doc,
|
() -> WordPdfValidator.validate(doc,
|
||||||
options(WordPdfSettings.MAX_INPUT_MB, PAGE_LIMIT)));
|
options(5, PAGE_LIMIT)));
|
||||||
assertTrue(ex.getMessage().contains("не менее 151"), ex.getMessage());
|
assertTrue(ex.getMessage().contains("не менее 151"), ex.getMessage());
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
+19
@@ -84,6 +84,25 @@ class DrawingPreRendererTest {
|
|||||||
"r:id ведёт не на вставленную часть");
|
"r:id ведёт не на вставленную часть");
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Бюджет chart-PNG на документ: с бюджетом в 1 байт ни один объект не
|
||||||
|
* проходит проверку в {@code swapForPicture} — media-частей нет
|
||||||
|
* (деградация «объект удалён»), конвертация не падает. С неограниченным
|
||||||
|
* бюджетом — все объекты отрендерены.
|
||||||
|
* Регрессия — DrawingPreRenderer#MAX_CHART_PNG_BYTES_TOTAL.
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void pngBudget_exhausted_dropsObjects() throws Exception {
|
||||||
|
WordprocessingMLPackage poor = chartPkg();
|
||||||
|
DrawingPreRenderer.run(poor, new ru.pjandro.wordpdf.ConvertOptions(false, false, false, 5, 100), 1);
|
||||||
|
assertEquals(0, chartMedia(poor).size(),
|
||||||
|
"исчерпанный бюджет обязан удалить все chart-объекты без media-частей");
|
||||||
|
WordprocessingMLPackage rich = chartPkg();
|
||||||
|
DrawingPreRenderer.run(rich, new ru.pjandro.wordpdf.ConvertOptions(false, false, false, 5, 100),
|
||||||
|
Long.MAX_VALUE);
|
||||||
|
assertTrue(!chartMedia(rich).isEmpty(), "неограниченный бюджет обязан отрендерить объекты");
|
||||||
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Имена уникальны по реестру пакета (chart-1, chart-2):
|
* Имена уникальны по реестру пакета (chart-1, chart-2):
|
||||||
* {@code PartName.generateUniqueName} уникальность не даёт, счётчик с
|
* {@code PartName.generateUniqueName} уникальность не даёт, счётчик с
|
||||||
|
|||||||
@@ -191,6 +191,49 @@ class CfbReaderTest {
|
|||||||
assertSame(ConversionException.class, ex.getClass());
|
assertSame(ConversionException.class, ex.getClass());
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* OOM-атака .doc: объявленный размер root-потока (mini stream) больше
|
||||||
|
* контейнера — отказ ДО аллокации (первая строка readChain —
|
||||||
|
* {@code new byte[(int) size]}, проверки границ идут после).
|
||||||
|
* Регрессия — CfbReader#readStreams (кап rootSize).
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void rootSize_beyondContainer_rejected() {
|
||||||
|
byte[] file = build(new Spec("WordDocument", "x".getBytes(StandardCharsets.UTF_8)));
|
||||||
|
put32(file, SECTOR * 2 + 0x78, 0x7000_0000); // size root-записи (dir сектор 1, индекс 0)
|
||||||
|
ConversionException ex = assertThrows(ConversionException.class,
|
||||||
|
() -> CfbReader.readStreams(file));
|
||||||
|
assertTrue(ex.getMessage().contains("mini stream"), ex.getMessage());
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Root-размер {@code 0xFFFFFFFF}: до капа давал {@code NegativeArraySizeException}
|
||||||
|
* (не ConversionException → HTTP 500 вместо 400).
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void rootSize_maxU32_rejected() {
|
||||||
|
byte[] file = build(new Spec("WordDocument", "x".getBytes(StandardCharsets.UTF_8)));
|
||||||
|
put32(file, SECTOR * 2 + 0x78, -1);
|
||||||
|
assertThrows(ConversionException.class, () -> CfbReader.readStreams(file));
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Умножение потоков: одна FAT-цепочка объявлена тремя directory-записями
|
||||||
|
* на ~весь контейнер; по отдельности каждая в «size <= cfb.length»,
|
||||||
|
* суммарно — больше бюджета 1.5×контейнера.
|
||||||
|
* Регрессия — CfbReader#readStreams (суммарный бюджет).
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void streamsTotal_beyondBudget_rejected() {
|
||||||
|
byte[] file = build(new Spec("Data", new byte[60 * 1024]));
|
||||||
|
int dir = SECTOR * 2;
|
||||||
|
System.arraycopy(file, dir + 128, file, dir + 256, 128);
|
||||||
|
System.arraycopy(file, dir + 128, file, dir + 384, 128);
|
||||||
|
ConversionException ex = assertThrows(ConversionException.class,
|
||||||
|
() -> CfbReader.readStreams(file));
|
||||||
|
assertTrue(ex.getMessage().contains("Суммарный размер потоков"), ex.getMessage());
|
||||||
|
}
|
||||||
|
|
||||||
@Test
|
@Test
|
||||||
void dirChainLoop_rejected() {
|
void dirChainLoop_rejected() {
|
||||||
byte[] file = build();
|
byte[] file = build();
|
||||||
|
|||||||
+28
-7
@@ -399,7 +399,7 @@ class DocToDocxFormattingTest {
|
|||||||
}
|
}
|
||||||
|
|
||||||
private static String partXml(byte[] doc, String entry) throws IOException {
|
private static String partXml(byte[] doc, String entry) throws IOException {
|
||||||
return new String(zipPart(DocToDocx.convert(doc), entry), StandardCharsets.UTF_8);
|
return new String(zipPart(DocToDocx.convert(doc, 5), entry), StandardCharsets.UTF_8);
|
||||||
}
|
}
|
||||||
|
|
||||||
/** Байты zip-записи из уже сконвертированного .docx. */
|
/** Байты zip-записи из уже сконвертированного .docx. */
|
||||||
@@ -489,7 +489,7 @@ class DocToDocxFormattingTest {
|
|||||||
void embeddedObjectsWithoutPicture_skipped() throws IOException {
|
void embeddedObjectsWithoutPicture_skipped() throws IOException {
|
||||||
// U+0001 без sprmCPicLocation и с picLocation на мусорный Data —
|
// U+0001 без sprmCPicLocation и с picLocation на мусорный Data —
|
||||||
// ни одной image-части
|
// ни одной image-части
|
||||||
byte[] docx = DocToDocx.convert(cfb(true, true));
|
byte[] docx = DocToDocx.convert(cfb(true, true), 5);
|
||||||
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docx))) {
|
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docx))) {
|
||||||
ZipEntry e;
|
ZipEntry e;
|
||||||
while ((e = zip.getNextEntry()) != null) {
|
while ((e = zip.getNextEntry()) != null) {
|
||||||
@@ -568,7 +568,7 @@ class DocToDocxFormattingTest {
|
|||||||
@Test
|
@Test
|
||||||
void missingTableStream_rejected() throws IOException {
|
void missingTableStream_rejected() throws IOException {
|
||||||
ConversionException ex = assertThrows(ConversionException.class,
|
ConversionException ex = assertThrows(ConversionException.class,
|
||||||
() -> DocToDocx.convert(cfb(true, false)));
|
() -> DocToDocx.convert(cfb(true, false), 5));
|
||||||
assertSame(ConversionException.class, ex.getClass());
|
assertSame(ConversionException.class, ex.getClass());
|
||||||
assertTrue(ex.getMessage().contains("1Table"), ex.getMessage());
|
assertTrue(ex.getMessage().contains("1Table"), ex.getMessage());
|
||||||
}
|
}
|
||||||
@@ -1122,7 +1122,7 @@ class DocToDocxFormattingTest {
|
|||||||
|
|
||||||
@Test
|
@Test
|
||||||
void listParagraphs_getNumPrAndNumberingPart() throws IOException {
|
void listParagraphs_getNumPrAndNumberingPart() throws IOException {
|
||||||
byte[] docx = DocToDocx.convert(listDoc(true));
|
byte[] docx = DocToDocx.convert(listDoc(true), 5);
|
||||||
String xml = new String(zipPart(docx, DOCUMENT_XML), StandardCharsets.UTF_8);
|
String xml = new String(zipPart(docx, DOCUMENT_XML), StandardCharsets.UTF_8);
|
||||||
assertTrue(xml.contains("<w:numPr><w:ilvl w:val=\"0\"/><w:numId w:val=\"1\"/></w:numPr>"),
|
assertTrue(xml.contains("<w:numPr><w:ilvl w:val=\"0\"/><w:numId w:val=\"1\"/></w:numPr>"),
|
||||||
xml);
|
xml);
|
||||||
@@ -1174,7 +1174,7 @@ class DocToDocxFormattingTest {
|
|||||||
|
|
||||||
@Test
|
@Test
|
||||||
void missingListTables_degradeToPlain() throws IOException {
|
void missingListTables_degradeToPlain() throws IOException {
|
||||||
byte[] docx = DocToDocx.convert(listDoc(false));
|
byte[] docx = DocToDocx.convert(listDoc(false), 5);
|
||||||
String xml = new String(zipPart(docx, DOCUMENT_XML), StandardCharsets.UTF_8);
|
String xml = new String(zipPart(docx, DOCUMENT_XML), StandardCharsets.UTF_8);
|
||||||
assertFalse(xml.contains("<w:numPr>"), xml);
|
assertFalse(xml.contains("<w:numPr>"), xml);
|
||||||
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docx))) {
|
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docx))) {
|
||||||
@@ -1274,7 +1274,7 @@ class DocToDocxFormattingTest {
|
|||||||
*/
|
*/
|
||||||
@Test
|
@Test
|
||||||
void twoSections_perSectionSectPrAndParts() throws IOException {
|
void twoSections_perSectionSectPrAndParts() throws IOException {
|
||||||
byte[] docx = DocToDocx.convert(twoSectionDoc());
|
byte[] docx = DocToDocx.convert(twoSectionDoc(), 5);
|
||||||
String xml = new String(zipPart(docx, DOCUMENT_XML), StandardCharsets.UTF_8);
|
String xml = new String(zipPart(docx, DOCUMENT_XML), StandardCharsets.UTF_8);
|
||||||
// разрыв секции НЕ эмитится как разрыв страницы
|
// разрыв секции НЕ эмитится как разрыв страницы
|
||||||
assertFalse(xml.contains("<w:br w:type=\"page\"/>"),
|
assertFalse(xml.contains("<w:br w:type=\"page\"/>"),
|
||||||
@@ -1611,6 +1611,27 @@ class DocToDocxFormattingTest {
|
|||||||
+ (char) 0x14 + "Сайт" + (char) 0x15 + "\r"));
|
+ (char) 0x14 + "Сайт" + (char) 0x15 + "\r"));
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Схема вне whitelist (javascript:) — отказ: RFC 3986 схем не ограничивает,
|
||||||
|
* а javascript:/file: доезжают до /URI-аннотаций PDF. Регрессия —
|
||||||
|
* DocxBody#ALLOWED_URL_SCHEMES.
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void hyperlink_javascriptScheme_degradesToPlain() throws IOException {
|
||||||
|
assertNoHyperlink(hyperlinkDoc((char) 0x13 + " HYPERLINK \"javascript:alert(1)\""
|
||||||
|
+ (char) 0x14 + "Сайт" + (char) 0x15 + "\r"));
|
||||||
|
}
|
||||||
|
|
||||||
|
/** mailto: — разрешённая схема whitelist'а. */
|
||||||
|
@Test
|
||||||
|
void hyperlink_mailtoScheme_accepted() throws IOException {
|
||||||
|
byte[] doc = hyperlinkDoc("x" + (char) 0x13 + " HYPERLINK \"mailto:a@b.c\""
|
||||||
|
+ (char) 0x14 + "Сайт" + (char) 0x15 + "\r");
|
||||||
|
assertTrue(documentXml(doc).contains("<w:hyperlink r:id=\"hl0\">"));
|
||||||
|
assertTrue(partXml(doc, "word/_rels/document.xml.rels")
|
||||||
|
.contains("Target=\"mailto:a@b.c\""));
|
||||||
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Поле покрывает границу абзацев: тег переоткрывается/закрывается в
|
* Поле покрывает границу абзацев: тег переоткрывается/закрывается в
|
||||||
* каждом w:p (баланс по абзацам), rels-запись одна.
|
* каждом w:p (баланс по абзацам), rels-запись одна.
|
||||||
@@ -2049,7 +2070,7 @@ class DocToDocxFormattingTest {
|
|||||||
byte[] region = picRegion();
|
byte[] region = picRegion();
|
||||||
byte[] docx = DocToDocx.convert(craftDoc((char) 0x08 + "\r", null, region,
|
byte[] docx = DocToDocx.convert(craftDoc((char) 0x08 + "\r", null, region,
|
||||||
List.of(new ChpxRun(0, new byte[] {0x03, 0x6A, 0, 0, 0, 0})),
|
List.of(new ChpxRun(0, new byte[] {0x03, 0x6A, 0, 0, 0, 0})),
|
||||||
List.of(new PapxRun(0, null))));
|
List.of(new PapxRun(0, null))), 5);
|
||||||
String xml = new String(zipPart(docx, DOCUMENT_XML), StandardCharsets.UTF_8);
|
String xml = new String(zipPart(docx, DOCUMENT_XML), StandardCharsets.UTF_8);
|
||||||
assertTrue(xml.contains("<w:drawing>"), "0x08 обязан стать картинкой: " + xml);
|
assertTrue(xml.contains("<w:drawing>"), "0x08 обязан стать картинкой: " + xml);
|
||||||
assertTrue(zipPart(docx, "word/media/image1.png").length > 0);
|
assertTrue(zipPart(docx, "word/media/image1.png").length > 0);
|
||||||
|
|||||||
@@ -37,7 +37,7 @@ class DocToDocxTest {
|
|||||||
|
|
||||||
/** document.xml из конвертированного .docx. */
|
/** document.xml из конвертированного .docx. */
|
||||||
private static String documentXml(byte[] docBytes) throws IOException {
|
private static String documentXml(byte[] docBytes) throws IOException {
|
||||||
byte[] docx = DocToDocx.convert(docBytes);
|
byte[] docx = DocToDocx.convert(docBytes, 5);
|
||||||
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docx))) {
|
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docx))) {
|
||||||
ZipEntry entry;
|
ZipEntry entry;
|
||||||
while ((entry = zip.getNextEntry()) != null) {
|
while ((entry = zip.getNextEntry()) != null) {
|
||||||
@@ -99,7 +99,7 @@ class DocToDocxTest {
|
|||||||
|
|
||||||
@Test
|
@Test
|
||||||
void tableFixture_becomesTblWithImage() throws IOException {
|
void tableFixture_becomesTblWithImage() throws IOException {
|
||||||
byte[] docx = DocToDocx.convert(sample("ru-table-image.doc"));
|
byte[] docx = DocToDocx.convert(sample("ru-table-image.doc"), 5);
|
||||||
String xml = documentXml(sample("ru-table-image.doc"));
|
String xml = documentXml(sample("ru-table-image.doc"));
|
||||||
assertTrue(xml.contains("<w:tbl>"), "таблица не перенесена структурой");
|
assertTrue(xml.contains("<w:tbl>"), "таблица не перенесена структурой");
|
||||||
assertTrue(xml.contains("<w:gridCol"), "сетка потеряна");
|
assertTrue(xml.contains("<w:gridCol"), "сетка потеряна");
|
||||||
@@ -117,7 +117,7 @@ class DocToDocxTest {
|
|||||||
void encrypted_rejected() throws IOException {
|
void encrypted_rejected() throws IOException {
|
||||||
byte[] cfb = cfbWith("EncryptedPackage", "WordDocument");
|
byte[] cfb = cfbWith("EncryptedPackage", "WordDocument");
|
||||||
ConversionException e = assertThrows(ConversionException.class,
|
ConversionException e = assertThrows(ConversionException.class,
|
||||||
() -> DocToDocx.convert(cfb));
|
() -> DocToDocx.convert(cfb, 5));
|
||||||
assertSame(ConversionException.class, e.getClass());
|
assertSame(ConversionException.class, e.getClass());
|
||||||
assertTrue(e.getMessage().contains("зашифрован"), e.getMessage());
|
assertTrue(e.getMessage().contains("зашифрован"), e.getMessage());
|
||||||
}
|
}
|
||||||
@@ -126,7 +126,7 @@ class DocToDocxTest {
|
|||||||
void cfbWithoutWordDocument_rejected() throws IOException {
|
void cfbWithoutWordDocument_rejected() throws IOException {
|
||||||
byte[] cfb = cfbWith("Workbook");
|
byte[] cfb = cfbWith("Workbook");
|
||||||
ConversionException e = assertThrows(ConversionException.class,
|
ConversionException e = assertThrows(ConversionException.class,
|
||||||
() -> DocToDocx.convert(cfb));
|
() -> DocToDocx.convert(cfb, 5));
|
||||||
assertSame(ConversionException.class, e.getClass());
|
assertSame(ConversionException.class, e.getClass());
|
||||||
assertTrue(e.getMessage().contains("не похоже"), e.getMessage());
|
assertTrue(e.getMessage().contains("не похоже"), e.getMessage());
|
||||||
}
|
}
|
||||||
@@ -136,7 +136,7 @@ class DocToDocxTest {
|
|||||||
byte[] full = sample("ru-plain.doc");
|
byte[] full = sample("ru-plain.doc");
|
||||||
byte[] cut = Arrays.copyOf(full, 2048);
|
byte[] cut = Arrays.copyOf(full, 2048);
|
||||||
ConversionException e = assertThrows(ConversionException.class,
|
ConversionException e = assertThrows(ConversionException.class,
|
||||||
() -> DocToDocx.convert(cut));
|
() -> DocToDocx.convert(cut, 5));
|
||||||
assertSame(ConversionException.class, e.getClass());
|
assertSame(ConversionException.class, e.getClass());
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|||||||
@@ -1,5 +1,7 @@
|
|||||||
package ru.pjandro.wordpdf.internal.doc;
|
package ru.pjandro.wordpdf.internal.doc;
|
||||||
|
|
||||||
|
import ru.pjandro.wordpdf.WordPdfValidator;
|
||||||
|
|
||||||
import static org.junit.jupiter.api.Assertions.assertArrayEquals;
|
import static org.junit.jupiter.api.Assertions.assertArrayEquals;
|
||||||
import static org.junit.jupiter.api.Assertions.assertEquals;
|
import static org.junit.jupiter.api.Assertions.assertEquals;
|
||||||
import static org.junit.jupiter.api.Assertions.assertNotNull;
|
import static org.junit.jupiter.api.Assertions.assertNotNull;
|
||||||
@@ -18,13 +20,16 @@ import org.junit.jupiter.api.Test;
|
|||||||
*/
|
*/
|
||||||
class OfficeArtTest {
|
class OfficeArtTest {
|
||||||
|
|
||||||
|
/** Порог площади растра как у штатных лимитов входа (5 МБ → 25 Мпикс). */
|
||||||
|
private static final long MAX_PX = WordPdfValidator.maxImagePixels(5);
|
||||||
|
|
||||||
private static final byte[] PNG_TINY = pngBytes();
|
private static final byte[] PNG_TINY = pngBytes();
|
||||||
|
|
||||||
@Test
|
@Test
|
||||||
void pngBlip_extractedWithScaledSize() {
|
void pngBlip_extractedWithScaledSize() {
|
||||||
byte[] region = region(picf(1800, 900, 1000, 1000),
|
byte[] region = region(picf(1800, 900, 1000, 1000),
|
||||||
blip(0x6E0, 0xF01E, 16, PNG_TINY));
|
blip(0x6E0, 0xF01E, 16, PNG_TINY));
|
||||||
OfficeArt.Picture pic = OfficeArt.read(region, 0);
|
OfficeArt.Picture pic = OfficeArt.read(region, 0, MAX_PX);
|
||||||
assertNotNull(pic);
|
assertNotNull(pic);
|
||||||
assertEquals("png", pic.extension());
|
assertEquals("png", pic.extension());
|
||||||
assertEquals("image/png", pic.contentType());
|
assertEquals("image/png", pic.contentType());
|
||||||
@@ -37,7 +42,7 @@ class OfficeArtTest {
|
|||||||
void oddInstance_secondUidSkipped() {
|
void oddInstance_secondUidSkipped() {
|
||||||
byte[] region = region(picf(100, 100, 1000, 1000),
|
byte[] region = region(picf(100, 100, 1000, 1000),
|
||||||
blip(0x6E1, 0xF01E, 32, PNG_TINY));
|
blip(0x6E1, 0xF01E, 32, PNG_TINY));
|
||||||
OfficeArt.Picture pic = OfficeArt.read(region, 0);
|
OfficeArt.Picture pic = OfficeArt.read(region, 0, MAX_PX);
|
||||||
assertNotNull(pic, "нечётный recInstance — два UID, данные после 32+1");
|
assertNotNull(pic, "нечётный recInstance — два UID, данные после 32+1");
|
||||||
assertArrayEquals(PNG_TINY, pic.data());
|
assertArrayEquals(PNG_TINY, pic.data());
|
||||||
}
|
}
|
||||||
@@ -46,7 +51,7 @@ class OfficeArtTest {
|
|||||||
void jpegBlip_extracted() {
|
void jpegBlip_extracted() {
|
||||||
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xE0, 1, 2, 3};
|
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xE0, 1, 2, 3};
|
||||||
byte[] region = region(picf(100, 100, 1000, 1000), blip(0x46B, 0xF01D, 16, jpeg));
|
byte[] region = region(picf(100, 100, 1000, 1000), blip(0x46B, 0xF01D, 16, jpeg));
|
||||||
OfficeArt.Picture pic = OfficeArt.read(region, 0);
|
OfficeArt.Picture pic = OfficeArt.read(region, 0, MAX_PX);
|
||||||
assertNotNull(pic);
|
assertNotNull(pic);
|
||||||
assertEquals("jpg", pic.extension());
|
assertEquals("jpg", pic.extension());
|
||||||
assertEquals("image/jpeg", pic.contentType());
|
assertEquals("image/jpeg", pic.contentType());
|
||||||
@@ -57,7 +62,7 @@ class OfficeArtTest {
|
|||||||
// [MS-ODRAW] A.1: 0xF02A трактуется как 0xF01D
|
// [MS-ODRAW] A.1: 0xF02A трактуется как 0xF01D
|
||||||
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, 1, 2};
|
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, 1, 2};
|
||||||
byte[] region = region(picf(100, 100, 1000, 1000), blip(0x46B, 0xF02A, 16, jpeg));
|
byte[] region = region(picf(100, 100, 1000, 1000), blip(0x46B, 0xF02A, 16, jpeg));
|
||||||
assertNotNull(OfficeArt.read(region, 0));
|
assertNotNull(OfficeArt.read(region, 0, MAX_PX));
|
||||||
}
|
}
|
||||||
|
|
||||||
@Test
|
@Test
|
||||||
@@ -65,7 +70,7 @@ class OfficeArtTest {
|
|||||||
for (int type : new int[] {0xF01A, 0xF01B, 0xF01C}) {
|
for (int type : new int[] {0xF01A, 0xF01B, 0xF01C}) {
|
||||||
byte[] region = region(picf(100, 100, 1000, 1000),
|
byte[] region = region(picf(100, 100, 1000, 1000),
|
||||||
blip(0x2FC, type, 16, PNG_TINY));
|
blip(0x2FC, type, 16, PNG_TINY));
|
||||||
assertNull(OfficeArt.read(region, 0),
|
assertNull(OfficeArt.read(region, 0, MAX_PX),
|
||||||
"метафайл 0x" + Integer.toHexString(type) + " не рендерится");
|
"метафайл 0x" + Integer.toHexString(type) + " не рендерится");
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
@@ -74,7 +79,7 @@ class OfficeArtTest {
|
|||||||
void pngSignatureRequired() {
|
void pngSignatureRequired() {
|
||||||
byte[] region = region(picf(100, 100, 1000, 1000),
|
byte[] region = region(picf(100, 100, 1000, 1000),
|
||||||
blip(0x6E0, 0xF01E, 16, new byte[] {1, 2, 3, 4, 5, 6, 7, 8, 9}));
|
blip(0x6E0, 0xF01E, 16, new byte[] {1, 2, 3, 4, 5, 6, 7, 8, 9}));
|
||||||
assertNull(OfficeArt.read(region, 0), "recType=PNG без сигнатуры — ложное срабатывание");
|
assertNull(OfficeArt.read(region, 0, MAX_PX), "recType=PNG без сигнатуры — ложное срабатывание");
|
||||||
}
|
}
|
||||||
|
|
||||||
@Test
|
@Test
|
||||||
@@ -82,18 +87,18 @@ class OfficeArtTest {
|
|||||||
byte[] good = region(picf(100, 100, 1000, 1000), blip(0x6E0, 0xF01E, 16, PNG_TINY));
|
byte[] good = region(picf(100, 100, 1000, 1000), blip(0x6E0, 0xF01E, 16, PNG_TINY));
|
||||||
byte[] badCb = good.clone();
|
byte[] badCb = good.clone();
|
||||||
badCb[4] = 0x40; // cbHeader ≠ 0x44 (NilPICFAndBinData — OLE-бинарник)
|
badCb[4] = 0x40; // cbHeader ≠ 0x44 (NilPICFAndBinData — OLE-бинарник)
|
||||||
assertNull(OfficeArt.read(badCb, 0));
|
assertNull(OfficeArt.read(badCb, 0, MAX_PX));
|
||||||
|
|
||||||
byte[] badLcb = good.clone();
|
byte[] badLcb = good.clone();
|
||||||
put32(badLcb, 0, 40); // lcb < PICF_SIZE
|
put32(badLcb, 0, 40); // lcb < PICF_SIZE
|
||||||
assertNull(OfficeArt.read(badLcb, 0));
|
assertNull(OfficeArt.read(badLcb, 0, MAX_PX));
|
||||||
|
|
||||||
assertNull(OfficeArt.read(good, -1), "отрицательный picLocation");
|
assertNull(OfficeArt.read(good, -1, MAX_PX), "отрицательный picLocation");
|
||||||
assertNull(OfficeArt.read(good, good.length - 10), "PICF не влезает в поток");
|
assertNull(OfficeArt.read(good, good.length - 10, MAX_PX), "PICF не влезает в поток");
|
||||||
|
|
||||||
byte[] truncated = new byte[good.length - 1];
|
byte[] truncated = new byte[good.length - 1];
|
||||||
System.arraycopy(good, 0, truncated, 0, truncated.length);
|
System.arraycopy(good, 0, truncated, 0, truncated.length);
|
||||||
assertNull(OfficeArt.read(truncated, 0), "off + lcb за концом потока");
|
assertNull(OfficeArt.read(truncated, 0, MAX_PX), "off + lcb за концом потока");
|
||||||
}
|
}
|
||||||
|
|
||||||
@Test
|
@Test
|
||||||
@@ -104,7 +109,7 @@ class OfficeArtTest {
|
|||||||
}
|
}
|
||||||
put32(region, 0, region.length);
|
put32(region, 0, region.length);
|
||||||
put16(region, 4, 0x44);
|
put16(region, 4, 0x44);
|
||||||
assertNull(OfficeArt.read(region, 0));
|
assertNull(OfficeArt.read(region, 0, MAX_PX));
|
||||||
}
|
}
|
||||||
|
|
||||||
@Test
|
@Test
|
||||||
@@ -119,14 +124,14 @@ class OfficeArtTest {
|
|||||||
System.arraycopy(name, 0, region, picf.length, name.length);
|
System.arraycopy(name, 0, region, picf.length, name.length);
|
||||||
System.arraycopy(blip, 0, region, picf.length + name.length, blip.length);
|
System.arraycopy(blip, 0, region, picf.length + name.length, blip.length);
|
||||||
put32(region, 0, region.length);
|
put32(region, 0, region.length);
|
||||||
assertNotNull(OfficeArt.read(region, 0));
|
assertNotNull(OfficeArt.read(region, 0, MAX_PX));
|
||||||
}
|
}
|
||||||
|
|
||||||
@Test
|
@Test
|
||||||
void pngSizeFallsBackToIhdr() {
|
void pngSizeFallsBackToIhdr() {
|
||||||
// dxaGoal=0 → размер из IHDR @96 dpi: 100×50 px → 1500×750 twips
|
// dxaGoal=0 → размер из IHDR @96 dpi: 100×50 px → 1500×750 twips
|
||||||
byte[] region = region(picf(0, 0, 1000, 1000), blip(0x6E0, 0xF01E, 16, PNG_TINY));
|
byte[] region = region(picf(0, 0, 1000, 1000), blip(0x6E0, 0xF01E, 16, PNG_TINY));
|
||||||
OfficeArt.Picture pic = OfficeArt.read(region, 0);
|
OfficeArt.Picture pic = OfficeArt.read(region, 0, MAX_PX);
|
||||||
assertNotNull(pic);
|
assertNotNull(pic);
|
||||||
assertEquals(1500 * 635, pic.cxEmu());
|
assertEquals(1500 * 635, pic.cxEmu());
|
||||||
assertEquals(750 * 635, pic.cyEmu());
|
assertEquals(750 * 635, pic.cyEmu());
|
||||||
@@ -136,7 +141,7 @@ class OfficeArtTest {
|
|||||||
void dibReencodedToPng() {
|
void dibReencodedToPng() {
|
||||||
byte[] dib = dib24();
|
byte[] dib = dib24();
|
||||||
byte[] region = region(picf(100, 100, 1000, 1000), blip(0x6E4, 0xF01F, 16, dib));
|
byte[] region = region(picf(100, 100, 1000, 1000), blip(0x6E4, 0xF01F, 16, dib));
|
||||||
OfficeArt.Picture pic = OfficeArt.read(region, 0);
|
OfficeArt.Picture pic = OfficeArt.read(region, 0, MAX_PX);
|
||||||
assertNotNull(pic, "DIB обязан перекодироваться в PNG");
|
assertNotNull(pic, "DIB обязан перекодироваться в PNG");
|
||||||
assertEquals("png", pic.extension());
|
assertEquals("png", pic.extension());
|
||||||
assertEquals((byte) 0x89, pic.data()[0]);
|
assertEquals((byte) 0x89, pic.data()[0]);
|
||||||
@@ -147,7 +152,26 @@ class OfficeArtTest {
|
|||||||
void truncatedDib_null() {
|
void truncatedDib_null() {
|
||||||
byte[] region = region(picf(100, 100, 1000, 1000),
|
byte[] region = region(picf(100, 100, 1000, 1000),
|
||||||
blip(0x6E4, 0xF01F, 16, new byte[20]));
|
blip(0x6E4, 0xF01F, 16, new byte[20]));
|
||||||
assertNull(OfficeArt.read(region, 0));
|
assertNull(OfficeArt.read(region, 0, MAX_PX));
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Raster bomb: BITMAPINFOHEADER объявляет 50000×50000 — отказ по площади
|
||||||
|
* ДО ImageIO.read (растр аллоцируется по заголовку и бросает
|
||||||
|
* OutOfMemoryError, который местный catch не ловит).
|
||||||
|
* Регрессия — OfficeArt#dibToPng (порог-параметр maxPixels).
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void oversizedDib_null() {
|
||||||
|
ByteBuffer buf = ByteBuffer.allocate(40 + 16).order(ByteOrder.LITTLE_ENDIAN);
|
||||||
|
buf.putInt(40).putInt(50000).putInt(50000).putShort((short) 1).putShort((short) 24)
|
||||||
|
.putInt(0).putInt(0).putInt(0).putInt(0).putInt(0).putInt(0);
|
||||||
|
for (int i = 0; i < 16; i++) {
|
||||||
|
buf.put((byte) 0);
|
||||||
|
}
|
||||||
|
byte[] region = region(picf(100, 100, 1000, 1000),
|
||||||
|
blip(0x6E4, 0xF01F, 16, buf.array()));
|
||||||
|
assertNull(OfficeArt.read(region, 0, MAX_PX), "DIB с завышенной площадью обязан пропускаться");
|
||||||
}
|
}
|
||||||
|
|
||||||
@Test
|
@Test
|
||||||
@@ -158,7 +182,7 @@ class OfficeArtTest {
|
|||||||
System.arraycopy(picf, 0, region, 0, picf.length);
|
System.arraycopy(picf, 0, region, 0, picf.length);
|
||||||
System.arraycopy(blip, 0, region, picf.length, blip.length);
|
System.arraycopy(blip, 0, region, picf.length, blip.length);
|
||||||
put32(region, 0, picf.length + 4); // lcb обрезает BLIP-область
|
put32(region, 0, picf.length + 4); // lcb обрезает BLIP-область
|
||||||
assertNull(OfficeArt.read(region, 0), "cb за пределами lcb — не картинка");
|
assertNull(OfficeArt.read(region, 0, MAX_PX), "cb за пределами lcb — не картинка");
|
||||||
}
|
}
|
||||||
|
|
||||||
// --- конструкторы крафтовых областей -------------------------------
|
// --- конструкторы крафтовых областей -------------------------------
|
||||||
|
|||||||
@@ -109,6 +109,23 @@ class PrcDataTest {
|
|||||||
assertEquals(0, PrcData.resolve(d.bytes, ptr(0x6646, d.at[0])).length);
|
assertEquals(0, PrcData.resolve(d.bytes, ptr(0x6646, d.at[0])).length);
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Бюджет на документ: исчерпанный — цепочка не разворачивается (массив
|
||||||
|
* возвращается как есть — та же «снисходительность», что для брака);
|
||||||
|
* с запасом — разворачивается и списывается размер результата.
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void documentBudgetExhaustedStopsExpansion() {
|
||||||
|
DataStream d = data(at -> inTable());
|
||||||
|
byte[] withPtr = concat(ptr(0x6646, d.at[0]), prl(0x2461, 2));
|
||||||
|
long[] empty = {0};
|
||||||
|
assertSame(withPtr, PrcData.resolve(d.bytes, withPtr, empty));
|
||||||
|
long[] roomy = {1024};
|
||||||
|
byte[] expanded = PrcData.resolve(d.bytes, concat(ptr(0x6646, d.at[0])), roomy);
|
||||||
|
assertArrayEquals(inTable(), expanded);
|
||||||
|
assertEquals(1024 - inTable().length, roomy[0], "бюджет обязан списываться на размер результата");
|
||||||
|
}
|
||||||
|
|
||||||
@Test
|
@Test
|
||||||
void missingDataStream_keepsForeignPrls() {
|
void missingDataStream_keepsForeignPrls() {
|
||||||
assertArrayEquals(prl(0x2461, 2),
|
assertArrayEquals(prl(0x2461, 2),
|
||||||
|
|||||||
@@ -18,6 +18,11 @@ RUN npm run build
|
|||||||
|
|
||||||
FROM docker.io/library/nginx:alpine
|
FROM docker.io/library/nginx:alpine
|
||||||
COPY --from=build /build/dist /usr/share/nginx/html
|
COPY --from=build /build/dist /usr/share/nginx/html
|
||||||
|
# Собственный конфиг вместо дефолтного nginx:alpine: security-заголовки
|
||||||
|
# (CSP/nosniff/XFO/Referrer-Policy) и try_files-fallback SPA-роутинга.
|
||||||
|
# Без этой строки файл в репо — декорация: дефолтный default.conf из образа
|
||||||
|
# не несёт ни заголовков, ни fallback.
|
||||||
|
COPY nginx.conf /etc/nginx/conf.d/default.conf
|
||||||
# прокси-переменные хоста подмешиваются в HEALTHCHECK-шелл — обнуляем на команде
|
# прокси-переменные хоста подмешиваются в HEALTHCHECK-шелл — обнуляем на команде
|
||||||
HEALTHCHECK --interval=10s --timeout=3s --start-period=10s \
|
HEALTHCHECK --interval=10s --timeout=3s --start-period=10s \
|
||||||
CMD HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= wget -qO /dev/null http://127.0.0.1/ || exit 1
|
CMD HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= wget -qO /dev/null http://127.0.0.1/ || exit 1
|
||||||
|
|||||||
@@ -2,5 +2,19 @@ server {
|
|||||||
listen 80;
|
listen 80;
|
||||||
root /usr/share/nginx/html;
|
root /usr/share/nginx/html;
|
||||||
index index.html;
|
index index.html;
|
||||||
|
|
||||||
|
# Security-заголовки (always — чтобы ехали и на 4xx/5xx). CSP: SPA —
|
||||||
|
# только собственные скрипты/стили (Vite-сборка, внешних CDN нет),
|
||||||
|
# запросы — на свой origin (/api через шлюз), предпросмотр PDF —
|
||||||
|
# blob: в iframe (PdfPreview.tsx), inline style-атрибуты React'а
|
||||||
|
# требуют 'unsafe-inline' в style-src.
|
||||||
|
add_header X-Content-Type-Options "nosniff" always;
|
||||||
|
add_header X-Frame-Options "DENY" always;
|
||||||
|
add_header Referrer-Policy "no-referrer" always;
|
||||||
|
add_header Content-Security-Policy "default-src 'self'; script-src 'self'; style-src 'self' 'unsafe-inline'; img-src 'self' data: blob:; frame-src blob:; connect-src 'self'; base-uri 'self'; form-action 'self'; object-src 'none'" always;
|
||||||
|
# XFO не конфликтует с blob-iframe предпросмотра: он ограничивает
|
||||||
|
# встраивание ОТВЕТА этого сервера в чужие страницы; предпросмотр
|
||||||
|
# встраивает blob-URL, на который заголовок не ставится.
|
||||||
|
|
||||||
location / { try_files $uri $uri/ /index.html; }
|
location / { try_files $uri $uri/ /index.html; }
|
||||||
}
|
}
|
||||||
|
|||||||
Reference in New Issue
Block a user