Compare commits
2 Commits
main
...
bd43d0d80d
| Author | SHA1 | Date | |
|---|---|---|---|
| bd43d0d80d | |||
| 96865daef4 |
@@ -2,7 +2,7 @@
|
||||
|
||||
## Project Overview
|
||||
|
||||
Конвертер `.docx` → `.pdf` на чистом Java (docx4j 17.3.2 + форк Apache FOP, без LibreOffice/Aspose). Java 21, только Maven. Модули: `wordpdf-core` (библиотека), `wordpdf-app` (Spring Boot 4.1.1 REST API); `wordpdf-web` — React SPA в nginx-контейнере (отдельный деп, вне Maven). Единственный гейт перед `git push` — `mvn clean verify` (CI нет; SPA гейтуется `npm run build` + `npm run lint`). Вход стека — контейнер `gateway` (nginx), НЕ 8080. README устарел шире секции про контейнеры: лимиты (пишет 5 МБ/100 стр. — совпадает с кодом; 6 МБ multipart — фактически 100 MB), порты («всё на :8080» — фактически gateway :9010/:9011), API-ключ вообще не упомянут; плюс «фикстуры генерируются POI» (они закоммичены, POI только в генераторе) и Swagger UI без оговорки, что в проде она открыта без ключа, — авторитет этот файл.
|
||||
Конвертер `.docx`/`.doc` → `.pdf` на чистом Java (docx4j 17.3.2 + форк Apache FOP; бинарный `.doc` Word 97-2003 — через POI HWPF, без LibreOffice/Aspose). Java 21, только Maven. Модули: `wordpdf-core` (библиотека), `wordpdf-app` (Spring Boot 4.1.1 REST API); `wordpdf-web` — React SPA в nginx-контейнере (отдельный деп, вне Maven). Единственный гейт перед `git push` — `mvn clean verify` (CI нет; SPA гейтуется `npm run build` + `npm run lint`). Вход стека — контейнер `gateway` (nginx), НЕ 8080. README устарел шире секции про контейнеры: лимиты (пишет 5 МБ/100 стр. — совпадает с кодом; 6 МБ multipart — фактически 100 MB), порты («всё на :8080» — фактически gateway :9010/:9011), API-ключ вообще не упомянут; плюс «фикстуры генерируются POI» (они закоммичены, POI только в генераторе) и Swagger UI без оговорки, что в проде она открыта без ключа, — авторитет этот файл.
|
||||
|
||||
## Architecture & Data Flow
|
||||
|
||||
@@ -10,6 +10,8 @@
|
||||
|
||||
Наружу `WordPdfValidator.validate(docxBytes, options)` (размер → zip-подпись `PK\x03\x04` → страницы) вызывается **до** приватного `convertToStream`; внутри `convertToStream`:
|
||||
|
||||
**Шаг 0**: вход с OLE2-магиком `D0 CF 11 E0 A1 B1 1A E1` (бинарный `.doc`) уходит в `internal.DocToPdfRenderer.render` **до** создания `BundledFontMapper` — docx4j-машинерия и все нормализаторы (zip-путь) для него бессмысленны; см. «Ветка .doc» ниже.
|
||||
|
||||
1. `new BundledFontMapper()` → `BundledFonts.init()` → `BundledFonts.restrictToBundled()`. Конструктор маппера каждый раз добавляет системные шрифты в реестр `PhysicalFonts`; ключ реестра — имя из name-таблицы TTF, `addPhysicalFont(URI)` не перезаписывает занятый → `init()` вызывает `dropNonBundled()` **до** регистрации и `load()` (иначе системный Calibri ломает em-dash-fallback).
|
||||
2. Нормализация байтов docx до JAXB-загрузки (цепочка `byte[] → byte[]`, порядок значим): `StrictOoxmlNormalizer` (strict-OOXML → transitional-байт: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`, элементы и атрибуты `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml), значения `start`/`end` у `w:jc`/`w:tab`; в `mc-preprocessor.xslt` docx4j ветка `%` закомментирована, start/end не маппятся; namespaces и `pt`-значения правит сам mc-preprocessor — собственный рерайт URI ломает его pt-конверсию) → `DocxOnOffNormalizer` (`w:val="off"/"on"` → `false`/`true`) → `SymbolFontNormalizer` (PUA U+F0xx Symbol/Wingdings/Webdings → Unicode + DejaVu Sans, переписывает и элементы `<w:sym>`; 5 карт по 256 слотов, таблица `SymbolMapper` сгенерирована из docx4j 17.x) → `FieldNormalizer` (`fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple`, вложенные/битые поля пропускает) → `GlyphCoverageNormalizer` (режет ран по покрытию глифов, пишет семейство в `w:rFonts`, иначе FOP рисует «#»; покрытие — `java.awt.Font.canDisplay` + BitSet-кэш, НЕ docx4j `GlyphCheck` — тот плодит INFO-лог; для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (DejaVu Serif/Tinos/Caladea), затем в sans) → `WordprocessingMLPackage.load`.
|
||||
3. `WordPdfValidator.checkPageCount(docxBytes, maxPages)` — **до** рендера, lightweight (zip/StAX) по нормализованным байтам — тот же путь, что у приложения до очереди.
|
||||
@@ -17,11 +19,15 @@
|
||||
5. `new FOSettings(pkg)` + `FopFallbackFonts.declare` (декларирует **все** бандл-семейства — FOP встраивает только задекларированные) → `FORendererApacheFOP`/`FOUserAgent` (непустой `title` → заголовок PDF) → `Docx4J.toFO(..., FLAG_EXPORT_PREFER_XSL)`.
|
||||
6. `finally`: `deleteEmbeddedFontTempFiles()` (в 17.x `OpcPackage.close()` нет).
|
||||
|
||||
### Ветка `.doc` (`internal/DocToPdfRenderer`, public только `render`)
|
||||
|
||||
POI `WordToFoConverter` (HWPF→XSL-FO) → тот же FOP-форк. Порядок: `BundledFonts.init()` (без `restrictToBundled` — FOP-конфиг строится строкой с `auto-detect="false"`, системные шрифты в рендер не попадают) → `POIFSFileSystem`/`HWPFDocument` → `FontReplacer` (имя = name-таблица TTF через `BundledFontMapper.bundledFamily`) → `PicturesManager` во временный каталог (без него POI **молча пропускает** картинки; пустые картинки — `null`, иначе FOP падает EOFException) → `processDocument` → пост-обработка FO-DOM: `applyDefaultFont` (инлайны POI без `font-family` — иначе базовый Helvetica) и `injectHeadersAndFooters` (POI колонтитулы не пишет): `HeaderStories` odd/even/first × header/footer, чанки по `\u000c`; в мастер — `region-before`/`region-after` (`extent` = top/bottom margin из `margin`-шортхэнда `region-body`, **margin'ы `region-body` сохраняются** — форк FOP не вычитает extent'ы регионов из body-области, единственная защита от наезда текста на колонтитулы — собственные margin'ы body; порядок детей body→before→after — требование валидации форка; зазор — маргинами блоков, padding регионов FOP валит), в `page-sequence` — `fo:static-content` перед `fo:flow`; first/even — эвристика «непустая история ⇒ вариант» (флаги titlePg/evenAndOdd POI не отдаёт) через `fo:page-sequence-master` + `conditional-page-master-reference` first/even/rest. Поля в текстах историй — управляющие символы `\u0013/\u0014/\u0015`: `PAGE` → `fo:page-number`, `NUMPAGES`/`SECTIONPAGES` → `fo:page-number-citation-last` по последнему мастеру; `fo:page-number` без `font-family` блока рисуется Helvetica — блок получает семейство первого рана. Свойство `tabs` FOP-форк не знает — табы = пробелы до дефолтной остановки 1,25 см. Принятая деградация против Word: дрейф вёрстки (18 стр. против 12 на фикстуре), экзотические глифы остаются `.notdef` (аналога `GlyphCoverageNormalizer` нет), first/even-варианты эвристикой. Флаги `renderCharts`/`renderSmartArt`/`errorOn*` — no-op.
|
||||
|
||||
### REST API (`wordpdf-app`, всё package-private кроме `WordPdfApplication`)
|
||||
|
||||
- Единственный эндпоинт `POST /api/v1/convert` (multipart-поле `file`, факультативные `renderCharts`/`renderSmartArt` — query или form) → `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка `.docx`-расширения — в `ConvertController`; `safeBaseName` в `ConversionService` — единый источник имени для файла, заголовка ответа и PDF-title (разрешены `[\p{L}\p{N} ._-]`, пустое → `document`).
|
||||
- Единственный эндпоинт `POST /api/v1/convert` (multipart-поле `file`, факультативные `renderCharts`/`renderSmartArt` — query или form) → `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка расширений `.docx`/`.doc` — в `ConvertController`; `safeBaseName` в `ConversionService` — единый источник имени для файла, заголовка ответа и PDF-title (разрешены `[\p{L}\p{N} ._-]`, пустое → `document`). Для `.doc` ответ несёт `X-Wordpdf-Degraded: headers-footers-exotic-glyphs` (деградация вёрстки/колонтитулов/экзотических глифов).
|
||||
- Конвертации **сериализованы** однопоточным `ThreadPoolExecutor` (`ConversionService.QUEUE_CAPACITY = 16`, переполнение → 503): ядро мутирует глобальный реестр `PhysicalFonts`. `future.cancel(true)` при таймауте не останавливает FOP мгновенно — осознанный компромисс.
|
||||
- Ошибки (`ApiExceptionHandler`, тело `{"error": …}`): `ValidationException` → 400; `ConversionFailedException` → 500; `ConversionRejectedException` → 503; `ConversionTimeoutException` (`wordpdf.convert-timeout`, 2m) → 504; `MaxUploadSizeExceededException` → 413; `MissingServletRequestPartException`/`MissingServletRequestParameterException` → 400; `NoResourceFoundException` (неизвестный путь) → 404; catch-all → 500 (подробности только в лог). `ValidationException` — тип ядра `ru.pjandro.wordpdf.ValidationException extends ConversionException` (публичный), валидатор бросает его сам, app-дубликата нет; три app-исключения (`ConversionFailedException`, `ConversionRejectedException`, `ConversionTimeoutException`) — package-private, несут семантику 500/503/504. `doConvert` перехватывает `ValidationException` раньше `ConversionException` — отказ страницы-лимита из конвейера ядра даёт 400, а не 500. Граница: сломанный контейнер (не zip / размер / страницы) → 400, валидный zip с мусором внутри → 500. Валидация до очереди: `WordPdfValidator.validate(docxBytes, options)` (внутри порядок значим: `checkInput` → zip-магик `PK\x03\x04` → `checkPageCount`); тот же метод — вход ядра.
|
||||
- Ошибки (`ApiExceptionHandler`, тело `{"error": …}`): `ValidationException` → 400; `ConversionFailedException` → 500; `ConversionRejectedException` → 503; `ConversionTimeoutException` (`wordpdf.convert-timeout`, 2m) → 504; `MaxUploadSizeExceededException` → 413; `MissingServletRequestPartException`/`MissingServletRequestParameterException` → 400; `NoResourceFoundException` (неизвестный путь) → 404; catch-all → 500 (подробности только в лог). `ValidationException` — тип ядра `ru.pjandro.wordpdf.ValidationException extends ConversionException` (публичный), валидатор бросает его сам, app-дубликата нет; три app-исключения (`ConversionFailedException`, `ConversionRejectedException`, `ConversionTimeoutException`) — package-private, несут семантику 500/503/504. `doConvert` перехватывает `ValidationException` раньше `ConversionException` — отказ страницы-лимита из конвейера ядра даёт 400, а не 500. Граница: сломанный контейнер (не zip / не OLE2 / размер / страницы) → 400, валидный контейнер с мусором внутри → 500. Валидация до очереди: `WordPdfValidator.validate(docxBytes, options)` (внутри порядок значим: `checkInput` → подпись контейнера (zip `PK\x03\x04` **или** OLE2 `D0 CF 11 E0`) → страницы); тот же метод — вход ядра.
|
||||
- **Ключ доступа**: `ApiKeyFilter` сверяет заголовок `X-API-Key` (`ApiKeyFilter.HEADER`) со свойством `wordpdf.api-key` (env `WORDPDF_API_KEY`, сравнение `MessageDigest.isEqual`). Пустое свойство = аутентификация выключена (dev `java -jar`, тесты). Без ключа открыты `/actuator/**` (HEALTHCHECK) и документация springdoc (`/swagger-ui*`, `/v3/api-docs*`) — матч по пути **без forwarded-contextPath** (`getRequestURI()` минус `getContextPath()`; иначе под `X-Forwarded-Prefix` HEALTHCHECK получил бы 401). 401 пишет сам фильтр (`ApiExceptionHandler` ошибок фильтров не видит). Springdoc в проде **включён**, документация открыта без ключа под `https://pjandro.ru/pdf-converter/swagger-ui.html` (server-URL/swagger-config собираются из `X-Forwarded-*`, `server.forward-headers-strategy=framework` — `native`-клапан Tomcat `X-Forwarded-Prefix` не понимает). Регрессии — `ApiKeyFilterTest#forwardedPrefix_healthStaysOpen`, `ApiKeyFilterTest#docsOpenWithoutKey`.
|
||||
- Лимиты входа задаёт **только конфигурация сервера**: `wordpdf.max-bytes`/`wordpdf.max-pages` (env `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`), `@Value` в `ConvertController` с дефолтом-SpEL из `WordPdfSettings` (5 MiB / 100); значение ≤ 0 → `IllegalStateException` на старте; параметрами запроса не переопределяются. Ключи в `application.properties` **не объявлены** — пустое значение затенит SpEL-дефолт.
|
||||
- SPA: вся сеть в `src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), при 401 очищается, экран `ApiKeyGate` (`UnauthorizedError` — наследник `ApiError`, проверяется раньше); гейт показывается только когда `probeApiKey()` (GET /api/v1/convert → 401 от `ApiKeyFilter`) подтвердил требование ключа — в dev без ключа форма открывается сразу; запросы на `${import.meta.env.BASE_URL}api/...` (vite `base` из `VITE_BASE`, дефолт `/`) — CORS не нужен (dev: vite-proxy → :8080; prod: nginx с префиксом `/pdf-converter/`).
|
||||
@@ -35,7 +41,9 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|
||||
- `docx4j.convert.out.fo.gsubFeatures=false` — static-блок `WordPdfConverter`. Иначе FO невалиден → `WordLayoutFixups` молча отказывает всем фиксам (без них нет колонок) → FOP падает на `docx4j-baseline`.
|
||||
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`). Приложение исключает его из зависимости ядра — логи ведёт logback.
|
||||
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.2 (пакеты `org.apache.fop.*`); `Fop.Renderers.getRenderer()` возвращает **список** (рендер выбирается по mime `application/pdf`). `docx2fo.xslt` в репозитории нет — он в jar `docx4j-export-fo`.
|
||||
- Форк FOP вырезал `PageMaster.setupRegions` (в jar нет `layoutmgr/PageMaster*`/`RegionXY`): `area.Page` строит viewport `region-body` как page-area минус **собственные** margin'ы body, `extent` у `region-before`/`region-after` body-регион не уменьшает — в `.doc`-ветке разводка body и колонтитулов только margin'ами `region-body` (регрессия `DocToPdfTest#legacyDoc_bodyClearsHeaderFooterRegions`). Docx-ветку не касается: docx4j сам закладывает высоты колонтитулов в margin'ы мастера.
|
||||
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `sectPr` в body + `w:br type="page"` + `pageBreakBefore` (включая таблицы и `w:sdt`). Единственный путь — lightweight (StAX по zip, secure-ридер без DTD/external entities; JAXB-обход удалён — `WordPdfValidator` не зависит от docx4j): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитулах — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy-значения `val`: `null|true|1|on`); на не-zip молчит — подпись проверяет вызывающий. Все отказы — `ValidationException`.
|
||||
- `.doc`: `checkDocPageCountLightweight` = кэш `SummaryInformation.getPacket().getPageCount()` (Word 97-2003 писал число страниц в OLE2-метаданные; явных разрывов из FIB не извлечь) — тот же stale-cache риск, что и `docProps/app.xml`; `0`/отсутствие пакета → молча. FOP-конфиг `.doc`-ветки — строка с `auto-detect="false"` + `resource://fonts/...` (классы `FOPFontProvider`/`FopConfParser` package-private, JAXB-обход `rendererFonts` к ним не применим). Кэш шрифтов отключён (`FOUserAgent.getFontManager().disableFontCache()` в `renderFo`): дефолт форка — `<user.home>/.fop/fop-fonts.cache`, а при непригодном `user.home` (null/несуществующий каталог — non-root контейнер без HOME) файл `.fop` в текущем каталоге, `/app` в образе не пишется → 500 на `.doc` (регрессия `DocToPdfTest#legacyDoc_fontCacheNotWrittenToWorkingDir`).
|
||||
- Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно).
|
||||
- Внимательно: комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.2 (описанное поведение верно).
|
||||
|
||||
@@ -47,12 +55,12 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|
||||
|
||||
|Путь|Назначение|
|
||||
|---|---|
|
||||
|`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API: `WordPdfConverter`, `WordPdfValidator` (перегрузки `checkInput`/`checkPageCount` — `byte[]`, с лимитом/без, и `validate(byte[], ConvertOptions)` — полная цепочка размер → zip-подпись → страницы; без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `WordPdfSettings` (константы-дефолты), `ConvertOptions` (record: renderCharts, renderSmartArt, maxBytes, maxPages)|
|
||||
|`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API: `WordPdfConverter`, `WordPdfValidator` (перегрузки `checkInput`/`checkPageCount` — `byte[]`, с лимитом/без, `checkDocPageCountLightweight` — OLE2-`.doc`, и `validate(byte[], ConvertOptions)` — полная цепочка размер → подпись контейнера (zip/OLE2) → страницы; без зависимости от docx4j — только POI для `.doc`), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `WordPdfSettings` (константы-дефолты), `ConvertOptions` (record: renderCharts, renderSmartArt, maxBytes, maxPages)|
|
||||
|`…/wordpdf/fonts/`|`BundledFonts` (реестр/выгрузка TTF, `families()`, `FALLBACK_FAMILY`), `BundledFontMapper` (алиасы MS→open-source, self-map, DISPLAY_NAMES, public-хук `bundledFamily`)|
|
||||
|`…/wordpdf/internal/`|5 байтовых нормализатора + `FopFallbackFonts` (классы `public` — вызываются из родительского пакета; публичные члены только `normalize`/`declare`)|
|
||||
|`…/wordpdf/internal/`|5 байтовых нормализатора + `FopFallbackFonts` + `DocToPdfRenderer` (ветка `.doc`; классы `public` — вызываются из родительского пакета; публичные члены только `normalize`/`declare`/`render`)|
|
||||
|`…/wordpdf/internal/chart/`|11 классов Java2D-рендера диаграмм/SmartArt в PNG (public только `DrawingPreRenderer`)|
|
||||
|`wordpdf-core/src/main/resources/fonts/`|30 TTF + 3 лицензии — бинарные фикстуры, часть jar|
|
||||
|`wordpdf-core/src/test/resources/samples/`|11 закоммиченных `.docx`-фикстур (единственные фикстуры)|
|
||||
|`wordpdf-core/src/test/resources/samples/`|12 закоммиченных фикстур: 11 `.docx` + `legacy-doc.doc` (OLE2, ветка `.doc`)|
|
||||
|`wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/`|REST API (10 классов): `WordPdfApplication` (единственный public), `ConvertController`, `ConversionService` (очередь), `ApiExceptionHandler`, `ApiKeyFilter`, `OpenApiConfig` (`@SecurityScheme` X-API-Key для springdoc) + 4 класса исключений|
|
||||
|`wordpdf-web/src/`|SPA (React 19 + TS + Vite + Tailwind): `api.ts` (вся сеть), `components/` (App, ApiKeyGate, PdfPreview, StatusMessage, DropZone, Logo)|
|
||||
|корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf`|образ бэкенда (multi-stage maven:3.9-temurin-21 → temurin-21-jre, non-root, HEALTHCHECK actuator); compose app+web+gateway: web-образ со своим HEALTHCHECK (`wget /`), в обоих compose `depends_on web: condition: service_healthy` (без health web gateway не стартует); прод-compose интерполирует `WORDPDF_MAX_BYTES:-5242880`/`WORDPDF_MAX_PAGES:-100`; podman-специфика обоих compose: `x-podman.name_separator_compat` (docker-style имена контейнеров), явные `healthcheck` app/web (дубли Containerfile-HEALTHCHECK — OCI-выгрузка его теряет), зафиксированная подсеть `10.113.0.0/24` gw `10.113.0.1` под резолвер aardvark-dns; два repo-стенда одновременно не поднять (общая подсеть)|
|
||||
@@ -74,7 +82,7 @@ npm run build # (wordpdf-web/) tsc -b && vite build
|
||||
podman-compose -f compose.dev.yml up -d --build # dev-стенд: http://<LAN-IP хоста>:9011 (0.0.0.0), без ключа, springdoc вкл
|
||||
```
|
||||
|
||||
Пересоздать 10 фикстур (POI, test scope; `charts-smartart.docx` НЕ генерируется — создана вручную, не перезаписывать):
|
||||
Пересоздать 10 фикстур (POI, test scope; `charts-smartart.docx` и `legacy-doc.doc` НЕ генерируются — созданы вручную, не перезаписывать):
|
||||
|
||||
```bash
|
||||
mvn -pl wordpdf-core test-compile -Dmdep.outputFile=/tmp/cp.txt dependency:build-classpath -q
|
||||
@@ -101,7 +109,7 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \
|
||||
- `wordpdf-app/src/main/resources/application.properties` — multipart 100MB (`max-file-size`/`max-request-size` + `file-size-threshold=100MB`, держит файл в памяти; в тон gateway `client_max_body_size 100m`), `wordpdf.convert-timeout=2m`, пустой `wordpdf.api-key`, `server.forward-headers-strategy=framework` (префикс прод-прокси для springdoc) + `springdoc.swagger-ui.persist-authorization=true`; `wordpdf.max-bytes`/`max-pages` здесь намеренно нет.
|
||||
- `wordpdf-app/pom.xml` — `spring-boot-maven-plugin` с **явной** execution `repackage` (в 4.1.1 сам не связывается, jar останется тонким); `slf4j-simple` исключён; `spring-boot-starter-webmvc` (Boot 4: переименован из starter-web) + `spring-boot-starter-actuator` (нужен HEALTHCHECK контейнера `/actuator/health`); тест-зависимости: `spring-boot-webmvc-test` (в Boot 4 автоконфиг MockMvc вынесен из starter-test), test-jar core.
|
||||
- `wordpdf-core/pom.xml` — `maven-jar-plugin` execution `test-jar` (публикует фикстуры для app).
|
||||
- Корневой `pom.xml` — все версии зависимостей (в модулях версии не объявлять): docx4j `17.3.2`, slf4j `2.0.20`, JUnit `6.1.3`, PDFBox `3.0.8` (test), POI `5.5.1` (test, только генератор фикстур), Spring Boot `4.1.1` (BOM-import), springdoc `3.1.1`; pluginManagement: compiler `3.16.0`, surefire `3.6.0` с `-Djava.awt.headless=true`, jar `3.5.1`.
|
||||
- Корневой `pom.xml` — все версии зависимостей (в модулях версии не объявлять): docx4j `17.3.2`, slf4j `2.0.20`, JUnit `6.1.3`, PDFBox `3.0.8` (test), POI `5.5.1` (compile в core — `poi-scratchpad`, ветка `.doc`; test — `poi-ooxml`, генератор фикстур), Spring Boot `4.1.1` (BOM-import), springdoc `3.1.1`; pluginManagement: compiler `3.16.0`, surefire `3.6.0` с `-Djava.awt.headless=true`, jar `3.5.1`.
|
||||
- Корневой `pmd-ruleset.xml` — ruleset PMD (см. Testing & QA): `category/java/codestyle.xml` минус opinionated-правила, `MethodNamingConventions` с `junit5TestPattern` под underscore-имена регрессий, `TooManyStaticImports` до 12, XPath-правило `LiteralFirstInEquals`, unused-правила из `bestpractices.xml`.
|
||||
- `wordpdf-core/src/main/resources/slf4j-simple.properties` — без него предупреждение лезет в PDF.
|
||||
- `gateway/nginx.conf` — единственный вход: `/api/`, `/swagger-ui`, `/v3/api-docs`, `/actuator` → `app:8080`, остальное → `web:80`; `client_max_body_size 100m` (без директивы upload режется HTML-413 шлюза вместо JSON-ошибки API). `wordpdf-web/nginx.conf` — чистая статика с SPA-fallback, `/api` НЕ проксирует.
|
||||
@@ -120,11 +128,11 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \
|
||||
## Testing & QA
|
||||
|
||||
- Гейт `maven-pmd-plugin` 3.28.0 (PMD 7.17) на `verify` для обоих модулей, ruleset `pmd-ruleset.xml` (codestyle без opinionated-правил + unused-правила + XPath `LiteralFirstInEquals` — строковый литерал слева в `equals`/`equalsIgnoreCase`; `junit5TestPattern` разрешает underscore-имена регрессий; `includeTests=true` — тесты сканируются).
|
||||
- 14 тестовых классов / 132 `@Test` (core 11/107, app 3/25). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true` в argLine; только `Assertions` (Mockito/AssertJ не использовать, несмотря на test-classpath Boot; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`); тестовые классы package-private, зеркалят main-пакеты; только `@Test` (+ единственный `@BeforeAll` — warm-up шрифтов в `GlyphCoverageNormalizerTest`).
|
||||
- **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` для текста (пер-странично `setStartPage/setEndPage`), override `processTextPosition` для шрифта конкретного символа (`fontNameOf`), обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`) и счётчика картинок (`imageCount`). Негативные маркеры — регрессии: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`); в `tableImage_tableAndImage` — полное удаление пробелов (docx4j переносит слова в auto-fit таблицах).
|
||||
- 15 тестовых классов / 145 `@Test` (core 12/116, app 3/29). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true` в argLine; только `Assertions` (Mockito/AssertJ не использовать, несмотря на test-classpath Boot; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`); тестовые классы package-private, зеркалят main-пакеты; только `@Test` (+ единственный `@BeforeAll` — warm-up шрифтов в `GlyphCoverageNormalizerTest`).
|
||||
- **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` для текста (пер-странично `setStartPage/setEndPage`), override `processTextPosition` для шрифта конкретного символа (`fontNameOf`), обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`) и счётчика картинок (`imageCount`). Негативные маркеры — регрессии: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`); в `tableImage_tableAndImage` — полное удаление пробелов (docx4j переносит слова в auto-fit таблицах). В `DocToPdfTest` маркер `#` НЕ проверяется: в `.doc`-ветке нет `GlyphCoverageNormalizer`, экзотические глифы легально остаются `.notdef`, а PDFBox «ремонтирует» подмножества установленных в системе шрифтов и извлекает `#` — текст/assertions только по Tinos/Carlito-ранам.
|
||||
- Пиксели (BufferedImage) — только в unit-тестах chart-пейнтеров, допуски 6–10% против эталона Word (`PiePainterTest` аспект h/w=0.585, `assertRatio` отклонение <0.06; `Surface3dPainterTest` `assertRange` ±6 pt для центров силуэта + `assertRatio` допуск 0.10 для геометрических отношений; shading — не допуск, а перцентильные коридоры яркости p5∈[0.74,0.90], median∈[0.90,1.10], p95∈[1.02,1.20]).
|
||||
- Фикстуры — закоммиченные `samples/*.docx` (11; в тестах не генерировать): core грузит classpath-ресурсом → `byte[]`, PDF для PDFBox — временный файл; app читает `/samples/…` из **test-jar core** (classifier `tests`) → `mvn -pl wordpdf-app` без `-am` не соберётся. In-memory docx — `ZipOutputStream` из литеральных XML или POI в `byte[]`. Ключевые: `too-many-pages` (150 явных разрывов → 151), `stale-cache` (кэш `<Pages>1</Pages>` + 110 `lastRenderedPageBreak`), `charts-smartart` (4 растра; SmartArt-одиночка = ровно 2 Image XObject).
|
||||
- Фикстуры — закоммиченные `samples/*` (12: 11 `.docx` + `legacy-doc.doc`; в тестах не генерировать): core грузит classpath-ресурсом → `byte[]`, PDF для PDFBox — временный файл; app читает `/samples/…` из **test-jar core** (classifier `tests`) → `mvn -pl wordpdf-app` без `-am` не соберётся. In-memory docx — `ZipOutputStream` из литеральных XML или POI в `byte[]`. Ключевые: `too-many-pages` (150 явных разрывов → 151), `stale-cache` (кэш `<Pages>1</Pages>` + 110 `lastRenderedPageBreak`), `charts-smartart` (4 растра; SmartArt-одиночка = ровно 2 Image XObject), `legacy-doc.doc` (реальный Word 97-2003: 43 картинки, колонтитулы с PAGE-полем, кэш `Pages=12`).
|
||||
- Юниты нормализаторов работают строками (`rewrite`) + zip'ами из `ZipOutputStream`; обязательные контракты: «нечего менять → тот же массив» (`assertSame` покрыт тестами только у zip-нормализаторов `DocxOnOff`/`SymbolFont`/`StrictOoxml`; у `Field`/`GlyphCoverage` — `rewrite`→`null`) и неприкосновенность частей вне `word/*.xml` (`[Content_Types].xml`). Тесты бьют и в package-private API (`GlyphCoverageNormalizer.split(text, family)`, `ChartSpec.readTitle`).
|
||||
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); три контекста — `ConvertControllerTest` (пустой ключ), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` с лимитами — отдельный класс, не `@Nested`).
|
||||
- Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `StrictOoxmlNormalizerTest`↔`strictOoxml_convertsNotRejected` (+`pageCount_strictBreaksCountedLightweight` — lightweight против strict), `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCount_limitBoundary` 99/100/101, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`, `validate_notAZip`↔`inputNotAZip_rejectedBeforeRender`), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `ChartSpecTest`↔автозаголовки, chart-пейнтеры↔`chartsSmartArt_drawingsBecomeImages` (+`drawingToggles_offRemovesRasters`/`drawingToggles_chartsOffSmartArtOn`); `noLoggingWarningInPdf` — регрессия `slf4j-simple`, `pdfTitle_comesFromParameter` — регрессия PDF-title (юнит-партнёра нет). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed` (гонка реестра `PhysicalFonts`), `corruptNotAZip_rejected`, `junkInsideValidZip_conversionError`, `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `renderFlagsOff_convertsWithoutDrawings`, `cyrillicAndPathInFilename_sanitizedResponseName` (RFC 5987 + path-traversal), `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey` (открытая документация + матч фильтра без forwarded-contextPath).
|
||||
- Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `StrictOoxmlNormalizerTest`↔`strictOoxml_convertsNotRejected` (+`pageCount_strictBreaksCountedLightweight` — lightweight против strict), `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCount_limitBoundary` 99/100/101, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`, `validate_neitherDocxNorDoc`↔`inputNotAZip_rejectedBeforeRender`), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `ChartSpecTest`↔автозаголовки, chart-пейнтеры↔`chartsSmartArt_drawingsBecomeImages` (+`drawingToggles_offRemovesRasters`/`drawingToggles_chartsOffSmartArtOn`), `DocToPdfTest`↔`DocToPdfRenderer` (`legacyDoc_convertsToPdf` — Tinos/Carlito без Helvetica + 43 картинки; `legacyDoc_footersCarryPageNumbers` — инъекция колонтитулов + PAGE; `ole2Junk_rejected`; `legacyDoc_fontCacheNotWrittenToWorkingDir` — кэш шрифтов не в CWD (контейнер: /app не пишется)); `noLoggingWarningInPdf` — регрессия `slf4j-simple`, `pdfTitle_comesFromParameter` — регрессия PDF-title (юнит-партнёра нет). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed` (гонка реестра `PhysicalFonts`), `corruptNotAZip_rejected`, `junkInsideValidZip_conversionError`, `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `renderFlagsOff_convertsWithoutDrawings`, `cyrillicAndPathInFilename_sanitizedResponseName` (RFC 5987 + path-traversal), `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey` (открытая документация + матч фильтра без forwarded-contextPath), `legacyDoc_convertsToPdf` (OLE2-развилка валидации ядра + заголовок `X-Wordpdf-Degraded`).
|
||||
- UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn).
|
||||
|
||||
@@ -85,6 +85,12 @@
|
||||
<artifactId>pdfbox</artifactId>
|
||||
<version>${pdfbox.version}</version>
|
||||
</dependency>
|
||||
<!-- Чтение бинарных .doc (HWPF) и экспорт HWPF->XSL-FO (WordToFoConverter) -->
|
||||
<dependency>
|
||||
<groupId>org.apache.poi</groupId>
|
||||
<artifactId>poi-scratchpad</artifactId>
|
||||
<version>${poi.version}</version>
|
||||
</dependency>
|
||||
<!-- Только для генерации тестовых .docx (одноразово), в рантайм не используется -->
|
||||
<dependency>
|
||||
<groupId>org.apache.poi</groupId>
|
||||
|
||||
@@ -113,6 +113,7 @@ final class ConversionService {
|
||||
}
|
||||
|
||||
/**
|
||||
|
||||
* Тело задачи воркера. Ядро принимает байты — временные файлы не нужны;
|
||||
* имя влияет только на заголовок PDF (параметр {@code title}), потому
|
||||
* санитизировано.
|
||||
@@ -139,7 +140,7 @@ final class ConversionService {
|
||||
/**
|
||||
* Санитизация имени (единый источник для имени файла и Content-Disposition):
|
||||
* без каталога, только буквы/цифры/пробел/ {@code . _ -}, без суффикса
|
||||
* .docx; пустое после очистки → {@code document}. Кириллица разрешена —
|
||||
* .docx/.doc; пустое после очистки → {@code document}. Кириллица разрешена —
|
||||
* на Linux это валидное имя файла, и заголовок PDF остаётся читаемым.
|
||||
*/
|
||||
static String safeBaseName(String original) {
|
||||
@@ -147,8 +148,11 @@ final class ConversionService {
|
||||
: original.substring(Math.max(original.lastIndexOf('/'),
|
||||
original.lastIndexOf('\\')) + 1);
|
||||
base = base.replaceAll("[^\\p{L}\\p{N} ._-]", "");
|
||||
if (base.toLowerCase(Locale.ROOT).endsWith(".docx")) {
|
||||
base = base.substring(0, base.length() - ".docx".length());
|
||||
String lower = base.toLowerCase(Locale.ROOT);
|
||||
String suffix = lower.endsWith(".docx") ? ".docx"
|
||||
: lower.endsWith(".doc") ? ".doc" : null;
|
||||
if (suffix != null) {
|
||||
base = base.substring(0, base.length() - suffix.length());
|
||||
}
|
||||
if (base.isBlank()) {
|
||||
base = "document";
|
||||
|
||||
@@ -12,6 +12,7 @@ import org.springframework.web.bind.annotation.RestController;
|
||||
import org.springframework.beans.factory.annotation.Value;
|
||||
import org.springframework.web.multipart.MultipartFile;
|
||||
import ru.pjandro.wordpdf.ConvertOptions;
|
||||
import ru.pjandro.wordpdf.WordPdfValidator;
|
||||
import ru.pjandro.wordpdf.WordPdfSettings;
|
||||
import ru.pjandro.wordpdf.ValidationException;
|
||||
|
||||
@@ -21,11 +22,12 @@ import java.util.Locale;
|
||||
|
||||
/**
|
||||
* Единственный эндпоинт API: {@code POST /api/v1/convert} — multipart-поле
|
||||
* {@code file} (.docx) → синхронный ответ байтами PDF.
|
||||
* {@code file} (.docx или бинарный .doc) → синхронный ответ байтами PDF.
|
||||
*
|
||||
* <p>Здесь только HTTP-слой: проверка presence/расширения и формирование
|
||||
* {@code Content-Disposition}; проверка содержимого (zip, размер, страницы) —
|
||||
* зона {@link ConversionService#validate}. Ошибки в JSON-ответ переводит
|
||||
* {@code Content-Disposition}; проверка содержимого (подпись контейнера
|
||||
* zip/OLE2, размер, страницы) — зона {@link WordPdfValidator#validate(byte[], ConvertOptions)}.
|
||||
* Ошибки в JSON-ответ переводит
|
||||
* {@link ApiExceptionHandler}. Лимиты входа — только конфигурация сервера
|
||||
* (свойства {@code wordpdf.max-bytes}/{@code wordpdf.max-pages}, env
|
||||
* {@code WORDPDF_MAX_BYTES}/{@code WORDPDF_MAX_PAGES}); параметрами запроса
|
||||
@@ -58,11 +60,14 @@ final class ConvertController {
|
||||
this.maxPages = maxPages;
|
||||
}
|
||||
|
||||
@Operation(summary = "Конвертировать .docx в PDF",
|
||||
@Operation(summary = "Конвертировать .docx или .doc в PDF",
|
||||
description = "renderCharts/renderSmartArt/errorOnCharts/errorOnSmartArt — факультативно, "
|
||||
+ "по умолчанию настройки ядра; render-флаг приоритетнее error-флага. "
|
||||
+ "Лимиты входа (размер/страницы) задаёт только конфигурация сервера "
|
||||
+ "(свойства wordpdf.max-bytes/wordpdf.max-pages), параметрами запроса не переопределяются")
|
||||
+ "(свойства wordpdf.max-bytes/wordpdf.max-pages), параметрами запроса не переопределяются. "
|
||||
+ ".doc (Word 97-2003) конвертируется с деградацией вёрстки: шрифты — аналоги из бандла, "
|
||||
+ "колонтитулы переносятся, диаграммы — как встроенные превью-изображения; "
|
||||
+ "renderCharts/renderSmartArt/errorOn* на .doc не влияют")
|
||||
@SecurityRequirement(name = OpenApiConfig.SCHEME)
|
||||
@PostMapping(
|
||||
path = "/api/v1/convert",
|
||||
@@ -78,9 +83,10 @@ final class ConvertController {
|
||||
throw new ValidationException("Файл не передан (multipart-поле «file» обязательно)");
|
||||
}
|
||||
String name = file.getOriginalFilename();
|
||||
if (name == null || !name.toLowerCase(Locale.ROOT).endsWith(".docx")) {
|
||||
if (name == null || !(name.toLowerCase(Locale.ROOT).endsWith(".docx")
|
||||
|| name.toLowerCase(Locale.ROOT).endsWith(".doc"))) {
|
||||
// расширение проверяется здесь: ядро с байтов его не видит
|
||||
throw new ValidationException("Поддерживается только .docx (без .doc): " + name);
|
||||
throw new ValidationException("Поддерживаются только .docx и .doc: " + name);
|
||||
}
|
||||
byte[] docxBytes;
|
||||
try {
|
||||
@@ -98,9 +104,15 @@ final class ConvertController {
|
||||
ContentDisposition disposition = ContentDisposition.attachment()
|
||||
.filename(ConversionService.safeBaseName(name) + ".pdf", StandardCharsets.UTF_8)
|
||||
.build();
|
||||
return ResponseEntity.ok()
|
||||
ResponseEntity.BodyBuilder response = ResponseEntity.ok()
|
||||
.contentType(MediaType.APPLICATION_PDF)
|
||||
.header(HttpHeaders.CONTENT_DISPOSITION, disposition.toString())
|
||||
.body(pdf);
|
||||
.header(HttpHeaders.CONTENT_DISPOSITION, disposition.toString());
|
||||
if (name.toLowerCase(Locale.ROOT).endsWith(".doc")) {
|
||||
// .doc (не .docx): POI HWPF даёт дрейф вёрстки, колонтитулы —
|
||||
// инъекция в FO-DOM, экзотические глифы остаются .notdef —
|
||||
// клиент обязан знать о деградации (см. internal.DocToPdfRenderer).
|
||||
response = response.header("X-Wordpdf-Degraded", "headers-footers-exotic-glyphs");
|
||||
}
|
||||
return response.body(pdf);
|
||||
}
|
||||
}
|
||||
|
||||
@@ -113,6 +113,7 @@ class ConvertControllerTest {
|
||||
.andExpect(content().contentType(MediaType.APPLICATION_PDF))
|
||||
.andExpect(header().string(HttpHeaders.CONTENT_DISPOSITION,
|
||||
org.hamcrest.Matchers.containsString("filename*=UTF-8''ru-plain.pdf")))
|
||||
.andExpect(header().doesNotExist("X-Wordpdf-Degraded"))
|
||||
.andReturn();
|
||||
byte[] pdf = result.getResponse().getContentAsByteArray();
|
||||
assertTrue("%PDF".equals(new String(pdf, 0, 4, StandardCharsets.US_ASCII)),
|
||||
@@ -326,14 +327,40 @@ class ConvertControllerTest {
|
||||
|
||||
@Test
|
||||
void corruptNotAZip_rejected() throws Exception {
|
||||
// без zip-подписи ZipInputStream молча даёт 0 записей — отсекает
|
||||
// отдельная проверка magic bytes
|
||||
// без подписи контейнера (zip для .docx, OLE2 для .doc) лёгкий
|
||||
// счётчик страниц молчит — отсекает отдельная проверка magic bytes
|
||||
mockMvc.perform(multipart("/api/v1/convert")
|
||||
.file(docx("broken.docx", "это просто текст, не архив"
|
||||
.getBytes(StandardCharsets.UTF_8))))
|
||||
.andExpect(status().isBadRequest())
|
||||
.andExpect(jsonPath("$.error",
|
||||
org.hamcrest.Matchers.containsString("не zip-архив")));
|
||||
org.hamcrest.Matchers.containsString("не похоже на .docx или .doc")));
|
||||
}
|
||||
|
||||
/**
|
||||
* Бинарный .doc проходит тот же эндпоинт: расширение принято, ядро
|
||||
* выбирает POI-ветку по OLE2-магику, ответ несёт заголовок деградации
|
||||
* X-Wordpdf-Degraded (контракт AGENTS.md); у .docx его нет.
|
||||
* Регрессия — ConvertController (расширения + заголовок) +
|
||||
* ConversionService#validate (магик), фикстура /samples/legacy-doc.doc
|
||||
* (test-jar core).
|
||||
*/
|
||||
@Test
|
||||
void legacyDoc_convertsToPdf() throws Exception {
|
||||
MvcResult result = mockMvc.perform(multipart("/api/v1/convert")
|
||||
.file(docx("testDoc.doc", bytes("/samples/legacy-doc.doc"))))
|
||||
.andExpect(status().isOk())
|
||||
.andExpect(content().contentType(MediaType.APPLICATION_PDF))
|
||||
.andExpect(header().string(HttpHeaders.CONTENT_DISPOSITION,
|
||||
org.hamcrest.Matchers.containsString("filename*=UTF-8''testDoc.pdf")))
|
||||
.andExpect(header().string("X-Wordpdf-Degraded",
|
||||
"headers-footers-exotic-glyphs"))
|
||||
.andReturn();
|
||||
byte[] pdf = result.getResponse().getContentAsByteArray();
|
||||
assertTrue("%PDF".equals(new String(pdf, 0, 4, StandardCharsets.US_ASCII)),
|
||||
"тело не начинается с %PDF");
|
||||
String text = norm(pdfText(pdf));
|
||||
assertTrue(text.contains("Нижний колонтитул"), "нет колонтитула: " + text);
|
||||
}
|
||||
|
||||
@Test
|
||||
|
||||
@@ -37,6 +37,13 @@
|
||||
<artifactId>slf4j-simple</artifactId>
|
||||
</dependency>
|
||||
|
||||
<!-- Apache POI HWPF: чтение бинарных .doc (Word 97-2003) и экспорт
|
||||
HWPF->XSL-FO (WordToFoConverter) для ветки .doc. -->
|
||||
<dependency>
|
||||
<groupId>org.apache.poi</groupId>
|
||||
<artifactId>poi-scratchpad</artifactId>
|
||||
</dependency>
|
||||
|
||||
<!-- ============ Тесты ============ -->
|
||||
<dependency>
|
||||
<groupId>org.junit.jupiter</groupId>
|
||||
|
||||
@@ -16,6 +16,7 @@ import ru.pjandro.wordpdf.internal.FieldNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.GlyphCoverageNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.FopFallbackFonts;
|
||||
import ru.pjandro.wordpdf.internal.StrictOoxmlNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.DocToPdfRenderer;
|
||||
import ru.pjandro.wordpdf.internal.SymbolFontNormalizer;
|
||||
|
||||
import java.io.ByteArrayInputStream;
|
||||
@@ -54,8 +55,9 @@ public final class WordPdfConverter {
|
||||
}
|
||||
|
||||
/**
|
||||
* Конвертирует байты .docx в PDF. Работа с файлами — забота вызывающего
|
||||
* (файловое API было здесь раньше; ядро пути не принимает).
|
||||
* Конвертирует байты .docx (или бинарного .doc Word 97-2003 — ветка
|
||||
* выбирается по магическому байту контейнера) в PDF. Работа с файлами — забота
|
||||
* вызывающего (файловое API было здесь раньше; ядро пути не принимает).
|
||||
*
|
||||
* <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера:
|
||||
* {@code null} / размер больше {@link WordPdfSettings#MAX_INPUT_BYTES} / zip-подпись /
|
||||
@@ -114,6 +116,16 @@ public final class WordPdfConverter {
|
||||
*/
|
||||
private static void convertToStream(byte[] rawDocxBytes, String title, ConvertOptions options,
|
||||
OutputStream os) throws Exception {
|
||||
// 0. Бинарный .doc (Word 97-2003, OLE2-контейнер) — отдельная
|
||||
// ветка: docx4j его не читает, нормализаторы (все — по zip-частям
|
||||
// docx) тут бессмысленны. Флаги renderCharts/renderSmartArt/
|
||||
// errorOn* для .doc — no-op: диаграмм как c:chart в .doc нет,
|
||||
// превью встраиваемых объектов приходят картинками через
|
||||
// PicturesManager (см. internal/DocToPdfRenderer).
|
||||
if (isOle2(rawDocxBytes)) {
|
||||
DocToPdfRenderer.render(rawDocxBytes, title, options, os);
|
||||
return;
|
||||
}
|
||||
// 1. Маппер шрифтов. Порядок важен: конструктор запускает
|
||||
// обнаружение системных шрифтов, затем бандл-шрифты из jar
|
||||
// регистрируются поверх них (имеют приоритет).
|
||||
@@ -188,4 +200,13 @@ public final class WordPdfConverter {
|
||||
// пакет загружается в память и ничего не закрывает.
|
||||
}
|
||||
}
|
||||
|
||||
/** Магик OLE2 (CFB): {@code D0 CF 11 E0 A1 B1 1A E1} — контейнер .doc. */
|
||||
private static boolean isOle2(byte[] bytes) {
|
||||
return bytes != null && bytes.length >= 8
|
||||
&& (bytes[0] & 0xFF) == 0xD0 && (bytes[1] & 0xFF) == 0xCF
|
||||
&& (bytes[2] & 0xFF) == 0x11 && (bytes[3] & 0xFF) == 0xE0
|
||||
&& (bytes[4] & 0xFF) == 0xA1 && (bytes[5] & 0xFF) == 0xB1
|
||||
&& (bytes[6] & 0xFF) == 0x1A && (bytes[7] & 0xFF) == 0xE1;
|
||||
}
|
||||
}
|
||||
|
||||
@@ -1,5 +1,7 @@
|
||||
package ru.pjandro.wordpdf;
|
||||
|
||||
import org.apache.poi.hwpf.HWPFDocument;
|
||||
import org.apache.poi.poifs.filesystem.POIFSFileSystem;
|
||||
import javax.xml.stream.XMLInputFactory;
|
||||
import javax.xml.stream.XMLStreamException;
|
||||
import javax.xml.stream.XMLStreamReader;
|
||||
@@ -152,28 +154,85 @@ public final class WordPdfValidator {
|
||||
}
|
||||
|
||||
/**
|
||||
* Полная проверка входа: размер → zip-подпись → число страниц. Порядок
|
||||
* значим: размер — дешёвая, разбор zip без подписи бессмысленен. Лимиты
|
||||
* берутся из {@link ConvertOptions} (переопределение на вызов, см.
|
||||
* {@link ConvertOptions#maxBytes()}, {@link ConvertOptions#maxPages()}).
|
||||
* Полная проверка входа: размер → подпись контейнера (zip или OLE2) →
|
||||
* число страниц. Порядок значим: размер — дешёвая, разбор контейнера без
|
||||
* подписи бессмысленен. Лимиты берутся из {@link ConvertOptions}
|
||||
* (переопределение на вызов, см. {@link ConvertOptions#maxBytes()},
|
||||
* {@link ConvertOptions#maxPages()}).
|
||||
*
|
||||
* <p>Проверка zip-подписи отдельным шагом обязательна:
|
||||
* <p>Проверка подписи отдельным шагом обязательна:
|
||||
* {@code ZipInputStream.getNextEntry()} на не-zip-потоке возвращает
|
||||
* {@code null} молча, и {@link #checkPageCount(byte[], int)} такой вход
|
||||
* не отверг бы (оценка «1 страница»). Регрессия —
|
||||
* {@code WordPdfValidatorTest#validate_notAZip} (на HTTP-границе —
|
||||
* не отверг бы (оценка «1 страница»). Бинарный .doc — не zip, а OLE2
|
||||
* (CFB): для него свой магик и свой счётчик страниц
|
||||
* ({@link #checkDocPageCountLightweight(byte[], int)}). Регрессия —
|
||||
* {@code WordPdfValidatorTest#validate_neitherDocxNorDoc} (на HTTP-границе —
|
||||
* {@code ConvertControllerTest#corruptNotAZip_rejected}).</p>
|
||||
*
|
||||
* @throws ValidationException при {@code null}, превышении {@code options.maxBytes()},
|
||||
* отсутствии zip-подписи, ошибке разбора zip или превышении {@code options.maxPages()}
|
||||
* отсутствии подписи контейнера (ни zip, ни OLE2), ошибке разбора
|
||||
* контейнера или превышении {@code options.maxPages()}
|
||||
*/
|
||||
public static void validate(byte[] docxBytes, ConvertOptions options) throws ValidationException {
|
||||
checkInput(docxBytes, options.maxBytes());
|
||||
if (docxBytes.length < 4 || docxBytes[0] != 'P' || docxBytes[1] != 'K'
|
||||
|| (docxBytes[2] & 0xFF) != 0x03 || (docxBytes[3] & 0xFF) != 0x04) {
|
||||
throw new ValidationException("Содержимое не похоже на .docx (не zip-архив)");
|
||||
boolean zip = docxBytes.length >= 4 && docxBytes[0] == 'P' && docxBytes[1] == 'K'
|
||||
&& (docxBytes[2] & 0xFF) == 0x03 && (docxBytes[3] & 0xFF) == 0x04;
|
||||
boolean ole2 = docxBytes.length >= 8
|
||||
&& (docxBytes[0] & 0xFF) == 0xD0 && (docxBytes[1] & 0xFF) == 0xCF
|
||||
&& (docxBytes[2] & 0xFF) == 0x11 && (docxBytes[3] & 0xFF) == 0xE0
|
||||
&& (docxBytes[4] & 0xFF) == 0xA1 && (docxBytes[5] & 0xFF) == 0xB1
|
||||
&& (docxBytes[6] & 0xFF) == 0x1A && (docxBytes[7] & 0xFF) == 0xE1;
|
||||
if (!zip && !ole2) {
|
||||
throw new ValidationException("Содержимое не похоже на .docx или .doc (ни zip, ни OLE2)");
|
||||
}
|
||||
try {
|
||||
if (zip) {
|
||||
checkPageCount(docxBytes, options.maxPages());
|
||||
} else {
|
||||
checkDocPageCountLightweight(docxBytes, options.maxPages());
|
||||
}
|
||||
} catch (ConversionException e) {
|
||||
// сломанный OLE2-контейнер — некорректный вход (400), как не-zip в zip-ветке
|
||||
throw new ValidationException(e.getMessage(), e);
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Проверяет число страниц бинарного .doc (Word 97-2003) по кэшу
|
||||
* {@code SummaryInformation.PageCount} — аналогу {@code docProps/app.xml}
|
||||
* в docx-пути: Word переписывает его при сохранении, пост-рендерной
|
||||
* проверки нет осознанно (как в docx-ветке — доверяем кэшу до рендера).
|
||||
* Кэш пуст или ноль — проверка пропускается (посчитать дёшево нельзя,
|
||||
* отвергать валидный документ по отсутствию кэша неправильно).
|
||||
*
|
||||
* @throws ConversionException при {@code null}, ошибке разбора OLE2 или превышении {@link WordPdfSettings#MAX_PAGES}
|
||||
*/
|
||||
public static void checkDocPageCountLightweight(byte[] docBytes) throws ConversionException {
|
||||
checkDocPageCountLightweight(docBytes, WordPdfSettings.MAX_PAGES);
|
||||
}
|
||||
|
||||
/**
|
||||
* То же, что {@link #checkDocPageCountLightweight(byte[])}, с явным
|
||||
* лимитом страниц (переопределение на вызов, см. {@link ConvertOptions#maxPages()}).
|
||||
*
|
||||
* @throws ConversionException при {@code null}, ошибке разбора OLE2 или превышении {@code maxPages}
|
||||
*/
|
||||
public static void checkDocPageCountLightweight(byte[] docBytes, int maxPages) throws ConversionException {
|
||||
if (docBytes == null) {
|
||||
throw new ConversionException("Не указаны байты входного .doc");
|
||||
}
|
||||
int pages;
|
||||
try (POIFSFileSystem fs = new POIFSFileSystem(new ByteArrayInputStream(docBytes));
|
||||
HWPFDocument hwpf = new HWPFDocument(fs)) {
|
||||
org.apache.poi.hpsf.SummaryInformation si = hwpf.getSummaryInformation();
|
||||
pages = si == null ? 0 : si.getPageCount();
|
||||
} catch (IOException | RuntimeException e) {
|
||||
throw new ConversionException("Не удалось разобрать байты .doc", e);
|
||||
}
|
||||
if (pages > maxPages) {
|
||||
throw new ConversionException("Документ длиннее " + maxPages
|
||||
+ " страниц: получено не менее " + pages);
|
||||
}
|
||||
checkPageCount(docxBytes, options.maxPages());
|
||||
}
|
||||
|
||||
/** Поставщик потока по имени части zip; null — части нет. */
|
||||
|
||||
@@ -0,0 +1,764 @@
|
||||
package ru.pjandro.wordpdf.internal;
|
||||
|
||||
import org.apache.fop.apps.FOUserAgent;
|
||||
import org.apache.fop.apps.Fop;
|
||||
import org.apache.fop.apps.FopFactory;
|
||||
import org.apache.fop.apps.MimeConstants;
|
||||
import org.apache.poi.hwpf.HWPFDocument;
|
||||
import org.apache.poi.hwpf.converter.FontReplacer;
|
||||
import org.apache.poi.hwpf.converter.PicturesManager;
|
||||
import org.apache.poi.hwpf.converter.WordToFoConverter;
|
||||
import org.apache.poi.hwpf.usermodel.CharacterRun;
|
||||
import org.apache.poi.hwpf.usermodel.HeaderStories;
|
||||
import org.apache.poi.hwpf.usermodel.Paragraph;
|
||||
import org.apache.poi.hwpf.usermodel.PictureType;
|
||||
import org.apache.poi.hwpf.usermodel.Range;
|
||||
import org.apache.poi.poifs.filesystem.POIFSFileSystem;
|
||||
import org.w3c.dom.Document;
|
||||
import org.w3c.dom.Element;
|
||||
import org.w3c.dom.Node;
|
||||
import org.w3c.dom.NodeList;
|
||||
import ru.pjandro.wordpdf.ConversionException;
|
||||
import ru.pjandro.wordpdf.ConvertOptions;
|
||||
import ru.pjandro.wordpdf.fonts.BundledFontMapper;
|
||||
import ru.pjandro.wordpdf.fonts.BundledFonts;
|
||||
|
||||
import javax.xml.parsers.DocumentBuilderFactory;
|
||||
import javax.xml.transform.dom.DOMSource;
|
||||
import javax.xml.transform.sax.SAXResult;
|
||||
|
||||
import java.io.ByteArrayInputStream;
|
||||
import java.io.IOException;
|
||||
import java.io.OutputStream;
|
||||
import java.nio.charset.StandardCharsets;
|
||||
import java.nio.file.Files;
|
||||
import java.nio.file.Path;
|
||||
import java.util.ArrayList;
|
||||
import java.util.Comparator;
|
||||
import java.util.List;
|
||||
import java.util.Locale;
|
||||
import java.util.stream.Stream;
|
||||
|
||||
/**
|
||||
* Рендер бинарного .doc (Word 97-2003, OLE2) в PDF: POI HWPF -> XSL-FO ->
|
||||
* Apache FOP (тот же форк, что в docx-ветке).
|
||||
*
|
||||
* <p>docx4j бинарный формат не читает, HWPF->XWPF конвертера в POI нет —
|
||||
* поэтому для .doc отдельная ветка: {@link WordToFoConverter} строит FO
|
||||
* из HWPF-модели напрямую, а колонтитулы (которые POI в FO не пишет)
|
||||
* дописываются в FO-DOM по {@link HeaderStories}.
|
||||
*
|
||||
* <p>Известная деградация против Word (принята): дрейф вёрстки (FO POI
|
||||
* беднее docx4j-экспорта), шрифты — бандл-аналоги, колонтитулы — по
|
||||
* одной (odd) истории на секцию, first/even-варианты — эвристикой
|
||||
* «непустая история => вариант» (флаги titlePg/evenAndOdd POI не отдаёт).
|
||||
* Флаги {@code renderCharts}/{@code renderSmartArt} для .doc — no-op:
|
||||
* диаграмм как {@code c:chart} в .doc нет, превью встраиваемых объектов
|
||||
* приходят картинками через {@link PicturesManager}.
|
||||
*/
|
||||
public final class DocToPdfRenderer {
|
||||
|
||||
private DocToPdfRenderer() {
|
||||
}
|
||||
|
||||
private static final String FO_NS = "http://www.w3.org/1999/XSL/Format";
|
||||
|
||||
/** Маркеры полей Word в тексте HWPF-ранов. */
|
||||
private static final char FIELD_BEGIN = '\u0013';
|
||||
private static final char FIELD_SEPARATOR = '\u0014';
|
||||
private static final char FIELD_END = '\u0015';
|
||||
/** Маркер конца секции в историях колонтитулов. */
|
||||
private static final char SECTION_END = '\u000c';
|
||||
/** Конец абзаца / конец ячейки таблицы в тексте HWPF. */
|
||||
private static final char PARA_END = '\r';
|
||||
private static final char CELL_END = '\u0007';
|
||||
|
||||
/** Зазор между текстом колонтитула и областью контента. */
|
||||
private static final double REGION_GAP_IN = 0.15;
|
||||
|
||||
|
||||
/**
|
||||
* Полный путь .doc -> PDF в поток. Все ошибки — {@link ConversionException}.
|
||||
*
|
||||
* @param docBytes байты OLE2 (.doc)
|
||||
* @param title заголовок PDF (метаданные); {@code null}/пустая — не задаётся
|
||||
* @param options настройки вызова (для .doc флаги рисования — no-op)
|
||||
* @param out приёмник байтов PDF
|
||||
*/
|
||||
public static void render(byte[] docBytes, String title, ConvertOptions options,
|
||||
OutputStream out) throws ConversionException {
|
||||
Path workDir = null;
|
||||
try {
|
||||
// init() идемпотентен; restrictToBundled() не нужен — FOP-конфиг
|
||||
// строится явно (auto-detect="false"), системные шрифты в него не попадают.
|
||||
BundledFonts.init();
|
||||
workDir = Files.createTempDirectory("wordpdf-doc-");
|
||||
Path picsDir = Files.createDirectory(workDir.resolve("pics"));
|
||||
|
||||
Document foDoc;
|
||||
try (POIFSFileSystem fs = new POIFSFileSystem(new ByteArrayInputStream(docBytes));
|
||||
HWPFDocument hwpf = new HWPFDocument(fs)) {
|
||||
|
||||
DocumentBuilderFactory dbf = DocumentBuilderFactory.newInstance();
|
||||
dbf.setNamespaceAware(true);
|
||||
Document dom = dbf.newDocumentBuilder().newDocument();
|
||||
WordToFoConverter converter = new WordToFoConverter(dom);
|
||||
converter.setFontReplacer(DocToPdfRenderer::replaceFont);
|
||||
converter.setPicturesManager(new TempPictures(picsDir));
|
||||
converter.processDocument(hwpf);
|
||||
foDoc = converter.getDocument();
|
||||
applyDefaultFont(foDoc);
|
||||
|
||||
injectHeadersAndFooters(foDoc, hwpf);
|
||||
}
|
||||
|
||||
renderFo(foDoc, title, workDir, out);
|
||||
} catch (ConversionException e) {
|
||||
throw e;
|
||||
} catch (Exception e) {
|
||||
throw new ConversionException("Не удалось конвертировать документ .doc", e);
|
||||
} finally {
|
||||
if (workDir != null) {
|
||||
deleteRecursively(workDir);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// ==================== Шрифты ====================
|
||||
|
||||
/**
|
||||
* Замена шрифта ранa на бандл-аналог: имя из name-таблицы TTF
|
||||
* regular-варианта (тот же механизм triplet-имён, что в
|
||||
* {@link FopFallbackFonts}) — FO запрашивает именно его.
|
||||
*/
|
||||
private static FontReplacer.Triplet replaceFont(FontReplacer.Triplet t) {
|
||||
String family = BundledFontMapper.bundledFamily(
|
||||
t.fontName == null ? "" : t.fontName);
|
||||
var regular = BundledFonts.regular(family);
|
||||
if (regular != null) {
|
||||
t.fontName = regular.getName();
|
||||
}
|
||||
return t;
|
||||
}
|
||||
|
||||
/** Картинки во временный каталог; FO ссылается на них file:-URI. */
|
||||
private static final class TempPictures implements PicturesManager {
|
||||
private final Path dir;
|
||||
|
||||
TempPictures(Path dir) {
|
||||
this.dir = dir;
|
||||
}
|
||||
|
||||
@Override
|
||||
public String savePicture(byte[] content, PictureType pictureType,
|
||||
String suggestedName, float widthInches, float heightInches) {
|
||||
try {
|
||||
if (content == null || content.length == 0) {
|
||||
// пустой объект (напр. превью удалённого рисунка) — FOP
|
||||
// падает на нём с EOFException, ссылка не нужна
|
||||
return null;
|
||||
}
|
||||
String name = suggestedName == null ? "" :
|
||||
suggestedName.replaceAll("[^A-Za-z0-9._-]", "_");
|
||||
if (name.isEmpty()) {
|
||||
String ext = pictureType == null
|
||||
? PictureType.UNKNOWN.getExtension()
|
||||
: pictureType.getExtension();
|
||||
name = "pic-" + java.util.Arrays.hashCode(content) + "." + ext;
|
||||
}
|
||||
Path file = dir.resolve(name);
|
||||
Files.write(file, content);
|
||||
return file.toUri().toString();
|
||||
} catch (IOException e) {
|
||||
// деградация вместо падения: картинка без ссылки просто исчезнет
|
||||
return null;
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// ==================== Колонтитулы ====================
|
||||
|
||||
/**
|
||||
* POI не пишет колонтитулы в FO. Достаём их из {@link HeaderStories},
|
||||
* разбиваем на чанки по секциям (маркер конца секции {@code \u000c}) и
|
||||
* вставляем в FO-DOM: {@code fo:region-before}/{@code fo:region-after}
|
||||
* в мастер + {@code fo:static-content} в page-sequence.
|
||||
*/
|
||||
private static void injectHeadersAndFooters(Document foDoc, HWPFDocument hwpf) {
|
||||
NodeList sequences = foDoc.getElementsByTagNameNS(FO_NS, "page-sequence");
|
||||
if (sequences.getLength() == 0) {
|
||||
return;
|
||||
}
|
||||
HeaderStories hs = new HeaderStories(hwpf);
|
||||
// Императивный список: javac 21 не выводит T для List.of/Arrays.asList
|
||||
// из вложенных дженерик-аргументов (varargs inference).
|
||||
List<List<List<Paragraph>>> stories = new ArrayList<>();
|
||||
stories.add(chunkBySection(hs.getOddHeaderSubrange(), sequences.getLength()));
|
||||
stories.add(chunkBySection(hs.getEvenHeaderSubrange(), sequences.getLength()));
|
||||
stories.add(chunkBySection(hs.getFirstHeaderSubrange(), sequences.getLength()));
|
||||
stories.add(chunkBySection(hs.getOddFooterSubrange(), sequences.getLength()));
|
||||
stories.add(chunkBySection(hs.getEvenFooterSubrange(), sequences.getLength()));
|
||||
stories.add(chunkBySection(hs.getFirstFooterSubrange(), sequences.getLength()));
|
||||
|
||||
// NUMPAGES/SECTIONPAGES -> citation-last по ПОСЛЕДНЕМУ мастеру
|
||||
// документа: нумерация FOP между page-sequence непрерывна.
|
||||
String lastMaster = ((Element) sequences.item(sequences.getLength() - 1))
|
||||
.getAttribute("master-reference");
|
||||
for (int i = 0; i < sequences.getLength(); i++) {
|
||||
Element seq = (Element) sequences.item(i);
|
||||
String masterName = seq.getAttribute("master-reference");
|
||||
Element master = findMaster(foDoc, masterName);
|
||||
if (master == null) {
|
||||
continue;
|
||||
}
|
||||
String[] margins = parseMarginShorthand(master);
|
||||
if (margins == null) {
|
||||
continue;
|
||||
}
|
||||
|
||||
// Форк FOP (docx4j-fo-renderer) вырезал PageMaster.setupRegions:
|
||||
// viewport region-body = page-area минус СОБСТВЕННЫЕ margin'ы
|
||||
// body, extent'ы region-before/after body не вычитаются. Поэтому
|
||||
// margin'ы region-body (шортхэнд POI = Word-поля) сохраняются —
|
||||
// единственная защита от наезда текста на колонтитулы; extent'ы
|
||||
// регионов только размещают сами колонтитулы.
|
||||
// Порядок детей simple-page-master: body -> before -> after
|
||||
// (требование валидации форка).
|
||||
if (hasText(stories.get(0).get(i))) {
|
||||
appendRegion(master, "region-before", margins[0], "after");
|
||||
insertStaticContent(seq, "xsl-region-before",
|
||||
blocks(foDoc, stories.get(0).get(i), lastMaster), "margin-bottom");
|
||||
}
|
||||
if (hasText(stories.get(3).get(i))) {
|
||||
appendRegion(master, "region-after", margins[2], "before");
|
||||
insertStaticContent(seq, "xsl-region-after",
|
||||
blocks(foDoc, stories.get(3).get(i), lastMaster), "margin-top");
|
||||
}
|
||||
|
||||
// first/even — эвристика: непустая история => вариант существует.
|
||||
boolean hasFirst = hasText(stories.get(2).get(i)) || hasText(stories.get(5).get(i));
|
||||
boolean hasEven = hasText(stories.get(1).get(i)) || hasText(stories.get(4).get(i));
|
||||
if (!hasFirst && !hasEven) {
|
||||
continue;
|
||||
}
|
||||
List<Element> variants = new ArrayList<>();
|
||||
if (hasFirst) {
|
||||
Element clone = (Element) master.cloneNode(true);
|
||||
String name = masterName + "-first";
|
||||
clone.setAttribute("master-name", name);
|
||||
renameRegionFlows(clone, "-first");
|
||||
foDoc.getDocumentElement().insertBefore(clone, master.getNextSibling());
|
||||
if (hasText(stories.get(2).get(i))) {
|
||||
insertStaticContent(seq, "xsl-region-before-first",
|
||||
blocks(foDoc, stories.get(2).get(i), lastMaster), "margin-bottom");
|
||||
}
|
||||
if (hasText(stories.get(5).get(i))) {
|
||||
insertStaticContent(seq, "xsl-region-after-first",
|
||||
blocks(foDoc, stories.get(5).get(i), lastMaster), "margin-top");
|
||||
}
|
||||
variants.add(clone);
|
||||
}
|
||||
if (hasEven) {
|
||||
Element clone = (Element) master.cloneNode(true);
|
||||
String name = masterName + "-even";
|
||||
clone.setAttribute("master-name", name);
|
||||
renameRegionFlows(clone, "-even");
|
||||
foDoc.getDocumentElement().insertBefore(clone, master.getNextSibling());
|
||||
if (hasText(stories.get(1).get(i))) {
|
||||
insertStaticContent(seq, "xsl-region-before-even",
|
||||
blocks(foDoc, stories.get(1).get(i), lastMaster), "margin-bottom");
|
||||
}
|
||||
if (hasText(stories.get(4).get(i))) {
|
||||
insertStaticContent(seq, "xsl-region-after-even",
|
||||
blocks(foDoc, stories.get(4).get(i), lastMaster), "margin-top");
|
||||
}
|
||||
variants.add(clone);
|
||||
}
|
||||
wrapInPageSequenceMaster(foDoc, master, variants);
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* История колонтитулов — конкатенация одноимённых историй всех секций;
|
||||
* конец секции помечен {@code \u000c} в последнем параграфе. Чанков не
|
||||
* столько, сколько секций — деградация: один чанк раздаётся всем.
|
||||
*/
|
||||
private static List<List<Paragraph>> chunkBySection(Range story, int sectionCount) {
|
||||
List<List<Paragraph>> chunks = new ArrayList<>();
|
||||
if (story != null && story.numParagraphs() > 0) {
|
||||
List<Paragraph> current = new ArrayList<>();
|
||||
for (int i = 0; i < story.numParagraphs(); i++) {
|
||||
Paragraph p;
|
||||
String text;
|
||||
try {
|
||||
p = story.getParagraph(i);
|
||||
text = p.text();
|
||||
} catch (RuntimeException e) {
|
||||
continue;
|
||||
}
|
||||
current.add(p);
|
||||
if (text != null && text.indexOf(SECTION_END) >= 0) {
|
||||
chunks.add(current);
|
||||
current = new ArrayList<>();
|
||||
}
|
||||
}
|
||||
if (!current.isEmpty()) {
|
||||
chunks.add(current);
|
||||
}
|
||||
}
|
||||
if (chunks.isEmpty()) {
|
||||
for (int i = 0; i < sectionCount; i++) {
|
||||
chunks.add(null);
|
||||
}
|
||||
} else if (chunks.size() != sectionCount) {
|
||||
List<Paragraph> first = chunks.get(0);
|
||||
chunks = new ArrayList<>();
|
||||
for (int i = 0; i < sectionCount; i++) {
|
||||
chunks.add(first);
|
||||
}
|
||||
}
|
||||
return chunks;
|
||||
}
|
||||
|
||||
private static Element findMaster(Document foDoc, String masterName) {
|
||||
NodeList masters = foDoc.getElementsByTagNameNS(FO_NS, "simple-page-master");
|
||||
for (int i = 0; i < masters.getLength(); i++) {
|
||||
Element m = (Element) masters.item(i);
|
||||
if (masterName.equals(m.getAttribute("master-name"))) {
|
||||
return m;
|
||||
}
|
||||
}
|
||||
return null;
|
||||
}
|
||||
|
||||
/** {@code margin="T R B L"} region-body мастера (шортхэнд POI). */
|
||||
private static String[] parseMarginShorthand(Element master) {
|
||||
Element body = child(master, "region-body");
|
||||
if (body == null) {
|
||||
return null;
|
||||
}
|
||||
String margin = body.getAttribute("margin");
|
||||
if (margin == null) {
|
||||
return null;
|
||||
}
|
||||
String[] parts = margin.trim().split("\\s+");
|
||||
return parts.length == 4 ? parts : null;
|
||||
}
|
||||
|
||||
/**
|
||||
* Регион колонтитула: extent = поле страницы, текст прижат к body
|
||||
* (низ заголовка / верх футера); зазор — маргинами блоков.
|
||||
*/
|
||||
private static Element appendRegion(Element master, String kind, String extent,
|
||||
String displayAlign) {
|
||||
Element region = master.getOwnerDocument().createElementNS(FO_NS, "fo:" + kind);
|
||||
region.setAttribute("extent", extent);
|
||||
region.setAttribute("display-align", displayAlign);
|
||||
master.appendChild(region);
|
||||
return region;
|
||||
}
|
||||
|
||||
/** В master-клоне варианта колонтитулы берутся из своего потока. */
|
||||
private static void renameRegionFlows(Element clone, String suffix) {
|
||||
for (String kind : new String[]{"region-before", "region-after"}) {
|
||||
Element region = child(clone, kind);
|
||||
if (region != null) {
|
||||
region.setAttribute("flow-name", "xsl-" + kind + suffix);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Мастер с first/even-вариантами оборачивается в
|
||||
* {@code fo:page-sequence-master} (на месте); {@code master-reference}
|
||||
* page-sequence не меняется — он указывает на имя обёртки.
|
||||
*/
|
||||
private static void wrapInPageSequenceMaster(Document foDoc, Element master,
|
||||
List<Element> variants) {
|
||||
String masterName = master.getAttribute("master-name");
|
||||
Element psm = foDoc.createElementNS(FO_NS, "fo:page-sequence-master");
|
||||
psm.setAttribute("master-name", masterName);
|
||||
Element alternatives = foDoc.createElementNS(FO_NS,
|
||||
"fo:repeatable-page-master-alternatives");
|
||||
psm.appendChild(alternatives);
|
||||
for (Element variant : variants) {
|
||||
String position = variant.getAttribute("master-name").endsWith("-first")
|
||||
? "first" : "even";
|
||||
alternatives.appendChild(conditionalRef(foDoc, position,
|
||||
variant.getAttribute("master-name")));
|
||||
}
|
||||
alternatives.appendChild(conditionalRef(foDoc, "rest", masterName));
|
||||
master.getParentNode().replaceChild(psm, master);
|
||||
}
|
||||
|
||||
private static Element conditionalRef(Document foDoc, String position, String masterRef) {
|
||||
Element ref = foDoc.createElementNS(FO_NS, "fo:conditional-page-master-reference");
|
||||
ref.setAttribute("master-reference", masterRef);
|
||||
ref.setAttribute("page-position", position);
|
||||
return ref;
|
||||
}
|
||||
|
||||
/**
|
||||
* static-content вставляется в page-sequence перед fo:flow; каждый блок
|
||||
* получает зазор {@code gapAttribute} к области контента (в самих
|
||||
* регионах padding запрещён XSL 1.1 — FOP валидирует).
|
||||
*/
|
||||
private static void insertStaticContent(Element sequence, String flowName,
|
||||
List<Element> content, String gapAttribute) {
|
||||
if (content.isEmpty()) {
|
||||
return;
|
||||
}
|
||||
Document doc = sequence.getOwnerDocument();
|
||||
Element staticContent = doc.createElementNS(FO_NS, "fo:static-content");
|
||||
staticContent.setAttribute("flow-name", flowName);
|
||||
for (Element block : content) {
|
||||
block.setAttribute(gapAttribute, REGION_GAP_IN + "in");
|
||||
staticContent.appendChild(block);
|
||||
}
|
||||
Element flow = child(sequence, "flow");
|
||||
if (flow == null) {
|
||||
sequence.appendChild(staticContent);
|
||||
} else {
|
||||
sequence.insertBefore(staticContent, flow);
|
||||
}
|
||||
}
|
||||
|
||||
// ==================== История -> блоки FO ====================
|
||||
|
||||
/** Параграфы чанка истории как {@code fo:block}-и; пустой чанк — пустой список. */
|
||||
private static List<Element> blocks(Document foDoc, List<Paragraph> chunk,
|
||||
String lastMasterName) {
|
||||
List<Element> result = new ArrayList<>();
|
||||
if (chunk == null) {
|
||||
return result;
|
||||
}
|
||||
for (Paragraph p : chunk) {
|
||||
Element block = paragraphBlock(foDoc, p, lastMasterName);
|
||||
if (block != null && blockHasVisibleContent(block)) {
|
||||
result.add(block);
|
||||
}
|
||||
}
|
||||
return result;
|
||||
}
|
||||
|
||||
/**
|
||||
* Параграф истории как {@code fo:block}: выравнивание, табуляции, раны с
|
||||
* форматированием и поля (PAGE/NUMPAGES/SECTIONPAGES) из управляющих
|
||||
* символов текста ранов ({@code \u0013}\u2026{@code \u0014}\u2026{@code \u0015}).
|
||||
*/
|
||||
private static Element paragraphBlock(Document doc, Paragraph p,
|
||||
String lastMasterName) {
|
||||
Element block = doc.createElementNS(FO_NS, "fo:block");
|
||||
block.setAttribute("text-align", switch (p.getJustification()) {
|
||||
case 1 -> "center";
|
||||
case 2 -> "end";
|
||||
case 3 -> "justify";
|
||||
default -> "start";
|
||||
});
|
||||
// Наследуемый шрифт блока: fo:page-number — пустой элемент, без
|
||||
// font-family блока FOP рисует его базовым Helvetica.
|
||||
var blockFont = firstRunFont(p);
|
||||
block.setAttribute("font-family", blockFont != null
|
||||
? blockFont.getName()
|
||||
: BundledFonts.regular(BundledFonts.FALLBACK_FAMILY).getName());
|
||||
// state-machine полей: 0 — обычный текст, 1 — инструкция, 2 — кэш-результат
|
||||
StringBuilder instr = new StringBuilder();
|
||||
StringBuilder cached = new StringBuilder();
|
||||
StringBuilder plain = new StringBuilder();
|
||||
int column = 0;
|
||||
int mode = 0;
|
||||
for (int j = 0; j < p.numCharacterRuns(); j++) {
|
||||
CharacterRun cr;
|
||||
String text;
|
||||
try {
|
||||
cr = p.getCharacterRun(j);
|
||||
text = cr.text();
|
||||
} catch (RuntimeException e) {
|
||||
continue;
|
||||
}
|
||||
if (text == null) {
|
||||
continue;
|
||||
}
|
||||
for (int k = 0; k < text.length(); k++) {
|
||||
char c = text.charAt(k);
|
||||
if (c == FIELD_BEGIN) {
|
||||
mode = 1;
|
||||
instr.setLength(0);
|
||||
cached.setLength(0);
|
||||
} else if (c == FIELD_SEPARATOR && mode == 1) {
|
||||
mode = 2;
|
||||
} else if (c == FIELD_END && (mode == 1 || mode == 2)) {
|
||||
emitField(doc, block, instr.toString(), cached.toString(), lastMasterName);
|
||||
mode = 0;
|
||||
} else if (mode == 1) {
|
||||
instr.append(c);
|
||||
} else if (mode == 2) {
|
||||
cached.append(c);
|
||||
} else if (c == '\t') {
|
||||
column = appendTab(doc, block, plain, column, cr);
|
||||
} else {
|
||||
plain.append(c);
|
||||
}
|
||||
}
|
||||
}
|
||||
if (mode != 0) {
|
||||
// незакрытое поле: выводим накопленное как обычный текст
|
||||
plain.append(instr).append(cached);
|
||||
}
|
||||
flushText(doc, block, plain.toString(), null);
|
||||
return block;
|
||||
}
|
||||
|
||||
/** Распознанные поля — живые FO-элементы; прочие — кэш-текст как есть. */
|
||||
private static void emitField(Document doc, Element block, String instruction,
|
||||
String cachedResult, String lastMasterName) {
|
||||
String code = instruction.trim().toUpperCase(Locale.ROOT);
|
||||
if (code.startsWith("PAGE")) {
|
||||
Element pn = doc.createElementNS(FO_NS, "fo:page-number");
|
||||
block.appendChild(pn);
|
||||
} else if ((code.startsWith("NUMPAGES") || code.startsWith("SECTIONPAGES"))
|
||||
&& lastMasterName != null) {
|
||||
// нумерация FOP между page-sequence непрерывна — citation-last
|
||||
// по последнему мастеру = общее число страниц
|
||||
Element pn = doc.createElementNS(FO_NS, "fo:page-number-citation-last");
|
||||
pn.setAttribute("ref-name", lastMasterName);
|
||||
block.appendChild(pn);
|
||||
} else {
|
||||
flushText(doc, block, cachedResult, null);
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* {@code \t}: FOP-форк не поддерживает свойство {@code tabs}, поэтому
|
||||
* таб — пробелы до следующей дефолтной Word-остановки (1,25 см).
|
||||
* Возвращает новую «колонку» (символы до курсора).
|
||||
*/
|
||||
private static int appendTab(Document doc, Element block, StringBuilder plain,
|
||||
int column, CharacterRun cr) {
|
||||
flushText(doc, block, plain.toString(), null);
|
||||
plain.setLength(0);
|
||||
double charIn = charWidthIn(cr);
|
||||
double step = 1.25 / 2.54;
|
||||
double x = (column + 1) * charIn;
|
||||
double target = (Math.floor(x / step) + 1) * step;
|
||||
int spaces = (int) Math.max(1, Math.ceil((target - x) / charIn));
|
||||
flushText(doc, block, " ".repeat(spaces), cr);
|
||||
return column + 1 + spaces;
|
||||
}
|
||||
|
||||
/** Приблизительная ширина символа (полширины кегля) в дюймах. */
|
||||
private static double charWidthIn(CharacterRun cr) {
|
||||
double pt = 10.0;
|
||||
try {
|
||||
if (cr != null && cr.getFontSize() > 0) {
|
||||
pt = cr.getFontSize() / 2.0;
|
||||
}
|
||||
} catch (RuntimeException e) {
|
||||
// наследование из стиля — остаётся дефолт
|
||||
}
|
||||
return Math.max(0.03, pt * 0.5 / 72.0);
|
||||
}
|
||||
|
||||
private static void flushText(Document doc, Element block, String text,
|
||||
CharacterRun cr) {
|
||||
String cleaned = cleanText(text);
|
||||
if (cleaned.isEmpty()) {
|
||||
return;
|
||||
}
|
||||
if (cr == null) {
|
||||
block.appendChild(doc.createTextNode(cleaned));
|
||||
return;
|
||||
}
|
||||
Element inline = doc.createElementNS(FO_NS, "fo:inline");
|
||||
var font = runFont(cr);
|
||||
if (font != null) {
|
||||
inline.setAttribute("font-family", font.getName());
|
||||
}
|
||||
int halfPoints = cr.getFontSize();
|
||||
inline.setAttribute("font-size", (halfPoints > 0 ? halfPoints / 2.0 : 10.0) + "pt");
|
||||
if (cr.isBold()) {
|
||||
inline.setAttribute("font-weight", "bold");
|
||||
}
|
||||
if (cr.isItalic()) {
|
||||
inline.setAttribute("font-style", "italic");
|
||||
}
|
||||
if (cr.getUnderlineCode() != 0) {
|
||||
inline.setAttribute("text-decoration", "underline");
|
||||
}
|
||||
inline.appendChild(doc.createTextNode(cleaned));
|
||||
block.appendChild(inline);
|
||||
}
|
||||
|
||||
/** Шрифт рана -> бандл-аналог (тот же маппинг, что у основного текста). */
|
||||
private static org.docx4j.fonts.PhysicalFont runFont(CharacterRun cr) {
|
||||
String name;
|
||||
try {
|
||||
name = cr.getFontName();
|
||||
} catch (RuntimeException e) {
|
||||
return null;
|
||||
}
|
||||
String family = BundledFontMapper.bundledFamily(name == null ? "" : name);
|
||||
return BundledFonts.regular(family);
|
||||
}
|
||||
|
||||
/** Шрифт первого читаемого рана параграфа (для наследуемого font-family блока). */
|
||||
private static org.docx4j.fonts.PhysicalFont firstRunFont(Paragraph p) {
|
||||
try {
|
||||
for (int j = 0; j < p.numCharacterRuns(); j++) {
|
||||
var font = runFont(p.getCharacterRun(j));
|
||||
if (font != null) {
|
||||
return font;
|
||||
}
|
||||
}
|
||||
} catch (RuntimeException e) {
|
||||
// повреждённый параграф — на fallback вызывающего
|
||||
}
|
||||
return null;
|
||||
}
|
||||
|
||||
/**
|
||||
* POI пишет маркеры списков {@code fo:inline} без font-family — FOP
|
||||
* рисует их базовым Helvetica. Проставляем фолбэк-семейство всем
|
||||
* инлайнам без семейства.
|
||||
*/
|
||||
private static void applyDefaultFont(Document foDoc) {
|
||||
String fallback = BundledFonts.regular(BundledFonts.FALLBACK_FAMILY).getName();
|
||||
NodeList inlines = foDoc.getElementsByTagNameNS(FO_NS, "inline");
|
||||
for (int i = 0; i < inlines.getLength(); i++) {
|
||||
Element inline = (Element) inlines.item(i);
|
||||
if (inline.getAttribute("font-family").isEmpty()) {
|
||||
inline.setAttribute("font-family", fallback);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
|
||||
// ==================== FOP ====================
|
||||
|
||||
private static void renderFo(Document foDoc, String title, Path baseDir,
|
||||
OutputStream out) throws Exception {
|
||||
byte[] config = fopConfig().getBytes(StandardCharsets.UTF_8);
|
||||
FopFactory fopFactory = FopFactory.newInstance(baseDir.toUri(),
|
||||
new ByteArrayInputStream(config));
|
||||
FOUserAgent ua = fopFactory.newFOUserAgent();
|
||||
// Дефолт кэша шрифтов форка — <user.home>/.fop/fop-fonts.cache, а при
|
||||
// непригодном user.home (контейнер без HOME) — файл ".fop" в текущем
|
||||
// каталоге; в образе /app не пишется non-root'ом -> 500 на каждом .doc.
|
||||
// Кэш бесполезен: auto-detect="false", шрифты объявлены из classpath.
|
||||
ua.getFontManager().disableFontCache();
|
||||
if (title != null && !title.isBlank()) {
|
||||
ua.setTitle(title);
|
||||
}
|
||||
Fop fop = fopFactory.newFop(MimeConstants.MIME_PDF, ua, out);
|
||||
javax.xml.transform.Transformer transformer =
|
||||
javax.xml.transform.TransformerFactory.newInstance().newTransformer();
|
||||
transformer.transform(new DOMSource(foDoc), new SAXResult(fop.getDefaultHandler()));
|
||||
}
|
||||
|
||||
/**
|
||||
* FOP-конфиг: только шрифты бандла (auto-detect="false" — системные в
|
||||
* рендер не попадают). Triplet-имена — из name-таблиц regular-вариантов,
|
||||
* как в {@link FopFallbackFonts}; {@code simulate-style="false"} — стили
|
||||
* настоящие TTF, а не синтез FOP.
|
||||
*/
|
||||
private static String fopConfig() {
|
||||
StringBuilder sb = new StringBuilder(
|
||||
"<fop version=\"1.0\"><renderers>"
|
||||
+ "<renderer mime=\"application/pdf\"><fonts auto-detect=\"false\">");
|
||||
for (String family : BundledFonts.families()) {
|
||||
var regular = BundledFonts.regular(family);
|
||||
if (regular == null) {
|
||||
continue;
|
||||
}
|
||||
String tripletName = regular.getName();
|
||||
appendFont(sb, regular, "regular", tripletName, "normal", "normal");
|
||||
appendFont(sb, BundledFonts.bold(family), "bold", tripletName, "normal", "bold");
|
||||
appendFont(sb, BundledFonts.italic(family), "italic", tripletName, "italic", "normal");
|
||||
appendFont(sb, BundledFonts.boldItalic(family), "boldItalic",
|
||||
tripletName, "italic", "bold");
|
||||
}
|
||||
sb.append("</fonts></renderer></renderers></fop>");
|
||||
return sb.toString();
|
||||
}
|
||||
|
||||
private static void appendFont(StringBuilder sb, org.docx4j.fonts.PhysicalFont pf,
|
||||
String embedMode, String tripletName,
|
||||
String style, String weight) {
|
||||
if (pf == null) {
|
||||
return;
|
||||
}
|
||||
sb.append("<font embed-url=\"").append(pf.getEmbeddedURI())
|
||||
.append("\" embed-mode=\"").append(embedMode)
|
||||
.append("\" simulate-style=\"false\"><font-triplet name=\"")
|
||||
.append(tripletName).append("\" style=\"").append(style)
|
||||
.append("\" weight=\"").append(weight)
|
||||
.append("\"/></font>");
|
||||
}
|
||||
|
||||
// ==================== Утилиты DOM ====================
|
||||
|
||||
private static Element child(Element parent, String localName) {
|
||||
NodeList children = parent.getChildNodes();
|
||||
for (int i = 0; i < children.getLength(); i++) {
|
||||
Node n = children.item(i);
|
||||
if (n instanceof Element e && FO_NS.equals(e.getNamespaceURI())
|
||||
&& localName.equals(e.getLocalName())) {
|
||||
return e;
|
||||
}
|
||||
}
|
||||
return null;
|
||||
}
|
||||
|
||||
private static boolean blockHasVisibleContent(Element block) {
|
||||
if (block.getTextContent() != null && !block.getTextContent().isBlank()) {
|
||||
return true;
|
||||
}
|
||||
return block.getElementsByTagNameNS(FO_NS, "page-number").getLength() > 0
|
||||
|| block.getElementsByTagNameNS(FO_NS, "page-number-citation-last").getLength() > 0
|
||||
|| block.getElementsByTagNameNS(FO_NS, "leader").getLength() > 0;
|
||||
}
|
||||
|
||||
/** Есть ли в чанке хоть один параграф с видимым содержимым. */
|
||||
private static boolean hasText(List<Paragraph> chunk) {
|
||||
if (chunk == null) {
|
||||
return false;
|
||||
}
|
||||
for (Paragraph p : chunk) {
|
||||
try {
|
||||
for (int j = 0; j < p.numCharacterRuns(); j++) {
|
||||
String t = p.getCharacterRun(j).text();
|
||||
if (t != null && !cleanText(t).isEmpty()) {
|
||||
return true;
|
||||
}
|
||||
}
|
||||
} catch (RuntimeException e) {
|
||||
// повреждённый ран — не содержимое
|
||||
}
|
||||
}
|
||||
return false;
|
||||
}
|
||||
|
||||
private static String cleanText(String t) {
|
||||
StringBuilder sb = new StringBuilder(t.length());
|
||||
for (int i = 0; i < t.length(); i++) {
|
||||
char c = t.charAt(i);
|
||||
if (c != PARA_END && c != CELL_END && c != SECTION_END) {
|
||||
sb.append(c);
|
||||
}
|
||||
}
|
||||
return sb.toString();
|
||||
}
|
||||
|
||||
private static void deleteRecursively(Path dir) {
|
||||
try (Stream<Path> walk = Files.walk(dir)) {
|
||||
walk.sorted(Comparator.reverseOrder()).forEach(p -> {
|
||||
try {
|
||||
Files.deleteIfExists(p);
|
||||
} catch (IOException ignored) {
|
||||
// temp-файлы: нечего делать при отказе удаления
|
||||
}
|
||||
});
|
||||
} catch (IOException ignored) {
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,259 @@
|
||||
package ru.pjandro.wordpdf;
|
||||
|
||||
import org.apache.pdfbox.Loader;
|
||||
import org.apache.pdfbox.cos.COSName;
|
||||
import org.apache.pdfbox.pdmodel.PDDocument;
|
||||
import org.apache.pdfbox.pdmodel.PDPage;
|
||||
import org.apache.pdfbox.pdmodel.PDResources;
|
||||
import org.apache.pdfbox.pdmodel.font.PDFont;
|
||||
import org.apache.pdfbox.pdmodel.graphics.PDXObject;
|
||||
import org.apache.pdfbox.pdmodel.graphics.image.PDImageXObject;
|
||||
import org.apache.pdfbox.text.PDFTextStripper;
|
||||
import org.apache.pdfbox.text.TextPosition;
|
||||
import org.junit.jupiter.api.Test;
|
||||
|
||||
import java.io.IOException;
|
||||
import java.io.InputStream;
|
||||
import java.nio.file.Files;
|
||||
import java.nio.file.Path;
|
||||
import java.util.ArrayList;
|
||||
import java.util.IdentityHashMap;
|
||||
import java.util.List;
|
||||
import java.util.Set;
|
||||
import java.util.TreeSet;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.*;
|
||||
|
||||
/**
|
||||
* Конвертация бинарного .doc (Word 97-2003, OLE2) через ветку
|
||||
* {@code internal.DocToPdfRenderer} (POI HWPF -> XSL-FO -> FOP).
|
||||
* Фикстура — закоммиченный samples/legacy-doc.doc (создан Word'ом,
|
||||
* POI .doc не пишет — не перезагенерировать).
|
||||
*
|
||||
* <p>Ассерты только на фактическое содержимое фикстуры и на раны,
|
||||
* ушедшие в Tinos (аналог Times New Roman): текст ран, ушедших в
|
||||
* DejaVu-fallback, PDFBox на машинах с установленным DejaVu «чинит»
|
||||
* по системному шрифту и извлекает «#» — такие строки не ассертятся
|
||||
* (экзотические глифы фикстуры — принятая деградация .doc-ветки:
|
||||
* аналога GlyphCoverageNormalizer здесь нет).
|
||||
*/
|
||||
class DocToPdfTest {
|
||||
|
||||
private static byte[] sampleBytes(String name) throws IOException {
|
||||
try (InputStream in = DocToPdfTest.class.getClassLoader()
|
||||
.getResourceAsStream("samples/" + name)) {
|
||||
assertNotNull(in, "Нет тестового документа: samples/" + name);
|
||||
return in.readAllBytes();
|
||||
}
|
||||
}
|
||||
|
||||
private static Path convertPdf(byte[] docBytes, String title) throws IOException {
|
||||
Path out = Files.createTempFile("converted-doc-", ".pdf");
|
||||
Files.write(out, WordPdfConverter.convert(docBytes, title));
|
||||
return out;
|
||||
}
|
||||
|
||||
private static String norm(String s) {
|
||||
return s.replaceAll("\\s+", "");
|
||||
}
|
||||
|
||||
private static String pdfPageText(Path pdf, int page) throws IOException {
|
||||
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
||||
PDFTextStripper stripper = new PDFTextStripper();
|
||||
stripper.setStartPage(page);
|
||||
stripper.setEndPage(page);
|
||||
return stripper.getText(doc);
|
||||
}
|
||||
}
|
||||
|
||||
/** Строка страницы: базовая линия y (от верха страницы, PDFBox YDirAdj) и текст. */
|
||||
private record Line(float y, String text) {
|
||||
}
|
||||
|
||||
/** Непустые строки страницы с базовыми линиями (порядок по позиции). */
|
||||
private static List<Line> pageLines(Path pdf, int page) throws IOException {
|
||||
List<Line> lines = new ArrayList<>();
|
||||
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
||||
PDFTextStripper stripper = new PDFTextStripper() {
|
||||
@Override
|
||||
protected void writeString(String text, List<TextPosition> textPositions)
|
||||
throws IOException {
|
||||
super.writeString(text, textPositions);
|
||||
if (!textPositions.isEmpty() && !norm(text).isEmpty()) {
|
||||
lines.add(new Line(textPositions.get(0).getYDirAdj(), text));
|
||||
}
|
||||
}
|
||||
};
|
||||
stripper.setStartPage(page);
|
||||
stripper.setEndPage(page);
|
||||
stripper.setSortByPosition(true);
|
||||
stripper.getText(doc);
|
||||
}
|
||||
return lines;
|
||||
}
|
||||
|
||||
/** y базовой линии первой строки, содержащей needle (после norm); null если нет. */
|
||||
private static Float lineY(Path pdf, int page, String needle) throws IOException {
|
||||
String n = norm(needle);
|
||||
for (Line l : pageLines(pdf, page)) {
|
||||
if (norm(l.text()).contains(n)) {
|
||||
return l.y();
|
||||
}
|
||||
}
|
||||
return null;
|
||||
}
|
||||
|
||||
/** Максимум y по всем непустым строкам страницы (самая нижняя базовая линия). */
|
||||
private static float maxLineY(Path pdf, int page) throws IOException {
|
||||
float max = Float.MIN_VALUE;
|
||||
for (Line l : pageLines(pdf, page)) {
|
||||
max = Math.max(max, l.y());
|
||||
}
|
||||
return max;
|
||||
}
|
||||
|
||||
/** BaseFont-имена вшитых шрифтов PDF (например "EAAAAA+Tinos-Bold"). */
|
||||
private static Set<String> embeddedFontNames(Path pdf) throws IOException {
|
||||
Set<String> names = new TreeSet<>();
|
||||
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
||||
for (PDPage page : doc.getPages()) {
|
||||
PDResources res = page.getResources();
|
||||
for (COSName name : res.getFontNames()) {
|
||||
PDFont font = res.getFont(name);
|
||||
if (font != null) {
|
||||
names.add(font.getName());
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
return names;
|
||||
}
|
||||
|
||||
/** Число уникальных Image XObject в PDF (наследованные ресурсы — один объект). */
|
||||
private static int imageCount(Path pdf) throws IOException {
|
||||
Set<PDXObject> seen = java.util.Collections.newSetFromMap(new IdentityHashMap<>());
|
||||
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
||||
for (PDPage page : doc.getPages()) {
|
||||
PDResources res = page.getResources();
|
||||
for (COSName name : res.getXObjectNames()) {
|
||||
PDXObject xo = res.getXObject(name);
|
||||
if (xo instanceof PDImageXObject) {
|
||||
seen.add(xo);
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
return seen.size();
|
||||
}
|
||||
|
||||
/**
|
||||
* .doc конвертируется в PDF: текст кириллический, таблицы и картинки
|
||||
* на месте, шрифт — встроенный Tinos (аналог Times New Roman),
|
||||
* базовый Helvetica не используется.
|
||||
* Регрессия — WordPdfConverter#isOle2 + internal.DocToPdfRenderer,
|
||||
* фикстура samples/legacy-doc.doc.
|
||||
*/
|
||||
@Test
|
||||
void legacyDoc_convertsToPdf() throws Exception {
|
||||
Path pdf = convertPdf(sampleBytes("legacy-doc.doc"), "testDoc");
|
||||
String text;
|
||||
int pages;
|
||||
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
||||
pages = doc.getNumberOfPages();
|
||||
text = norm(new PDFTextStripper().getText(doc));
|
||||
}
|
||||
assertTrue(pages >= 10, "страниц меньше ожидаемого: " + pages);
|
||||
assertTrue(text.contains("Предметдоговора"), "нет заголовка раздела");
|
||||
assertTrue(text.contains("Договорарендыпомещения"), "нет заголовка");
|
||||
for (String font : embeddedFontNames(pdf)) {
|
||||
assertFalse(font.contains("Helvetica"), "базовый шрифт в PDF: " + font);
|
||||
}
|
||||
assertTrue(embeddedFontNames(pdf).stream().anyMatch(n -> n.contains("Tinos")),
|
||||
"нет Tinos (аналога Times New Roman): " + embeddedFontNames(pdf));
|
||||
assertTrue(imageCount(pdf) >= 1, "картинок нет");
|
||||
}
|
||||
|
||||
/**
|
||||
* Колонтитулы, которых POI в FO не пишет, дописываются в FO-DOM:
|
||||
* текст odd-footer («Нижний колонтитул») и номер страницы из PAGE-поля
|
||||
* на каждой странице.
|
||||
* Регрессия — DocToPdfRenderer#injectHeadersAndFooters,
|
||||
* фикстура samples/legacy-doc.doc.
|
||||
*/
|
||||
@Test
|
||||
void legacyDoc_footersCarryPageNumbers() throws Exception {
|
||||
Path pdf = convertPdf(sampleBytes("legacy-doc.doc"), "testDoc");
|
||||
String page1 = norm(pdfPageText(pdf, 1));
|
||||
String page5 = norm(pdfPageText(pdf, 5));
|
||||
assertTrue(page5.contains("Нижнийколонтитул"), "нет текста футера на стр. 5");
|
||||
assertTrue(page1.startsWith("1"), "нет номера страницы на стр. 1: "
|
||||
+ page1.substring(0, Math.min(20, page1.length())));
|
||||
assertTrue(page5.contains("5"), "нет номера страницы на стр. 5");
|
||||
}
|
||||
|
||||
/**
|
||||
* Текст body не наезжает на области колонтитулов: заголовок первой
|
||||
* строки лежит ниже header-региона (extent = верхнее поле 0.7875in =
|
||||
* 56.7pt), под строкой футера ничего нет. Форк FOP не вычитает
|
||||
* extent'ы регионов из body-области (area.Page = page-area минус
|
||||
* собственные margin'ы region-body), поэтому разводка body и
|
||||
* колонтитулов — только margin'ами region-body; их обнуление
|
||||
* растягивает body на всю страницу, и текст лезет в колонтитулы.
|
||||
* Регрессия — DocToPdfRenderer#injectHeadersAndFooters,
|
||||
* фикстура samples/legacy-doc.doc.
|
||||
*/
|
||||
@Test
|
||||
void legacyDoc_bodyClearsHeaderFooterRegions() throws Exception {
|
||||
Path pdf = convertPdf(sampleBytes("legacy-doc.doc"), "testDoc");
|
||||
Float titleY = lineY(pdf, 1, "Договор аренды");
|
||||
assertNotNull(titleY, "нет заголовка на стр. 1");
|
||||
assertTrue(titleY > 50f, "заголовок внутри header-региона: y=" + titleY);
|
||||
Float footerY = lineY(pdf, 1, "Нижний колонтитул");
|
||||
assertNotNull(footerY, "нет футера на стр. 1");
|
||||
float lowest = maxLineY(pdf, 1);
|
||||
assertTrue(lowest <= footerY + 1f,
|
||||
"строка ниже футера: y=" + lowest + " > y футера " + footerY);
|
||||
}
|
||||
|
||||
/**
|
||||
* Кэш шрифтов FOP не пишется в текущий каталог: при непригодном user.home
|
||||
* (контейнер без HOME) дефолт форка — файл ".fop" в CWD, а в образе /app
|
||||
* не пишется non-root'ом => 500 на каждом .doc. Кэш отключён в renderFo.
|
||||
* Регрессия — DocToPdfRenderer#renderFo, фикстура samples/legacy-doc.doc.
|
||||
*/
|
||||
@Test
|
||||
void legacyDoc_fontCacheNotWrittenToWorkingDir() throws Exception {
|
||||
String savedHome = System.getProperty("user.home");
|
||||
Path stray = Path.of(".fop");
|
||||
Files.deleteIfExists(stray);
|
||||
System.setProperty("user.home", "/no-such-home-" + System.nanoTime());
|
||||
try {
|
||||
convertPdf(sampleBytes("legacy-doc.doc"), "testDoc");
|
||||
assertFalse(Files.exists(stray), "FOP записал кэш шрифтов .fop в рабочий каталог");
|
||||
} finally {
|
||||
if (savedHome == null) {
|
||||
System.clearProperty("user.home");
|
||||
} else {
|
||||
System.setProperty("user.home", savedHome);
|
||||
}
|
||||
Files.deleteIfExists(stray);
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* OLE2-магик + мусор: и валидатор, и конвертер обязаны отвергнуть
|
||||
* документ (не молча отдать пустой PDF).
|
||||
* Регрессия — DocToPdfRenderer#render, WordPdfValidator#checkDocPageCountLightweight.
|
||||
*/
|
||||
@Test
|
||||
void ole2Junk_rejected() {
|
||||
byte[] junk = new byte[1024];
|
||||
byte[] magic = {(byte) 0xD0, (byte) 0xCF, 0x11, (byte) 0xE0,
|
||||
(byte) 0xA1, (byte) 0xB1, 0x1A, (byte) 0xE1};
|
||||
System.arraycopy(magic, 0, junk, 0, magic.length);
|
||||
assertThrows(ConversionException.class,
|
||||
() -> WordPdfValidator.checkDocPageCountLightweight(junk));
|
||||
assertThrows(ConversionException.class,
|
||||
() -> WordPdfConverter.convert(junk, "junk"));
|
||||
}
|
||||
}
|
||||
@@ -449,18 +449,19 @@ class WordPdfConverterTest {
|
||||
}
|
||||
|
||||
/**
|
||||
* Вход без zip-подписи — отказ как некорректный вход (ValidationException),
|
||||
* а не ошибка рендера: вход конвертера прогоняет тот же
|
||||
* {@link WordPdfValidator#validate(byte[], ConvertOptions)}, что и приложение до очереди.
|
||||
* Регрессия — WordPdfValidatorTest#validate_notAZip.
|
||||
* Вход без подписи контейнера (ни zip, ни OLE2) — отказ как некорректный
|
||||
* вход (ValidationException), а не ошибка рендера: вход конвертера
|
||||
* прогоняет тот же {@link WordPdfValidator#validate(byte[], ConvertOptions)},
|
||||
* что и приложение до очереди. Регрессия —
|
||||
* WordPdfValidatorTest#validate_neitherDocxNorDoc.
|
||||
*/
|
||||
@Test
|
||||
void inputNotAZip_rejectedBeforeRender() {
|
||||
byte[] junk = {1, 2, 3, 4, 5, 6, 7, 8};
|
||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||
WordPdfConverter.convert(junk, "junk"));
|
||||
assertTrue(ex.getMessage().contains("не zip-архив"),
|
||||
"сообщение должно упоминать zip-подпись: " + ex.getMessage());
|
||||
assertTrue(ex.getMessage().contains("не похоже на .docx или .doc"),
|
||||
"сообщение должно упоминать подписи контейнера: " + ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
|
||||
@@ -276,12 +276,12 @@ class WordPdfValidatorTest {
|
||||
}
|
||||
|
||||
@Test
|
||||
void validate_notAZip() {
|
||||
void validate_neitherDocxNorDoc() {
|
||||
byte[] junk = {1, 2, 3, 4, 5};
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(junk, ConvertOptions.defaults()));
|
||||
assertTrue(ex.getMessage().contains("не zip-архив"),
|
||||
"сообщение должно упоминать zip-подпись: " + ex.getMessage());
|
||||
assertTrue(ex.getMessage().contains("не похоже на .docx или .doc"),
|
||||
"сообщение должно упоминать обе подписи контейнера: " + ex.getMessage());
|
||||
}
|
||||
|
||||
@Test
|
||||
@@ -332,4 +332,49 @@ class WordPdfValidatorTest {
|
||||
() -> WordPdfValidator.checkPageCount(docx, 3));
|
||||
assertTrue(ex.getMessage().contains("не менее 4"), ex.getMessage());
|
||||
}
|
||||
|
||||
/** Фикстура бинарного .doc (закоммичена, создана Word'ом — POI .doc не пишет). */
|
||||
private static byte[] legacyDocBytes() throws Exception {
|
||||
try (var in = WordPdfValidatorTest.class.getClassLoader()
|
||||
.getResourceAsStream("samples/legacy-doc.doc")) {
|
||||
assertNotNull(in, "Нет тестового документа: samples/legacy-doc.doc");
|
||||
return in.readAllBytes();
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Число страниц .doc — кэш SummaryInformation (для фикстуры 11):
|
||||
* лимит 10 должен отвергать, 20 — пропускать.
|
||||
* Регрессия — WordPdfValidator#checkDocPageCountLightweight,
|
||||
* фикстура samples/legacy-doc.doc.
|
||||
*/
|
||||
@Test
|
||||
void checkDocPageCountLightweight_overLimitRejected() throws Exception {
|
||||
ConversionException ex = assertThrows(ConversionException.class,
|
||||
() -> WordPdfValidator.checkDocPageCountLightweight(legacyDocBytes(), 10));
|
||||
assertTrue(ex.getMessage().contains("не менее 11"), ex.getMessage());
|
||||
}
|
||||
|
||||
@Test
|
||||
void checkDocPageCountLightweight_underLimitPasses() throws Exception {
|
||||
byte[] doc = legacyDocBytes();
|
||||
assertDoesNotThrow(() -> WordPdfValidator.checkDocPageCountLightweight(doc, 20));
|
||||
assertDoesNotThrow(() -> WordPdfValidator.checkDocPageCountLightweight(doc));
|
||||
}
|
||||
|
||||
@Test
|
||||
void checkDocPageCountLightweight_junkRejected() {
|
||||
byte[] junk = new byte[1024];
|
||||
byte[] magic = {(byte) 0xD0, (byte) 0xCF, 0x11, (byte) 0xE0,
|
||||
(byte) 0xA1, (byte) 0xB1, 0x1A, (byte) 0xE1};
|
||||
System.arraycopy(magic, 0, junk, 0, magic.length);
|
||||
assertThrows(ConversionException.class,
|
||||
() -> WordPdfValidator.checkDocPageCountLightweight(junk));
|
||||
}
|
||||
|
||||
@Test
|
||||
void checkDocPageCountLightweight_bytesNull() {
|
||||
assertThrows(ConversionException.class,
|
||||
() -> WordPdfValidator.checkDocPageCountLightweight((byte[]) null));
|
||||
}
|
||||
}
|
||||
|
||||
Binary file not shown.
@@ -66,7 +66,7 @@ export async function convertDocx(
|
||||
// флаг i обязателен; фолбэк — имя исходника с заменой расширения
|
||||
const cd = resp.headers.get('Content-Disposition') ?? ''
|
||||
const m = /filename\*=utf-8''([^;]+)/i.exec(cd)
|
||||
const filename = m ? decodeURIComponent(m[1]) : file.name.replace(/\.docx$/i, '') + '.pdf'
|
||||
const filename = m ? decodeURIComponent(m[1]) : file.name.replace(/\.docx?$/i, '') + '.pdf'
|
||||
const blob = await resp.blob()
|
||||
return { blob, filename }
|
||||
}
|
||||
|
||||
@@ -152,7 +152,7 @@ export default function App() {
|
||||
<div>
|
||||
<h1 className="text-2xl font-semibold">Word → PDF</h1>
|
||||
<p className="mt-1 text-sm text-muted">
|
||||
docx → PDF на docx4j + Apache FOP. Лимиты (файл ≤ 5 МБ,
|
||||
docx/doc → PDF на docx4j + Apache FOP. Лимиты (файл ≤ 5 МБ,
|
||||
≤ 100 страниц) задаёт сервер; переопределение из формы убрано.
|
||||
</p>
|
||||
</div>
|
||||
|
||||
@@ -8,7 +8,7 @@ interface Props {
|
||||
}
|
||||
|
||||
/**
|
||||
* Зона drag&drop + клик для выбора .docx. Скрытый input[type=file] —
|
||||
* Зона drag&drop + клик для выбора .docx/.doc. Скрытый input[type=file] —
|
||||
* единственный источник выбора; drop берёт первый файл.
|
||||
*/
|
||||
export default function DropZone({ file, disabled, onSelect }: Props) {
|
||||
@@ -53,7 +53,7 @@ export default function DropZone({ file, disabled, onSelect }: Props) {
|
||||
<path d="M12 16V4m0 0-4 4m4-4 4 4" />
|
||||
<path d="M4 16v3a1 1 0 0 0 1 1h14a1 1 0 0 0 1-1v-3" />
|
||||
</svg>
|
||||
<span>Перетащите .docx сюда или нажмите для выбора</span>
|
||||
<span>Перетащите .docx или .doc сюда или нажмите для выбора</span>
|
||||
{file && (
|
||||
<span className="text-sm text-muted">
|
||||
{file.name} · {(file.size / 1024).toFixed(0)} КБ
|
||||
@@ -62,7 +62,7 @@ export default function DropZone({ file, disabled, onSelect }: Props) {
|
||||
<input
|
||||
ref={inputRef}
|
||||
type="file"
|
||||
accept=".docx"
|
||||
accept=".docx,.doc"
|
||||
className="sr-only"
|
||||
disabled={disabled}
|
||||
onChange={(e) => {
|
||||
|
||||
Reference in New Issue
Block a user