Compare commits
32 Commits
2dce945614
..
main
| Author | SHA1 | Date | |
|---|---|---|---|
| ae7c8b755a | |||
| fca253b9f5 | |||
| e308db47da | |||
| f3ff218686 | |||
| 202e4ca97e | |||
| fa45b7a8be | |||
| 1c8f6e1516 | |||
| 9d4661be3f | |||
| 67f8636b0c | |||
| 08c68305be | |||
| f7304094ec | |||
| e6a8b86583 | |||
| d44eac683a | |||
| aaad5d2bb0 | |||
| 334e6a9006 | |||
| 72cc717056 | |||
| 0b2dda8caa | |||
| d8eda0a2e4 | |||
| e9abcd38c8 | |||
| 5631c9e0c0 | |||
| 13ca7425a3 | |||
| af5d09e001 | |||
| 8a8e8a9f84 | |||
| 41b4f89e74 | |||
| 8b16d64059 | |||
| 638e28c653 | |||
| d8353aab61 | |||
| 8d2fa3dad9 | |||
| 2116ec43a4 | |||
| bc98a12421 | |||
| 8061a2fbe7 | |||
| f41ac54072 |
+32
-23
@@ -20,28 +20,29 @@ jobs:
|
||||
exit 1
|
||||
}
|
||||
|
||||
- name: Setup JDK 17
|
||||
uses: actions/setup-java@v5
|
||||
with:
|
||||
java-version: '17'
|
||||
distribution: 'temurin'
|
||||
|
||||
- name: Cache Maven repository
|
||||
uses: actions/cache@v4
|
||||
with:
|
||||
path: ~/.m2/repository
|
||||
key: maven-${{ hashFiles('pom.xml', 'wordpdf-core/pom.xml', 'wordpdf-app/pom.xml') }}
|
||||
restore-keys: maven-
|
||||
|
||||
- name: Setup Maven 3.9.16
|
||||
run: |
|
||||
curl -fsSL https://dlcdn.apache.org/maven/maven-3/3.9.16/binaries/apache-maven-3.9.16-bin.tar.gz | tar xz -C /opt
|
||||
echo "/opt/apache-maven-3.9.16/bin" >> "$GITHUB_PATH"
|
||||
|
||||
- name: Build and test (PMD gate included)
|
||||
- name: Build and test without fontconfig (PMD+JaCoCo included)
|
||||
env:
|
||||
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
|
||||
run: mvn -B -s .ci/maven-settings.xml clean verify
|
||||
run: |
|
||||
DOCKER_BUILDKIT=0 docker build \
|
||||
-f Containerfile.test \
|
||||
--build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \
|
||||
-t wordpdf-verify:ci \
|
||||
.
|
||||
|
||||
- name: Extract JaCoCo reports
|
||||
if: always()
|
||||
run: |
|
||||
id=$(docker create wordpdf-verify:ci 2>/dev/null) || {
|
||||
echo "образ не собран — сводка покрытия будет пустой"
|
||||
exit 0
|
||||
}
|
||||
mkdir -p wordpdf-core/target/site/jacoco wordpdf-app/target/site/jacoco
|
||||
docker cp "$id:/build/wordpdf-core/target/site/jacoco/jacoco.xml" \
|
||||
wordpdf-core/target/site/jacoco/jacoco.xml || true
|
||||
docker cp "$id:/build/wordpdf-app/target/site/jacoco/jacoco.xml" \
|
||||
wordpdf-app/target/site/jacoco/jacoco.xml || true
|
||||
docker rm "$id" >/dev/null
|
||||
|
||||
- name: Coverage summary
|
||||
if: always()
|
||||
@@ -262,9 +263,9 @@ jobs:
|
||||
# не крушит стек бесконечным crash-loop. Синтаксис on-failure:N podman
|
||||
# переваривает и применяет (проверено: maxtries=N, после исчерпания exited).
|
||||
restart: on-failure:5
|
||||
# heap вписан в лимит (-XX:MaxRAMPercentage=70 в ENTRYPOINT образа);
|
||||
# паритет с repo compose.yml
|
||||
mem_limit: 2g
|
||||
# фиксированный heap -Xms2g -Xmx2g в ENTRYPOINT образа, лимит 3g —
|
||||
# запас под metaspace/потоки/native; паритет с repo compose.yml
|
||||
mem_limit: 3g
|
||||
# healthcheck дублируется в compose, а не только в Containerfile: podman
|
||||
# выгружает образы в OCI, где HEALTHCHECK теряется, а gateway в depends_on
|
||||
# ждал бы healthy вечно. wget, не curl: alpine-jre образ curl не содержит.
|
||||
@@ -329,6 +330,14 @@ jobs:
|
||||
resolver 10.112.0.1 valid=10s ipv6=off;
|
||||
set \$upstream_app http://app:8080;
|
||||
set \$upstream_web http://web:80;
|
||||
# X-Forwarded-* переписываются безусловно: клиент не должен иметь
|
||||
# возможности подсунуть бэкенду подставной "реальный IP/схема/хост"
|
||||
# (Spring ForwardedHeaderFilter доверяет этим заголовкам).
|
||||
# X-Forwarded-Prefix не трогаем: его проставляет внешний nginx,
|
||||
# на нём держится корректный base у swagger-ui за прокси.
|
||||
proxy_set_header X-Forwarded-For \$remote_addr;
|
||||
proxy_set_header X-Forwarded-Proto \$scheme;
|
||||
proxy_set_header X-Forwarded-Host \$host;
|
||||
location /api/ {
|
||||
# в proxy_pass нет path-части, поэтому URI передаётся как есть
|
||||
proxy_pass \$upstream_app;
|
||||
|
||||
+46
-20
@@ -19,28 +19,29 @@ jobs:
|
||||
exit 1
|
||||
}
|
||||
|
||||
- name: Setup JDK 17
|
||||
uses: actions/setup-java@v5
|
||||
with:
|
||||
java-version: '17'
|
||||
distribution: 'temurin'
|
||||
|
||||
- name: Cache Maven repository
|
||||
uses: actions/cache@v4
|
||||
with:
|
||||
path: ~/.m2/repository
|
||||
key: maven-${{ hashFiles('pom.xml', 'wordpdf-core/pom.xml', 'wordpdf-app/pom.xml') }}
|
||||
restore-keys: maven-
|
||||
|
||||
- name: Setup Maven 3.9.16
|
||||
run: |
|
||||
curl -fsSL https://dlcdn.apache.org/maven/maven-3/3.9.16/binaries/apache-maven-3.9.16-bin.tar.gz | tar xz -C /opt
|
||||
echo "/opt/apache-maven-3.9.16/bin" >> "$GITHUB_PATH"
|
||||
|
||||
- name: Build and test (PMD gate included)
|
||||
- name: Build and test without fontconfig (PMD+JaCoCo included)
|
||||
env:
|
||||
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
|
||||
run: mvn -B -s .ci/maven-settings.xml clean verify
|
||||
run: |
|
||||
DOCKER_BUILDKIT=0 docker build \
|
||||
-f Containerfile.test \
|
||||
--build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \
|
||||
-t wordpdf-verify:ci \
|
||||
.
|
||||
|
||||
- name: Extract JaCoCo reports
|
||||
if: always()
|
||||
run: |
|
||||
id=$(docker create wordpdf-verify:ci 2>/dev/null) || {
|
||||
echo "образ не собран — сводка покрытия будет пустой"
|
||||
exit 0
|
||||
}
|
||||
mkdir -p wordpdf-core/target/site/jacoco wordpdf-app/target/site/jacoco
|
||||
docker cp "$id:/build/wordpdf-core/target/site/jacoco/jacoco.xml" \
|
||||
wordpdf-core/target/site/jacoco/jacoco.xml || true
|
||||
docker cp "$id:/build/wordpdf-app/target/site/jacoco/jacoco.xml" \
|
||||
wordpdf-app/target/site/jacoco/jacoco.xml || true
|
||||
docker rm "$id" >/dev/null
|
||||
|
||||
- name: Coverage summary
|
||||
if: always()
|
||||
@@ -103,6 +104,31 @@ jobs:
|
||||
f"{base}/{existing}" if existing else base, {"body": body})
|
||||
PY
|
||||
|
||||
macos-sim:
|
||||
runs-on: ubuntu-latest
|
||||
steps:
|
||||
- uses: actions/checkout@v5
|
||||
|
||||
- name: Check maven mirror var
|
||||
env:
|
||||
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
|
||||
run: |
|
||||
[ -n "$MAVEN_MIRROR_URL" ] || {
|
||||
echo "Задайте Actions Variable MAVEN_MIRROR_URL — см. GITEA-vars.md" >&2
|
||||
exit 1
|
||||
}
|
||||
|
||||
- name: Tests under macOS emulation (-Dos.name)
|
||||
env:
|
||||
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
|
||||
run: |
|
||||
DOCKER_BUILDKIT=0 docker build \
|
||||
-f Containerfile.test \
|
||||
--build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \
|
||||
--build-arg "SUREFIRE_OS_NAME=Mac OS X" \
|
||||
-t wordpdf-verify:macos-sim \
|
||||
.
|
||||
|
||||
web:
|
||||
runs-on: ubuntu-latest
|
||||
steps:
|
||||
|
||||
@@ -1,230 +1,129 @@
|
||||
# Repository Guidelines
|
||||
|
||||
> Роутер: правила, инварианты и команды — здесь; глубокие детали — `docs/agent/*.md` (pipeline, doc-bridge, chart, testing, ci-cd, repo-map, render-limitations — каждый авторитетен наравне с этим файлом), нормативные форматы — `docs/standards/` (навигатор — `docs/standards/README.md`, ссылка на спецификацию — с номером секции).
|
||||
|
||||
## Project Overview
|
||||
|
||||
Конвертер `.docx`/`.doc` → `.pdf` на чистом Java: docx4j 17.3.2 → XSL-FO → форк Apache FOP. Без LibreOffice/Aspose. Бинарный `.doc` (Word 97-2003) переносится собственным мостом MS-DOC/MS-CFB (`internal/doc`) в in-memory `.docx` и идёт тем же конвейером. Java 17, только Maven.
|
||||
|
||||
Три независимых модуля:
|
||||
|
||||
- `wordpdf-core` — библиотека конвертации: docx4j → XSL-FO → FOP; бандл шрифтов, chart/SmartArt-движок, мост `.doc`. 62 Java-файла: 7 в корневом пакете (публичный API), 16 в `internal/`, 18 в `internal/doc/`, 18 в `internal/chart/`, 3 в `fonts/`.
|
||||
- `wordpdf-app` — REST API на Spring Boot 4.1.1. 11 классов, единственный `public` — `WordPdfApplication`.
|
||||
- `wordpdf-web` — SPA (React 19 + TS + Vite + Tailwind), вне Maven-реактора, собирается npm и деплоится отдельным образом.
|
||||
|
||||
Единственный вход стека — gateway-контейнер nginx (`:9010` prod-like `compose.yml`, `:9011` dev `compose.dev.yml`), **не** 8080. Авторитетны этот файл, `docs/agent/` и код; решения о форматах — по спецификациям из `docs/standards/` (ссылка на секцию обязательна).
|
||||
Конвертер `.docx`/`.doc` → `.pdf` на чистом Java: docx4j 17.3.2 → XSL-FO → форк Apache FOP (`org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 — транзитив от `docx4j-export-fo`), без LibreOffice/Aspose. Бинарный `.doc` (Word 97-2003) переносится мостом MS-DOC/MS-CFB (`internal/doc`) в in-memory `.docx` и идёт тем же конвейером. Maven-мультимодуль `ru.pjandro:java-word-pdf:1.0.0`: `wordpdf-core` (библиотека), `wordpdf-app` (REST на Spring Boot 4.1.1); вне Maven-реактора — SPA `wordpdf-web` (React 19.2 + TS ~6.0 + Vite 8.3 + oxlint + Tailwind v4.3, npm; strict-режим TS намеренно не включён — сборка не strict-гейт) и pytest-автотесты `prod-autotests/`. Java 17, только Maven.
|
||||
|
||||
## Architecture & Data Flow
|
||||
|
||||
### Пайплайн `WordPdfConverter.convert(byte[], String[, ConvertOptions])`
|
||||
Единственный вход стека — gateway-контейнер nginx (`:9010` prod-like `compose.yml`, `:9011` dev `compose.dev.yml`), **не** 8080. Реальный прод-стек (`docker-compose.yml` + прод `nginx.conf`) рендерит CI-job `deploy` — копий на хосте/в репо не заводить. Наружный прод-вход — `https://pjandro.ru/pdf-converter/` (образ web собирается с `VITE_BASE=/pdf-converter/` — bake в job `images-web`, не в compose).
|
||||
|
||||
Порядок фиксирован, местами менять нельзя (`WordPdfConverter.convertToStream`). Вход роутируется по сигнатуре байтов: `PK\x03\x04` → docx-путь; `D0 CF 11 E0 A1 B1 1A E1` (CFB, MS-CFB §2.2) → мост `DocToDocx.convert` → in-memory `.docx` → тот же конвейер (единый предикат — `WordPdfValidator.isBinaryDoc`).
|
||||
**Пайплайн** `WordPdfConverter.convert(byte[] docxBytes, String title, ConvertOptions)` → `convertToStream` (публичная сигнатура единственная, 2-аргументной перегрузки **нет**); порядок шагов фиксирован:
|
||||
|
||||
| # | Шаг | Что делает |
|
||||
|---|---|---|
|
||||
| 0 | `DependencyGuard.check()` | API-проба commons-compress ≥ 1.25.0, иначе `ConversionException` с инструкцией |
|
||||
| 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | инициализация шрифтов — инвариант (объяснение в `docs/agent/pipeline.md`) |
|
||||
| 2 | `DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load` | один zip-проход правил 1–10 + условная OLE-вычистка (правило 11) |
|
||||
| 3 | `pkg.setFontMapper(mapper)` | привязка шрифтов документа к бандл-TTF |
|
||||
| 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` |
|
||||
| 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare` | в FOP-конфиг — **все** бандл-семейства |
|
||||
| 4.25 | `LayoutPostRenderer.register` | кастомный `FORenderer`: post-FO padding-компенсация таблиц |
|
||||
| 4.5 | `foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES)` | вендорный `xslt/docx2fo.xslt` с AUDIT-FIX-патчами (инвариант) |
|
||||
| 5–6 | `getFopFactoryBuilder`/`getFOUserAgent` → `Docx4J.toFO(…, FLAG_EXPORT_PREFER_XSL)` | XSL-FO → PDF; непустой `title` → заголовок PDF |
|
||||
| 7 | `finally` → `deleteEmbeddedFontTempFiles()` | в docx4j 17.x `OpcPackage.close()` нет |
|
||||
0. `DependencyGuard.check()` (commons-compress ≥ 1.25.0 API-проба);
|
||||
1. шрифты: `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` — строго в этом порядке, до `load()`;
|
||||
2. нормализаторы (`DocxRewritePipeline.STEP` + лямбда `OleObjectNormalizer`) → `WordprocessingMLPackage.load`;
|
||||
3. `setFontMapper`; 3.5 `DrawingPreRenderer.run` (chart/SmartArt/OMML-формулы → PNG; error-флаги бросаются здесь) — **обязателен до `FOSettings`**, иначе FOP молча теряет диаграммы;
|
||||
4. `FOSettings` + `ChartImageHandler` + `FopFallbackFonts.declare`; 4.25 `LayoutPostRenderer.register`; 4.5 `setCustomXsltTemplates(VendoredXslt.TEMPLATES)`;
|
||||
5. общая `FopFactory` (DCL на мониторе `WordPdfConverter.class`);
|
||||
6. `Docx4J.toFO(…, FLAG_EXPORT_PREFER_XSL)` — последним;
|
||||
7. `finally`: сброс temp-шрифтов (`FontTablePart.deleteEmbeddedFontTempFiles()`), `resetSharedImageCaches()` (иначе ~1,5 ГБ за 30 конвертаций), `restrictToBundled()` (иначе встроенные в предыдущий docx шрифты травят реестр).
|
||||
|
||||
Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись zip/CFB → контейнер → страницы). Для `.doc` — `checkPageCountDoc` по сырым байтам (MS-DOC), до конвертации. Полные обоснования шагов и правила подсчёта страниц — `docs/agent/pipeline.md`.
|
||||
`WordPdfValidator.validate` вызывается в `convert()` **до** монитора (параллельно); при `options == null` бросает `ValidationException` сам `convert()`. Вход роутируется по сигнатуре: `PK\x03\x04` → docx; `D0 CF 11 E0 A1 B1 1A E1` (CFB) → `DocToDocx.convert`. Для `.doc` страницы считаются по сырым байтам. Пороги валидатора в `WordPdfConverter` объявлены compile-time literals (javac инлайнит, static-блок конвертера не дёргается).
|
||||
|
||||
### Мост `.doc` → `.docx` (`internal/doc`, 18 классов)
|
||||
**Слои ядра** (`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`):
|
||||
- публичный API: `WordPdfConverter`, `WordPdfValidator`, `ConvertOptions` (record `errorOnCharts/errorOnSmartArt/errorOnOle/maxMb/maxPages` — порядок полей фиксирован), `ConversionException` + `ValidationException` + `Charts/SmartArt/OleFoundException`; `warmup()` — идемпотентный прогрев (никогда не бросает), решает вызывающий;
|
||||
- `internal/`: контракт нормализатора — `byte[] normalize(byte[])`, нечего менять → **тот же массив** (`assertSame`); правила 1–11 идут одним zip-проходом `DocxRewritePipeline.STEP` в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby (порядок в javadoc `WordPdfConverter.normalizers` устарел — не доверять), `OleObjectNormalizer` — 12-й, отдельным байтовым проходом (не zip); неизменённые записи копируются raw-сжатыми байтами; наружу только `DocxNormalizer`, `DocxRewritePipeline.STEP`, `OleObjectNormalizer`, `FopFallbackFonts`, `LayoutPostRenderer`, `DependencyGuard`;
|
||||
- `internal/doc`: мост `.doc`→`.docx`, 18 top-level классов (17 package-private + `DocToDocx`) + вложенный `DocxBody`, наружу только `DocToDocx.convert/countPages`; любая бита/шифрованный/Word 6-95 входов → `ConversionException`; раскладки — `docs/agent/doc-bridge.md`;
|
||||
- `internal/chart`: Java2D → PNG (`ChartRenderer.DPI = 300`, `MAX_PIXELS` 4096² — `fitDpi` понижает dpi; `MAX_POINTS` 100 000, бюджет chart/math-PNG на документ 128 MiB); формулы OMML — собственный растер `MathModel` (разбор §22.1 в дерево боксов, `SUPPORTED` — единый список конструкций) + `MathRenderer` (без AWT/JEuclid, только бандл через `GlyphFont`); модель **деградации**: битая chart-часть/превышение бюджета → объект удалён + warn; неподдерживаемая/битая формула → **текст** (конкатенация `m:t`) + warn; `wp:extent` вне диапазона/ноль → объект **остаётся** + warn (FOP молча потеряет); `OutOfMemoryError` — не деградация, а `ConversionException` (500);
|
||||
- `fonts/GlyphFont`: метрика/глифы через fontbox напрямую, **без** `java.awt.Font` (fontconfig хосту не нужен).
|
||||
|
||||
Нормативный источник — [MS-DOC] в `docs/standards/doc/`, общее OLE-окружение ([MS-CFB], [MS-OLEPS], [MS-ODRAW]) — `docs/standards/binary/`. Новых runtime-зависимостей нет (POI/POIFS — test-scope). Публичные точки: `DocToDocx.convert(byte[])` и `DocToDocx.countPages(byte[])`; общий разбор — `DocFile` (CFB → потоки WordDocument / 0Table|1Table / Data + FIB + piece table). 16 из 18 классов package-private; наружу — `DocToDocx` и `CfbReader`.
|
||||
**Concurrency-инвариант**: `PhysicalFonts` — глобальный мутируемый реестр → все конвертации сериализованы монитором `WordPdfConverter.class` (convert, warmup, DCL-фабрика, мутации `BundledFonts`, `BundledFonts.font()`). Приложение дополнительно держит однопоточный `ThreadPoolExecutor` (очередь 16 → 503, `wordpdf.convert-timeout=2m` → 504), головой очереди стоит `warmup()`; `WordPdfValidator.checkInput` выполняется синхронно до очереди.
|
||||
|
||||
|Класс|Семантика (полные байтовые раскладки — `docs/agent/doc-bridge.md`)|
|
||||
|---|---|
|
||||
|`CfbReader`, `FibHeader`, `PieceTable`|CFB ([MS-CFB], любой брак → `ConversionException`) + FIB (§2.4.1: `fWhichTblStm`, пары `fc*`) + текст §2.9.135 (compressed CP1252 / UTF-16LE)|
|
||||
|`Grpprl`, `ChpxIndex`, `PapxIndex`, `PrcData`|sprm'ы CHPX/PAPX/TAP/Sepx (§2.6.2) + FKP-индексы (§2.4.6; bOffset=0 — дефолт с сохранением границы рана) + разворот grpprl вне FKP (§2.9.210)|
|
||||
|`Styles`, `FontTable`, `Lists`|STSH-цепочки base-first, символьные stk=3 → `charChain` (§2.9.271) + ftc→`w:rFonts` (§2.9.147) + PlfLst/PlfLfo → `word/numbering.xml` (§2.9.200/.201)|
|
||||
|`Tables`, `Sections`, `Headers`|TAP → сетка/границы/`w:jc`/vAlign/`w:tcMar` (§2.6.3; битый TDefTable → плоские абзацы) + секции (PlcfSed §2.8.26: continuous/landscape/колонтитулы/колонки/titlePage) + Plcfhdd → `headerN.xml`/`footerN.xml`|
|
||||
|`SummaryInfo`, `OfficeArt`|кэш PageCount [MS-OLEPS] (offset'ы относительны начала PropertySet) + BLIP → PNG/JPEG/DIB; EMF/WMF/PICT → пропуск + warn|
|
||||
|`DocToDocx`, `DocxWriter`|оркестратор + `DocxBody` (раны/pPr/табличный автомат 0x07/TTP → docx-XML) + мульти-частный zip (document/numbering/hdr/ftr/media)|
|
||||
**REST** (`wordpdf-app`, всё package-private кроме `WordPdfApplication`): `POST /api/v1/convert` (multipart `file` + `errorOnCharts/errorOnSmartArt/errorOnOle`, `maxMb/maxPages` переопределяют серверный дефолт в обе стороны, ≤ 0 → 400; `file.getBytes()` — только после проверки размера; имя файла из `Content-Disposition`, UTF-8 + `.pdf`). Коды: 400 валидация/битые параметры, 401 `ApiKeyFilter` (`X-API-Key` ↔ `wordpdf.api-key`, пусто = выключено, сравнение `MessageDigest.isEqual`; открытые префиксы `/actuator/` (со слэшем!), `/swagger-ui`, `/v3/api-docs`; dot-segment (`..`, `%2e`) заставляет требовать ключ даже на открытых; Advice фильтров не видит — 401 пишет сам), 413 multipart, **422** отказ по графике (`DrawingRejectedException`, фиксированные тексты CHARTS/SMART_ART/OLE — контракт с фронтом), 500 `ConversionFailedException` (текст ядра только в лог, наружу фиксированный), 503 переполнение очереди, 504 timeout; тело ошибки — `{"error": …}` (`record ApiError`). Полная карта, включая 404/405/415, — `docs/agent/repo-map.md`. На `.doc` error-флаги не срабатывают (OLE-вложения — U+0001, мост деградирует в картинки); при снятом флаге `.docx`-OLE теряет data-части, **но сохраняет плейсхолдер-картинку**.
|
||||
|
||||
### Нормализаторы (`internal/DocxNormalizer`)
|
||||
|
||||
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Порядок фиксирован: Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby. Правила 1–10 применяет `DocxRewritePipeline.STEP` одним zip-проходом (неизменённые записи копируются raw-сжатыми байтами), `OleObjectNormalizer` (правило 11) подключается лямбдой в `WordPdfConverter.normalizers()`. Константу `STEP` выставляют 9 из 10 rewrite-нормализаторов (нет у `RubyNormalizer`), у `OleObjectNormalizer` её нет вовсе.
|
||||
|
||||
1. `StrictOoxmlNormalizer` — strict-OOXML → transitional (`w:start`/`w:end` → `w:left`/`w:right`, проценты ×1000, `jc val="end"`).
|
||||
2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`.
|
||||
3. `SymbolFontNormalizer` — PUA U+F000–U+F0FF (Symbol/Wingdings/Webdings) → Unicode + DejaVu Sans.
|
||||
4. `FieldNormalizer` — `fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple`.
|
||||
5. `InvisibleCharNormalizer` — вырезание невидимых/bidi-символов из `w:t`.
|
||||
6. `GlyphCoverageNormalizer` — резка ранов по покрытию глифов, `w:rFonts` (иначе FOP рисует «#»).
|
||||
7. `TableIndentNormalizer` — `w:jc` center/right + `w:tblInd` → абсолютный `w:tblInd`.
|
||||
8. `NumberingSuffixNormalizer` — `w:suff="space"` → пробел в `w:lvlText`.
|
||||
9. `HiddenTextNormalizer` — вырезание скрытых ранов (`w:vanish`), guard защищённого содержимого.
|
||||
10. `RubyNormalizer` — руби: база → обычные раны, надстрочница вырезается.
|
||||
11. `OleObjectNormalizer` — OLE-бинарники вычищаются, `<w:object>` → плейсхолдер-картинка; `errorOnOle` → 422.
|
||||
|
||||
Полные правила с номерами секций, guard'ами и инвариантом про `mc-preprocessor.xslt` (собственный рерайт strict-URI ломать нельзя) — `docs/agent/pipeline.md`.
|
||||
|
||||
### REST API (`wordpdf-app`, всё package-private кроме `WordPdfApplication`)
|
||||
|
||||
Единственный эндпоинт `POST /api/v1/convert`: multipart-поле `file` (`.docx`/`.doc`) + факультативные query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолты — `WordPdfSettings.ERROR_ON_*`). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`; имя — `ConversionService.safeBaseName`. Error-флаги диаграмм/SmartArt/OLE на `.doc` **не срабатывают** (BLIP-плейсхолдеры → картинки) — описано в `@Operation`. Полный текст — `docs/agent/repo-map.md`.
|
||||
|
||||
| Ситуация | HTTP | Класс |
|
||||
|---|---|---|
|
||||
| Некорректный вход (размер, подпись zip/CFB, контейнер, страницы) | 400 | `ValidationException` (наследник `ConversionException`) |
|
||||
| Ошибка уровня запроса (нет файла, чужое расширение, размер, нечитаемая часть) | 400 | `BadRequestException` |
|
||||
| Error-флаг на диаграммы/SmartArt/OLE | **422** | `DrawingRejectedException` (core-`DrawingFoundException`, `Kind {CHARTS, SMARTART, OLE}`) |
|
||||
| Ошибка ядра/рендера | 500 | `ConversionFailedException` |
|
||||
| Очередь переполнена | 503 | `ConversionRejectedException` |
|
||||
| Дольше `wordpdf.convert-timeout` (2m) | 504 | `ConversionTimeoutException` |
|
||||
| Превышен multipart-лимит | 413 | `MaxUploadSizeExceededException` |
|
||||
| Неизвестный путь / метод / content-type | 404 / 405 / 415 | `NoResourceFoundException` / `HttpRequestMethodNotSupportedException` / `HttpMediaTypeNotSupportedException` |
|
||||
| Битый error-флаг, нет части/параметра | 400 | `MethodArgumentTypeMismatchException`, `MissingServletRequestPartException`, `MissingServletRequestParameterException` |
|
||||
|
||||
Тело ошибки — `{"error": …}`. Текст 422 — контракт с фронтом, показывается дословно: «Конвертация отменена: в документе найдены диаграммы/найден SmartArt/найдены OLE-объекты». `ApiExceptionHandler` не видит ошибок фильтров — 401 пишет сам `ApiKeyFilter`.
|
||||
|
||||
- **Ключ доступа**: `X-API-Key` ↔ `wordpdf.api-key` (пустое = выключено); без ключа открыты только `OPEN_PREFIXES` (`/actuator/`, `/swagger-ui`, `/v3/api-docs`), пути с точечными сегментами — никогда. Механика `ApiKeyFilter` — `docs/agent/repo-map.md`.
|
||||
- **Очередь и лимиты**: конвертации сериализованы однопоточным `ThreadPoolExecutor` (`QUEUE_CAPACITY = 16`, переполнение → 503) — ядро мутирует глобальный `PhysicalFonts` и **не потокобезопасно**; головой очереди на старте стоит `WordPdfConverter.warmup()`; лимиты входа — только конфигурация сервера (`wordpdf.max-mb`/`max-pages`, SpEL-дефолты из `WordPdfSettings`; ≤ 0 → `IllegalStateException` на старте; параметрами запроса не переопределяются, в `application.properties` намеренно не объявлены).
|
||||
- **SPA**: вся сеть в `wordpdf-web/src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), экран `ApiKeyGate` показывается только когда `probeApiKey()` подтвердил требование ключа (признак открытого сервера — **405**, не 200/404); base — `VITE_BASE` (дефолт `/`, CORS не нужен); три error-флага (дефолт — выключены), DropZone `.docx,.doc`.
|
||||
|
||||
### Chart/SmartArt-движок (`internal/chart`, 18 классов)
|
||||
|
||||
Нормативный источник правок — ECMA-376 (`docs/standards/ooxml/`: графики §21.2, diagram-разметка §21.4, пресет-геометрия Annex D, XSD `schema/strict/`/`schema/transitional/`); поведение Word — `ms-oi29500.md`, `ms-odrawxml.md`. Эмпирические калибровки (камера, `PIE_DEPTH`) менять только вместе с пиксельными тестами; фикстура невалидна — правится фикстура, не код.
|
||||
|
||||
Java2D → PNG: `ChartRenderer.DPI = 300`, потолок растра `MAX_PIXELS = 16_777_216` (`fitDpi` понижает эффективный dpi). Защитные лимиты: `ChartSpec.MAX_POINTS = 100_000`, `ChartRenderer.MAX_TICKS = 1000`, `DrawingPreRenderer.MAX_EXTENT_EMU = 22_000_000` — деградация «объект остаётся как есть / удалён + warn», не OOM.
|
||||
|
||||
chart-PNG вставляются media-частями вручную (`DrawingPreRenderer.addChartMedia`, имена `/word/media/chart-*`, без docx4j-decode'а `createImagePart`); `ChartImageHandler` отключает docx4j «Compress Pictures» (CR-029) только для них — медиа документов остаются в штатном режиме.
|
||||
|
||||
Пейнтеры со всеми калибровками, `autoTitleDeleted`/автозаголовки, Combo-семантика, защитные обходы JAXB — `docs/agent/chart.md`.
|
||||
**SPA** (`wordpdf-web/src`): вся сеть — единственная точка `api.ts` (ровно 2 `fetch`: `convertDocx`, `probeApiKey()` — 401=required / иначе open; ключ в localStorage `wordpdf.api.key`, при 401 стирается; имя файла из `Content-Disposition filename*=utf-8''`); единственный источник состояния — `useState` в `components/App.tsx` (+ `useRef` для `AbortController`/blob-URL), store-библиотек нет; лимиты на клиенте не задаются — только сервер.
|
||||
|
||||
### Критические инварианты (нарушение = битый вывод, не исключение)
|
||||
|
||||
- `docx4j.convert.out.fo.gsubFeatures=false` — static-блок `WordPdfConverter`. Иначе FO невалиден → `WordLayoutFixups` молча отказывает всем фиксам → FOP падает на `docx4j-baseline`.
|
||||
- `docx4j.fonts.discoverPhysicalFonts.enabled=false` и `docx4j.fonts.discoverJarFonts.enabled=false` — static-блок `WordPdfConverter`: `BestMatchingMapper` (static) сканирует системные шрифты и jar'ы classpath'а, а `BundledFonts.restrictToBundled()` перед каждой конвертацией всё найденное выбрасывает (~100–140 мс впустую на JVM). `discoverJarFonts("fonts-symbol")` свойством не гейтится — символ-шрифт регистрируется и снимается restrict'ом как раньше.
|
||||
- Единственный XSL-FO-стилист — вендорный `wordpdf-core/src/main/resources/xslt/docx2fo.xslt` (копия `docx2fo.xslt` из docx4j-export-fo 17.3.2 + два AUDIT-FIX-патча: `w:rPr/w:position` → `baseline-shift`, Part 1 §17.3.2.24; AUDIT-FIX-2 — шаблоны `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir`, иначе их ловит catch-all `match="*"` и текст теряется). Дрейф-гейт `WordPdfConverterTest#vendoredXsltTracksJarCopy`: вне AUDIT-FIX-регионов вендорная копия обязана быть побайтно равна стилю из jar'а — при апгрейде docx4j перевендорить и перенести патчи. `setCustomXsltTemplates` принимает предкомпилированный `Templates` (каст Object→Templates, поток кидает CCE).
|
||||
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF (регрессия `noLoggingWarningInPdf`). Приложение исключает его из зависимости ядра — логи ведёт logback.
|
||||
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 (транзитив от `docx4j-export-fo`, в pom не пинится; пакеты `org.apache.fop.*`). `FopFallbackFonts` берёт `w:renderer` с mime `application/pdf`, иначе первый со шрифтами.
|
||||
- Порядок инициализации шрифтов: `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` — **до** `load()`. `init()` идемпотентен и `synchronized`, распаковывает TTF во временный каталог `wordpdf-fonts-*` (`deleteOnExit` на файлы и каталог); `dropNonBundled()` чистит глобальный реестр `PhysicalFonts` от всего, что вне бандла.
|
||||
- `PhysicalFonts` — глобальный и мутируемый → ядро не потокобезопасно; приложение сериализует конвертации одним воркером. `warmup()` обязан идти тем же сериализующим потоком.
|
||||
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; детальные правила StAX-подсчёта (`attrLocal`, `continuous`, колонтитуки, стриминговый проход) — `docs/agent/pipeline.md`.
|
||||
- Не чинить (невозможности FOP/docx4j и ограничения эталона): `jc="distribute"`, `suff="tab"`/`lvlJc`, метрика «single», кернинг, `framePr`, `REF`/`SEQ`/`TOC`-кэш, руби-надстрочница, U+2188/U+218A — перечень с доказательствами: `docs/agent/render-limitations.md`.
|
||||
- Внимание: комментарии в `WordPdfConverter`/`DocxOnOffNormalizer` говорят «docx4j 11.x» — устаревшее число, фактически 17.3.2 (описанное поведение верно).
|
||||
|
||||
### Шрифты (30 TTF + 3 лицензии, SIL OFL, `wordpdf-core/src/main/resources/fonts/`)
|
||||
|
||||
9 семейств: 7 × 4 начертания (Carlito/Caladea/Arimo/Tinos/Cousine/DejaVu Sans/DejaVu Serif) + Noto Naskh Arabic / Noto Sans Armenian (только regular). Алиасы в `BundledFontMapper.ALIASES` (ключи lowercase): Calibri→Carlito, Calibri Light→Carlito, Cambria→Caladea, Arial→Arimo, Times New Roman→Tinos, Courier New→Cousine; **self-map** всех бандл-семейств, включая Noto (иначе unmatched уходит в DejaVu-фолбэк); fallback — DejaVu Sans; виртуальный `SYMBOL_FONT` «Segoe UI Symbol» (U+2000–U+2EFF) → fallback до основного цикла. Публичный API `BundledFonts`: `families()`, `font/regular/bold/italic/boldItalic(family)`, `FALLBACK_FAMILY`. Новый шрифт = файл + запись в `BundledFonts.ENTRIES` (синхрон проверяет `BundledFontsTest`). `GlyphFont` читает TTF напрямую с classpath через fontbox — **без `java.awt.Font`** (нужен fontconfig на хосте).
|
||||
- Static-блок `WordPdfConverter`: `docx4j.convert.out.fo.gsubFeatures=false` (иначе `WordLayoutFixups` отказывает всем фиксам → FOP падает), `docx4j.fonts.discoverPhysicalFonts.enabled=false`, `discoverJarFonts.enabled=false` — не удалять.
|
||||
- Единственный XSL-FO-стилист — вендорный `wordpdf-core/src/main/resources/xslt/docx2fo.xslt` (копия из docx4j-export-fo 17.3.2 + AUDIT-FIX-патчи); обновление docx4j = ручной перенос патчей; дрейф-гейт `vendoredXsltTracksJarCopy`; команда ре-вендоринга — `docs/agent/repo-map.md`.
|
||||
- `slf4j-simple` обязателен в ядре: без SLF4J-провайдера docx4j пишет «TO HIDE THESE MESSAGES» прямо в PDF; в app исключён (logback). Fontbox логируется commons-logging — единственный мост `jcl-over-slf4j`; `commons-logging` исключён из pdfbox/fontbox в dependencyManagement.
|
||||
- FOP — форк `org.docx4j:docx4j-fo-renderer*` 2.11-docx4j.6 (транзитив от `docx4j-export-fo`, в pom не пинится); `jeuclid-fop`/`jeuclid-core` исключены из `docx4j-export-fo` в core-pom (тянут AWT/fontconfig); расхождения с upstream-доками FOP нормальны; `lineRule=auto` не «чинить».
|
||||
- Chart-media префикс `/word/media/chart-*` — константа `DrawingPreRenderer.CHART_MEDIA_URI_PREFIX` (package-private), пакетный контракт с `ChartImageHandler` (отключение пересжатия); переименование молча вернёт мыльный ресемпл.
|
||||
- Стоп-лист «не чинить» (до любой попытки починить расхождение с Word — `docs/agent/render-limitations.md`): `jc="distribute"`, `suff="tab"`/`lvlJc`, кернинг, `framePr`, `REF`/`SEQ`/`TOC`-кэш, руби-надстрочница, `ptab`, U+2188/U+218A (GPL-шрифты не добавляем).
|
||||
|
||||
## Key Directories
|
||||
|
||||
| Путь | Назначение |
|
||||
|Каталог|Назначение|
|
||||
|---|---|
|
||||
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | публичный API: `WordPdfConverter`, `WordPdfValidator`, `WordPdfSettings`, `ConvertOptions`, `ConversionException`/`ValidationException`/`DrawingFoundException` |
|
||||
| `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontMapper` (алиасы, self-map), `GlyphFont` (глиф-движок fontbox) |
|
||||
| `…/wordpdf/internal/` | 11 нормализаторов + `DocxRewritePipeline` (zip-проход правил 1–10) + `OleObjectNormalizer` + `LayoutPostRenderer` + `FopFallbackFonts` + `DependencyGuard` + интерфейс `DocxNormalizer` |
|
||||
| `…/wordpdf/internal/doc/` | мост `.doc` → `.docx` (18 классов, детали — `docs/agent/doc-bridge.md`) |
|
||||
| `…/wordpdf/internal/chart/` | 18 классов Java2D-рендера диаграмм/SmartArt в PNG (public: `DrawingPreRenderer.run`, `ChartImageHandler`) |
|
||||
| `wordpdf-core/src/main/resources/` | `fonts/` (30 TTF), `xslt/docx2fo.xslt` (вендорный стилист), `slf4j-simple.properties` |
|
||||
| `wordpdf-core/src/test/resources/` | `samples/` (25 закоммиченных фикстур: 13 `.docx` + 12 `.doc`), `geom/presetShapeDefinitions.xml` (ECMA-376, только в тестах) |
|
||||
| `wordpdf-app/` | REST API (11 классов, public только `WordPdfApplication`) |
|
||||
| `wordpdf-web/` | SPA: `src/api.ts` (вся сеть) + `src/components/` (App, ApiKeyGate, PdfPreview, StatusMessage, DropZone, Logo) |
|
||||
| корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf` | контейнеры; единственный вход — gateway (`:9010`/`:9011`) |
|
||||
| `.gitea/workflows/` | Gitea Actions (`pr.yml`, `main.yml`) — нарратив job'ов `docs/agent/ci-cd.md` |
|
||||
| `docs/standards/` | нормативные спецификации (навигатор — `README.md`): `ooxml/` (ECMA-376 + XSD + MS-OI29500/MS-ODRAWXML), `binary/` (OLE2-окружение), `doc/` ([MS-DOC]), `docx/` (валидатор фикстур), `xls/`, `xlsx/`, `ppt/`, `pptx/` |
|
||||
| `docs/agent/` | глубокие справочники: `pipeline`, `doc-bridge`, `chart`, `render-limitations`, `testing`, `ci-cd`, `repo-map` (когда читать — по имени файла) |
|
||||
| `prod-autotests/` | прод-автотесты (pytest, конфиг только env) |
|
||||
| `develop/` | рабочие материалы и эталоны рендера (gitignored) — **не фикстуры**, в тесты/jar не подключать |
|
||||
|`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API + `internal/` (нормализаторы) + `internal/doc/` (мост) + `internal/chart/` (рендер) + `fonts/`|
|
||||
|`wordpdf-core/src/main/resources/`|`fonts/` (30 TTF + лицензии OFL/Bitstream-Vera/Noto), `xslt/docx2fo.xslt`, `slf4j-simple.properties`|
|
||||
|`wordpdf-core/src/test/resources/samples/`|фикстуры: 13 `.docx` + 12 `.doc` (закоммичены, билдятся в test-jar для app; у app своего `src/test/resources` **нет**)|
|
||||
|`wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/`|REST-слой (11 классов)|
|
||||
|`wordpdf-web/src/`|SPA: `api.ts` (вся сеть), `components/` (`App.tsx` — состояние, `ApiKeyGate`, `DropZone`, `PdfPreview`, `StatusMessage`, `Logo`)|
|
||||
|`prod-autotests/`|pytest-проверки живого стенда (31: 4 открытые + 27 `needs_key`)|
|
||||
|`docs/agent/` · `docs/standards/`|справочники поведения · закоммиченные спецификации (ECMA-376, MS-DOC/CFB/ODRAW…, навигатор — `docs/standards/README.md`)|
|
||||
|`gateway/nginx.conf`|прод-like шлюз (`client_max_body_size 100m`, таймауты 300 с, `resolver` привязан literal-ом к шлюзу сети)|
|
||||
|`develop/`|вне git (gitignored): эталоны Word — **не фикстуры**, в тесты/jar не подключать|
|
||||
|
||||
## Development Commands
|
||||
|
||||
Бутстрап toolchain: `sh bootstrap.sh` (Windows: `powershell -ExecutionPolicy Bypass -File .\bootstrap.ps1`) — project-local mise в `./.mise/` (в систему ничего не ставится), дальше — `./mise.sh` / `.\mise.ps1`.
|
||||
Бутстрап: `sh bootstrap.sh` (Windows: `powershell -ExecutionPolicy Bypass -File .\bootstrap.ps1`) — project-local mise 2026.10.19 в `./.mise/` + `mise install` + `npm ci` web; дальше всё через `./mise.sh` / `.\mise.ps1` (тонкие exec-обёртки; инструменты — в `~/.local/share/mise`).
|
||||
|
||||
```bash
|
||||
./mise.sh run verify # = mvn clean verify: тесты + PMD + гейты JaCoCo (обязательный гейт перед push)
|
||||
mvn clean verify # то же самое; mvnw НЕТ — только системный Maven
|
||||
mvn -pl wordpdf-core test -Dtest=WordPdfConverterTest#pageNumbers_recomputedNotCached # один тест
|
||||
mvn -pl wordpdf-app -am test -Dtest=ConvertControllerTest#convertSample_returnsPdf # app-тест (-am обязателен: app берёт test-jar core)
|
||||
mvn -pl wordpdf-app -am package # исполняемый jar бкенда (-am обязателен)
|
||||
java -jar wordpdf-app/target/wordpdf-app-1.0.0.jar # :8080, ключ выключен
|
||||
./mise.sh run verify # = mvn clean verify: тесты + PMD + JaCoCo (гейт перед push)
|
||||
./mise.sh run verify-nofontconfig # тот же verify в контейнерах без fontconfig (как CI)
|
||||
mvn test -Djacoco.skip=true # работает: пустой <argLine> по умолчанию в корневом pom
|
||||
mvn -pl wordpdf-core test -Dtest=WordPdfConverterTest#pageNumbers_recomputedNotCached
|
||||
mvn -pl wordpdf-app -am test -Dtest=ConvertControllerTest#convertSample_returnsPdf # -am обязателен: core test-jar
|
||||
./mise.sh run app-package && ./mise.sh run app-run # jar :8080, ключ выключен
|
||||
curl -F "file=@doc.docx" http://localhost:8080/api/v1/convert -o doc.pdf
|
||||
./mise.sh run web-install|web-build|web-lint|web-dev # npm ci | tsc -b && vite build | oxlint | vite :5173
|
||||
podman-compose -f compose.dev.yml up -d --build --force-recreate # dev-стенд: http://<LAN-IP хоста>:9011, без ключа, springdoc вкл; --force-recreate ОБЯЗАТЕЛЕН — без него пересобирается образ, а контейнеры остаются на старом
|
||||
./mise.sh run prod-tests # прод-автотесты: pip install + pytest -q . в prod-autotests/
|
||||
python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources/samples/*.docx # XSD-валидация фикстур (lxml)
|
||||
./mise.sh run mem-bench # membench.sh + core MemoryBench (MB_LABEL, --scenario suite|big|all, --dir develop/)
|
||||
podman-compose -f compose.dev.yml up -d --build --force-recreate # dev-стенд :9011, без ключа
|
||||
podman-compose up -d --build # prod-like стенд :9010 — fail-closed: нужен .env с WORDPDF_API_KEY (шаблон .env.example)
|
||||
./mise.sh run prod-tests # pytest; обязателен WORDPDF_BASE_URL
|
||||
python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources/samples/*.docx # XSD (lxml)
|
||||
```
|
||||
|
||||
Задачи mise (8): `verify`, `app-package`, `app-run`, `web-install`, `web-build`, `web-lint`, `web-dev`, `prod-tests`.
|
||||
|
||||
**«Запусти тестовый сервер» (термин пользователя)** = полный dev-стенд, НЕ `java -jar`: `podman-compose -f compose.dev.yml up -d --build --force-recreate`, вход `http://<LAN-IP хоста>:9011` без API-ключа; гейт — контейнеры healthy + корень SPA отвечает 200. Обоснования (`--force-recreate`, почему без ключа) — `docs/agent/repo-map.md`.
|
||||
|
||||
Пересоздание фикстур (POI) и перевендоривание стилиста после апгрейда docx4j — команды в `docs/agent/repo-map.md`.
|
||||
|
||||
Деплой. **Прод** — на пользовательском LAN-сервере; **перед любым деплоем/перезапуском прочитать `/home/pjandro/prod/java-word-pdf/DEPLOY.md`**. Передёдплой — push в `main` или Run workflow (`workflow_dispatch`), ручных скриптов нет. Детали (рендер прод-конфигов job'ом `deploy`, гейты, откат) — `docs/agent/ci-cd.md`.
|
||||
- «Запусти тестовый сервер» (термин пользователя) = dev-стенд выше, **не** `java -jar`; вход — `http://<LAN-IP>:9011` (`hostname -I`); гейт готовности — контейнеры healthy (`podman-compose -f compose.dev.yml ps`) + корень SPA 200; `--force-recreate` обязателен.
|
||||
- `mvn test` PMD и проверки JaCoCo **не** запускает (оба на `verify`; сам агент JaCoCo подключается и на `test` — execution `prepare-agent` на `initialize`); `mvn -pl wordpdf-app` без `-am` падает (зависимость от core test-jar).
|
||||
- Деплой — push в `main` → Gitea Actions (детали — `docs/agent/ci-cd.md`); **перед деплоем/перезапуском прочитать `/home/pjandro/prod/java-word-pdf/DEPLOY.md`** (вне репо); ручных скриптов нет.
|
||||
|
||||
## Code Conventions & Common Patterns
|
||||
|
||||
- Классы `final`, приватный конструктор, только `static` (stateless, DI нет; конфигурация — `Docx4jProperties` + classpath-ресурсы). Исключения — экземпляры по природе: `BundledFontMapper` (`extends BestMatchingMapper`), `DrawMlColor`, Spring-компоненты `wordpdf-app`.
|
||||
- В `internal/**` классы `public` (иначе родительский пакет не вызвал бы), но публичные члены наружу ограничены: `normalize`/`STEP`/`declare`/`run`/`check`/`register`; `rewrite`-хуки — package-private. В `wordpdf-app` всё package-private кроме `WordPdfApplication`. В `internal/doc` публичны только `DocToDocx` и `CfbReader`.
|
||||
- Нормализаторы — единый контракт `internal/DocxNormalizer` + константа `STEP`; порядок цепочки — см. «Нормализаторы», правятся только `word/*.xml`.
|
||||
- Ошибки публичного API — только `ConversionException extends RuntimeException` (unchecked); внутренние исключения оборачиваются на границе. В chart — деградация вместо падения. `ValidationException` — исключительная собственность `WordPdfValidator`; не оборачивать его в общий `ConversionException`.
|
||||
- DI в `wordpdf-app` — конструкторная инъекция Spring; состояние сервисов `private final`. SPA: единственный источник состояния — `useState` в `App.tsx`, вся сеть — в `api.ts`.
|
||||
- Javadoc на русском, объясняет «почему» и ссылается на регрессию и фикстуру (формат: `Регрессия — WordPdfConverterTest#имя, фикстура samples/….docx`) — новый фикс оформлять так же.
|
||||
- Константы UPPER_SNAKE с числовыми эталонными значениями (`PIE_DEPTH`, `MAX_PAGES`); начертания `V_REGULAR/V_BOLD/V_ITALIC/V_BOLD_ITALIC`; модели — `record`; размеры в chart — в пунктах, растр × `DPI/72`.
|
||||
- Логирование: `java.util.logging.Logger` в корневом пакете и `internal/`, SLF4J — в `internal/chart` и в `wordpdf-app`.
|
||||
- Тестовые методы: регрессионные — `объект_условие` через underscore (`ruPlain_cyrillicAndStyles`, `checkInput_bytesOverLimit`, `noKey_rejected`); чистые юниты — camelCase (`pageFieldBecomesFldSimple`, `splitsRunForUncoveredGlyph`); оба стиля разрешает PMD-паттерн `junit5TestPattern` (`^[a-z][a-zA-Z0-9]*(_[a-zA-Z0-9]+)*$`).
|
||||
- PMD (`pmd-ruleset.xml`, execution `pmd-check` на `verify` в обоих модулях, `includeTests=true` — тесты тоже сканируются, валится нарушение любой приоритетности): полные исключения категории, кастомный XPath-правило `LiteralFirstInEquals` и настройки правил — в самом ruleset.
|
||||
- Классы `final`, приватный конструктор, только `static` (stateless, DI в ядре нет). Исключения-экземпляры: `BundledFontMapper`, Spring-компоненты app. В `internal/**` классы package-private; `public` — только вызываемые извне пакета, контракт не расширять.
|
||||
- Ошибки публичного API — только `ConversionException extends RuntimeException`; `ValidationException` не оборачивать; в chart — деградация вместо падения; текст 500 наружу фиксированный (сообщения ядра логируются, не отдаются).
|
||||
- Javadoc на русском: «зачем» со ссылкой на секцию спецификации (§17.3.2.24, [MS-DOC] §2.6.1…) + что сломается без шага + регрессия в формате `Регрессия — WordPdfConverterTest#имя, фикстура samples/….docx` (по этой строке грепом восстанавливаются пары «нормализатор-тест ↔ тест-в-конвейере»).
|
||||
- Логирование по пакетам: `java.util.logging` — корневой пакет и `internal/` (`WordPdfConverter`, `OleObjectNormalizer`, `DocToDocx`); SLF4J — `internal/chart` (`ChartRenderer`, `DrawingPreRenderer`) и `wordpdf-app`; остальное молчит.
|
||||
- Модели — `record` (`ConvertOptions`, `BundledFonts.Entry`, `MathRenderer.MathImage`, `ApiError`); константы UPPER_SNAKE с javadoc-обоснованием числа; holder-идиомы для ленивой инициализации (`VendoredXslt.TEMPLATES`); DCL+caches (`sharedFopFactory`, `GlyphFont.CACHE`); compile-time literals там, где важен инлайн (`WordPdfConverter` ↔ `WordPdfValidator`).
|
||||
- Шрифты: новый шрифт = файл в `resources/fonts/` + запись в `BundledFonts.ENTRIES` (синхрон проверяет `BundledFontsTest`); алиасы — `BundledFontAliases.ALIASES` (Calibri→Carlito, Cambria→Caladea, Arial→Arimo, Times New Roman→Tinos, Courier New→Cousine, …; вынесено из `BundledFontMapper`, чтобы обращение к статикам не инициировало ungated-скан `BestMatchingMapper.<clinit>`), fallback — DejaVu Sans.
|
||||
- PMD (`pmd-ruleset.xml`, execution `pmd-check` на `verify`, `includeTests=true`, валит любой приоритет): правила не перенастраивать, подавления (`@SuppressWarnings("PMD…")`, `// NOPMD`) запрещены — нарушения чинятся кодом.
|
||||
- Git: origin `git.pjandro.ru:pjandro/java-word-pdf`; защищённые `main`/`master`/`dev`; все правки — через PR в дефолтную ветку; push — только после `./mise.sh run verify`. Прод-координаты и креды в репо не попадают (Gitea Variables/Secrets — `GITEA-vars.md`; прод-ключ — только Gitea Secret; локальный `.env` gitignored, только для prod-like стенда).
|
||||
|
||||
## Important Files
|
||||
|
||||
| Файл | Роль |
|
||||
|Файл|Что держать в голове|
|
||||
|---|---|
|
||||
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java` | точка входа библиотеки + static-блок (`gsubFeatures`, отключение discovery шрифтов) + `normalizers(options)` (порядок цепочки) + `VendoredXslt` |
|
||||
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java` | валидация входа и lightweight-подсчёт страниц (StAX, без docx4j) |
|
||||
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfSettings.java` | все дефолты ядра (`MAX_INPUT_MB = 5`, `MAX_PAGES = 100`, `MAX_DECOMPRESSED_MB = 200`, `MAX_ZIP_ENTRIES = 8192`, `ERROR_ON_* = false`); runtime-конфигурации в ядре нет |
|
||||
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java` | единственный zip-проход правил 1–10; порядок вызовов `rewrite`/`rewritePart` зафиксирован здесь |
|
||||
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocToDocx.java` | оркестратор моста `.doc` (`convert`/`countPages`) + вложенный `DocxBody` |
|
||||
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java` | замена диаграмм/SmartArt на PNG; владеет `MAX_EXTENT_EMU` и деградацией при падении рендера |
|
||||
| `wordpdf-core/src/main/resources/xslt/docx2fo.xslt` | единственный XSL-FO-стилист (вендорная копия + AUDIT-FIX-патчи) |
|
||||
| `wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/ConvertController.java` | HTTP-слой: presence/расширение/размер → `ConvertOptions` → `ConversionService` |
|
||||
| `wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/ConversionService.java` | однопоточная очередь конвертаций + таймаут + прогрев ядра |
|
||||
| `wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/ApiExceptionHandler.java` | исключение → HTTP-код + `{"error": …}` (здесь же карта 400/404/405/413/415/422/500/503/504) |
|
||||
| `wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/ApiKeyFilter.java` | аутентификация `X-API-Key`; 401 пишет сам |
|
||||
| `wordpdf-app/src/main/resources/application.properties` | multipart 100MB (`file-size-threshold=2MB` — крупные части на диск), `wordpdf.convert-timeout=2m`, пустой `wordpdf.api-key`, `server.forward-headers-strategy=framework`; `wordpdf.max-mb`/`max-pages` намеренно отсутствуют |
|
||||
| `wordpdf-web/src/api.ts` | весь сетевой слой SPA, хранение ключа, типы ошибок |
|
||||
| `pom.xml` (корень) | **все** версии зависимостей и плагинов (в модулях версии не объявлять) |
|
||||
| `pmd-ruleset.xml` | ruleset PMD (код-стиль + unused + NPE-safe equals) |
|
||||
| `mise.toml` | версии инструментов и 8 задач |
|
||||
| `.ci/maven-settings.xml` | Maven-зеркало Nexus; URL из `${env.MAVEN_MIRROR_URL}` (координаты стенда в репо не хранятся) |
|
||||
| `Containerfile`, `wordpdf-web/Containerfile` | multi-stage образы бекенда и SPA |
|
||||
| `gateway/nginx.conf` | единственный вход: `/api/`, `/swagger-ui`, `/v3/api-docs`, `/actuator` → `app:8080`, остальное → `web:80` |
|
||||
| `wordpdf-core/src/test/java/.../SampleDocxGenerator.java`, `ChartTypesDocxGenerator.java` | утилиты пересоздания фикстур (main()) |
|
||||
|`pom.xml` (корень)|единственное место версий (properties + dependencyManagement): docx4j 17.3.2, commons-compress 1.28.0, slf4j 2.0.20, Boot 4.1.1 BOM, springdoc 3.1.1, JUnit 6.1.3, PDFBox/fontbox 3.0.8, POI 5.5.1 (test), JaCoCo 0.8.15, PMD-плагин 3.21.2; там же плагины: compiler 3.16.0, surefire 3.6.0 (`-Djava.awt.headless=true`), jar 3.5.1; пустой `<argLine/>` — ради `-Djacoco.skip=true`|
|
||||
|`wordpdf-core/src/main/java/.../WordPdfConverter.java`|весь конвейер, static-блок sysprops, пороги-константы, монитор сериализации|
|
||||
|`wordpdf-app/src/main/resources/application.properties`|multipart 100MB/100MB (зеркалит nginx `client_max_body_size`) + `file-size-threshold=2MB` (сброс больших частей на диск — защита от OOM), `convert-timeout=2m`, `api-key=` (пусто = auth off), `forward-headers-strategy=framework`; `wordpdf.max-mb`/`max-pages` здесь **не объявлять намеренно** — пустое значение затенит `@Value`-дефолты 5/100 (≤ 0 на старте → `IllegalStateException`)|
|
||||
|`wordpdf-core/pom.xml` / `wordpdf-app/pom.xml`|execution `test-jar`; BRANCH-гейт 0.85 (только core); exclusions: jeuclid (core), `slf4j-simple` (app); Boot-4 имена: `spring-boot-starter-webmvc` (не `-web`), отдельный `spring-boot-webmvc-test`; `repackage` привязан явно|
|
||||
|`Containerfile` / `Containerfile.test` / `compose*.yml` / `gateway/nginx.conf`|прод-образ (heap 2G, mem_limit 3G, wget-healthcheck, FQDN FROM, non-root 10001, обнуление прокси на команде) / CI-гейт без fontconfig (Debian-база — alpine amd64-only; `SUREFIRE_OS_NAME` для macos-sim) / стенды :9010–:9011 / шлюз. Нюанс: repo `compose.yml` (prod-like) гасит springdoc env-ами и требует `.env`-ключ, а реальный прод из CI-рендера держит swagger открытым (`test_swagger_ui_open_without_key`) — не путать|
|
||||
|`.gitea/workflows/pr.yml`, `main.yml`, `.ci/maven-settings.xml`|CI: jobs `java`/`web` в обоих — идентичные шаги, в `pr.yml` дополнительно `macos-sim` (те же тесты с `--build-arg SUREFIRE_OS_NAME="Mac OS X"`, только на PR, не required-гейт); `main.yml`: `images-* → deploy → autotests (+ rollback при failure)`; Maven в CI живёт в контейнере `maven:3.9-eclipse-temurin-17`; зеркало `${env.MAVEN_MIRROR_URL}`, `mirrorOf="*"`|
|
||||
|`wordpdf-web/src/api.ts`, `vite.config.ts`|вся сеть SPA; `base` — только через env `VITE_BASE` (в прод-образ запекается `--build-arg VITE_BASE=/pdf-converter/` в job `images-web`)|
|
||||
|`mise.toml`, `GITEA-vars.md`|пины инструментов и все таски / полный список Secrets+Variables CI и настройка branch protection|
|
||||
|
||||
## Runtime & Tooling Preferences
|
||||
## Runtime/Tooling Preferences
|
||||
|
||||
- Java 17 + Maven (обязательны; wrapper `mvnw` НЕТ — только системный Maven); UTF-8. Только Maven — никаких Gradle/Ant. Java/Maven/Node/Python ставит project-local mise (бинарь в `.mise/`, вне системы), версии пинятся в корневом `mise.toml` (`java = temurin-17`, `maven = 3.9.16` — ровно как в CI, `node = 24`, `python = 3.15`), ежедневный запуск — `./mise.sh` / `.\mise.ps1`. Bootstrap качает mise `2026.10.19` → `./.mise/bin`, затем `mise trust` → `mise install` → `mise run web-install`.
|
||||
- Версии зависимостей — только в корневом `pom.xml` (properties + dependencyManagement); новые зависимости — latest stable. Закреплено: docx4j `17.3.2`, commons-compress `1.28.0`, slf4j `2.0.20`, Spring Boot `4.1.1`, springdoc `3.1.1`, JUnit `6.1.3`, PDFBox/fontbox `3.0.8`, POI `5.5.1` (test), JaCoCo `0.8.15`; плагины: compiler `3.16.0`, surefire `3.6.0` (`-Djava.awt.headless=true`), jar `3.5.1`, PMD `3.28.0`.
|
||||
- Зависимости Maven — через зеркало Nexus `maven-central`: локально `~/.m2/settings.xml` (литеральный URL, файл вне репо), CI/Containerfile — `.ci/maven-settings.xml` + `MAVEN_MIRROR_URL` (Variable / build-arg).
|
||||
- Фронт: Node из engines vite/oxlint, `npm ci` с закоммиченным `package-lock.json`, TS `strict` нигде не включён. Контейнеры (podman/buildah): `FROM` только FQDN, хостовые прокси-переменные обнулять на самой команде (`RUN`/`HEALTHCHECK`), `DOCKER_BUILDKIT=0` обязателен, fontconfig рантайму не нужен (глифы — fontbox).
|
||||
- Локальная проверка одна: `mvn clean verify` (тесты + PMD + JaCoCo). Форматтеров и checkstyle для Java нет; статический линтер — PMD.
|
||||
- Исполняемый jar бекенда проверять только `java -jar` — тесты идут по classpath и repackage-специфику не видят; нюанс `BundledFontsTest` (`file:`-протокол classpath) — `docs/agent/repo-map.md`.
|
||||
- Git: origin `git.pjandro.ru:pjandro/java-word-pdf`; защищённые ветки — `main`, `master`, `dev` (локально в репо обычно только `main` + feature-ветки в работе). Все правки — через PR в дефолтную ветку; push — завершающим шагом задачи, только после `./mise.sh run verify`.
|
||||
- Прод-координаты и креды в коммитимые файлы **не попадают** (ни IP, ни хостов, ни пользователей, ни ключей): стенд — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`, `WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `WORDPDF_MAX_MB`, `REGISTRY`, `PIP_INDEX_URL`, `MAVEN_MIRROR_URL`), креды — **Secrets** (`DEPLOY_SSH_KEY`, `DEPLOY_KNOWN_HOSTS`, `WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются только на `${{ vars.* }}`/`${{ secrets.* }}`. Локальный `.env` (gitignored) — только для `compose.yml`.
|
||||
|
||||
## CI/CD (Gitea Actions)
|
||||
|
||||
`pr.yml` (`PR checks`): job `java` (`mvn -B -s .ci/maven-settings.xml clean verify` через зеркало Nexus) + coverage-сводка и комментарий в PR, job `web` (`npm ci` → build → lint). `main.yml`: `java`/`web` → `images-app`/`images-web` (build+push в Nexus, теги `prod` + `sha-<7>`) → `deploy` (SSH, рендер прод-конфигов, гейты healthy) → `autotests` → `rollback` при провале. Нарратив job'ов и деплоя — `docs/agent/ci-cd.md`.
|
||||
|
||||
Защита ветки `main`: required-контексты — **`PR checks / java (pull_request)`**, **`PR checks / web (pull_request)`** (deploy/autotests в список не включать — на PR не бегут). Смена лимитов стенда = правка Variables, PR не нужен.
|
||||
- Java 17 temurin + Maven 3.9.16 + Node 24 + Python 3.15 — пинины в `mise.toml`, всё через project-local mise (`./.mise/bin/mise`, вне системы); `mvnw` **нет** (`.mvn/` — пустой) — только Maven из mise. UTF-8.
|
||||
- Только Maven (никаких Gradle/Ant). Версии зависимостей/плагинов — только в корневом `pom.xml`; FOP-форк отдельно не пинить; `commons-compress` не завышать (привязан к docx4j 17.3.2); `<repositories>` в pom не добавлять (зеркало — через settings).
|
||||
- Веб: только npm (`package-lock.json` закоммичен; никаких pnpm/yarn); линтер — oxlint (не eslint).
|
||||
- Контейнеры: podman/buildah; `FROM` только FQDN; хостовые прокси-переменные обнулять на самой команде в `RUN`/`HEALTHCHECK`; `DOCKER_BUILDKIT=0` (CI); healthcheck через wget, не curl; fontconfig рантайму не нужен (глифы — fontbox); alpine-теги maven/temurin amd64-only — тестовый образ на Debian-базе.
|
||||
- Сеть: наружу публикуется только gateway (9010/9011); 8080/80 наружу не выставлять; подсети compose зафиксированы (nginx `resolver` привязан literal-ом к шлюзу сети — 10.113.0.1 стенды / 10.112.0.1 прод).
|
||||
- Прод-стек (`docker-compose.yml`, `nginx.conf`) рендерится job'ом `deploy` из Variables — копий на хосте/в репо не заводить; required-контексты защиты `main` (по `GITEA-vars.md`) — буквально `PR checks / java (pull_request)`, `PR checks / web (pull_request)`; `macos-sim`, deploy/autotests — не required.
|
||||
|
||||
## Testing & QA
|
||||
|
||||
- Гейты: PMD `maven-pmd-plugin` 3.28.0 (`includeTests=true`) и JaCoCo `0.8.15` (`jacoco:check` на `verify`) — пороги LINE `0.90` (оба модуля), BRANCH `0.85` (только core); отчёт `report` раньше `check` (при провале порога отчёт уже на диске, `target/site/jacoco/`). Механика `argLine`/`prepare-agent`/`jacoco.skip` — `docs/agent/repo-map.md`. Плотность покрытия держат тесты, а не заглушки.
|
||||
- Счётчики: 59 тестовых классов / 893 теста (core 53/849 — из них `internal/doc/` 17 классов / 225 тестов, `internal/chart/` 17 / 271, `WordPdfConverterTest` 77; app 6/44: ConvertController 23 + ApiKeyFilter 8 + ConversionService 5 + ApiExceptionHandler 5 + ConvertLimits 2 + ConversionTimeout 1). JUnit 6 (`org.junit.jupiter`), только `Assertions` — Mockito/AssertJ не использовать; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`; тестовые классы package-private, зеркалят main-пакеты.
|
||||
- **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` (пер-странично), `processTextPosition` для шрифта символа, обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`), счётчик картинок (`imageCount`/`distinctImageCount` — SMask игнорируется). Негативные маркеры: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`). Пиксельные проверки — только в юнитах chart-пейнтеров (допуски `assertRatio` < 0.06 / < 0.10, числа зашиты в тесты).
|
||||
- Регрессивная конвенция: фикс = нормализатор/рендерер + юнит + конвертер-тест; в javadoc фикса — ссылка «Регрессия — Test#имя, фикстура samples/…». Пары `XxxNormalizerTest`↔`тест-в-конвейере` воспроизводятся грепом по этим ссылкам; исключения (крафт POIFS, синтетика, app-регрессии) — `docs/agent/testing.md`.
|
||||
- Фикстуры — только закоммиченные `samples/*.docx` (13) + `samples/*.doc` (12), в тестах не генерировать; контракт нормализаторов «нечего менять → тот же массив» (`assertSame`) + неприкосновенность частей вне `word/*.xml` (`[Content_Types].xml`).
|
||||
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); четыре набора свойств = четыре кэшированных контекста (отдельные классы, не `@Nested` — `@Nested` + `@TestPropertySource` не даёт отдельного контекста); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring-контекста. Core-юниты Spring **не поднимают**; app-тесты не переигрывают семантику конвейера — только HTTP-код/заголовки/текст ошибки.
|
||||
- Жизненный цикл: только `@Test` + два `@BeforeAll` (прогрев шрифтов в `BundledFontsTest`, `GlyphCoverageNormalizerTest`) + `@AfterEach drainWorker` в `ConversionTimeoutTest` (дренировать отменённый FOP-рендер — гонка глобального `PhysicalFonts`). Ни `@Nested`, ни `@ParameterizedTest`, ни `@Disabled`, ни `assertAll`.
|
||||
- Идиомы загрузки фикстур различаются по модулю: **core** — classloader без ведущего слэша (`getResourceAsStream("samples/" + name)`), **app** — class-relative со слэшем (`getResourceAsStream("/samples/ru-plain.docx")`, ресурсы из core test-jar). Синтетика, когда фикстуры нет: docx — `ZipOutputStream` по строковому XML, `.doc` — крафт `POIFSFileSystem`.
|
||||
- Сообщения ассертов — по-русски и с наблюдаемым значением (`assertTrue(cond, "нет «Привет, мир!»: " + text)`); сравнение строк литерал-слева (`"%PDF".equals(...)`, правило PMD `LiteralFirstInEquals`); контракт идентичности — `assertSame`/`assertNotSame`. Общих test-util-классов в репо нет: хелперы (`norm`, `pdfText`, `assertRatio`) намеренно продублированы по тест-классам.
|
||||
- Прод-автотесты: pytest 9.1.1 + requests 2.34.2, 31 проверка (4 открытых + 27 под маркером `needs_key` → SKIP без ключа); конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен — без него набор падает, а не подставляет дефолт; `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_MAX_MB`/`WORDPDF_SAMPLES_DIR` — факультативны).
|
||||
- `mvn test` **не** запускает PMD и JaCoCo-гейты (оба на `verify`) — «зелёное» состояние проверяется `mvn clean verify`. `mvn -pl wordpdf-app` без `-am` падает: app зависит от core test-jar.
|
||||
- Справочник: фикстуры и их смысл, юниты моста/нормализаторов/app, пиксели и стенд без fontconfig, регрессивные записи без javadoc-ссылок — `docs/agent/testing.md`.
|
||||
- Гейты на `verify`: PMD (движок 6.55.0 — default внутри maven-pmd-plugin 3.21.2, отдельно в pom не пинится; осознанный откат — ruleset использует удалённые в PMD 7 `*MustUseBraces`; подавлений в коде нет и быть не должно) + JaCoCo: LINE ≥ 0.90 оба модуля, BRANCH ≥ 0.85 только core; при провале отчёт уже в `target/site/jacoco/` (`report` привязан до `check`). CI-эквивалент — `./mise.sh run verify-nofontconfig`.
|
||||
- Стек: JUnit 6 (`org.junit.jupiter`), **только `Assertions`** — Mockito/AssertJ запрещены и в pom их нет; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` (полностью квалифицирован, без импортов) в `andExpect`; app не объявляет junit сам — только через `spring-boot-starter-test`. Тестовые классы package-private, зеркалят main-пакеты; только `@Test` (исключения: два `@BeforeAll` прогрева шрифтов и `@AfterEach drainWorker` в `ConversionTimeoutTest`); ни `@Nested`, ни `@ParameterizedTest`, ни `@Disabled`, ни `assertAll`.
|
||||
- Именование: регрессионные — `объект_условие` (`pageNumbers_recomputedNotCached`), юниты — camelCase (`pageFieldBecomesFldSimple`).
|
||||
- **PDF сравнивается текстом**: PDFBox 3 `PDFTextStripper` (`norm` схлопывает пробелы; негативные маркеры — `#`/`.notdef` и `Helvetica`; приём `fontNameOf` — имя шрифта символа, живёт только в `WordPdfConverterTest`). Пиксели — только юниты chart-пейнтеров (`assertRatio` < 0.06 / < 0.10, эталонные числа Word-рендеров 300 dpi захардкожены). Тестовых утилит нет — хелперы намеренно дублируются в классах. Сообщения ассертов — по-русски с наблюдаемым значением; литерал слева (`"%PDF".equals(…)`).
|
||||
- Фикстуры — только закоммиченные `samples/*.docx`/`*.doc`, в тестах не генерировать; XSD-невалидная фикстура правится, не код. Синтетика в памяти разрешена: docx — `ZipOutputStream` из литеральных XML, `.doc` — крафт `POIFSFileSystem`. Пересоздание — одноразовые `SampleDocxGenerator`/`ChartTypesDocxGenerator` (POI test-scope, команда — `docs/agent/repo-map.md`); `charts-smartart.docx` и `ole-embedded.docx` сделаны руками — **никогда не перезаписывать** (все 12 `.doc` — эталоны заказчика, не вывод генераторов).
|
||||
- Идиома загрузки (ловушка): **core** — classloader без ведущего слэша (`getResourceAsStream("samples/…")`); **app** — class-relative со слэшем (`"/samples/…"`, ресурсы из core test-jar).
|
||||
- App-тесты: 4 набора свойств = 4 Spring-контекста (`ConvertControllerTest` пинует пустой `wordpdf.api-key=`; `ApiKeyFilterTest`; `ConvertLimitsTest`; `ConversionTimeoutTest`); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring; проверяют только HTTP-код/заголовки/текст ошибки; core-юниты Spring не поднимают. Ловушка: mise инжектирует корневой `.env` в окружение задач — ambient `WORDPDF_API_KEY` взорвёт 401 все MockMvc-тесты, если ключ не запинен свойствами контекста.
|
||||
- Регрессивная конвенция: фикс = нормализатор/рендерер + юнит + конвертер-тест + javadoc-ссылка. Счётчики (2026-11): 63 класса / 1005 тестов (core 57/957, app 6/48); детали — `docs/agent/testing.md`.
|
||||
- Прод-автотесты: pytest 9.1.1 + requests 2.34.2 (timeout `(10,180)` — больше серверных 2m), конфигурация **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY` факультативен → `needs_key`-декоратор `skipif` (немаркированный marker — маркеры не регистрируются) даёт SKIP, `WORDPDF_MAX_MB`/`MAX_PAGES` — ожидаемые лимиты стенда 5/100, `WORDPDF_SAMPLES_DIR` — путь к фикстурам); запуск `./mise.sh run prod-tests` либо job `autotests` в CI.
|
||||
|
||||
+1
-1
@@ -37,5 +37,5 @@ USER app
|
||||
EXPOSE 8080
|
||||
HEALTHCHECK --interval=10s --timeout=3s --start-period=10s --retries=5 \
|
||||
CMD HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= wget -qO /dev/null http://127.0.0.1:8080/actuator/health || exit 1
|
||||
ENTRYPOINT ["java", "-Djava.awt.headless=true", "-XX:MaxRAMPercentage=70", "-jar", "/app/app.jar"]
|
||||
ENTRYPOINT ["java", "-Djava.awt.headless=true", "-Xms2g", "-Xmx2g", "-jar", "/app/app.jar"]
|
||||
|
||||
|
||||
@@ -0,0 +1,60 @@
|
||||
# Тестовый образ «без fontconfig»: единственный полный прогон mvn clean verify
|
||||
# (тесты + PMD + JaCoCo) там, где AWT-менеджер шрифтов недоступен (нет
|
||||
# libfontconfig и /etc/fonts). В CI хостовый mvn не запускается вовсе — набор
|
||||
# тестов никогда не исполняется на хосте с fontconfig. Локально сырой
|
||||
# `mvn clean verify` (mise-задача verify) — хост-гейт без docker/podman.
|
||||
# База — maven:3.9-eclipse-temurin-17, а не alpine: alpine-теги maven/temurin
|
||||
# публикуются только под amd64, на arm64-хосте образ не собрать.
|
||||
FROM docker.io/library/maven:3.9-eclipse-temurin-17
|
||||
WORKDIR /build
|
||||
# Удаляем fontconfig и системные шрифты; проверяем, что удалить удалось.
|
||||
RUN set -eux; \
|
||||
rm -rf /etc/fonts /usr/share/fonts /var/cache/fontconfig; \
|
||||
find /usr/lib /lib -name 'libfontconfig.so*' -delete 2>/dev/null || true; \
|
||||
if [ -e /etc/fonts ] || find /usr/lib /lib -name 'libfontconfig.so*' | grep -q .; then \
|
||||
echo 'fontconfig остался в тестовом образе' >&2; exit 1; fi
|
||||
# Жёсткий гейт: проба ядра (та же, что в MathMlSupport) обязана падать.
|
||||
RUN set -eux; mkdir -p /tmp/probe; \
|
||||
printf '%s\n' \
|
||||
'public class Probe {' \
|
||||
' public static void main(String[] a) {' \
|
||||
' try {' \
|
||||
' java.awt.GraphicsEnvironment.getLocalGraphicsEnvironment()' \
|
||||
' .getAvailableFontFamilyNames();' \
|
||||
' System.exit(0);' \
|
||||
' } catch (Throwable t) {' \
|
||||
' System.exit(1);' \
|
||||
' }' \
|
||||
' }' \
|
||||
'}' > /tmp/probe/Probe.java; \
|
||||
javac -d /tmp/probe /tmp/probe/Probe.java; \
|
||||
if java -Djava.awt.headless=true -cp /tmp/probe Probe; then \
|
||||
echo 'AWT-шрифты доступны: fontconfig не удалён' >&2; exit 1; fi; \
|
||||
echo 'fontconfig отсутствует: AWT-шрифты недоступны (ожидаемо)'; \
|
||||
rm -rf /tmp/probe
|
||||
# Зеркало Nexus (в CI приходит --build-arg MAVEN_MIRROR_URL из Gitea Variable).
|
||||
ARG MAVEN_MIRROR_URL=
|
||||
ENV MAVEN_MIRROR_URL=${MAVEN_MIRROR_URL}
|
||||
COPY .ci/maven-settings.xml /tmp/ci-maven-settings.xml
|
||||
RUN if [ -n "$MAVEN_MIRROR_URL" ]; then mkdir -p /root/.m2 && cp /tmp/ci-maven-settings.xml /root/.m2/settings.xml; fi
|
||||
COPY pom.xml .
|
||||
COPY wordpdf-core/pom.xml wordpdf-core/
|
||||
COPY wordpdf-app/pom.xml wordpdf-app/
|
||||
RUN HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= mvn -B -q dependency:go-offline
|
||||
COPY . .
|
||||
# Эмуляция чужой ОС в fork-нутом surefire-JVM: пусто (дефолт) — прежнее
|
||||
# поведение (одна команда mvn, байт-в-байт как раньше); job `macos-sim` передаёт
|
||||
# "Mac OS X" (docx4j PhysicalFonts читает os.name и уходит в
|
||||
# MicrosoftFontsRegistry.getMsFonts()).
|
||||
# Флаг на команде mvn попадает и в саму Maven-JVM: в Linux-JDK нет
|
||||
# jdk/net/MacOSXSocketOptions, и первая же сетевая загрузка (surefire-провайдер,
|
||||
# optional-зависимости, PMD-скин — всё, что НЕ закрыто dependency:go-offline)
|
||||
# упала бы AssertionError на создании сокета. Поэтому при непустом флаге первым
|
||||
# проходит полный verify БЕЗ флага — он догревает локальный репозиторий до нуля
|
||||
# загрузок, и второй verify с флагом уже не открывает сокетов вовсе. Пустой флаг
|
||||
# = один verify, прежний путь.
|
||||
ARG SUREFIRE_OS_NAME=
|
||||
RUN echo "SUREFIRE_OS_NAME=[${SUREFIRE_OS_NAME}]" && \
|
||||
HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= \
|
||||
sh -c '[ -z "$SUREFIRE_OS_NAME" ] || mvn -B -q clean verify || exit 1; \
|
||||
exec mvn -B clean verify ${SUREFIRE_OS_NAME:+-Dos.name="$SUREFIRE_OS_NAME"}'
|
||||
@@ -35,10 +35,10 @@ java-word-pdf/
|
||||
|
||||
|Класс|Назначение|
|
||||
|---|---|
|
||||
|`ru.pjandro.wordpdf.WordPdfConverter`|публичный API: `convert(byte[], String[, ConvertOptions])` — .docx/.doc по сигнатуре байтов, байты PDF на выходе; `warmup()` — прогрев ядра|
|
||||
|`ru.pjandro.wordpdf.WordPdfValidator`|валидация входа и lightweight-оценка страниц без рендера (`checkInput`/`checkPageCount`/`checkPageCountDoc`/`isBinaryDoc`/`validate`)|
|
||||
|`ru.pjandro.wordpdf.ConvertOptions`|опции конвертации (record `errorOnCharts, errorOnSmartArt, errorOnOle, maxMb, maxPages`; `ConvertOptions.defaults()`)|
|
||||
|`ru.pjandro.wordpdf.ConversionException`|ошибки конвертации; подтипы `ValidationException` (некорректный вход) и `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`)|
|
||||
|`ru.pjandro.wordpdf.WordPdfConverter`|публичный API: `convert(byte[], String, ConvertOptions)` — .docx/.doc по сигнатуре байтов, байты PDF на выходе; `warmup()` — прогрев ядра|
|
||||
|`ru.pjandro.wordpdf.WordPdfValidator`|валидация входа и lightweight-оценка страниц без рендера (`checkInput`/`validate`; подсчёт страниц — внутренний метод)|
|
||||
|`ru.pjandro.wordpdf.ConvertOptions`|опции конвертации (record `errorOnCharts, errorOnSmartArt, errorOnOle, maxMb, maxPages`); дефолтов в ядре нет — значения задаёт вызывающий|
|
||||
|`ru.pjandro.wordpdf.ConversionException`|ошибки конвертации; подтипы `ValidationException` (некорректный вход) и `ChartsFoundException`/`SmartArtFoundException`/`OleFoundException` (по error-флагам)|
|
||||
|`ru.pjandro.wordpdf.fonts.BundledFonts`|выгрузка TTF из jar и регистрация в docx4j|
|
||||
|`ru.pjandro.wordpdf.fonts.BundledFontMapper`|маппинг имён шрифтов документа → TTF|
|
||||
|`ru.pjandro.wordpdf.internal.DocxRewritePipeline`|правила 1–10 нормализации XML-частей одним zip-проходом (+ `OleObjectNormalizer`, правило 11)|
|
||||
@@ -76,6 +76,7 @@ powershell -ExecutionPolicy Bypass -File .\bootstrap.ps1 # Windows
|
||||
|Задача|Содержание|
|
||||
|---|---|
|
||||
|`verify`|`mvn clean verify` — тесты + PMD + JaCoCo|
|
||||
|`verify-nofontconfig`|`mvn clean verify` в контейнере без fontconfig (гейт CI; требует podman/docker)|
|
||||
|`app-package`|исполняемый jar бэкенда|
|
||||
|`app-run`|бэкенд на :8080, ключ выключен (после `app-package`)|
|
||||
|`web-install`|`npm ci` в `wordpdf-web`|
|
||||
@@ -128,14 +129,16 @@ dev-стенд). Без ключа открыты `/actuator/`, `/swagger-ui`, `
|
||||
конвертацию с 422. Диаграммы/SmartArt конвертируются в растры всегда; OLE-объекты
|
||||
при `errorOnOle=false` тихо удаляются.
|
||||
|
||||
**Лимиты входа** задаёт только конфигурация сервера: `wordpdf.max-mb`/`wordpdf.max-pages`
|
||||
(env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`, дефолты 5 МБ / 100 страниц); параметрами
|
||||
запроса не переопределяются.
|
||||
**Лимиты входа**: свойства `wordpdf.max-mb`/`wordpdf.max-pages`
|
||||
(env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`, дефолты 5 МБ / 100 страниц) —
|
||||
дефолт эндпоинта; query/form-параметры `maxMb`/`maxPages` переопределяют его
|
||||
в обе стороны (значения ≤ 0 → 400). Остальные пороги (распаковка архива,
|
||||
XML-части, площади растров, число записей zip) выводятся из лимитов входа.
|
||||
|
||||
|Код|Смысл|
|
||||
|---|---|
|
||||
|200|PDF в теле ответа|
|
||||
|400|некорректный вход (пустой / расширение не .docx/.doc / содержимое не zip и не CFB / зашифрованный .doc / больше `wordpdf.max-mb` / больше `wordpdf.max-pages` страниц), отсутствующая часть `file`, некорректное значение error-флага|
|
||||
|400|некорректный вход (пустой / расширение не .docx/.doc / содержимое не zip и не CFB / зашифрованный .doc / больше лимита размера (`maxMb` или `wordpdf.max-mb`) / больше лимита страниц (`maxPages` или `wordpdf.max-pages`) / `maxMb`≤0 / `maxPages`≤0), отсутствующая часть `file`, некорректное значение error-флага|
|
||||
|401|нет или неверен `X-API-Key`|
|
||||
|404|неизвестный путь (в т.ч. `/v3/api-docs` при выключенном springdoc)|
|
||||
|405|не-POST|
|
||||
@@ -344,7 +347,7 @@ API (`wordpdf-app`) проверяется `MockMvc`-сквозняками (`Co
|
||||
|
||||
## CI/CD и деплой
|
||||
|
||||
- Pull request → Gitea Actions (`pr.yml`): Java — `mvn clean verify` + сводка покрытия комментарием в PR; Web — `npm ci`, build, lint.
|
||||
- Pull request → Gitea Actions (`pr.yml`): Java — единственный `mvn clean verify` в контейнере без fontconfig + сводка покрытия комментарием в PR; Web — `npm ci`, build, lint.
|
||||
- Push в `main` → `main.yml`: тесты → сборка и push образов `wordpdf-app`/`wordpdf-web` в реестр → deploy (job рендерит прод-конфиги, `podman-compose pull && up -d --force-recreate`, health-гейты, автооткат при провале) → prod-автотесты против живого стенда.
|
||||
- Координаты прод-сервера и креды вне репозитория — Gitea Actions Variables/Secrets (настройка: `GITEA-vars.md`). Наружный вход стенда — путь `/pdf-converter/` за пользовательским nginx.
|
||||
- Локальный прогон prod-автотестов (задача `prod-tests`: `pip install`
|
||||
|
||||
+3
-2
@@ -15,8 +15,9 @@ services:
|
||||
app:
|
||||
build: .
|
||||
restart: unless-stopped
|
||||
# Паритет с compose.yml: heap вписан в лимит (-XX:MaxRAMPercentage=70).
|
||||
mem_limit: 2g
|
||||
# Паритет с compose.yml: фиксированный heap -Xms2g -Xmx2g в ENTRYPOINT,
|
||||
# лимит 3g — запас под metaspace/потоки/native.
|
||||
mem_limit: 3g
|
||||
# Дублирует HEALTHCHECK из Containerfile: podman выгружает образы в OCI,
|
||||
# где поля healthcheck нет — без явного healthcheck depends_on
|
||||
# service_healthy ждал бы healthy вечно. Прокси обнуляем на команде.
|
||||
|
||||
+4
-3
@@ -7,9 +7,10 @@ services:
|
||||
app:
|
||||
build: .
|
||||
restart: unless-stopped
|
||||
# Heap вписываем в лимит контейнера (-XX:MaxRAMPercentage=70 в ENTRYPOINT);
|
||||
# вход 16×5 МБ очередь + FOP-рендер в 2 ГБ помещаются.
|
||||
mem_limit: 2g
|
||||
# Фиксированный heap -Xms2g -Xmx2g в ENTRYPOINT образа; лимит 3g — запас
|
||||
# под metaspace/потоки/native. Вход 16×5 МБ + FOP-рендер в 2 ГБ heap
|
||||
# помещаются.
|
||||
mem_limit: 3g
|
||||
# Дублирует HEALTHCHECK из Containerfile: podman выгружает образы в OCI,
|
||||
# где поля healthcheck нет — без явного healthcheck depends_on
|
||||
# service_healthy ждал бы healthy вечно. Прокси обнуляем на команде.
|
||||
|
||||
@@ -0,0 +1,190 @@
|
||||
# Потребление памяти при конвертации doc/docx → pdf: аудит и результаты апгрейда (2026-11)
|
||||
|
||||
Харнес: `MemoryBench` (`wordpdf-core/src/test/java/ru/pjandro/wordpdf/MemoryBench.java`, test-scope) +
|
||||
`membench.sh` + `./mise.sh run mem-bench`. Числа ниже получены на них; методология и ограничения — §1.
|
||||
|
||||
## 1. Методология измерения
|
||||
|
||||
JVM: temurin 17.0.21, флаги харнеса `-Xms64m -Xmx2g -XX:+UseG1GC -XX:+HeapDumpOnOutOfMemoryError`
|
||||
+ JFR `settings=profile` + `-Xlog:gc*=info,gc+heap=debug`. Машина — рабочая станция (amd64), не прод-контейнер.
|
||||
|
||||
Метрики на конвертацию (TSV-строки вывода харнеса):
|
||||
|
||||
|Метрика|Как снята|Смысл|
|
||||
|---|---|---|
|
||||
|`peak`|`MemoryPoolMXBean.getPeakUsage()` по хип-пулам с `reset()` перед каждой конвертацией|высокая вода кучи за конвертацию (включает невозвращённый мусор young-поколения — это мера запроса памяти, не live-сета)|
|
||||
|`used`|сумма `getUsage().getUsed()` сразу после конвертации|куча «как есть» до ближайшего GC|
|
||||
|`allocated-estimate`|GC-лог: выметенный Eden + humongous между паузами|честная оценка аллокаций (JFR-веса для этого не годятся — см. ограничения)|
|
||||
|`max-live-after-gc`|GC-лог: максимум `M->M(after)` по паузам|живая куча после GC (включает конвертацию, идущую в момент паузы)|
|
||||
|`VmHWM`|`/proc/self/status`|пик резидентной памяти процесса (куча + Metaspace + стеки + JFR-буферы)|
|
||||
|`top-frames`/`app-sites`|агрегация `jdk.ObjectAllocationSample` из JFR|профиль аллокаций (относительная доля; веса — оценка сэмплера)|
|
||||
|
||||
Сценарии: `suite` — все 25 фикстур `samples/` (13 `.docx` + 12 `.doc`) циклами; `big` — синтетический
|
||||
документ: `document.xml` фикстуры `ru-plain.docx` с повтором секции ×400 (≈1,6 МБ XML после
|
||||
распаковки, ≈6000 строк контента, PDF ≈50 КБ/конвертация — много контента при малом in-put,
|
||||
именно он и нагружает конвейер, а не байты входа).
|
||||
|
||||
Ограничения (важно для повторного прочтения чисел):
|
||||
|
||||
- **шум ±30% на фикстуру** между прогонами (старт нового JVM на сценарий, G1 растягивает young по
|
||||
ходу прогона); сравнимы только суммарные/медианные агрегаты одного метода на одном железе;
|
||||
- `peak` включает мусор: документ с большим churn даёт большой peak при малом live-сете;
|
||||
- веса JFR `ObjectAllocationSample` (profile, period=20ms) — оценка сэмплера; абсолют — только GC-лог;
|
||||
- фикстуры малы (вход ≤182 КБ, PDF в среднем 385 КБ): кандидаты, экономящие единицы мегабайт,
|
||||
на них неотличимы от шума — это учитывалось в гейтах (§4).
|
||||
|
||||
Воспроизведение: `MB_LABEL=run ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-run.txt`;
|
||||
матрица флагов — через env `MB_JAVA_OPTS` (флаги идут после дефолтных и переопределяют их).
|
||||
|
||||
## 2. Baseline (до правок)
|
||||
|
||||
`MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20` (JVM 17.0.21, пик 2026-11-17):
|
||||
|
||||
|Фикстура|n|peak p50, МБ|peak max, МБ|used avg, МБ|
|
||||
|---|---|---|---|---|
|
||||
|chart-types.docx|20|641|934|398|
|
||||
|charts-smartart.doc|20|457|630|321|
|
||||
|charts-smartart.docx|20|471|751|299|
|
||||
|doc-formats.doc|20|261|783|326|
|
||||
|en-plain.doc|20|302|819|273|
|
||||
|en-plain.docx|20|278|855|298|
|
||||
|exotic-glyphs.doc|20|328|907|325|
|
||||
|exotic-glyphs.docx|20|312|950|287|
|
||||
|ole-embedded.doc|20|298|540|238|
|
||||
|ole-embedded.docx|20|269|574|222|
|
||||
|page-numbers.doc|20|234|598|257|
|
||||
|page-numbers.docx|20|272|558|266|
|
||||
|ru-en-mixed.doc|20|300|453|293|
|
||||
|ru-en-mixed.docx|20|344|528|298|
|
||||
|ru-plain.doc|20|344|572|256|
|
||||
|ru-plain.docx|20|281|455|274|
|
||||
|ru-table-image.doc|20|331|462|267|
|
||||
|ru-table-image.docx|20|299|522|263|
|
||||
|ru-times.doc|20|275|561|275|
|
||||
|ru-times.docx|20|251|580|256|
|
||||
|stale-cache.doc|20|307|511|264|
|
||||
|stale-cache.docx|20|323|525|269|
|
||||
|symbol-bullets.docx|20|335|459|310|
|
||||
|too-many-pages.doc|20|405|599|265|
|
||||
|too-many-pages.docx|20|327|724|288|
|
||||
|big (синтетика ×400)|5|924|976|360|
|
||||
|
||||
Итоги прогона: `allocated-estimate=36069MB` (≈71 МБ churn на конвертацию при медианном peak 300 МБ),
|
||||
`max-live-after-gc=504MB`, паузы 536 шт./4815 мс; `VmHWM` процесса: 1,34 ГБ после suite-части,
|
||||
1,56 ГБ после big-части (`-Xmx2g` доступен, куча растягивается под churn).
|
||||
|
||||
Главный вывод baseline: **память уходит не в копии документа, а в churn конвейера**. Вход 2,6–182 КБ
|
||||
при peak 224–641 МБ — отношение долей порядка сотен. Профиль аллокаций (JFR, alloc-total —
|
||||
оценка сэмплера 26,3 МБ взвешенных):
|
||||
|
||||
- доли приложения в топ-кадрах: `DocxRewritePipeline.normalize` — 0,44%, `WordPdfConverter.convert` —
|
||||
0,36%, `GlyphFont.draw` — 0,10%; все остальные кадры `ru.pjandro.*` — ниже 0,1% (гейты §4);
|
||||
- остальное — библиотеки: JAXB-андмаршалинг docx4j через DOM (`DOMScanner.visit/scan`,
|
||||
`SAXOutput.getQName`, `NamespaceContextImpl.put`, `SAX2DOMEx.startElement`, `ClassFactory.create0`),
|
||||
Xalan/XSLT, FOP (таблицы OpenType: `OTFAdvancedTypographicTableReader`, `OpenFont.readHorizontalMetrics`),
|
||||
commons-io `IOUtils.byteArray`, `Arrays.copyOf`, `Throwable.fillInStackTrace` (docx4j использует
|
||||
исключения как control flow — «Package field null» и т.п.);
|
||||
- ~~JEuclid (`Parser.parseStreamSourceAsOdf`) — OMML-формулы на хосте с fontconfig (в CI/контейнере
|
||||
иначе: MathFallback)~~ — **удалён из класса путей** (2026-11): jeuclid исключён exclusion'ом из
|
||||
`docx4j-export-fo`, формулы рисует собственный `MathRenderer` (PNG, только бандл-шрифты);
|
||||
`MathFallbackNormalizer` теперь деградирует в текст только конструкции вне `MathModel.SUPPORTED`.
|
||||
|
||||
## 3. Что нашли при чтении кода (архитектурные находки)
|
||||
|
||||
1. **FO материалзуется как `String`.** Форк `FORendererApacheFOP.convert(FODocumentHandler,
|
||||
FOConverterContext, String)` (javap docx4j-export-fo 17.3.2) принимает весь выход XSLT одной
|
||||
строкой UTF-16: для FO-документа это ≈2 байта/символ и FO в разы больше исходного XML.
|
||||
Убрать можно только правкой форка (`templates.transform` стримом в FOP-парсер) — вне рамок
|
||||
репозитория; фиделити-риск высокий. Дорожная карта.
|
||||
2. **`disableFontCache()` в форке вызывается безусловно в 3 местах** (javap `FORendererApacheFOP`:
|
||||
`FontManager.disableFontCache`), один участок защищён `Fop.isUseCache()` из fop.xconf
|
||||
(по умолчанию кеш выключен) → таблицы шрифтов перечитываются на каждый рендер (видно в топ-кадрах).
|
||||
Потенциальный рычаг (churn+CPU), но включение кеша влияет на сабзеттинг/метрики — только с
|
||||
фиделити-прогоном, в форк/конфиг. Дорожная карта.
|
||||
3. **`WordprocessingMLPackage` в docx4j 17.3.2 не имеет `close()`/`dispose()`** (javap пакета
|
||||
`openpackaging.packages`/`parts` — только `setJaxbElement`/`unmarshal`): «освободить пакет явно»
|
||||
API не даёт; пакет — локальная переменная `convertToStream` и умирает вместе со стеком.
|
||||
4. **Валидатор делает два полных стриминговых прохода** по байтам входа (`checkPageCount` +
|
||||
`checkDocxContainer`/`validate`): CPU, память O(8 КБ буферов) — на peak не влияет (§4, гейт E).
|
||||
5. **Мост `.doc` уже отпускает потоки** (`releaseStreams`), но `DocxWriter.write` держит одновременно
|
||||
`bodyXml`+`parts`+`hyperlinks` до `toByteArray()`; на фикстурах доля моста в аллокациях <0,15% —
|
||||
не рычаг при текущих документах (§4, гейт C).
|
||||
|
||||
## 4. Кандидаты оптимизаций и гейты
|
||||
|
||||
Гейт: кандидат остаётся, только если после правки suite-сумма peak или big-peak улучшились ≥3%
|
||||
(для «всегдашнего» A — плюс отсутствие регрессии); для B/C/E — плюс доля ≥5% в app-sites JFR.
|
||||
Прогоны «до/после» — идентичной методикой, один и тот же компьютер, подряд.
|
||||
|
||||
|Кандидат|Доля в аллокациях (гейт 5%)|Замер после (гейт 3%)|Итог|
|
||||
|---|---|---|---|
|
||||
|A. Чанковый буфер PDF вместо `ByteArrayOutputStream`|—|`allocated` +0,7% (шум), сумма peak **+7,2% (хуже)**|отклонён, откачен|
|
||||
|B. Needle-гейт декода в `DocxRewritePipeline`|`normalize` 0,44%|—|отклонён до правки|
|
||||
|C. Ранний отпуск `bodyXml`/`parts`/`hyperlinks` в `DocxWriter.write`|кадров моста в топ-15 нет (<0,15%)|—|отклонён до правки|
|
||||
|D. Явный release пакета docx4j|API отсутствует (§3.3)|—|нереализуем|
|
||||
|E. Один проход валидатора|кадров валидатора в топ-15 нет (<0,1%)|—|отклонён до правки (плюс риск порядка ошибок — контракт 400-кодов)|
|
||||
|
||||
**Почему A отклонён измерением, хотя «в теории» экономит.** Реализация (`PdfOutputChunks`,
|
||||
чанки вместо удваивающегося `byte[]`) протестирована на эквивалентность байтов и прогнана полным
|
||||
бенчем (25 фикстур ×20 + big ×5, тот же метод):
|
||||
|
||||
- PDF фикстур в среднем 385 КБ: для них `PdfOutputChunks` с фиксированным чанком выделяет больше,
|
||||
чем рост `ByteArrayOutputStream` от `Math.max(1<<16, docxBytes.length)` — сумма peak выросла на 7,2%;
|
||||
- микробенч на 24 МБ (одноразовый `PeakProof`, куча 2г): peak 76 МБ у чанков против 61 МБ у BAOS —
|
||||
чанк 1 МиБ на G1 humongous (регион 1 МиБ → 2 региона на чанк, отсюда ×2), чанк 256 КиБ уходит в
|
||||
young и при подсчёте `peak` платит растянутым Eden; live-минимум чанков (P+P против 2–3P у BAOS)
|
||||
выигрывает только на PDF десятки мегабайт, каких в фикстурах нет;
|
||||
- вердикт гейта: не улучшено → откачен, конвейер остался на `ByteArrayOutputStream`.
|
||||
|
||||
**Итог по правкам ядра: ни один кандидат не прошёл гейт.** Это не «нечего улучшать», а «у текущих
|
||||
документов память тратят библиотеки» (JAXB-via-DOM, XSLT, FOP-шрифты — §2; JEuclid больше
|
||||
не потребитель — исключён из зависимостей): точечными
|
||||
правками репозитория их не сократить, а правки библиотек/форка (FO-стриминг, font cache) —
|
||||
отдельные задачи с фиделити-гейтом. Практический рычаг «потреблять меньше» прямо сейчас — размеры
|
||||
кучи и GC (§5).
|
||||
|
||||
## 5. Матрица флагов JVM (итог: что ставить в прод)
|
||||
|
||||
Один и тот же прогон (`--scenario all --loops 5 --big-loops 2`), меняются только флаги
|
||||
(`MB_JAVA_OPTS` поверх дефолта харнеса; для смены GC нужен и `-XX:-UseG1GC` — иначе старт падает
|
||||
с «Multiple garbage collectors selected»). ВМ не кончалась ни на одном наборе, OOM'а нет нигде,
|
||||
включая big-сценарий:
|
||||
|
||||
|Набор|VmHWM suite, МБ|VmHWM +big, МБ|max-live, МБ|Паузы (шт/мс)|Вывод|
|
||||
|---|---|---|---|---|---|
|
||||
|f1 — G1, `-Xmx2g` (дефолт харнеса; прод-Containerfile как раз `2G`/`mem_limit 3G`)|931|1337|575|159 / 1724|работает, но куча ×2,6 к реальной потребности|
|
||||
|f2 — G1, `-Xmx768m`|802|902|451|183 / 1865|**рекомендуемый**: RSS ≤0,9 ГБ с JFR-буферами, запас к max-live 1,7×|
|
||||
|f3 — G1, `-Xmx512m`|818|843|416|199 / 1877|работает, но max-live 416 из 512 — малый запас на chart-тяжёлые документы|
|
||||
|f4 — Serial, `-Xmx512m`|748|748|482|126 / 4453|работает; паузы ×2,6 против G1|
|
||||
|f5 — Serial, `-Xmx384m`|628|634|359|150 / 5803|максимальная плотность (RSS 0,63 ГБ); паузы ×3,4, max-live 359 из 384 — впритык|
|
||||
|
||||
`allocated-estimate` у Serial-прогонов — 0: awk-агрегатор GC-лога понимает G1-формат (регионы),
|
||||
для Serial аллокации считаются по другому шаблону — на вывод матрицы не влияет.
|
||||
|
||||
Рекомендация прод-стеку (рендерится job'ом `deploy` из Gitea Variables — менять их, не репо):
|
||||
|
||||
1. Heap: `-Xmx768m` (f2) вместо `2G`; `mem_limit` — `1g` вместо `3G`. FopFactory/XSLT-кеш перманентны,
|
||||
их размер от кучи не зависит; 451 МБ max-live — это ~3 конвертации chart-тяжёлых документов в полёте
|
||||
(а конвертации сериализованы монитором — реально одна).
|
||||
2. G1 оставить (~13 мс пауз на конвертацию против ~40 мс у Serial; при конвертациях 1–4 с это не
|
||||
критично, но G1 при 768m ещё и ровнее ведёт humongous-аллокации растров чартов).
|
||||
3. Плотность выше f2 (Serial 384m) достижима, но запас <7% к max-live на 384m — для прод-вариабельности
|
||||
документов неприемлемо.
|
||||
|
||||
## 6. Итог апгрейда
|
||||
|
||||
- Ядро не изменено: ни один кандидат (A–E, §4) не прошёл замерный гейт; экономия памяти на текущих
|
||||
документах лежит не в коде репозитория, а внутри JAXB/XSLT/FOP (§2–3). Правки форка
|
||||
(FO-стриминг, font cache) — зафиксированные дорожные пункты с фиделити-гейтом.
|
||||
- Практический эффект «потреблять меньше» — профиль кучи: `2G/3G → 768m/1g` (в ~3 раза меньше
|
||||
резидентной памяти на стенде) без потери проходимости всех сценариев, включая big.
|
||||
- Инфраструктура измерений осталась в репо: `MemoryBench` + `membench.sh` + `./mise.sh run mem-bench`
|
||||
— любой следующий раунд начинается с baseline за 10 минут.
|
||||
|
||||
## 7. Как читать этот документ дальше
|
||||
|
||||
- Перепроверить числа: §1 (команды) — прогон ~10 мин, артефакты в `target/` и `wordpdf-core/target/membench-*.jfr`.
|
||||
- Перед новым «починить память»: сначала топ-кадры собственного прогона — доли приложения ≤0,4% означают,
|
||||
что чинить нужно библиотеки, а не `WordPdfConverter`.
|
||||
- Стоп-лист § «не чинить» из `docs/agent/render-limitations.md` остаётся в силе: экономия памяти
|
||||
не должна менять выход PDF (фиделити-тесты — единственный арбитр).
|
||||
+2
-2
@@ -1,10 +1,10 @@
|
||||
> Извлечение из AGENTS.md; читать при правке `internal/chart`. Авторитетно наравне с AGENTS.md.
|
||||
> читать при правке `internal/chart`. Авторитетно наравне с AGENTS.md.
|
||||
|
||||
Нормативный источник любых правок — ECMA-376 (`docs/standards/ooxml/`: графики §21.2, diagram-разметка §21.4, пресет-геометрия Annex D + полные наборы XSD `schema/strict/`/`schema/transitional/`; поведение Word — `ms-oi29500.md`, `ms-odrawxml.md`), а не догадки по исходникам LibreOffice/Word. Формулировки из стандарта при ссылке — с номером секции (§21.2.2.132 и т.п.). Эмпирические калибровки (камера, `PIE_DEPTH`) менять только вместе с пиксельными тестами. Фикстуры могут быть невалидны — код под фикстуру не правится, правится фикстура (после проверки по XSD/секции).
|
||||
|
||||
Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр × `DPI/72`, размеры в пунктах, EMU→pt `cx/12700.0`). Потолок растра `ChartRenderer.MAX_PIXELS = 16_777_216` (4096², 64 МБ ARGB): при превышении `fitDpi` uniform-но понижает эффективный dpi (геометрия в пунктах и безразмерные пропорции не меняются; 24″-график: 208 МБ → 64 МБ, dpi 300 → ≈171); `SmartArtRenderer` использует тот же `DPI`/`fitDpi`. `ChartSpec.parse` (`enum Type`: PIE, PIE3D, DOUGHNUT, BAR, BAR_HORIZONTAL, LINE, AREA, SURFACE3D, AREA3D, BAR3D, LINE3D, RADAR, SCATTER, BUBBLE, STOCK, OF_PIE, SURFACE, UNSUPPORTED). `c:autoTitleDeleted` (§21.2.2.7, `val` опущен — default true) применяется только при отсутствии `c:title` (MS-OI29500 §2.1.1431(a)) — явный заголовок показывается при любом флаге; при отсутствии `c:title` и `val=0` рисуется автозаголовок. Пустой/пробельный `c:title` (или `val=0` без `c:title`) — автозаголовок Office (MS-OI29500 §2.1.1561(a)): одиночный ряд с именем → имя ряда (любой тип графика), иначе `ChartSpec.AUTO_TITLE = "Название диаграммы"`; несколько абзацев `a:p` склеиваются `'\n'` (жёсткий перенос в `DrawMlText`). Регрессии — `ChartSpecTest#emptyTitleSingleSeriesBar_usesSeriesName`, `#deletedTitleWithText_stillShown`, `#deletedTitleValOmitted_stillShown`, `#multiSeriesDoughnut_placeholderNotSeriesName`, `#multiParagraphTitle_joinedWithNewlines`. Палитра `accent1..6` темы; легенда по умолчанию снизу; `overlay` (§21.2.2.132) рисуется поверх области построения, место не резервирует.
|
||||
|
||||
Пейнтеры: `CartesianPainter` (2-D line/bar/area; `c:grouping` stacked/percentStacked §21.2.2.76 — ряд рисуется накопленной суммой через `ChartRenderer.stackedCumulative`), `PiePainter` (`PIE_DEPTH = 0.22`, `PIE_FIT = 0.865`), `Surface3dPainter` (камера — регрессия `cameraMatchesWordReference`: `DEPTH_RATIO = 0.705`, `HEIGHT_RATIO = 0.664`, `GUTTER_LEFT/RIGHT = 0.1485`, `GUTTER_TOP = 0.116`, `GUTTER_BOTTOM = 0.146`, свет `LIGHT_X/Y/Z = 0.83/0.48/0.28`; `c:rAngAx=true` приоритетнее `c:perspective` (MS-OI29500 §2.1.1516(b)); `c:wireframe` §21.2.2.205 — только каркас), `ScatterPainter` (радиус пузыря sqrt при `c:sizeRepresents="area"` §21.2.2.128), `RadarPainter` (спицы от 12 часов), `StockPainter` (upDownBars обводятся контуром, дефолт чёрный 0.75pt), `OfPiePainter` (MS-OI29500 §2.1.1507(a), §2.1.1545(a)), `Surface2dPainter` (контурная карта §21.2.2.204, marching squares, изолинии по `c:bandFmts` §21.2.2.13/.14), `Cartesian3dPainter` (bar3D/line3D/area3D §21.2.2.19/.101/.122, `c:shape` §21.2.3.44), `SmartArtRenderer` (кэш `word/diagrams/drawing1.xml` через relationship `…/office/2007/relationships/diagramDrawing`; формы — `PresetGeometry` из `a:prstGeom`, семь пресетов дословно из `presetShapeDefinitions.xml`; оператор `?:` = «if x > 0 then y else z» (ISO/IEC 29500-1, **не** x != 0); углы в Arc2D — со знаком минус; текст — `DrawMlText`, шрифты через `BundledFontMapper.bundledFamily`; autofit только `normAutofit` §21.1.2.1.2/.3; `dgm:prSet/@phldrT` не рисуется).
|
||||
Пейнтеры: `CartesianPainter` (2-D line/bar/area; `c:grouping` stacked/percentStacked §21.2.2.76 — ряд рисуется накопленной суммой через `ChartRenderer.stackedCumulative`), `PiePainter` (`PIE_DEPTH = 0.22`, `PIE_FIT = 0.865`), `Surface3dPainter` (камера — регрессия `cameraMatchesWordReference`: `DEPTH_RATIO = 0.705`, `HEIGHT_RATIO = 0.664`, `GUTTER_LEFT/RIGHT = 0.1485`, `GUTTER_TOP = 0.116`, `GUTTER_BOTTOM = 0.146`, свет `LIGHT_X/Y/Z = 0.83/0.48/0.28`; `c:rAngAx=true` приоритетнее `c:perspective` (MS-OI29500 §2.1.1516(b)); `c:wireframe` §21.2.2.205 — только каркас), `ScatterPainter` (радиус пузыря sqrt при `c:sizeRepresents="area"` §21.2.2.128), `RadarPainter` (спицы от 12 часов), `StockPainter` (upDownBars обводятся контуром, дефолт чёрный 0.75pt), `OfPiePainter` (MS-OI29500 §2.1.1507(a), §2.1.1545(a)), `Surface2dPainter` (контурная карта §21.2.2.204, marching squares, изолинии по `c:bandFmts` §21.2.2.13/.14), `Cartesian3dPainter` (bar3D/line3D/area3D §21.2.2.19/.101/.122, `c:shape` §21.2.3.44), `SmartArtRenderer` (кэш `word/diagrams/drawing1.xml` через relationship `…/office/2007/relationships/diagramDrawing`; формы — `PresetGeometry` из `a:prstGeom`, семь пресетов дословно из `presetShapeDefinitions.xml`; оператор `?:` = «if x > 0 then y else z» (ISO/IEC 29500-1, **не** x != 0); углы в Arc2D — со знаком минус; текст — `DrawMlText`, шрифты через `BundledFontAliases.bundledFamily`; autofit только `normAutofit` §21.1.2.1.2/.3; `dgm:prSet/@phldrT` не рисуется).
|
||||
|
||||
Защитные лимиты против враждебного chart-XML: `ChartSpec.MAX_POINTS = 100_000` (`c:pt/@idx` §21.2.2.150/.151, `c:ptCount` §21.2.2.152 — ST_UnsignedInt без верхней границы; отказ `IllegalArgumentException` **до** предвыделения списка), `ChartRenderer.MAX_TICKS = 1000` (шаг ≤ 0/NaN/слишком мелкий в `axisBounds` заменяется `niceUnit` 1/2/5·10ⁿ), `DrawingPreRenderer.MAX_EXTENT_EMU = 22_000_000` (≈24″; при `cx/cy` вне капа объект **оставляется как есть** + warn, картинка не рендерится — регрессия `hugeExtentChart_removedNotOom`). Бросок перехватывает catch в `DrawingPreRenderer.renderChart` → штатная деградация «объект удалён + warn». Обход `pkg.getParts()` — только по **снимку** списка (вставка media-частей `addChartMedia→addPart→loadPart` мутирует реестр → CME); rels частей — `part.getRelationshipsPart()`, **не** `getOwningRelationshipPart()`; обход XML обязан раскрывать `JAXBElement`.
|
||||
|
||||
|
||||
+2
-2
@@ -1,4 +1,4 @@
|
||||
> Извлечение из AGENTS.md; читать при правке workflow'ов, Containerfile'ов или деплоя. Авторитетно наравне с AGENTS.md.
|
||||
> читать при правке workflow'ов, Containerfile'ов или деплоя. Авторитетно наравне с AGENTS.md.
|
||||
|
||||
### Деплой (прод)
|
||||
|
||||
@@ -6,7 +6,7 @@
|
||||
|
||||
### Job'ы workflow'ов
|
||||
|
||||
Два workflow. `.gitea/workflows/pr.yml` — `PR checks` (`pull_request` + `workflow_dispatch`): job `java` (temurin 17, кеш `~/.m2`, Maven 3.9.16 с dlcdn, `mvn -B -s .ci/maven-settings.xml clean verify` через зеркало Nexus `maven-central` (fail-closed проверка Variable `MAVEN_MIRROR_URL` первым шагом)) → `Coverage summary` (разбор `target/site/jacoco/jacoco.xml` python-сниппетом в step summary) → `Comment coverage on PR` (тот же текст комментарием; создаётся один раз, повторные push обновляют по маркеру `<!-- jacoco-coverage -->`; `continue-on-error`). job `web` (кеш `~/.npm`, `npm ci` → `build` → `lint`; `setup-node` **нет** — нода берётся с раннера).
|
||||
Два workflow. `.gitea/workflows/pr.yml` — `PR checks` (`pull_request` + `workflow_dispatch`): job `java` (fail-closed проверка Variable `MAVEN_MIRROR_URL` первым шагом → единственный прогон `mvn -B clean verify` внутри образа `Containerfile.test` — без fontconfig, набор тестов никогда не исполняется на хосте с fontconfig; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером podman, BuildKit-сессий нет; зеркало Nexus приходит `--build-arg` → извлечение двух `jacoco.xml` из образа `wordpdf-verify:ci` шагами `docker create`/`docker cp || true` — при непрошедшей сборке пустая сводка, тесты не затронуты) → `Coverage summary` (разбор извлечённого `target/site/jacoco/jacoco.xml` python-сниппетом в step summary) → `Comment coverage on PR` (тот же текст комментарием; создаётся один раз, повторные push обновляют по маркеру `<!-- jacoco-coverage -->`; `continue-on-error`). job `macos-sim` — тот же образ `Containerfile.test`, собранный с `--build-arg SUREFIRE_OS_NAME="Mac OS X"` (эмуляция macOS: единственный хост-зависимый код — docx4j `PhysicalFonts`, читающий `os.name`; внутри образа набор исполняется дважды — сначала `verify` без флага догревает локальный репозиторий до нуля загрузок, затем `verify` с флагом, т.к. Linux-JVM с `os.name=Mac OS X` падает AssertionError на первом же сетевом сокете; шагов JaCoCo/комментария нет — дублировали бы `java`), в `main.yml` отсутствует намеренно. job `web` (кеш `~/.npm`, `npm ci` → `build` → `lint`; `setup-node` **нет** — нода берётся с раннера).
|
||||
|
||||
`.gitea/workflows/main.yml` — `Main: tests, deploy, autotests` (`push` в `main` + `workflow_dispatch`): те же `java`/`web` (байт-байт дубль — workflow-файлы самодостаточны, reusable-workflow не вводить) → `images-app`/`images-web` (build+push каждого Containerfile в Nexus-реестр `${{ vars.REGISTRY }}`, теги `prod` + immovable `sha-<7 символов GITHUB_SHA>`; app печётся с `--build-arg MAVEN_MIRROR_URL=…` (зеркало Nexus в Containerfile); web печётся с `--build-arg VITE_BASE=/pdf-converter/`; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером podman, BuildKit-сессий нет; креды — вручную пишется `~/.docker/config.json`) → `deploy` (SSH на прод: рендер конфигов heredoc'ами в workspace раннера — appleboy/ssh-action непригоден, ломает heredoc; валидация PyYAML; прод-стек — подсеть `10.112.0.0/24` gw `10.112.0.1` (в репо-`compose.yml` — `10.113.0.0/24`, стенды разные), gateway биндится на `127.0.0.1:9010` + `$DEPLOY_HOST:9010`, `nginx.conf` — с `resolver 10.112.0.1`; сохранение `.rollback.env`; `login/pull/timeout 90 podman-compose up -d --force-recreate app web`; гейты healthy и image; gateway пересоздаётся последним; health-check) → `autotests` (venv + `prod-autotests/` против прода) → `rollback` (`if: failure()` — перерендер/перезалив прод-файлов тем же шагом, retag прежних image ID на `:prod`, `--force-recreate app web`, пересоздание gateway).
|
||||
|
||||
|
||||
+14
-14
File diff suppressed because one or more lines are too long
+17
-14
@@ -1,4 +1,4 @@
|
||||
> Извлечение из AGENTS.md; читать при правке конвейера `WordPdfConverter`/нормализаторов/валидатора. Авторитетно наравне с AGENTS.md.
|
||||
> читать при правке конвейера `WordPdfConverter`/нормализаторов/валидатора. Авторитетно наравне с AGENTS.md.
|
||||
|
||||
### Шаги конвейера 0–7 (полное «что делает» с обоснованиями)
|
||||
|
||||
@@ -6,40 +6,43 @@
|
||||
|---|---|---|
|
||||
| 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j |
|
||||
| 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера (static `BestMatchingMapper`) регистрирует в `PhysicalFonts` только symbol-шрифты из `docx4j-export-fo-fonts-symbol` (сканы системы и jar'ов отключены в static-блоке `WordPdfConverter` гейт-свойствами — всё найденное всё равно выбрасывает `restrictToBundled()`); `init()` вызывает `dropNonBundled()` **до** регистрации бандла, `restrictToBundled()` оставляет реестр = бандл + встроенные в docx. Порядок `init()` после конструктора — инвариант: `addPhysicalFont` не перезаписывает занятый ключ (иначе системный Calibri ломает em-dash-fallback) |
|
||||
|2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–10 — раздел «Нормализаторы: контракт и правила 1–11» в этом файле) + условная OLE-вычистка (правило 11)|
|
||||
|2|`DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load`|Один zip-проход переписывания XML-частей (правила 1–11 — раздел «Нормализаторы: контракт и правила 1–12» в этом файле) + условная OLE-вычистка (правило 12)|
|
||||
| 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF |
|
||||
| 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет) |
|
||||
| 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные |
|
||||
| 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds`/`m:oMath` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет); формулы — собственный растер `MathModel`/`MathRenderer` (только бандл-шрифты, без AWT/JEuclid), inline-картинка опускается ран-`w:rPr/w:position` на свой нижний запас (FOP ставит инлайн-графику нижним краем на базу строки; регрессия — WordPdfConverterTest#ommlMathInline_sitsOnTextBaseline), неподдерживаемая конструкция — текстовая деградация + warn; budget chart/math-PNG общий |
|
||||
| 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные. Конфиг обязан быть **полным при каждом `declare`**: docx4j декларирует из `fontsInUse` только использованные начертания (или simulate-style на regular-файле), а общая `FopFactory` замораживает fopconf **первого** документа JVM — `declareFamily`+`hasRealFace` дополняют каждое семейство недостающими реальными начертаниями (регрессия — `fopFactoryFrozenFromFirstDoc_fontsComplete`) |
|
||||
| 4.25 | `LayoutPostRenderer.register(foSettings)` | Кастомный `FORenderer`: post-FO padding-компенсация таблиц (`start-indent` += `padding-left` первой ячейки), внутри — штатный `FORendererApacheFOP` |
|
||||
| 4.5 | `foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES)` | Стилист — вендорный `xslt/docx2fo.xslt` (копия docx4j-export-fo + AUDIT-FIX-патчи: `w:rPr/w:position`→`baseline-shift` и AUDIT-FIX-2 `moveFrom`/`moveTo`/`bdo`/`dir`); `Templates` компилируется один раз — `getTemplates` кастит значение в `Templates` |
|
||||
| 5 | `FORendererApacheFOP.getFopFactoryBuilder` + `getFOUserAgent` | Непустой `title` → заголовок PDF |
|
||||
| 6 | `Docx4J.toFO(foSettings, os, FLAG_EXPORT_PREFER_XSL)` | XSL-FO → PDF |
|
||||
| 7 | `finally` → `getFontTablePart().deleteEmbeddedFontTempFiles()` | В docx4j 17.x `OpcPackage.close()` нет — пакет в памяти |
|
||||
|
||||
`BundledFontMapper` переопределяет `getBoldForm`/`getItalicForm`/`getBoldItalicForm`: на macOS `PhysicalFonts.getBoldForm` для имён `Tinos Regular`/`Carlito Regular`/… уходит в `MicrosoftFontsRegistry` и возвращает `null` (у записей нет Mac-имени файла), из-за чего docx4j строил simulate-style fopconf — FOP терял реальные начертания и кернинг (регрессии `strictOoxml_convertsNotRejected`, `ruPlain_regularRunsUseRegularFont`). Override находит реальный вариант по `embeddedURI` regular-варианта.
|
||||
|
||||
### `warmup()` — прогрев ядра (шаги 0–7 на минимальном docx)
|
||||
|
||||
Первая конвертация после старта JVM стоит 1,3–1,7 с (JAXB/XSLT/FOP/классы; замер 2026-11), её платил первый запрос после деплоя. Публичный `WordPdfConverter.warmup()` прогоняет шаги 0–7 на минимальном docx, собранном в байтах (три zip-части константами, фикстуры не задействованы; алиас Calibri→Carlito греет маппер и embed-подмножество), и греет Java2D/PNG-энкодер (`warmRaster()` — растер + `GlyphFont.draw` + `ImageIO.write`), иначе первый чартный документ платит ещё ~200 мс. Идемпотентен (`volatile warmedUp`, метод `synchronized`), никогда не бросает (провал — warn в JUL), артефакты отбрасываются; вызывать на потоке, сериализующем конвертации. Ядро само себя не зовёт: `wordpdf-app` ставит warmup головой очереди воркеров в конструкторе `ConversionService`. Прогретый первый конверт ru-plain.docx HTTP-запросом: 0,13 с против 1,74 с (A/B на одной машине, сборки ветки и `main`).
|
||||
|
||||
### Валидация входа и подсчёт страниц
|
||||
|
||||
Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + явные разрывы)`; явные — 0x0C в основном тексте + `sprmPFPageBreakBefore` из PAPX. Тот же метод — вход приложения. Скан выполняется ровно один раз по сырому входу, до аллокаций docx4j: правила 1–10 число учитываемых разрывов не увеличивают (правило 9 способно только убрать разрыв внутри скрытого рана — счёт по сырому входу остаётся верхней оценкой лимита).
|
||||
Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + разрывы 0x0C − непрерывные межсекционные (sprmSBkc 0/1) + sprmPFPageBreakBefore)` (код — `DocFile.countPages`). Тот же метод — вход приложения. Скан выполняется ровно один раз по сырому входу, до аллокаций docx4j: правила 1–11 число учитываемых разрывов не увеличивают (правило 10 способно только убрать разрыв внутри скрытого рана — счёт по сырому входу остаётся верхней оценкой лимита).
|
||||
|
||||
- Страницы в валидаторе = `max(кэш docProps/app.xml, явные разрывы, lastRenderedPageBreak+1)`; explicit = межсекционные `w:sectPr` в body + `w:br type="page"` + `pageBreakBefore` (включая таблицы и `w:sdt`). Единственный путь — lightweight (StAX по zip, secure-ридер без DTD/external entities; `WordPdfValidator` не зависит от docx4j): атрибуты — по локальному имени (`attrLocal`, не по transitional-URI: иначе в strict-документе `w:br type="page"` не засчитываются); `sectPr` внутри `pPr` не считает, последнюю body-direct секцию не считает, `continuous`-секции не считает, в колонтитуках — только `w:br type="page"`, `pageBreakBefore` — только внутри `pPr` вне `sectPr` (truthy `val`: `null|true|1|on`). На не-zip молчит — подпись проверяет вызывающий. `checkPageCount` — один стриминговый проход `ZipInputStream` без буферизации частей (хелпер `noClose` глушит `close()` сканеров): потребление O(одной части) вместо O(суммы XML-частей).
|
||||
|
||||
### Нормализаторы: контракт и правила 1–11 (детали)
|
||||
### Нормализаторы: контракт и правила 1–12 (детали)
|
||||
|
||||
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Десять rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby; константу `STEP` (`public static final DocxNormalizer`) выставляют девять из десяти (нет только у `RubyNormalizer` — он цепочный, подключается внутри пайплайна), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`. Правила 1–10 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 9; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` десяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим:
|
||||
Контракт: `byte[] normalize(byte[]) throws IOException`; нечего менять → вернуть **тот же массив** (`assertSame` в тестах). Одиннадцать rewrite-нормализаторов цепляются в фиксированном порядке Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby; константу `STEP` (`public static final DocxNormalizer`) несёт только `DocxRewritePipeline` (собирает рерайты сам), у `OleObjectNormalizer` STEP **нет** — он подключается лямбдой в `WordPdfConverter.normalizers()`, а вместо `normalize(byte[])` у него `normalize(byte[], boolean)`. Правила 1–11 применяет `internal/DocxRewritePipeline` — **один zip-проход**: к каждой записи `word/*.xml` рерайты применяются последовательно (каждое правило работает только содержимым одной части — по-частная цепочка эквивалентна последовательным полным проходам); до прохода из `word/document.xml` извлекается полоса набора (`TableIndentNormalizer.bandOf`, −1 — полосы нет), и `word/headerN.xml`/`footerN.xml` дополнительно прогоняются через `TableIndentNormalizer.rewritePart` с этой полосой, и из `word/styles.xml` читается множество vanish-стилей (`HiddenTextNormalizer.vanishStyles`, цепочка `w:basedOn`) — контекст правила 10; неизменённые записи переносятся raw-копией сжатых байтов (без inflate/deflate); нигде не поменялось → тот же массив. `OleObjectNormalizer` — второй условный проход (меняет части, а не XML). Индивидуальные `normalize()` десяти нормализаторов сохранены (контракт юнит-тестов), но `WordPdfConverter` их не вызывает — его `normalizers(options)` = `DocxRewritePipeline.STEP` + лямбда OLE. Порядок правил значим:
|
||||
|
||||
1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174a — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.7 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`).
|
||||
1. `StrictOoxmlNormalizer` — strict-OOXML → transitional: `a:`-проценты и `w14:fillToRect` → тысячные ×1000, текст `wp14:pctWidth`/`pctHeight`; элементы `w:start`/`w:end` → `w:left`/`w:right` (кроме `w:lvl/w:start` в numbering.xml); значения `w:val="start"/"end"` у `w:jc` и `w:tab` правятся **всегда** (docx4j `Justification.setXslFO` знает только left/center/right/both, для END `fo:text-align` не пишет вовсе — `jc="end"` рендерился по левому краю; Part 1 §17.3.1.13: `jc val="end"` — правовыравнивание в LTR, ST_Jc §17.18.44; RTL вне контура — FOP без complex-script). Strict-ность части определяется наличием `http://purl.oclc.org` (не «transitional-URI в документе» — mixed-документ трактуется по каждой части). **Guard сосуществования форм**: атрибут `w:start`/`w:end` переименовывается только внутри открывающего тега `w:ind` (MS-OI29500 §2.1.174 — псевдонимы left/right; у `w:pgNumType` `w:start` — старт нумерации страниц, легален в transitional, Part 1 §17.13.4 — не трогается) и не переименовывается, если в том же открывающем теге уже есть `w:left`/`w:right` (дубль атрибута ломает well-formedness — регрессии `indCoexistLeftStartUntouched`, `indCoexistForms_convertsNotRejected`, `pgNumTypeStartAttrUntouched`); элементы `w:start`/`w:end` в strict-части переименовываются глобально, в transitional — только внутри `w:tcMar`/`w:tblCellMar` без одноимённого соседа (`maxOccurs=1` на left). Ничего не поменялось → `rewrite` вернул `null` → исходный массив (`StrictOoxmlNormalizerTest#transitionalCoexistReturnsOriginalArray`).
|
||||
2. `DocxOnOffNormalizer` — `w:val="off"/"on"` → `"false"/"true"`; якорь по тегу, правится только атрибут `w:val`, текст между тегами не трогается.
|
||||
3. `SymbolFontNormalizer` — PUA U+F000–U+F0FF (Symbol/Wingdings/Webdings) → Unicode + DejaVu Sans; переписывает `<w:sym>`, правит `w:lvl` в numbering.xml; 5 карт по 256 слотов (таблица `SymbolMapper` из docx4j 17.x).
|
||||
4. `FieldNormalizer` — `fldChar` PAGE/NUMPAGES/SECTIONPAGES → `w:fldSimple` (кэш страниц в PDF не попадает); вложенные/битые поля пропускаются.
|
||||
5. `InvisibleCharNormalizer` — вырезает из `w:t` U+0085, U+2028, U+2029, U+200E/200F, U+202A–202E, U+2060, U+FEFF (FOP делает из них переносы/пустые строки, Arimo/Tinos рисуют боксы). U+00A0/U+00AD/U+200B–U+200D **не** трогает.
|
||||
6. `GlyphCoverageNormalizer` — режет раны по покрытию глифов и пишет семейство в `w:rFonts`, иначе FOP рисует «#». Покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, **не** docx4j `GlyphCheck` (плодит INFO-лог; `java.awt.Font` требовал fontconfig на хосте). Для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (`dejavu serif`, `tinos`, `caladea`), затем в sans.
|
||||
7. `TableIndentNormalizer` — свёртка `w:tblPr/w:jc` (center/right) с любым (в т.ч. отсутствующим/нулевым) `w:tblInd` в абсолютный `w:tblInd` с удалением `w:jc` (Word: tblInd — сдвиг от поля после центрирования, MS-OI29500 §2.1.155; docx4j при jc≠left игнорирует tblInd буквально — Part 1 §17.4.50, а центрированию пишет абсолютный start-indent **без** вычета cellMar, поверх которого padding-компенсация правила LayoutPostRenderer уводит текст на +padding — свёртка обязательна и при X=0): center → (W−T)/2+X, right → (W−T)+X, W — полоса набора (pgSz − pgMar left/right в transitional и `w:start`/`w:end` в strict; дефолты 11906/1440 — измеренное поведение docx4j, не ECMA-1800), T — Σ gridCol; пропускает несколько body-level `sectPr`, не-dxa `tblInd`, `tblPr` с `tblCellSpacing` без `tblInd` (нет корректной позиции вставки по CT_TblPrBase), `tblW pct`, нецелые gridCol. Кроме `rewrite`/`STEP` (document.xml, полоса из собственного sectPr) есть `rewritePart(part, xml, band)` — `word/headerN.xml`/`footerN.xml` с полосой из document.xml (в частях колонтитуков своего sectPr нет) и `bandOf(documentXml)` — экстрактор полосы (−1 — полосы нет). Регрессия — WordPdfConverterTest#tableIndentCentered_shiftedLikeWord, #headerTableIndent_centeredInHeader, #tableCenteredNoIndent_shiftedLikeWord.
|
||||
8. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; Part 1 §17.3.1.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace.
|
||||
9. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.30): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, юниты — HiddenTextNormalizerTest.
|
||||
10. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.18/.19/.20/.21): `w:rubyBase`/`w:rubyBaseText` разворачиваются в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.2 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest.
|
||||
11. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `<w:object`; не-zip/нет центрального каталога → входной массив — прежняя снисходительность), переупаковка — только при находке. Детект OLE-бинарников — по `[Content_Types].xml`: тип `…oleObject` **или** ложный `+xml`-тип у `.bin` (XML в bin не бывает; `printerSettings` не трогается). Удаляются вместе с rels-ссылками (по типу, включая `TargetMode=External`) и Override удалённых частей. Элементы `<w:object>` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `DrawingFoundException(OLE)`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет.
|
||||
6. `MathFallbackNormalizer` — байтовый скан OMML-формул (§22.1) до загрузки пакета: формулы с конструкциями вне `MathModel.SUPPORTED` (или structurally битые) деградируют в текст — `m:oMathPara`/`m:oMath` → обычные раны с конкатенацией `m:t` (как в штатном фолбэке docx4j `XsltFOFunctions.mathText`); поддерживаемые части не трогаются (`rewrite` → `null`, тот же массив) — их рисует собственный `MathRenderer` на шаге 3.5. Позиция **до GlyphCoverage** обязательна: деградировавшие раны с математическими символами (U+1D400+) обязаны пройти резку по покрытию, иначе FOP рисует «#». `m:oMathPara` содержит `m:oMath`, поэтому блок para заменяется первым. Регрессия — WordPdfConverterTest#ommlMathUnsupported_flattenedToText, юниты — MathFallbackNormalizerTest.
|
||||
7. `GlyphCoverageNormalizer` — режет раны по покрытию глифов и пишет семейство в `w:rFonts`, иначе FOP рисует «#». Покрытие — `GlyphFont` (fontbox, cmap) + BitSet-кэш, **не** docx4j `GlyphCheck` (плодит INFO-лог; `java.awt.Font` требовал fontconfig на хосте). Для serif-ран fallback ищется сначала в `SERIF_FAMILIES` (`dejavu serif`, `tinos`, `caladea`), затем в sans.
|
||||
8. `TableIndentNormalizer` — свёртка `w:tblPr/w:jc` (center/right) с любым (в т.ч. отсутствующим/нулевым) `w:tblInd` в абсолютный `w:tblInd` с удалением `w:jc` (Word: tblInd — сдвиг от поля после центрирования, MS-OI29500 §2.1.155; docx4j при jc≠left игнорирует tblInd буквально — аудит раскладки ECMA-376, матрица B3, а центрированию пишет абсолютный start-indent **без** вычета cellMar, поверх которого padding-компенсация правила LayoutPostRenderer уводит текст на +padding — свёртка обязательна и при X=0): center → (W−T)/2+X, right → (W−T)+X, W — полоса набора (pgSz − pgMar left/right; у CT_PageMar полей `w:start`/`w:end` нет, полоса берётся из сырого document.xml до правила 1; дефолты 11906/1440 — измеренное поведение docx4j, ECMA дефолтов не фиксирует §17.6.11/.13), T — Σ gridCol; пропускает несколько body-level `sectPr`, `tblInd` с явным `w:type` ≠ dxa (опущенный type — dxa, §17.4.87), `tblPr` с `tblCellSpacing` без `tblInd` (нет корректной позиции вставки по CT_TblPrBase), `tblW pct`, нецелые gridCol. Кроме `rewrite` (document.xml, полоса из собственного sectPr) есть `rewritePart(part, xml, band)` — `word/headerN.xml`/`footerN.xml` с полосой из document.xml (в частях колонтитуков своего sectPr нет) и `bandOf(documentXml)` — экстрактор полосы (−1 — полосы нет). Регрессия — WordPdfConverterTest#tableIndentCentered_shiftedLikeWord, #headerTableIndent_centeredInHeader, #tableCenteredNoIndent_shiftedLikeWord.
|
||||
9. `NumberingSuffixNormalizer` — `w:suff w:val="space"` → дописанный обычный пробел в конце следующего `w:lvlText` того же уровня (порядок CT_Lvl suff→lvlText, wml.xsd; ST_LevelSuffix Part 1 §17.9.28): docx4j разделитель не эмитит вовсе (дамп n4.fo); уже пробельный lvlText не дублируется; suff=tab — отдельный Class C-остаток (нужна per-item ширина), nothing совпадает с docx4j. Регрессия — WordPdfConverterTest#suffSpace_labelGetsSpace.
|
||||
10. `HiddenTextNormalizer` — вырезание скрытых ранов (Part 1 §17.3.2.41): truthy `w:vanish` в собственном `w:rPr` ранa (обе OnOff-формы; вал опущен — default true; явный `false/0/off` в ране **перекрывает** vanish-стиль) **или** `w:rStyle` ∈ vanish-стили из `word/styles.xml` (транзитивно по `w:basedOn`, капа цепочки 16, цикл — обрыв); ран с защищённым содержимым (`fldChar`/`instrText`/`footnoteReference`/`endnoteReference`/`drawing`/`pict`/`object`/`txbxContent`) не трогается — удаление спаренных `begin…separate…end` сломало бы поле. Word скрытое не печатает, стилист docx4j `vanish` не читает вовсе → без правила скрытое утекало в PDF. Индивидуальный `normalize()` — свой pass styles.xml. Регрессия — WordPdfConverterTest#hiddenText_notPrinted, #hiddenText_directFalseOverridesVanishStyle, юниты — HiddenTextNormalizerTest.
|
||||
11. `RubyNormalizer` — разбор руби-разметки (Part 1 §17.3.3.24–.28): снимается обёртка `w:ruby` (схемно-валидная транзишнл-разметка `w:r`→`w:ruby`→rubyPr/rt/rubyBase иначе достаёт catch-all-шаблону XSLT, и база теряется молча), `w:rubyBase` разворачивается в обычные раны, `w:rt`/`w:rubyPr`/`w:rubyAlign` вырезаются с содержимым (надстрочница — принятая деградация, ruby-разметки в FOP нет; потеря текста хуже потери аннотации). Чинится **в байтах**, а не в XSLT: схема docx4j 17.3.2 не биндит `w:rubyBase`/`w:rt` в `w:r` — unmarshaller теряет их до стилиста (в отличие от `moveFrom`/`moveTo`/`bdo`/`dir`, которых схема знает — тех ловит AUDIT-FIX-2). Регрессия — WordPdfConverterTest#rubyBase_textPrinted, юниты — RubyNormalizerTest.
|
||||
12. `OleObjectNormalizer` — принимает флаг `errorOnOle`. Два этапа: дешёвый детект по центральному каталогу zip (`ZipFile`; читаются только `[Content_Types].xml` и `word/*.xml` до первого `<w:object`; не-zip/нет центрального каталога → входной массив — прежняя снисходительность), переупаковка — только при находке. Детект OLE-бинарников — по `[Content_Types].xml`: тип `…oleObject` **или** ложный `+xml`-тип у `.bin` (XML в bin не бывает; `printerSettings` не трогается). Удаляются вместе с rels-ссылками (по типу, включая `TargetMode=External`) и Override удалённых частей. Элементы `<w:object>` из `word/*.xml` не выбрасываются, а заменяются статичным представлением — картинкой-плейсхолдером (ECMA-376 §15.2.10): `w:drawing` переиспользуется дословно, `v:imagedata r:id` → inline-DrawingML на ту же image-часть (размер из `style` `v:shape`, иначе `w:dxaOrig`/`w:dyaOrig` ×635), блоки с `w:control` и без плейсхолдера удаляются. OLE-бинарники никогда не читаются. При `errorOnOle=true` вместо вычистки — `OleFoundException`. Лечит оба механизма падения docx4j: JAXB-разбор бинарника под ложным XML-типом («Content is not allowed in prolog» → NPE) и NPE `chunkType is null` в VML-сериализации `w:object`. Многочастный: публичный член только `normalize(byte[], boolean)`, `rewrite`-хука нет.
|
||||
|
||||
`mc-preprocessor.xslt` docx4j (в jar `docx4j-core`) перебивает strict-namespace'ы в transitional и конвертит `pt` в twips/half-points, но ветку перевода процентов в тысячные для namespace'ных атрибутов содержит с закомментированным `<xsl:value-of select="$cleanValue * 1000"/>` (для атрибутов без namespace — она активна), а `w:start`/`w:end` в `w:left`/`w:right` не маппит вовсе. Поэтому собственный рерайт URI ломать нельзя — он сломал бы pt-конверсию preprocessor'а (FOP получил бы «10pt»).
|
||||
|
||||
@@ -1,9 +1,9 @@
|
||||
> Извлечение из AGENTS.md; читать до попытки «починить» перечисленное ниже — это не баги, а невозможности FOP/docx4j. Авторитетно наравне с AGENTS.md.
|
||||
> читать до попытки «починить» перечисленное ниже — это не баги, а невозможности FOP/docx4j. Авторитетно наравне с AGENTS.md.
|
||||
|
||||
### Ограничения раскладки (FOP / docx4j)
|
||||
|
||||
- Известный остаток эталона: U+2188/U+218A — глифов нет в OFL-шрифтах бандла, остаются `.notdef` (GNU FreeSerif GPL — не добавляем намеренно).
|
||||
|
||||
- Аудит раскладки по ECMA-376 Part 1 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается, свойства `text-align-last` в форке нет (в docx4j-fo-renderer отсутствуют классы TextAlign*); `w:suff="tab"` и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab; suff=space чинит правило 8, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер: advance A→V = A→A — Carlito 6.369pt, DejaVu Sans 7.524pt@11pt): 22 TTF — GPOS-only, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19; при отсутствии `w:kern` Office не кернит — MS-OI29500 §21.1.2.3.9a) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 7), `w:suff="space"` (правило 8).
|
||||
- Аудит раскладки по ECMA-376 Part 1 (2026-10) — известные нечинимые ограничения FOP/docx4j (Java-слой): `w:jc="distribute"` рендерится как left — межсимвольного распределения в FOP нет (ST_Jc §17.18.44: distribute — межсимвольный разнос, justify только межсловный), последняя строка блока не растягивается, свойства `text-align-last` в форке нет (в docx4j-fo-renderer отсутствуют классы TextAlign*); `w:suff="tab"` и `w:lvlJc` игнорируются (numbering-лейбл всегда через hanging-tab; suff=space чинит правило 9, suff=nothing совпадает с docx4j — разделителя нет); абзац без `w:line` рендерится natural-высотой FOP 15.44pt@11pt, явный `lineRule="auto"` — 13.4277pt, два «single» в конвертере (13.4277 — канонический single по метрикам Carlito/Calibri 2500/2048 em; обе величины считаются по метрикам шрифта); кернинг не применяется ни для одного бандл-семейства (замер: advance A→V = A→A — Carlito 6.369pt, DejaVu Sans 7.524pt@11pt): 22 TTF — GPOS-only, а legacy `kern`-таблица DejaVu Sans/Serif ключована glyph id, не совпадающими с cmap (2568/2727 пар без Unicode-маппинга, пары A→V нет) — латинский путь FOP (`TextLayoutManager`→`Font.hasKerning`) читает только legacy `kern` и такие пары отбрасывает; свойства `kerning` в форке нет, порог `w:kern` через FO не выражается. Word кернит только при явно заданном `w:kern` в иерархии стилей и при sz ≥ val (Part 1 §17.3.2.19: кернинг применяется, только когда элемент задан; при отсутствии `w:kern` не кернит; MS-OI29500 §2.1.83 уточняет лишь диапазон `w:val`) — по умолчанию совпадает с нами, расходится только для документов с явно заданным `w:kern`. Починено веткой layout-class-c: левый padding ячейки (`LayoutPostRenderer`, шаг 4.25), `w:tblInd` при `w:jc`≠left (правило 8), `w:suff="space"` (правило 9).
|
||||
|
||||
- Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.13.1.35), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23), OMML-формулы рисуются вектором jeuclid-fop (§22.1 — текст из PDF не извлекается, пинь пикселями), фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 9); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 10 + AUDIT-FIX-2). Остаток (не чиним): `w:framePr` игнорируется — текст печатается в общем потоке, геометрия фрейма теряется (ни XSLT, ни `createBlockForPPr` не читают); `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 10 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура).
|
||||
- Аудит .docx-путей по ECMA-376 (2026-11) — запинено синтетикой (без фикстур): сноски/концевые сноски с номерами (§17.11), внешние гиперссылки с `/URI`-аннотацией (§17.12.23), `PAGEREF` (complex и вложенный в результат `TOC`) и `DATE` подменяют кэш живым значением, `titlePg` → first/default колонтитуки (§17.10.6), `vMerge` restart/continue (§17.4.70), block-level `w:sdt` (§17.5.2), `wps:txbx`-текст (§17.3.3.23; формула внутри текстового бокса до растера не доходит — обход drawing-нагрузку не спускается и уходит в docx4j-фолбэк `mathText`, конкатенация `m:t`; регрессия — WordPdfConverterTest#drawingTextBoxMath_convertsViaDocx4jTextFallback), OMML-формулы (§22.1) рисует собственный растер `MathModel`/`MathRenderer` — PNG 300 dpi, только бандл-шрифты jar, без AWT/JEuclid (текст из PDF не извлекается, пинь пикселями); неподдерживаемая конструкция или превышение бюджета — текстовая деградация (конкатенация `m:t`, `MathFallbackNormalizer`, правило 6) + warn, inline-формула выравнивается по базовой линии текста (мат-ось Word — принятая деградация), `m:oMathPara` — отдельный центрированный абзац (left/right по `m:jc`, indentLeft→left); фон `w:highlight`/`w:shd` рисуется (§17.3.2.16/.29). Скрытый текст `w:vanish` не печатается (правило 10); текст руби-базы и `w:moveFrom`/`w:moveTo`/`w:bdo`/`w:dir` не теряется (правило 11 + AUDIT-FIX-2). Остаток (не чиним): `w:framePr` игнорируется — текст печатается в общем потоке, геометрия фрейма теряется (ни XSLT, ни `createBlockForPPr` не читают); `REF`/`SEQ`/литеральные записи `TOC` печатают устаревший кэш из docx (движка пересчёта нет; инстринции полей не печатаются); надстрочница руби не выводится (правило 11 печатает только базу — ruby-разметки в FOP нет); `w:ptab` без `@w:alignment`, `bar`, `list` теряются catch-all'ом; `w:bdo`/`w:dir` печатаются LTR (bidi вне контура).
|
||||
|
||||
+32
-18
@@ -1,21 +1,22 @@
|
||||
> Извлечение из AGENTS.md; читать при навигации по репо, деплое и работе с REST/шрифтами — полный «путеводитель», вынесенный из AGENTS.md дословно. Авторитетно наравне с AGENTS.md.
|
||||
> читать при навигации по репо, деплое и работе с REST/шрифтами — полный «путеводитель». Авторитетно наравне с AGENTS.md.
|
||||
|
||||
## Key Directories (полная таблица)
|
||||
|
||||
| Путь | Назначение |
|
||||
|---|---|
|
||||
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String[,ConvertOptions])`), `WordPdfValidator` (`checkInput`/`checkPageCount`/`validate` — без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `DrawingFoundException` (`enum Kind {CHARTS, SMARTART, OLE}`), `WordPdfSettings` (`MAX_INPUT_MB=5`, `MAX_PAGES=100`, защитные `MAX_DECOMPRESSED_MB=200`/`MAX_ZIP_ENTRIES=8192`, `ERROR_ON_*=false`), `ConvertOptions` (record) |
|
||||
| `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontMapper` (алиасы, self-map, `DISPLAY_NAMES`, `bundledFamily`), `GlyphFont` (глиф-движок fontbox) |
|
||||
| `…/wordpdf/internal/` | 11 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–10, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы `public` (иначе родительский пакет не вызвал бы), публичные члены наружу только `normalize`/`STEP`/`declare`/`DependencyGuard.check`/`LayoutPostRenderer.register`; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `DrawingFoundException(OLE)` |
|
||||
| `wordpdf-core/src/main/java/ru/pjandro/wordpdf/` | Публичный API: `WordPdfConverter` (`convert(byte[],String,ConvertOptions)`), `WordPdfValidator` (`checkInput`/`validate` наружу; `checkPageCount`/`checkPageCountDoc`/`isBinaryDoc` — package-private, всё без зависимости от docx4j), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `ChartsFoundException`/`SmartArtFoundException`/`OleFoundException` (по error-флагам), `ConvertOptions` (record; дефолтов в ядре нет). Пороги защиты — производные от лимитов входа: `WordPdfValidator.maxDecompressedBytes`/`maxDecompressedXmlBytes` (`max(MIN_*×MiB, maxMb×10/4MiB + maxPages×64/32KiB)`, крышек нет), `maxZipEntries` (`max(2048, maxMb×512 + maxPages×32)`), `maxImagePixels` (`maxMb×5_000_000`); коэффициенты и полы — package-private литералы `WordPdfConverter` (`DECOMPRESS_*`, `MIN_DECOMPRESSED_*`, `IMAGE_PIXELS_PER_MAX_MB`, `ZIP_ENTRIES_*`, javac их инлайнит — валидатор не инициализирует конвертер) |
|
||||
| `…/wordpdf/fonts/` | `BundledFonts` (реестр/выгрузка TTF), `BundledFontAliases` (алиасы, `DISPLAY_NAMES`, `bundledFamily` — без наследования, статика безопасна до гейта), `BundledFontMapper` (экземпляр-маппер docx4j), `GlyphFont` (глиф-движок fontbox) |
|
||||
| `…/wordpdf/internal/` | 12 нормализаторов + `DocxRewritePipeline` (один zip-проход правил 1–11, raw-копия неизменённых записей) + `LayoutPostRenderer` (кастомный `FORenderer`, post-FO padding-компенсация таблиц, шаг 4.25) + интерфейс `DocxNormalizer` + `FopFallbackFonts` + `DependencyGuard` (проверка commons-compress, шаг 0). Классы package-private; `public` — `DocxNormalizer`, `DocxRewritePipeline` (наружу только `STEP`, `normalize` package-private), `OleObjectNormalizer`, `FopFallbackFonts` (`declare`), `LayoutPostRenderer` (`register`), `DependencyGuard` (`check`), остальные нормализаторы полностью package-private; `OleObjectNormalizer` — многочастный, публичный `normalize(byte[], boolean)`, бросает `OleFoundException` |
|
||||
| `…/wordpdf/internal/doc/` | Мост `.doc` → `.docx`: 18 классов (детали — `docs/agent/doc-bridge.md`) — `CfbReader`, `FibHeader`, `PieceTable`, `Grpprl`, `ChpxIndex`, `PapxIndex`, `Styles`, `Tables`, `Lists`, `Sections`, `FontTable`, `SummaryInfo`, `Headers`, `OfficeArt`, `PrcData`, `DocFile`, `DocxWriter`, `DocToDocx` (публичные `convert`/`countPages`; вложенный `DocxBody` — рендер текста и табличного автомата в XML) |
|
||||
| `…/wordpdf/internal/chart/` |18 классов Java2D-рендера диаграмм/SmartArt в PNG (public: `DrawingPreRenderer.run` и `ChartImageHandler` — второй инстанцируется из `WordPdfConverter`)|
|
||||
| `…/wordpdf/internal/chart/` |21 классов Java2D-рендера диаграмм/SmartArt/OMML-формул в PNG (`MathModel`/`MathRenderer`/`MathUnsupportedException` — формулы); public: `DrawingPreRenderer.run` и `ChartImageHandler` — второй инстанцируется из `WordPdfConverter`|
|
||||
| `wordpdf-core/src/main/resources/fonts/` | 30 TTF + 3 лицензии — бинарные фикстуры, часть jar |
|
||||
| `wordpdf-core/src/main/resources/xslt/` | `docx2fo.xslt` — вендорный XSL-FO-стилист (копия docx4j-export-fo + AUDIT-FIX-патчи), часть jar |
|
||||
| `wordpdf-core/src/test/resources/samples/` | 25 закоммиченных фикстур: 13 `.docx` + 12 `.doc` (11 эталонов заказчика из `develop/doc/` с теми же базовыми именами + `doc-formats.doc`); `.docx` проходят `docs/standards/docx/validate-fixtures.py`, `.doc` — бинарные, XSD к ним неприменим |
|
||||
| `wordpdf-core/src/test/resources/geom/` | `presetShapeDefinitions.xml` — копия приложения ECMA-376, синхрон таблицы `PresetGeometry` (только в тестах, в jar не попадает) |
|
||||
| `wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/` | REST API (11 классов): `WordPdfApplication` (единственный public), `ConvertController`, `ConversionService` (очередь), `ApiExceptionHandler`, `ApiKeyFilter`, `OpenApiConfig` (`@SecurityScheme` X-API-Key) + 5 классов исключений (`BadRequest`, `DrawingRejected`, `ConversionFailed`, `ConversionRejected`, `ConversionTimeout`) |
|
||||
| `wordpdf-web/src/` | SPA: `api.ts` (вся сеть), `components/` (App, ApiKeyGate, PdfPreview, StatusMessage, DropZone, Logo) |
|
||||
| корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf` | Образ бэкенда (multi-stage `maven:3.9-eclipse-temurin-17` → `eclipse-temurin:17-jre-alpine`, non-root uid 10001, `-XX:MaxRAMPercentage=70`, HEALTHCHECK — busybox `wget`); compose app+web+gateway (`mem_limit: 2g` app, подсеть `10.113.0.0/24` gw `10.113.0.1`, `x-podman.name_separator_compat`); прод-compose не в репо — его рендерит job `deploy`; в репо-`compose.yml` springdoc выключен env (`SPRINGDOC_API_DOCS_ENABLED=false`, `SPRINGDOC_SWAGGER_UI_ENABLED=false`), в `compose.dev.yml` springdoc-переменных нет вовсе — включён по умолчанию (не отключается). `wordpdf-web/Containerfile` — `node:24-alpine` → `nginx:alpine`, `ARG VITE_BASE=/` (прод-CI печёт `/pdf-converter/`); репозиторный `wordpdf-web/nginx.conf` в образ **не** копируется (SPA одностраничная, без клиентского роутинга — SPA-fallback не нужен) |
|
||||
| `wordpdf-web/nginx.conf` | В образ SPA (`Containerfile` COPY в `/etc/nginx/conf.d/default.conf` — переопределение default-сервера, отдельного монтирования нет): `try_files` SPA-fallback + `add_header ... always` (езжают и на 4xx/5xx): CSP `default-src 'self'; script-src 'self'; style-src 'self' 'unsafe-inline'` (inline-стили React); `img-src`/`frame-src` + blob: (PDF-предпросмотр в iframe); `connect-src 'self'`; `object-src 'none'` + `nosniff`, XFO DENY (не мешает blob-iframe), Referrer-Policy no-referrer |
|
||||
| корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf` | Образ бэкенда (multi-stage `maven:3.9-eclipse-temurin-17` → `eclipse-temurin:17-jre-alpine`, non-root uid 10001, фиксированный heap `-Xms2g -Xmx2g`, HEALTHCHECK — busybox `wget`); compose app+web+gateway (`mem_limit: 3g` app, подсеть `10.113.0.0/24` gw `10.113.0.1`, `x-podman.name_separator_compat`); прод-compose не в репо — его рендерит job `deploy`; в репо-`compose.yml` springdoc выключен env (`SPRINGDOC_API_DOCS_ENABLED=false`, `SPRINGDOC_SWAGGER_UI_ENABLED=false`), в `compose.dev.yml` springdoc-переменных нет вовсе — включён по умолчанию (не отключается). `wordpdf-web/Containerfile` — `node:24-alpine` → `nginx:alpine`, `ARG VITE_BASE=/` (прод-CI печёт `/pdf-converter/`); `wordpdf-web/nginx.conf` копируется в образ (см. строку выше) |
|
||||
| `.env.example` | Шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES` (пустое значение ломает binding long/int). Проду `.env` не нужен — ключ и лимиты подаёт job `deploy` из Gitea Secrets/Variables |
|
||||
| `.gitea/workflows/` | Gitea Actions: `pr.yml` (`PR checks`), `main.yml` (тесты + coverage-сводка и комментарий в PR → `images-app`/`images-web` (build+push в Nexus) → deploy (рендер прод-конфигов + pull) → autotests → rollback) |
|
||||
| `GITEA-vars.md` | Инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений |
|
||||
@@ -28,16 +29,16 @@
|
||||
|
||||
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java` — точка входа библиотеки + static-блок `gsubFeatures` + `normalizers(options)` (порядок цепочки).
|
||||
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfValidator.java` — валидация входа и lightweight-подсчёт страниц (StAX, без docx4j).
|
||||
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfSettings.java` — все дефолты ядра (`MAX_INPUT_MB = 5`, `MAX_PAGES = 100`, `ERROR_ON_* = false`); рантайм-конфигурации в ядре нет.
|
||||
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java` — замена диаграмм/SmartArt на PNG; владеет `MAX_EXTENT_EMU` и деградацией при падении рендера.
|
||||
- Дефолтов лимитов в ядре нет (`WordPdfSettings` упразднён): лимиты входа всегда приходят с вызовом через `ConvertOptions`, производные пороги считает `WordPdfValidator.max*` (см. таблицу выше).
|
||||
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java` — замена диаграмм/SmartArt/OMML-формул на PNG; владеет `MAX_EXTENT_EMU` и деградацией при падении рендера (формула — текст вместо удаления).
|
||||
- `wordpdf-app/src/main/resources/application.properties` — multipart 100MB (`max-file-size`/`max-request-size` + `file-size-threshold=2MB` — части крупнее 2 МБ на диск, не в память; в тон gateway `client_max_body_size 100m`), `wordpdf.convert-timeout=2m`, пустой `wordpdf.api-key`, `server.forward-headers-strategy=framework` (префикс прод-прокси для springdoc) + `springdoc.swagger-ui.persist-authorization=true`; `wordpdf.max-mb`/`max-pages` здесь намеренно нет.
|
||||
- `wordpdf-app/pom.xml` — `spring-boot-maven-plugin` с **явной** execution `repackage` (в 4.1.1 сам не связывается, jar останется тонким); `slf4j-simple` исключён; `spring-boot-starter-webmvc` (Boot 4: переименован из starter-web) + `spring-boot-starter-actuator` (нужен HEALTHCHECK контейнера `/actuator/health`); тест-зависимости: `spring-boot-webmvc-test` (в Boot 4 автоконфиг MockMvc вынесен из starter-test), test-jar core.
|
||||
- `wordpdf-core/pom.xml` — `maven-jar-plugin` execution `test-jar` (публикует фикстуры для app); JaCoCo execution `check` переопределён (LINE 0.90 + BRANCH 0.85).
|
||||
- Корневой `pom.xml` — все версии зависимостей (в модулях версии не объявлять): docx4j `17.3.2`, commons-compress `1.28.0`, slf4j `2.0.20`, JUnit `6.1.3`, PDFBox/fontbox `3.0.8` (`fontbox` — compile в core: глиф-движок `GlyphFont`; `pdfbox` — test в обоих модулях; commons-logging исключён, мост — `jcl-over-slf4j`), POI `5.5.1` (test), Spring Boot `4.1.1` (BOM-import), springdoc `3.1.1`; pluginManagement: compiler `3.16.0`, surefire `3.6.0` с `-Djava.awt.headless=true`, jar `3.5.1`, PMD `3.28.0`, JaCoCo `0.8.15`; пустой дефолт `<argLine>` (для `-Djacoco.skip=true`).
|
||||
- Корневой `pom.xml` — все версии зависимостей (в модулях версии не объявлять): docx4j `17.3.2`, commons-compress `1.28.0`, slf4j `2.0.20`, JUnit `6.1.3`, PDFBox/fontbox `3.0.8` (`fontbox` — compile в core: глиф-движок `GlyphFont`; `pdfbox` — test в обоих модулях; commons-logging исключён, мост — `jcl-over-slf4j`), POI `5.5.1` (test), Spring Boot `4.1.1` (BOM-import), springdoc `3.1.1`; pluginManagement: compiler `3.16.0`, surefire `3.6.0` с `-Djava.awt.headless=true`, jar `3.5.1`, PMD `3.21.2` (движок PMD `6.55.0`), JaCoCo `0.8.15`; пустой дефолт `<argLine>` (для `-Djacoco.skip=true`).
|
||||
- `pmd-ruleset.xml` — ruleset PMD (см. Code Conventions).
|
||||
- `.ci/maven-settings.xml` — Maven-зеркало Nexus с URL из `${env.MAVEN_MIRROR_URL}` (общий файл CI-job'ов `java` и Containerfile; координаты стенда в репо не хранятся — Variable/build-arg).
|
||||
- `wordpdf-core/src/main/resources/slf4j-simple.properties` — без него предупреждение лезет в PDF.
|
||||
- `gateway/nginx.conf` — единственный вход: `/api/`, `/swagger-ui`, `/v3/api-docs`, `/actuator` → `app:8080`, остальное → `web:80`; `client_max_body_size 100m` (без директивы upload режется HTML-413 шлюза вместо JSON-ошибки API); `proxy_read_timeout`/`proxy_send_timeout 300s` (дефолтные 60s рвут 2-минутные конвертации 504 раньше app-ного 504); `resolver 10.113.0.1` + `proxy_pass` через переменные (статический `proxy_pass` резолвит имя один раз при старте — gateway, поднявшийся раньше app, получал бы 502 до перезапуска).
|
||||
- `gateway/nginx.conf` — единственный вход: `/api/`, `/swagger-ui`, `/v3/api-docs`, `/actuator` → `app:8080`, остальное → `web:80`; `client_max_body_size 100m` (без директивы upload режется HTML-413 шлюза вместо JSON-ошибки API); `proxy_read_timeout`/`proxy_send_timeout 300s` (дефолтные 60s рвут 2-минутные конвертации 504 раньше app-ного 504); `resolver 10.113.0.1` + `proxy_pass` через переменные (статический `proxy_pass` резолвит имя один раз при старте — gateway, поднявшийся раньше app, получал бы 502 до перезапуска); `X-Forwarded-For`/`-Proto`/`-Host` переписываются безусловно (`$remote_addr`/`$scheme`/`$host` — клиент не подставляет доверяемые Spring заголовки; `X-Forwarded-Prefix` проходит как есть — на нём base swagger-ui за внешним прокси). Тот же набор в прод-ренвере job `deploy` (`main.yml`, heredoc `NGINX`).
|
||||
- `wordpdf-core/src/test/java/ru/pjandro/wordpdf/SampleDocxGenerator.java` — main()-утилита пересоздания фикстур; `ChartTypesDocxGenerator.java` — генератор `chart-types.docx`.
|
||||
- `wordpdf-web/vite.local.config.ts` — легаси-одноразовщик (прокси `/api` → :8091), в `tsconfig.node.json` не включён; кандидат на удаление, не тиражировать паттерн. Корневые `javac.*.args` — мусор пробной компиляции (gitignored), тоже кандидат на удаление.
|
||||
|
||||
@@ -79,11 +80,24 @@ unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-expo
|
||||
|
||||
## REST API (детали bullet'ов)
|
||||
|
||||
Единственный эндпоинт `POST /api/v1/convert`: multipart-поле `file` + факультативные query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолт каждого — `WordPdfSettings.ERROR_ON_*`). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка `.docx`/`.doc`-расширения — в `ConvertController` (ошибочный текст 400 — контракт с фронтом); `ConversionService.safeBaseName` — единый источник имени для файла, заголовка ответа и PDF-title (срезает оба расширения; разрешены `[\p{L}\p{N} ._-]`, пустое → `document`). Error-флаги диаграмм/SmartArt/OLE на `.doc` не срабатывают (BLIP-плейсхолдеры → картинки, см. «Мост») — описано в `@Operation`.
|
||||
Единственный эндпоинт `POST /api/v1/convert`: multipart-поле `file` + факультативные query/form-параметры `errorOnCharts`/`errorOnSmartArt`/`errorOnOle` (дефолт каждого — `false`) и `maxMb`/`maxPages` (лимиты входа, см. «Лимиты входа» ниже). Ответ — `application/pdf`, `Content-Disposition: attachment; filename*=UTF-8''…`. Проверка `.docx`/`.doc`-расширения — в `ConvertController` (ошибочный текст 400 — контракт с фронтом); `ConversionService.safeBaseName` — единый источник имени для файла, заголовка ответа и PDF-title (срезает оба расширения; разрешены `[\p{L}\p{N} ._-]`, пустое → `document`). Error-флаги диаграмм/SmartArt/OLE на `.doc` не срабатывают (BLIP-плейсхолдеры → картинки, см. «Мост») — описано в `@Operation`.
|
||||
|
||||
Полная карта ответов:
|
||||
|
||||
| HTTP | Исключение/источник |
|
||||
|---|---|
|
||||
| 400 | `ValidationException`, `BadRequestException`, `MethodArgumentTypeMismatchException`, `MissingServletRequestPartException`, `MissingServletRequestParameterException` |
|
||||
| 401 | `ApiKeyFilter` (пишет сам) |
|
||||
| 404 / 405 / 415 | `NoResourceFoundException` / `HttpRequestMethodNotSupportedException` / `HttpMediaTypeNotSupportedException` |
|
||||
| 413 | `MaxUploadSizeExceededException` |
|
||||
| 422 | `DrawingRejectedException` |
|
||||
| 500 | `ConversionFailedException` |
|
||||
| 503 | `ConversionRejectedException` |
|
||||
| 504 | `ConversionTimeoutException` |
|
||||
|
||||
- **Ключ доступа**: `ApiKeyFilter` сверяет заголовок `X-API-Key` (`ApiKeyFilter.HEADER`) со свойством `wordpdf.api-key` (env `WORDPDF_API_KEY`, сравнение `MessageDigest.isEqual`). Пустое свойство = аутентификация выключена (dev `java -jar`, тесты). Без ключа открыты `OPEN_PREFIXES` = `/actuator/`, `/swagger-ui`, `/v3/api-docs` — матч по пути **без** forwarded-contextPath (`getRequestURI()` минус `getContextPath()`; иначе под `X-Forwarded-Prefix` HEALTHCHECK получил бы 401). Пути с точечными сегментами (`..`/`%2e`) открытыми не считаются никогда.
|
||||
- **Очередь**: конвертации сериализованы однопоточным `ThreadPoolExecutor` (`ConversionService.QUEUE_CAPACITY = 16`, переполнение → 503): ядро мутирует глобальный реестр `PhysicalFonts` и **не потокобезопасно**. Головой очереди конструктор ставит `WordPdfConverter.warmup()` — прогрев ядра минимальным in-code docx + растром (~1,5–2,5 с, Future никто не забирает, warmup не бросает): первый реальный запрос после деплоя — за прогретым ядром (замер 2026-11: 0,13 с против 1,74 с на `main`), запросы периода прогрева ждут в очереди штатно. `future.cancel(true)` при таймауте не останавливает FOP мгновенно — осознанный компромисс.
|
||||
- **Лимиты входа** задаёт только конфигурация сервера: `wordpdf.max-mb`/`wordpdf.max-pages` (env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`), `@Value` в `ConvertController` с дефолтом-SpEL из `WordPdfSettings` (5 МБ / 100); значение ≤ 0 → `IllegalStateException` на старте; параметрами запроса не переопределяются. Ключи в `application.properties` **не объявлены** — пустое значение затенит SpEL-дефолт.
|
||||
- **Очередь**: конвертации сериализованы однопоточным `ThreadPoolExecutor` (`ConversionService.QUEUE_CAPACITY = 16`, переполнение → 503): ядро мутирует глобальный реестр `PhysicalFonts` и **сериализует конвертации монитором класса `WordPdfConverter.class`**; однопоточность воркера — ради 503/timeout. Головой очереди конструктор ставит `WordPdfConverter.warmup()` — прогрев ядра минимальным in-code docx + растром (~1,5–2,5 с, Future никто не забирает, warmup не бросает): первый реальный запрос после деплоя — за прогретым ядром (замер 2026-11: 0,13 с против 1,74 с на `main`), запросы периода прогрева ждут в очереди штатно. `future.cancel(true)` при таймауте не останавливает FOP мгновенно — осознанный компромисс.
|
||||
- **Лимиты входа**: `wordpdf.max-mb`/`wordpdf.max-pages` (env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`) — дефолт эндпоинта, `@Value` в `ConvertController` с литеральными дефолтами 5/100; значение свойства ≤ 0 → `IllegalStateException` на старте. Параметры запроса `maxMb`/`maxPages` переопределяют дефолт в обе стороны (значения ≤ 0 → 400), верхнего серверного потолка нет — пороги распаковки/записей/растров растут вместе с ними. Ключи в `application.properties` **не объявлены** — пустое значение затенит дефолт `@Value`.
|
||||
|
||||
- **SPA**: вся сеть в `wordpdf-web/src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), при 401 очищается, экран `ApiKeyGate` (`UnauthorizedError` — наследник `ApiError`, проверяется раньше); гейт показывается только когда `probeApiKey()` (GET /api/v1/convert → 401) подтвердил требование ключа. Запросы на `${import.meta.env.BASE_URL}api/...` (vite `base` из `VITE_BASE`, дефолт `/`) — CORS не нужен (dev: vite-proxy → :8080; prod: nginx под префиксом `/pdf-converter/`). Три переключателя error-флагов в форме («Диаграммы», «SmartArt», «OLE-объекты», дефолт — все выключены). DropZone принимает `.docx,.doc` (`accept` + текст зоны).
|
||||
|
||||
@@ -91,14 +105,14 @@ unzip -p ~/.m2/repository/org/docx4j/docx4j-export-fo/<версия>/docx4j-expo
|
||||
|
||||
- **PDF сравнивается текстом, не растеризацией**: PDFBox 3 (`Loader.loadPDF`) — `PDFTextStripper` (пер-странично `setStartPage/setEndPage`), override `processTextPosition` для шрифта конкретного символа (`fontNameOf`), обход ресурсов страниц для встроенных шрифтов (`EAAAAA+Carlito-Bold`) и счётчик картинок (`imageCount`/`distinctImageCount` — SMask игнорируется). Негативные маркеры: `assertFalse(text.contains("#"))` (.notdef), `assertFalse(font.startsWith("Helvetica"))`. Текст нормализуется по пробелам (`norm`); в `tableImage_tableAndImage` — полное удаление пробелов (docx4j переносит слова в auto-fit таблицах).
|
||||
|
||||
PMD: `failurePriority` в плагине не задан — на практике `verify` валит нарушение любой приоритетности; перечень исключённых правил в AGENTS.md не дублируется — единственный источник `pmd-ruleset.xml`.
|
||||
PMD: `failurePriority` в плагине не задан — на практике `verify` валит нарушение любой приоритетности; закрытый список правил — единственный источник `pmd-ruleset.xml` (в AGENTS.md не дублируется). Четыре правила `*MustUseBraces` деприкейтед в 6.55.0 — предупреждения «Discontinue using…» в логе verify ожидаемы.
|
||||
|
||||
- Нормализаторы — единый контракт `internal/DocxNormalizer` + константа `STEP`; цепочка `WordPdfConverter.normalizers()` = `DocxRewritePipeline.STEP` (правила 1–10 одним zip-проходом) + лямбда `OleObjectNormalizer`; нечего менять → **тот же массив**; package-private хук `static String rewrite(String xml)` для юнит-тестов (возвращает `null` при отсутствии изменений; есть у 10 из 11 — у многочастного `OleObjectNormalizer` нет); у `StrictOoxmlNormalizer` есть также `rewritePart(entryName, xml)`, у `TableIndentNormalizer` — `rewritePart(name, xml, band)` (per-part-логика, хуки пайплайна); правятся только части `word/*.xml`.
|
||||
- Нормализаторы — единый контракт `internal/DocxNormalizer`; константа `STEP` только у `DocxRewritePipeline` (сам собирает цепочку); цепочка `WordPdfConverter.normalizers()` = `DocxRewritePipeline.STEP` (правила 1–11 одним zip-проходом) + лямбда `OleObjectNormalizer`; нечего менять → **тот же массив**; package-private хук `static String rewrite(String xml)` для юнит-тестов (возвращает `null` при отсутствии изменений; есть у 11 из 12 — у многочастного `OleObjectNormalizer` нет); у `StrictOoxmlNormalizer` есть также `rewritePart(entryName, xml)`, у `TableIndentNormalizer` — `rewritePart(name, xml, band)` (per-part-логика, хуки пайплайна); правятся только части `word/*.xml`.
|
||||
|
||||
- Классы в `internal` — `public` (иначе родительский пакет не вызвал бы), но публичные члены наружу только `normalize`/`STEP`/`declare`/`DrawingPreRenderer.run`/`DependencyGuard.check` (`rewrite`, карты — package-private); в `wordpdf-app` всё package-private кроме `WordPdfApplication`.
|
||||
- Классы в `internal` — package-private; `public` только контракт наружу: `DocxNormalizer`, `DocxRewritePipeline`(+`STEP`), `OleObjectNormalizer`, `FopFallbackFonts`(+`declare`), `LayoutPostRenderer`(+`register`), `DependencyGuard`(+`check`) и `DrawingPreRenderer`(+`run`); `rewrite`-хуки и карты — package-private; в `wordpdf-app` всё package-private кроме `WordPdfApplication`.
|
||||
|
||||
- Гейт JaCoCo `0.8.15`: `jacoco:check` (правило BUNDLE, LINE COVEREDRATIO `0.90` — обоих модулей; в `wordpdf-core/pom.xml` execution `check` переопределён и добавляет BRANCH COVEREDRATIO `0.85` — только для core) на `verify`; агент подключается в surefire через `argLine` = `@{argLine} -Djava.awt.headless=true` (свойство `argLine` в корневом pom по умолчанию пусто и перезаписывается `prepare-agent` — `mvn test -Djacoco.skip=true` без агента работоспособно); `report` и `check` оба на `verify`, report раньше — при провале порога отчёт уже на диске; отчёты `target/site/jacoco/` (html+xml, xml нужен CI-сводке). Плотность покрытия держат тесты, а не заглушки: промахи в основном недостижимые IOException/catch-ветки (`GlyphFont`, `BundledFonts`) и защитные ветви сканеров нормализаторов/валидатора.
|
||||
- 59 тестовых классов / 893 теста (core 53/849 — из них 17 классов / 225 тестов в `internal/doc/`, 17 классов / 271 тест в `internal/chart/`, `WordPdfConverterTest` 77 — включая блок аудита .docx 2026-11: правила 9–10, AUDIT-FIX-2 и пиннинг сносок/полей/titlePg/vMerge/sdt/txbx/OMML/highlight на синтетике через хелпер `docx(...)`; app 6/44: ConvertController 23 + ApiKeyFilter 8 + ConversionService 5 + ApiExceptionHandler 5 + ConvertLimits 2 + ConversionTimeout 1). JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true`; только `Assertions` (Mockito/AssertJ не использовать; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`), тестовые классы package-private, зеркалят main-пакеты; только `@Test` + два `@BeforeAll` (warm-up шрифтов в `GlyphCoverageNormalizerTest` и `BundledFonts.init()` в `BundledFontsTest`) + `@AfterEach drainWorker` в `ConversionTimeoutTest` (дренировать отменённый FOP-рендер до следующего класса — гонка глобального `PhysicalFonts`).
|
||||
- Счётчики тестов и описание блока аудита .docx 2026-11 — `docs/agent/testing.md`. JUnit 6 (`org.junit.jupiter:junit-jupiter`), surefire 3.6.0 с `-Djava.awt.headless=true`; только `Assertions` (Mockito/AssertJ не использовать; в app-тестах допустим inline-Hamcrest `org.hamcrest.Matchers.containsString` в `andExpect`), тестовые классы package-private, зеркалят main-пакеты; только `@Test` + два `@BeforeAll` (warm-up шрифтов в `GlyphCoverageNormalizerTest` и `BundledFonts.init()` в `BundledFontsTest`) + `@AfterEach drainWorker` в `ConversionTimeoutTest` (дренировать отменённый FOP-рендер до следующего класса — гонка глобального `PhysicalFonts`).
|
||||
|
||||
- Фронт: Node `^20.19.0 || >=22.12.0` (engines vite/rolldown/oxlint из `package-lock.json` — в `package.json` секции `engines` нет), npm с закоммиченным `package-lock.json` (`npm ci`); vite `^8.3`, React `^19.2`, TS `~6.0` (**`strict` нигде не включён** — `npm run build` не является strict-гейтом), Tailwind `^4.3`, oxlint `^1.81`; сборка web-образа на `node:24-alpine`.
|
||||
- Контейнеры (podman/buildah): `FROM` только FQDN (`docker.io/library/...` — short-name не резолвится без `unqualified-search-registries`); buildah подмешивает хостовые прокси-переменные в `RUN`/`HEALTHCHECK` — обнулять `HTTP_PROXY= http_proxy= …` **на самой команде** (ENV не перебивает). Chart-движку нужен только модуль `java.desktop` (Graphics2D, он внутри JRE); fontconfig и системные шрифты рантайму не нужны — текст рисуется глифами fontbox (`fonts/GlyphFont`), проверено на musl-стенде без libfontconfig/`/etc/fonts`.
|
||||
@@ -107,4 +121,4 @@ PMD: `failurePriority` в плагине не задан — на практик
|
||||
|
||||
## Шрифты (детали)
|
||||
|
||||
`DISPLAY_NAMES` — обратный маппинг lowercase→отображаемое имя для `documentFontName` (пишет `GlyphCoverageNormalizer` в `w:rFonts`). `BundledFontMapper.bundledFamily` — public-хук «имя шрифта из docx → бандл-семейство или fallback» (пользуется chart-движком). `GlyphFont` — глиф-движок на fontbox (метрики + растеризация глифов для chart-движка и покрытия глифов); читает TTF **напрямую из classpath** `fonts/<file>` (не из temp-каталога `BundledFonts`), кэш по `family/variant`, `of()` возвращает `null` для неизвестного семейства; `java.awt.Font` из рантайм-пути убран, AWT остаётся только как геометрия Graphics2D.
|
||||
`DISPLAY_NAMES` — обратный маппинг lowercase→отображаемое имя для `documentFontName` (пишет `GlyphCoverageNormalizer` в `w:rFonts`). `BundledFontAliases.bundledFamily` — public-хук «имя шрифта из docx → бандл-семейство или fallback» (пользуется chart/math-движком и покрытием); вынесен из `BundledFontMapper`, чтобы обращение к статике не тянуло `BestMatchingMapper.<clinit>` (скан classpath вне гейта свойств `docx4j.fonts.discover*`, которые выставляет `WordPdfConverter.<clinit>`). `GlyphFont` — глиф-движок на fontbox (метрики + растеризация глифов для chart-движка и покрытия глифов); читает TTF **напрямую из classpath** `fonts/<file>` (не из temp-каталога `BundledFonts`), кэш по `family/variant`, `of()` возвращает `null` для неизвестного семейства; `java.awt.Font` из рантайм-пути убран, AWT остаётся только как геометрия Graphics2D.
|
||||
|
||||
@@ -1,4 +1,8 @@
|
||||
> Извлечение из AGENTS.md; читать при правке/добавлении тестов. Авторитетно наравне с AGENTS.md.
|
||||
> читать при правке/добавлении тестов. Авторитетно наравне с AGENTS.md.
|
||||
|
||||
### Счётчики (2026-11)
|
||||
|
||||
- 63 тестовых классов / 1004 теста: core 57/956 (`internal/doc/` 17/256, `internal/chart/` 18/301, `WordPdfConverterTest` 87), app 6/48 (ConvertController 26, ApiKeyFilter 8, ConversionService 5, ApiExceptionHandler 5, ConvertLimits 3, ConversionTimeout 1). Обновлять при изменении набора.
|
||||
|
||||
### Пиксели, метрики шрифтов, стенд без fontconfig
|
||||
|
||||
@@ -16,7 +20,7 @@
|
||||
|
||||
- Юниты моста (`internal/doc/`): `CfbReaderTest` строит крафтовый CFB-байтстрим (сектор 512/mini 64: FAT/DIFAT/miniFAT/directory руками) и бьёт все guard-ветки (циклы FAT/DIFAT/MiniFAT, ссылки за файл, обрезанные потоки, root без mini stream, мусор в directory); `SummaryInfoTest` — крафтовый PropertySetStream (пинит **относительность offset от начала PropertySet**, реальные фикстуры её не различают); `PieceTableTest`/`ChpxIndexTest`/`PapxIndexTest` (в т.ч. `istdFor`: istd из UpxPapx, пустой grpprl ≠ null, bOffset=0 → дефолтные свойства при сохранённой границе)/`SectionsTest`/`FibHeaderTest` (пара fcStshf)/`GrpprlTest` (в т.ч. спец-длины: двухбайтовый cb у sprmTDefTable при operand >255 Б, у 0xC60D cb=0xFF — обрыв, у 0xC615 cb=0xFF — длина по формуле §2.9.182 (`scan_pChgTabsSentinel_lengthByFormula`))/`FontTableTest`/`HeadersTest`/`OfficeArtTest`/`PrcDataTest` — byte[]-конструкции in memory (`PrcDataTest`: разворачивание huge-PAPX/PTableProps на позиции указателя, union цепочки с легаси-зеркалом, guard'ы — cb-капа 0x3FA2, ptr за Data, цикл A→B→A); `StylesTest` — крафтовый STSH (LPStd/LPUpx): цепочка base→derived, цикл → пустая таблица, чужой stk/битый STSH нисходительны; `TablesTest` — крафтовый TAP: сетка TDefTable (XAS со знаком), границы Brc (cv fAuto) и Brc80 (ico, приоритет 0xD613), выравнивание sprmTJc/sprmTJc90 (u16, приоритет современного, 0 → null), деградация при битом TDefTable; `ListsTest` — крафтовые PlfLst/PlfLfo байтстримом (счёт LVL по fSimpleList 1/9, плейсхолдеры xst → `%{n+1}` и литеральный `%` → `%%`, MSONFC→ST_NumberFormat вкл. экзотика→decimal, ixchFollow→`w:suff`, grpprl уровня → `w:ind`/`w:rFonts`, LFOLVL fStartAt/fFormatting, обрыв LVL-массива, lsid без LSTF, нулевые lcb); `DocToDocxFormattingTest` — полный синтетический .doc через POIFS (крафтовые FIB/Clx/FKP-страницы: полные CHPX/PAPX-свойства, STSH-цепочка с переопределением и победой direct, spacing/tabs, таблица TTP+TDefTable+Brc с деградацией строки без сетки и многострочной ячейкой, колонтитук со стилевым jc, табы колонтитука из стиля sprmPChgTabs (`styleTabsChg_reachesFooterPart`/`styleTabsChgDel_removesStop`: прямой del с rgdxaClose вырезает stop стиля), таблица в odd footer со sprmTJc (`footerTable_jcCenterEmitted`: guard-¶ отдельным абзацем после строки, как в реальных Plcfhdd), знаки, поле в основном тексте, picLocation=0, 0Table, отсутствие табличного потока, списки: `listParagraphs_getNumPrAndNumberingPart` (sprmPIlfo/sprmPIlvl в PAPX → `w:numPr` + `word/numbering.xml` c `w:num`/Override/rels), `listCancelledByDirectZero_noNumPr` (ilfo стиля, перекрытый прямым 0), `ilvlSkipValue_noNumPr` (ilvl=0x0C), `missingListTables_degradeToPlain` (нулевые FIB-пары 73/74 — ни numbering-части, ни numPr)). Doc-регрессии конвертера — общие assert-хелперы docx-пар: `assertCyrillicAndStyles`/`assertPageNumbers`/`assertTableImage`/`assertOleObjectsRemoved`/`assertDrawingsBecomeImages`/`assertTooManyPages`/`assertExoticGlyphs` вызываются с `ru-plain.doc`/`page-numbers.doc`/`ru-table-image.doc`/`ole-embedded.doc`/`charts-smartart.doc`/`too-many-pages.doc`/`exotic-glyphs.doc` (тесты-пары называются по docx-имени, внутри зовут оба формата); `WordPdfValidatorTest#checkPageCountDoc_*` + `ConvertControllerTest` (`.doc` upload, `nonDocxFilename_rejected`).
|
||||
|
||||
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); четыре контекста — `ConvertControllerTest` (пустой ключ), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` max-mb/max-pages), `ConversionTimeoutTest` (`@TestPropertySource` convert-timeout=1ms) — четыре разных набора свойств = четыре кэшированных контекста (отдельные классы, не `@Nested`: `@Nested` + `@TestPropertySource` не даёт отдельного контекста); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring-контекста (прямые юниты).
|
||||
- App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); четыре контекста — `ConvertControllerTest` (пин `wordpdf.api-key=` — HTTP-контексты явно пиныт пустой ключ: mise подмешивает корневой `.env` в окружение тасок, ambient `WORDPDF_API_KEY` иначе дал бы 401 во всех MockMvc-тестах), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest` (`@TestPropertySource` max-mb/max-pages), `ConversionTimeoutTest` (`@TestPropertySource` convert-timeout=1ms) — четыре разных набора свойств = четыре кэшированных контекста (отдельные классы, не `@Nested`: `@Nested` + `@TestPropertySource` не даёт отдельного контекста); `ConversionServiceTest`/`ApiExceptionHandlerTest` — без Spring-контекста (прямые юниты).
|
||||
|
||||
- UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn). Прод-автотесты (pytest 9.1.1 + requests 2.34.2, 31 проверка — 27 под маркером `needs_key` (SKIP без ключа; включая `.doc`-фикстуры обоих путей — растры/OLE и границы страниц), 4 открытых: health/SPA-root/swagger/spec; env-конфиг, `mise exec -- python -m pytest -q .` из `prod-autotests/`) гоняются CI после deploy против живого прода.
|
||||
|
||||
@@ -27,5 +31,5 @@
|
||||
- `lineRuleAuto_wordSingleLinePitch` — пинит метрический шаг «single» (13.4277pt) от псевдофиксов раскладки; `carlitoAutoBlock_untouched` — блок без явного `w:line` не трогается.
|
||||
- `vendoredXsltTracksJarCopy` — дрейф-гейт: вне AUDIT-FIX-регионов вендорный `docx2fo.xslt` обязан быть побайтно равен стилисту из jar'а docx4j-export-fo (при апгрейде docx4j — перевендорить и перенести патчи).
|
||||
- Крафт POIFS (закоммиченных фикстур нет, крафт продублирован в `WordPdfConverterTest`): `ListsTest`+`DocToDocxFormattingTest#list*`↔`docLists_numberingAndBulletsRendered` (синтетический .doc со списками → PDF: `1.` `2.` `a)` `b)` `•`, ни одного `#`; фикстур со списками нет — крафт POIFS продублирован в `WordPdfConverterTest`), `PrcDataTest`+`DocToDocxFormattingTest#hugePapxRowMark_closesRowWithGridFromPrcData` (TTP-абзац с grpprl в PrcData Data-потока → `w:tbl`/`w:tr`/сетка из цепочки; фикстуры нет — `docTest.doc` заказчика не коммитим, крафт POIFS продублирован), `SectionsTest`+`HeadersTest`+`DocToDocxFormattingTest#twoSections*/sectionBreakInTable*`↔`docMultiSection_perSectionHeaders` (двухсекционный .doc → PDF: стр. 1 — ШАПКА-1+ПОДВАЛ-1, стр. 2 — ШАПКА-2 + унаследованный ПОДВАЛ-1, ни одной `#`; крафт POIFS продублирован в `WordPdfConverterTest`), `ChpxIndexTest#zeroOffset_defaultPropsBoundaryKept`+`DocToDocxFormattingTest#runFlags_*/keepNextKeepLines_*/sectLandscapePgNumCols_*/sectUnevenCols_*/cellVertAlign_*/drawnObject_*`+`SectionsTest#orientationPgNumColumns_applied/unevenColumns_perIndexWidths/restartWithoutStart_clampsToOne`+`TablesTest#vertAlign_*`↔`WordPdfConverterTest#docClassD_landscapeHiddenDelCaps/#docClassD_pageNumberRestartLowerRoman/#docClassD_twoColumnsBreak/#docClassD_drawnObjectBecomesImage` (закрытие пробелов класса D: vanish-фильтр/правки/caps/position/keep, landscape+pgNumType, колонки+column break, vAlign, 0x08→inline-картинка; фикстур нет — крафт POIFS продублирован в обоих тестовых классах).
|
||||
- Синтетика через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`: AUDIT-FIX-2↔`movedRevision_textPrinted`/`bdoDir_textPrinted` (фикстур нет — синтетический docx через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`); пиннинг аудита .docx↔`footnote_rendersAtPageBottom`, `endnote_rendersAtDocumentEnd`, `docxHyperlink_uriAnnotation`, `pageRefField_liveNotCached` (кэш 9001/7777 заменён живым номером), `dateField_notStaleCache` (кэш 01.02.2003 заменён текущей датой), `titlePg_firstPageHeader`, `vMergeCell_spansRows`, `sdtContent_rendered`, `drawingTextBox_textPrinted`, `ommlMath_drawnAsVectors` (пиксели: +150 тёмных px@150dpi сверх текста), `highlightAndShading_backgroundDrawn` (жёлтые px >0 против baseline 0), аудит [MS-DOC] моста 2026-11: `GrpprlTest#tInsertOperand_skippedBySpra`/`tInsertOperand_truncated_aborts` (sprmTInsert — 4 байта, хвост TAP не рассинхронизирован), `TablesTest#cellPadding_*` + `DocToDocxFormattingTest#cellMargins_becomeTcMar` ↔ `WordPdfConverterTest#tableTcMar_textInsetLikeWord` (CSSA→w:tcMar, пайплайн красит поля ячейки как tblCellMar — текст на margin+padding), `StylesTest#characterStyle_stk3_chainViaCharChain`/`charChain_nonCharacterStk_empty` + `DocToDocxFormattingTest#charStyle_viaIstd_mergesUnderDirect` (sprmCIstd: символьная chpx-цепочка между стилевой и прямыми, direct wins), `DocToDocxFormattingTest#runHighlightAndShading_inRPr`/`runShadingPattern_degradesToBackFill`/`paraShd_inPPrBeforeJc` ↔ `docHighlightAndShading_yellowPixels` (Ico→ST_HighlightColor; w:shd в форме FOP val="clear"+fill; паттерн→cvBack), `SectionsTest#titlePage_flagFromSepx` + `DocToDocxFormattingTest#titlePage_emittedAfterCols` ↔ `docTitlePage_firstHeaderOnlyFirstPage` (sprmSFTitlePage + first-слоты Plcfhdd → headerReference type="first", первая страница — только first-шапка)..
|
||||
- Синтетика через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`: AUDIT-FIX-2↔`movedRevision_textPrinted`/`bdoDir_textPrinted` (фикстур нет — синтетический docx через общий хелпер `docx(docXmlns, body, sect, rels, overrides, parts)`); пиннинг аудита .docx↔`footnote_rendersAtPageBottom`, `endnote_rendersAtDocumentEnd`, `docxHyperlink_uriAnnotation`, `pageRefField_liveNotCached` (кэш 9001/7777 заменён живым номером), `dateField_notStaleCache` (кэш 01.02.2003 заменён текущей датой), `titlePg_firstPageHeader`, `vMergeCell_spansRows`, `sdtContent_rendered`, `drawingTextBox_textPrinted`, `ommlMath_renderedAsPng` (пиксели: +150 тёмных px@150dpi сверх текста, текст формулы не извлекается), `ommlMathUnsupported_flattenedToText`, `highlightAndShading_backgroundDrawn` (жёлтые px >0 против baseline 0), аудит [MS-DOC] моста 2026-11: `GrpprlTest#tInsertOperand_skippedBySpra`/`tInsertOperand_truncated_aborts` (sprmTInsert — 4 байта, хвост TAP не рассинхронизирован), `TablesTest#cellPadding_*` + `DocToDocxFormattingTest#cellMargins_becomeTcMar` ↔ `WordPdfConverterTest#tableTcMar_textInsetLikeWord` (CSSA→w:tcMar, пайплайн красит поля ячейки как tblCellMar — текст на margin+padding), `StylesTest#characterStyle_stk3_chainViaCharChain`/`charChain_nonCharacterStk_empty` + `DocToDocxFormattingTest#charStyle_viaIstd_mergesUnderDirect` (sprmCIstd: символьная chpx-цепочка между стилевой и прямыми, direct wins), `DocToDocxFormattingTest#runHighlightAndShading_inRPr`/`runShadingPattern_degradesToBackFill`/`paraShd_inPPrBeforeJc` ↔ `docHighlightAndShading_yellowPixels` (Ico→ST_HighlightColor; w:shd в форме FOP val="clear"+fill; паттерн→cvBack), `SectionsTest#titlePage_flagFromSepx` + `DocToDocxFormattingTest#titlePage_emittedAfterCols` ↔ `docTitlePage_firstHeaderOnlyFirstPage` (sprmSFTitlePage + first-слоты Plcfhdd → headerReference type="first", первая страница — только first-шапка)..
|
||||
- App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed`, `corruptNotAZip_rejected`, `plainZipNotDocx_rejected`, `junkInsideValidZip_conversionError` (500 на валидном .docx-контейнере с мусором), `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `drawingsAlwaysRendered`, `cyrillicAndPathInFilename_sanitizedResponseName`, `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey`, `dotSegmentOpenPrefix_rejected`, `errorFlagNotBoolean_rejected`, `methodNotSupportedReturns405`/`badContentTypeReturns415`.
|
||||
|
||||
@@ -16,6 +16,16 @@ server {
|
||||
set $upstream_app http://app:8080;
|
||||
set $upstream_web http://web:80;
|
||||
|
||||
# X-Forwarded-* переписываются безусловно: клиент не должен иметь возможности
|
||||
# подсунуть бэкенду подставной "реальный IP/схема/хост" (Spring
|
||||
# ForwardedHeaderFilter доверяет этим заголовкам; прямое попадание на
|
||||
# 9010 мимо внешнего reverse-proxy — штатный случай стенда).
|
||||
# X-Forwarded-Prefix не трогаем: его проставляет внешний nginx, на нём
|
||||
# держится корректный base у swagger-ui за прокси.
|
||||
proxy_set_header X-Forwarded-For $remote_addr;
|
||||
proxy_set_header X-Forwarded-Proto $scheme;
|
||||
proxy_set_header X-Forwarded-Host $host;
|
||||
|
||||
location /api/ {
|
||||
# в proxy_pass нет path-части, поэтому URI передаётся как есть
|
||||
proxy_pass $upstream_app;
|
||||
|
||||
Executable
+128
@@ -0,0 +1,128 @@
|
||||
#!/bin/sh
|
||||
# Замер памяти конвейера конвертации: пики кучи на конвертацию (TSV из MemoryBench)
|
||||
# + топ аллокаций по JFR (jdk.ObjectAllocationSample). Методика и числа —
|
||||
# docs/MEM_USAGE_UPGRADE.md.
|
||||
#
|
||||
# Вход: env MB_LABEL — метка прогона (before/after/f1…, файл JFR per-label);
|
||||
# env MB_JAVA_OPTS — доп. флаги JVM ПОСЛЕ дефолтных (переопределение Xmx/GC
|
||||
# для матрицы флагов; при -Xmx меньше дефолтного дефолт просто заменяется;
|
||||
# для смены GC нужен и выключатель дефолта: "-XX:-UseG1GC -XX:+UseSerialGC",
|
||||
# иначе JVM падает на старте с "Multiple garbage collectors selected");
|
||||
# аргументы проходят в MemoryBench: --scenario suite|big|all|, --loops N,
|
||||
# --big-loops N, --dir PATH (реальные документы, напр. develop/).
|
||||
#
|
||||
# Пример: MB_LABEL=before ./mise.sh run mem-bench --scenario all --loops 20 | tee target/mem-before.txt
|
||||
set -eu
|
||||
|
||||
cd "$(dirname "$0")"
|
||||
|
||||
LABEL=${MB_LABEL:-run}
|
||||
|
||||
mvn -q -pl wordpdf-core test-compile
|
||||
CPFILE=$PWD/wordpdf-core/target/cp.txt
|
||||
if [ ! -f "$CPFILE" ] || [ wordpdf-core/pom.xml -nt "$CPFILE" ]; then
|
||||
mvn -q -pl wordpdf-core org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
|
||||
-Dmdep.outputFile="$CPFILE" -Dmdep.includeScope=test
|
||||
fi
|
||||
|
||||
JFR=$PWD/wordpdf-core/target/membench-$LABEL.jfr
|
||||
GCLOG=$PWD/wordpdf-core/target/membench-$LABEL.gc.log
|
||||
ERRLOG=$PWD/wordpdf-core/target/membench-$LABEL.err
|
||||
printf '# git %s\n' "$(git rev-parse HEAD)"
|
||||
printf '# date %s\n' "$(date -u +%FT%TZ)"
|
||||
printf '# MB_JAVA_OPTS=%s\n' "${MB_JAVA_OPTS:-}"
|
||||
|
||||
# MB_JAVA_OPTS без кавычек — намеренно: несколько флагов одним словом пользователя.
|
||||
# shellcheck disable=SC2086
|
||||
java -Xms64m -Xmx2g -XX:+UseG1GC -Djava.awt.headless=true \
|
||||
-Xlog:gc*=info,gc+heap=debug:file=$GCLOG \
|
||||
${MB_JAVA_OPTS:-} \
|
||||
-XX:StartFlightRecording=filename=$JFR,settings=profile,maxsize=0,loglevel=error \
|
||||
-cp "wordpdf-core/target/classes:wordpdf-core/target/test-classes:$(cat "$CPFILE")" \
|
||||
ru.pjandro.wordpdf.MemoryBench "$@" 2>"$ERRLOG"
|
||||
|
||||
# --- аллокации по GC-логу (абсолютная оценка) -----------------------------------
|
||||
# allocated ≈ выметенный Eden + выметенные humongous-области (G1); max-live —
|
||||
# максимум heap после пауз (тренд накопления); паузы — число/сумма.
|
||||
# awk — портативный (mawk/gawk): без 3-аргументного match().
|
||||
echo
|
||||
awk '
|
||||
/Region Size:/ {
|
||||
for (i = 1; i <= NF; i++) { if ($i ~ /^[0-9]+M$/) { tok = $i; sub(/M$/, "", tok); rs = tok + 0 } }
|
||||
}
|
||||
/Eden regions:/ {
|
||||
for (i = 1; i <= NF; i++) {
|
||||
if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); eden += (a[1] - a[2]) * rs }
|
||||
}
|
||||
}
|
||||
/Humongous regions:/ {
|
||||
for (i = 1; i <= NF; i++) {
|
||||
if ($i ~ /^[0-9]+->[0-9]+/) { p = $i; sub(/\(.*/, "", p); split(p, a, "->"); hum += (a[1] - a[2]) * rs }
|
||||
}
|
||||
}
|
||||
/Pause (Young|Full)/ && /M->/ {
|
||||
pauses++
|
||||
tail = $NF; if (tail ~ /[0-9]ms$/) { sub(/ms$/, "", tail); ptime += tail }
|
||||
for (i = 1; i <= NF; i++) {
|
||||
if ($i ~ /^[0-9]+M->[0-9]+M/) {
|
||||
v = $i; sub(/\(.*/, "", v); split(v, m, "->")
|
||||
if (m[2] + 0 > maxlive) { maxlive = m[2] + 0 }
|
||||
}
|
||||
}
|
||||
}
|
||||
END {
|
||||
printf "gc-summary allocated-estimate=%dMB max-live-after-gc=%dMB pauses=%d pause-total=%dms\n",
|
||||
eden + hum, maxlive, pauses, ptime
|
||||
}
|
||||
' "$GCLOG"
|
||||
|
||||
# --- агрегация аллокаций из JFR -------------------------------------------------
|
||||
TOPF=$(mktemp); APPF=$(mktemp)
|
||||
trap 'rm -f "$TOPF" "$APPF"' EXIT
|
||||
|
||||
jfr print --events jdk.ObjectAllocationSample "$JFR" | awk \
|
||||
-v TOPF="$TOPF" -v APPF="$APPF" '
|
||||
function framekey(line, k) {
|
||||
k = line
|
||||
sub(/^[ \t]+/, "", k)
|
||||
sub(/ line: [0-9]+$/, "", k)
|
||||
return k
|
||||
}
|
||||
function cls(key, c) {
|
||||
c = key
|
||||
sub(/ ?\(.*$/, "", c)
|
||||
sub(/^[^ ]*\//, "", c)
|
||||
return c
|
||||
}
|
||||
/^ *weight = / { w = $3 + 0 }
|
||||
/^ *stackTrace = \[/ { instk = 1; nf = 0; next }
|
||||
instk == 1 && /^ *\]/ {
|
||||
instk = 0
|
||||
if (nf == 0) { next }
|
||||
top = fr[1]
|
||||
app = ""
|
||||
for (i = 1; i <= nf; i++) {
|
||||
c = cls(fr[i])
|
||||
if (c !~ /^(java|javax|jdk|sun|com\.sun|org\.apache|org\.docx4j|org\.springframework|org\.springdoc|org\.w3c|org\.xml|net\.sf|org\.slf4j|ch\.qos)/) {
|
||||
app = fr[i]
|
||||
break
|
||||
}
|
||||
}
|
||||
wsum[top] += w
|
||||
if (app != "") { asum[app] += w }
|
||||
next
|
||||
}
|
||||
instk == 1 { nf++; fr[nf] = framekey($0) }
|
||||
END {
|
||||
for (k in wsum) { print wsum[k] "\t" k > TOPF }
|
||||
for (k in asum) { print asum[k] "\t" k > APPF }
|
||||
}
|
||||
'
|
||||
|
||||
echo
|
||||
printf '===== top-frames: суммарный вес аллокаций, байт (JFR profile, оценка) — label %s =====\n' "$LABEL"
|
||||
sort -rn "$TOPF" | head -15
|
||||
printf '===== alloc-total: %s байт\n' "$(awk '{s+=$1} END {printf "%.0f", s}' "$TOPF")"
|
||||
echo
|
||||
printf '===== app-sites: аллокации с первым кадром из приложения (attribution) =====\n'
|
||||
sort -rn "$APPF" | head -15
|
||||
@@ -14,6 +14,14 @@ _.python.venv = { path = "prod-autotests/.venv", create = true }
|
||||
description = "mvn clean verify — полный гейт перед push (тесты + PMD + JaCoCo)"
|
||||
run = "mvn clean verify"
|
||||
|
||||
[tasks.verify-nofontconfig]
|
||||
description = "mvn clean verify в контейнере без fontconfig (гейт, которым живёт CI; verify — хост-гейт без контейнера)"
|
||||
run = "podman build -f Containerfile.test ."
|
||||
|
||||
[tasks.mem-bench]
|
||||
description = "Замер памяти конвейера: TSV пиков кучи + топ аллокаций JFR (docs/MEM_USAGE_UPGRADE.md)"
|
||||
run = "sh membench.sh"
|
||||
|
||||
[tasks.app-package]
|
||||
description = "Исполняемый jar бэкенда"
|
||||
run = "mvn -pl wordpdf-app -am package"
|
||||
|
||||
+30
-70
@@ -2,76 +2,36 @@
|
||||
<ruleset name="WordPDF code style" xmlns="http://pmd.sourceforge.net/ruleset/2.0.0"
|
||||
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
|
||||
xsi:schemaLocation="http://pmd.sourceforge.net/ruleset/2.0.0 https://pmd.sourceforge.io/ruleset_2_0_0.xsd">
|
||||
<description>Код-стиль java-word-pdf: codestyle без opinionated-правил + unused-правила + NPE-safe equals</description>
|
||||
<description>Код-стиль java-word-pdf: закрытый список правил под движок PMD 6.55.0
|
||||
(maven-pmd-plugin 3.21.2; откат с PMD 7 — правила *MustUseBraces удалены в 7-й
|
||||
мажорной, их deprecation-предупреждения в логе verify ожидаемы). Нарушения чинятся
|
||||
кодом — подавление @SuppressWarnings("PMD…") и // NOPMD запрещены; правила не
|
||||
исключаются и не перенастраиваются.</description>
|
||||
|
||||
<rule ref="category/java/codestyle.xml">
|
||||
<!-- opinionated/шумные, намеренно выключены -->
|
||||
<exclude name="AtLeastOneConstructor"/>
|
||||
<exclude name="CallSuperInConstructor"/>
|
||||
<exclude name="CommentDefaultAccessModifier"/>
|
||||
<exclude name="ConfusingTernary"/>
|
||||
<exclude name="FieldDeclarationsShouldBeAtStartOfClass"/>
|
||||
<exclude name="LocalVariableCouldBeFinal"/>
|
||||
<exclude name="LongVariable"/>
|
||||
<exclude name="MethodArgumentCouldBeFinal"/>
|
||||
<exclude name="OnlyOneReturn"/>
|
||||
<exclude name="PrematureDeclaration"/>
|
||||
<exclude name="ShortMethodName"/>
|
||||
<exclude name="ShortVariable"/>
|
||||
<exclude name="UseExplicitTypes"/>
|
||||
<exclude name="UseUnderscoresInNumericLiterals"/>
|
||||
<!-- переопределены ниже -->
|
||||
<exclude name="MethodNamingConventions"/>
|
||||
<exclude name="TooManyStaticImports"/>
|
||||
</rule>
|
||||
|
||||
<!-- регрессионные тесты репо именуются объект_условие (AGENTS.md) -->
|
||||
<rule ref="category/java/codestyle.xml/MethodNamingConventions">
|
||||
<properties>
|
||||
<property name="junit5TestPattern" value="^[a-z][a-zA-Z0-9]*(_[a-zA-Z0-9]+)*$"/>
|
||||
</properties>
|
||||
</rule>
|
||||
|
||||
<!-- MockMvc-тесты: >4 статических импортов — норма -->
|
||||
<rule ref="category/java/codestyle.xml/TooManyStaticImports">
|
||||
<properties>
|
||||
<property name="maximumStaticImports" value="12"/>
|
||||
</properties>
|
||||
</rule>
|
||||
|
||||
<!-- PMD 7 удалил EqualsAvoidsNull; NPE-safe порядок операндов: литерал слева -->
|
||||
<rule name="LiteralFirstInEquals" language="java"
|
||||
message="NPE-safe сравнение строк: строковый литерал должен стоять слева: "lit".equals(x)"
|
||||
class="net.sourceforge.pmd.lang.rule.xpath.XPathRule">
|
||||
<priority>3</priority>
|
||||
<properties>
|
||||
<property name="xpath">
|
||||
<value><![CDATA[
|
||||
//MethodCall[
|
||||
(@MethodName = 'equals' or @MethodName = 'equalsIgnoreCase')
|
||||
and ArgumentList/StringLiteral
|
||||
and not(*[1][self::StringLiteral
|
||||
or (self::VariableAccess and @CompileTimeConstant = true())])
|
||||
]
|
||||
]]></value>
|
||||
</property>
|
||||
</properties>
|
||||
</rule>
|
||||
|
||||
<rule ref="category/java/bestpractices.xml/UnusedAssignment"/>
|
||||
<rule ref="category/java/bestpractices.xml/UnusedFormalParameter"/>
|
||||
<rule ref="category/java/bestpractices.xml/UnusedLocalVariable"/>
|
||||
<rule ref="category/java/bestpractices.xml/UnusedPrivateField"/>
|
||||
<rule ref="category/java/bestpractices.xml/UnusedPrivateMethod"/>
|
||||
|
||||
<!-- null вместо пустой коллекции запрещён (priority 1 по умолчанию — валит verify) -->
|
||||
<rule ref="category/java/errorprone.xml/ReturnEmptyCollectionRatherThanNull"/>
|
||||
<!-- литералы в условиях if — только именованными константами -->
|
||||
<rule ref="category/java/bestpractices.xml/ForLoopCanBeForeach"/>
|
||||
<rule ref="category/java/design.xml/ExceptionAsFlowControl"/>
|
||||
<rule ref="category/java/errorprone.xml/EqualsNull"/>
|
||||
<rule ref="category/java/errorprone.xml/CloseResource"/>
|
||||
<rule ref="category/java/errorprone.xml/BrokenNullCheck"/>
|
||||
<rule ref="category/java/bestpractices.xml/AvoidPrintStackTrace"/>
|
||||
<rule ref="category/java/errorprone.xml/AvoidLosingExceptionInformation"/>
|
||||
<rule ref="category/java/errorprone.xml/AvoidLiteralsInIfCondition"/>
|
||||
<rule ref="category/java/errorprone.xml/EmptyCatchBlock">
|
||||
<priority>2</priority>
|
||||
</rule>
|
||||
<rule ref="category/java/bestpractices.xml/ForLoopCanBeForeach">
|
||||
<priority>2</priority>
|
||||
</rule>
|
||||
<rule ref="category/java/errorprone.xml/AvoidCatchingNPE"/>
|
||||
<rule ref="category/java/errorprone.xml/AssignmentToNonFinalStatic"/>
|
||||
<rule ref="category/java/errorprone.xml/DoNotCallGarbageCollectionExplicitly"/>
|
||||
<rule ref="category/java/errorprone.xml/EmptyCatchBlock"/>
|
||||
<rule ref="category/java/errorprone.xml/CompareObjectsWithEquals"/>
|
||||
<rule ref="category/java/bestpractices.xml/UnusedPrivateMethod"/>
|
||||
<rule ref="category/java/bestpractices.xml/UnusedPrivateField"/>
|
||||
<rule ref="category/java/codestyle.xml/UnnecessaryImport"/>
|
||||
<rule ref="category/java/bestpractices.xml/SystemPrintln"/>
|
||||
<rule ref="category/java/multithreading.xml/UnsynchronizedStaticFormatter"/>
|
||||
<rule ref="category/java/errorprone.xml/ReturnEmptyCollectionRatherThanNull"/>
|
||||
<rule ref="category/java/errorprone.xml/MisplacedNullCheck"/>
|
||||
<rule ref="category/java/bestpractices.xml/LiteralsFirstInComparisons"/>
|
||||
<rule ref="category/java/codestyle.xml/WhileLoopsMustUseBraces"/>
|
||||
<rule ref="category/java/codestyle.xml/IfStmtsMustUseBraces"/>
|
||||
<rule ref="category/java/codestyle.xml/IfElseStmtsMustUseBraces"/>
|
||||
<rule ref="category/java/errorprone.xml/ImplicitSwitchFallThrough"/>
|
||||
<rule ref="category/java/codestyle.xml/ForLoopsMustUseBraces"/>
|
||||
</ruleset>
|
||||
|
||||
@@ -159,7 +159,7 @@
|
||||
<plugin>
|
||||
<groupId>org.apache.maven.plugins</groupId>
|
||||
<artifactId>maven-pmd-plugin</artifactId>
|
||||
<version>3.28.0</version>
|
||||
<version>3.21.2</version>
|
||||
<configuration>
|
||||
<rulesets>
|
||||
<ruleset>${maven.multiModuleProjectDirectory}/pmd-ruleset.xml</ruleset>
|
||||
|
||||
@@ -8,9 +8,9 @@ WORDPDF_BASE_URL обязателен: без него все проверки
|
||||
не знает ни одного хоста. WORDPDF_API_KEY факультативен: без него проверки,
|
||||
где есть заголовок ключа или ожидается 401, пропускаются (без локального ключа
|
||||
нельзя знать, включена ли аутентификация на стенде). WORDPDF_MAX_PAGES — ожидаемый
|
||||
лимит страниц стенда (конфигурация сервера, не константа набора; дефолт 100 =
|
||||
дефолт ядра). WORDPDF_MAX_MB — ожидаемый лимит размера .docx стенда в МБ (MiB; дефолт
|
||||
5 = дефолт ядра). .docx-фикстуры — из wordpdf-core/src/test/resources/samples,
|
||||
лимит страниц стенда (конфигурация сервера, не константа набора; дефолт эндпоинта
|
||||
100). WORDPDF_MAX_MB — ожидаемый лимит размера .docx стенда в МБ (MiB; дефолт
|
||||
эндпоинта 5). .docx-фикстуры — из wordpdf-core/src/test/resources/samples,
|
||||
либо из WORDPDF_SAMPLES_DIR.
|
||||
"""
|
||||
|
||||
|
||||
@@ -63,11 +63,17 @@ final class ApiExceptionHandler {
|
||||
.body(new ApiError(e.getMessage()));
|
||||
}
|
||||
|
||||
/** Ошибка ядра/рендера при формально корректном входе. */
|
||||
/**
|
||||
* Ошибка ядра/рендера при формально корректном входе. Сообщение ядра
|
||||
* (тексты docx4j/FOP/JAXB, пути temp-файлов) — только в лог: наружу
|
||||
* фиксированный текст, иначе 500 становится каналом внутренней информации.
|
||||
* Регрессия — ConvertControllerTest#conversionFailure_hidesInternalDetails.
|
||||
*/
|
||||
@ExceptionHandler(ConversionFailedException.class)
|
||||
ResponseEntity<ApiError> conversionFailed(ConversionFailedException e) {
|
||||
LOG.error("Конвертация не удалась", e);
|
||||
return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR)
|
||||
.body(new ApiError(e.getMessage()));
|
||||
.body(new ApiError("Не удалось конвертировать документ"));
|
||||
}
|
||||
|
||||
/** Очередь конвертации занята/прерывание — повторить позже. */
|
||||
|
||||
@@ -3,9 +3,11 @@ package ru.pjandro.wordpdf.app;
|
||||
import jakarta.annotation.PreDestroy;
|
||||
import org.springframework.beans.factory.annotation.Value;
|
||||
import org.springframework.stereotype.Service;
|
||||
import ru.pjandro.wordpdf.ChartsFoundException;
|
||||
import ru.pjandro.wordpdf.ConvertOptions;
|
||||
import ru.pjandro.wordpdf.ConversionException;
|
||||
import ru.pjandro.wordpdf.DrawingFoundException;
|
||||
import ru.pjandro.wordpdf.OleFoundException;
|
||||
import ru.pjandro.wordpdf.SmartArtFoundException;
|
||||
import ru.pjandro.wordpdf.WordPdfConverter;
|
||||
import ru.pjandro.wordpdf.WordPdfValidator;
|
||||
import ru.pjandro.wordpdf.ValidationException;
|
||||
@@ -23,22 +25,23 @@ import java.util.concurrent.TimeoutException;
|
||||
/**
|
||||
* Конвертация .docx-байтов в PDF-байты поверх {@code wordpdf-core}.
|
||||
*
|
||||
* <p>Конвертации СЕРИАЛИЗОВАНЫ однопоточным executor'ом — не «на всякий
|
||||
* случай»: каждая конвертация мутирует ГЛОБАЛЬНЫЙ реестр шрифтов docx4j
|
||||
* ({@code new BundledFontMapper()} заново добавляет системные шрифты
|
||||
* в {@code PhysicalFonts}, {@code BundledFonts.init()/restrictToBundled()}
|
||||
* их вычищают — WordPdfConverter.convertToStream, шаг 1 пайплайна). Параллельные конвертации
|
||||
* вырывают реестр друг у друга из-под рендера, ядро не потокобезопасно
|
||||
* by design. Регрессия — ConvertControllerTest#concurrentRequests_bothSucceed.</p>
|
||||
* <p>Конвертации СЕРИАЛИЗОВАНЫ однопоточным executor'ом: он держит очередь,
|
||||
* 503 при переполнении и timeout-семантику (backpressure). Само ядро при этом
|
||||
* сериализует конвертации внутренним монитором ({@code WordPdfConverter.class}:
|
||||
* глобальный реестр {@code PhysicalFonts}, общая FopFactory с имиджевыми
|
||||
* кешами и их сброс в finally мутируются под рендером), так что параллельные
|
||||
* вызовы ядра не приводят к порче вывода.
|
||||
* Регрессия — ConvertControllerTest#concurrentRequests_bothSucceed.</p>
|
||||
*
|
||||
* <p>Ошибки разделены по смыслу (требование к API): некорректный вход →
|
||||
* {@link ValidationException} (400), ошибка рендер-стадии →
|
||||
* {@link ConversionFailedException} (500). Граница: сломанный контейнер
|
||||
* (не zip / битый zip / слишком большой / слишком длинный) — 400; валидный
|
||||
* zip с мусором внутри (нет {@code word/document.xml}) — 500: до очереди и
|
||||
* в конвейере ядра вход проверяется тем же
|
||||
* {@link WordPdfValidator#validate(byte[], ConvertOptions)}, поэтому уже
|
||||
* принятый запрос внутренняя проверка ядра в ошибку не превратит.</p>
|
||||
* zip с мусором внутри (нет {@code word/document.xml}) — 500: до очереди
|
||||
* проверяется только размер, корректность контейнера и число страниц —
|
||||
* сериализованно внутри воркера (ядро вызывает тот же
|
||||
* {@link WordPdfValidator#validate(byte[], ConvertOptions)}), поэтому
|
||||
* тяжёлая проверка не занимает потоки контейнера в обход сериализации.</p>
|
||||
*/
|
||||
@Service
|
||||
final class ConversionService {
|
||||
@@ -55,17 +58,18 @@ final class ConversionService {
|
||||
new ArrayBlockingQueue<>(QUEUE_CAPACITY));
|
||||
// Прогрев ядра — головой той же однопоточной очереди: первый реальный
|
||||
// запрос после деплоя становится за прогретым ядром (~50–300 мс вместо
|
||||
// 1,4–1,9 с) и гарантированно сериализован с конвертациями (ядро не
|
||||
// потокобезопасно). warmup() не бросает — Future никто не забирает;
|
||||
// 1,4–1,9 с); сериализация прогрева с конвертациями — тем же воркером
|
||||
// и монитором ядра (warmup() синхронизирован им же). warmup() не
|
||||
// бросает — Future никто не забирает;
|
||||
// запросы, пришедшие во время прогрева, ждут в очереди (штатная
|
||||
// семантика, лимит convert-timeout с запасом).
|
||||
this.workers.submit(WordPdfConverter::warmup);
|
||||
}
|
||||
|
||||
/**
|
||||
* Полный путь: синхронная валидация байтов (до очереди — от obvious-отказа
|
||||
* единый воркер не должен быть занят) → постановка в очередь → ожидание
|
||||
* результата с таймаутом.
|
||||
* Полный путь: синхронная проверка размера (до очереди) → постановка
|
||||
* в очередь → ожидание результата с таймаутом; корректность контейнера
|
||||
* и число страниц проверяются сериализованно, внутри воркера (ядро).
|
||||
*
|
||||
* @throws ValidationException некорректный вход (400)
|
||||
* @throws ConversionFailedException ошибка ядра/рендера (500)
|
||||
@@ -77,14 +81,14 @@ final class ConversionService {
|
||||
* {@code null} не допускается (контроллер строит всегда).</p>
|
||||
*/
|
||||
byte[] convert(byte[] docxBytes, String originalFilename, ConvertOptions options) {
|
||||
// Бинарный .doc — не zip: .docx-валидация к нему неприменима, размер
|
||||
// проверяется общим checkInput, страницы — мостом по чистому .doc
|
||||
// (ядро бросит ValidationException → 400 тем же обработчиком).
|
||||
if (WordPdfValidator.isBinaryDoc(docxBytes)) {
|
||||
// До очереди — только дешёвый гейт размера. Полная валидация
|
||||
// (контейнер + страницы — до двух полных распакованных проходов до
|
||||
// 64 МБ на обоих форматах) сериализована воркером: её выполняет ядро
|
||||
// внутри WordPdfConverter.convert (тот же validate с теми же
|
||||
// options, ValidationException → 400 тем же путём). Синхронный
|
||||
// полный validate до submit отдавал бы zip-бомбе потоки Tomcat
|
||||
// в обход сериализации.
|
||||
WordPdfValidator.checkInput(docxBytes, options.maxMb());
|
||||
} else {
|
||||
WordPdfValidator.validate(docxBytes, options);
|
||||
}
|
||||
Future<byte[]> future;
|
||||
try {
|
||||
future = workers.submit(() -> doConvert(docxBytes, originalFilename, options));
|
||||
@@ -139,10 +143,14 @@ final class ConversionService {
|
||||
// отказ проверки страниц внутри конвейера ядра — некорректный
|
||||
// вход (400), а не ошибка рендера: без этого утонул бы в 500
|
||||
throw e;
|
||||
} catch (DrawingFoundException e) {
|
||||
} catch (ChartsFoundException e) {
|
||||
// отказ по настройке запроса (error-флаг) — не ошибка рендера: 422,
|
||||
// иначе утонет в общем catch ниже как 500
|
||||
throw new DrawingRejectedException(e.kind());
|
||||
throw new DrawingRejectedException(DrawingRejectedException.CHARTS);
|
||||
} catch (SmartArtFoundException e) {
|
||||
throw new DrawingRejectedException(DrawingRejectedException.SMART_ART);
|
||||
} catch (OleFoundException e) {
|
||||
throw new DrawingRejectedException(DrawingRejectedException.OLE);
|
||||
} catch (ConversionException e) {
|
||||
// всё, что упало на валидации/рендер-стадии ядра, — ошибка преобразования, 500
|
||||
throw new ConversionFailedException("Не удалось конвертировать документ: "
|
||||
|
||||
@@ -12,7 +12,6 @@ import org.springframework.web.bind.annotation.RestController;
|
||||
import org.springframework.beans.factory.annotation.Value;
|
||||
import org.springframework.web.multipart.MultipartFile;
|
||||
import ru.pjandro.wordpdf.ConvertOptions;
|
||||
import ru.pjandro.wordpdf.WordPdfSettings;
|
||||
|
||||
import java.io.IOException;
|
||||
import java.nio.charset.StandardCharsets;
|
||||
@@ -25,10 +24,11 @@ import java.util.Locale;
|
||||
* <p>Здесь только HTTP-слой: проверка presence/расширения и формирование
|
||||
* {@code Content-Disposition}; проверка содержимого (zip, размер, страницы) —
|
||||
* зона {@link ConversionService}. Ошибки в JSON-ответ переводит
|
||||
* {@link ApiExceptionHandler}. Лимиты входа — только конфигурация сервера
|
||||
* (свойства {@code wordpdf.max-mb}/{@code wordpdf.max-pages}, env
|
||||
* {@code WORDPDF_MAX_MB}/{@code WORDPDF_MAX_PAGES}); параметрами запроса
|
||||
* они не переопределяются.</p>
|
||||
* {@link ApiExceptionHandler}. Лимиты входа: свойства
|
||||
* {@code wordpdf.max-mb}/{@code wordpdf.max-pages} (env
|
||||
* {@code WORDPDF_MAX_MB}/{@code WORDPDF_MAX_PAGES}) — дефолт эндпоинта;
|
||||
* параметры запроса {@code maxMb}/{@code maxPages} переопределяют его в обе
|
||||
* стороны (значения ≤ 0 → 400).</p>
|
||||
*/
|
||||
@RestController
|
||||
final class ConvertController {
|
||||
@@ -38,14 +38,15 @@ final class ConvertController {
|
||||
private final int maxPages;
|
||||
|
||||
/**
|
||||
* Дефолт плейсхолдеров — константы ядра через SpEL: буквальное значение
|
||||
* в свойствах не дублируется. Невалидное значение (<= 0) роняет
|
||||
* Дефолт плейсхолдеров — буквенные литералы 5/100 (дефолтов лимитов в
|
||||
* ядре нет); свойства/env переопределяют их, параметры запроса — см.
|
||||
* {@link #convert}. Невалидное значение свойства (<= 0) роняет
|
||||
* приложение на старте (fail-fast): «сервис поднят, но весь вход
|
||||
* отсекается» — худший исход, чем не поднявшийся сервис.
|
||||
*/
|
||||
ConvertController(ConversionService conversionService,
|
||||
@Value("${wordpdf.max-mb:#{T(ru.pjandro.wordpdf.WordPdfSettings).MAX_INPUT_MB}}") long maxMb,
|
||||
@Value("${wordpdf.max-pages:#{T(ru.pjandro.wordpdf.WordPdfSettings).MAX_PAGES}}") int maxPages) {
|
||||
@Value("${wordpdf.max-mb:5}") long maxMb,
|
||||
@Value("${wordpdf.max-pages:100}") int maxPages) {
|
||||
if (maxMb <= 0) {
|
||||
throw new IllegalStateException("wordpdf.max-mb должен быть больше 0: " + maxMb);
|
||||
}
|
||||
@@ -60,10 +61,11 @@ final class ConvertController {
|
||||
@Operation(summary = "Конвертировать .docx/.doc в PDF",
|
||||
description = "Принимаются .docx (OOXML) и .doc (Word 97–2003, переносится в .docx "
|
||||
+ "мостом: текст и прямое форматирование). errorOnCharts/errorOnSmartArt/errorOnOle — факультативно, по умолчанию "
|
||||
+ "настройки ядра (ошибка не выбрасывается); диаграммы/SmartArt "
|
||||
+ "ошибка не выбрасывается; диаграммы/SmartArt "
|
||||
+ "конвертируются всегда, OLE-объекты при выключенном флаге тихо удаляются. "
|
||||
+ "Лимиты входа (размер/страницы) задаёт только конфигурация сервера "
|
||||
+ "(свойства wordpdf.max-mb/wordpdf.max-pages), параметрами запроса не переопределяются")
|
||||
+ "Лимиты входа (размер/страницы): свойства wordpdf.max-mb/wordpdf.max-pages — "
|
||||
+ "дефолт; параметры запроса maxMb/maxPages переопределяют его в обе стороны "
|
||||
+ "(значения ≤ 0 → 400)")
|
||||
@SecurityRequirement(name = OpenApiConfig.SCHEME)
|
||||
@PostMapping(
|
||||
path = "/api/v1/convert",
|
||||
@@ -73,7 +75,9 @@ final class ConvertController {
|
||||
@RequestParam("file") MultipartFile file,
|
||||
@RequestParam(name = "errorOnCharts", required = false) Boolean errorOnCharts,
|
||||
@RequestParam(name = "errorOnSmartArt", required = false) Boolean errorOnSmartArt,
|
||||
@RequestParam(name = "errorOnOle", required = false) Boolean errorOnOle) {
|
||||
@RequestParam(name = "errorOnOle", required = false) Boolean errorOnOle,
|
||||
@RequestParam(name = "maxMb", required = false) Long maxMbParam,
|
||||
@RequestParam(name = "maxPages", required = false) Integer maxPagesParam) {
|
||||
if (file == null || file.isEmpty()) {
|
||||
throw new BadRequestException("Файл не передан (multipart-поле «file» обязательно)");
|
||||
}
|
||||
@@ -84,13 +88,24 @@ final class ConvertController {
|
||||
// .doc (Word 97–2003) переносится в .docx мостом internal.doc
|
||||
throw new BadRequestException("Поддерживаются только .docx и .doc: " + name);
|
||||
}
|
||||
// Лимиты входа: свойства сервера — дефолт, параметры запроса
|
||||
// переопределяют в обе стороны (верхнего потолка нет — осознанное
|
||||
// решение; остаточная защита от загрузки — multipart-лимит сервера).
|
||||
if (maxMbParam != null && maxMbParam <= 0) {
|
||||
throw new BadRequestException("maxMb должен быть больше 0: " + maxMbParam);
|
||||
}
|
||||
if (maxPagesParam != null && maxPagesParam <= 0) {
|
||||
throw new BadRequestException("maxPages должен быть больше 0: " + maxPagesParam);
|
||||
}
|
||||
long effMaxMb = maxMbParam != null ? maxMbParam : maxMb;
|
||||
int effMaxPages = maxPagesParam != null ? maxPagesParam : maxPages;
|
||||
// Размер проверяется до getBytes(): multipart-лимит сервера (100 МБ)
|
||||
// больше логического лимита входа (wordpdf.max-mb), и без этого гварда
|
||||
// заведомо oversized-upload сначала материализовался бы в куче.
|
||||
// больше логического лимита входа, и без этого гварда заведомо
|
||||
// oversized-upload сначала материализовался бы в куче.
|
||||
// Текст — тот же формат, что WordPdfValidator.checkInput.
|
||||
long maxBytes = maxMb * 1024 * 1024;
|
||||
long maxBytes = effMaxMb * 1024 * 1024;
|
||||
if (file.getSize() > maxBytes) {
|
||||
throw new BadRequestException("Файл больше " + maxMb + " МБ: "
|
||||
throw new BadRequestException("Файл больше " + effMaxMb + " МБ: "
|
||||
+ file.getSize() + " байт > " + maxBytes + " байт");
|
||||
}
|
||||
byte[] docxBytes;
|
||||
@@ -100,10 +115,10 @@ final class ConvertController {
|
||||
throw new BadRequestException("Не удалось прочитать загруженный файл", e);
|
||||
}
|
||||
ConvertOptions options = new ConvertOptions(
|
||||
errorOnCharts != null ? errorOnCharts : WordPdfSettings.ERROR_ON_CHARTS,
|
||||
errorOnSmartArt != null ? errorOnSmartArt : WordPdfSettings.ERROR_ON_SMARTART,
|
||||
errorOnOle != null ? errorOnOle : WordPdfSettings.ERROR_ON_OLE,
|
||||
maxMb, maxPages);
|
||||
Boolean.TRUE.equals(errorOnCharts),
|
||||
Boolean.TRUE.equals(errorOnSmartArt),
|
||||
Boolean.TRUE.equals(errorOnOle),
|
||||
effMaxMb, effMaxPages);
|
||||
byte[] pdf = conversionService.convert(docxBytes, name, options);
|
||||
ContentDisposition disposition = ContentDisposition.attachment()
|
||||
.filename(ConversionService.safeBaseName(name) + ".pdf", StandardCharsets.UTF_8)
|
||||
|
||||
@@ -1,28 +1,25 @@
|
||||
package ru.pjandro.wordpdf.app;
|
||||
|
||||
import ru.pjandro.wordpdf.DrawingFoundException;
|
||||
import ru.pjandro.wordpdf.ChartsFoundException;
|
||||
import ru.pjandro.wordpdf.OleFoundException;
|
||||
import ru.pjandro.wordpdf.SmartArtFoundException;
|
||||
|
||||
/**
|
||||
* Документ содержит диаграммы/SmartArt/OLE-объекты при включённом error-флаге
|
||||
* ({@link DrawingFoundException} ядра).
|
||||
* ({@link ChartsFoundException}, {@link SmartArtFoundException} или
|
||||
* {@link OleFoundException} ядра).
|
||||
*
|
||||
* <p>Маппится в HTTP 422 ({@link ApiExceptionHandler}); клиенту осмысленно
|
||||
* повторить без error-флага. Текст сообщения —
|
||||
* пользовательский контракт: фронт показывает его дословно.</p>
|
||||
* повторить без error-флага.</p>
|
||||
*/
|
||||
class DrawingRejectedException extends RuntimeException {
|
||||
|
||||
DrawingRejectedException(DrawingFoundException.Kind kind) {
|
||||
super(message(kind));
|
||||
}
|
||||
/** Тексты — пользовательский контракт: фронт показывает их дословно. */
|
||||
static final String CHARTS = "Конвертация отменена: в документе найдены диаграммы";
|
||||
static final String SMART_ART = "Конвертация отменена: в документе найден SmartArt";
|
||||
static final String OLE = "Конвертация отменена: в документе найдены OLE-объекты";
|
||||
|
||||
// switch вынесен из super(): парсер PMD 7.17 (движок maven-pmd-plugin)
|
||||
// падает на switch-выражении в аргументе super (pmd/pmd#6234).
|
||||
private static String message(DrawingFoundException.Kind kind) {
|
||||
return switch (kind) {
|
||||
case CHARTS -> "Конвертация отменена: в документе найдены диаграммы";
|
||||
case SMARTART -> "Конвертация отменена: в документе найден SmartArt";
|
||||
case OLE -> "Конвертация отменена: в документе найдены OLE-объекты";
|
||||
};
|
||||
DrawingRejectedException(String message) {
|
||||
super(message);
|
||||
}
|
||||
}
|
||||
|
||||
@@ -1,12 +1,12 @@
|
||||
spring.application.name=wordpdf-app
|
||||
# Потолок инфраструктуры — 100 МБ (совпадает с client_max_body_size в
|
||||
# nginx-шлюзах): больше не пропустит ни шлюз, ни контейнер. Авторитетный
|
||||
# лимит — свойство wordpdf.max-mb (env WORDPDF_MAX_MB, МБ), по умолчанию
|
||||
# WordPdfSettings.MAX_INPUT_MB = 5; здесь только потолок загрузки.
|
||||
# Лимиты входа: env WORDPDF_MAX_MB (МБ) / WORDPDF_MAX_PAGES (страницы),
|
||||
# дефолты — константы ядра (5 / 100), задаются ConvertController.
|
||||
# Значение <= 0 — падение на старте. Сами ключи здесь не объявлены:
|
||||
# пустое значение затенит SpEL-дефолт @Value.
|
||||
# nginx-шлюзах): больше не пропустит ни шлюз, ни контейнер. Логический лимит
|
||||
# входа — свойство wordpdf.max-mb (env WORDPDF_MAX_MB, МБ) /
|
||||
# wordpdf.max-pages (env WORDPDF_MAX_PAGES): дефолты 5/100 — литералы @Value
|
||||
# в ConvertController (дефолтов лимитов в ядре нет); параметрами запроса
|
||||
# maxMb/maxPages дефолт переопределяется в обе стороны. Значение свойства
|
||||
# <= 0 — падение на старте. Сами ключи здесь не объявлены: пустое значение
|
||||
# затенит дефолт @Value.
|
||||
# file-size-threshold=2MB: части больше 2 МБ сбрасываются на диск Tomcat, heap
|
||||
# держит только копию getBytes() одной сериализованной конвертации (порог 100MB
|
||||
# буферизовал в heap каждую параллельную загрузку до валидации размера — OOM-килл
|
||||
|
||||
@@ -92,7 +92,7 @@ class ConversionServiceTest {
|
||||
|
||||
byte[] sample = bytes("/samples/ru-plain.docx");
|
||||
ConversionRejectedException e = assertThrows(ConversionRejectedException.class,
|
||||
() -> svc.convert(sample, "queue.docx", ConvertOptions.defaults()));
|
||||
() -> svc.convert(sample, "queue.docx", new ConvertOptions(false, false, false, 5, 100)));
|
||||
assertEquals("Сервис конвертации занят — повторите позже", e.getMessage());
|
||||
} finally {
|
||||
block.countDown();
|
||||
@@ -115,7 +115,7 @@ class ConversionServiceTest {
|
||||
try {
|
||||
Thread.currentThread().interrupt();
|
||||
ConversionRejectedException e = assertThrows(ConversionRejectedException.class,
|
||||
() -> svc.convert(sample, "ru-plain.docx", ConvertOptions.defaults()));
|
||||
() -> svc.convert(sample, "ru-plain.docx", new ConvertOptions(false, false, false, 5, 100)));
|
||||
assertEquals("Сервис конвертации занят — повторите позже", e.getMessage());
|
||||
assertTrue(Thread.currentThread().isInterrupted(),
|
||||
"флаг прерывания обязан быть восстановлен");
|
||||
@@ -125,7 +125,7 @@ class ConversionServiceTest {
|
||||
// барьер: отменённая задача ещё домучивает рендер на воркере, а
|
||||
// глобальный реестр шрифтов ядра не потокобезопасен — ждём освобождения
|
||||
// воркера через успешную сериализованную конвертацию
|
||||
byte[] pdf = svc.convert(sample, "barrier.docx", ConvertOptions.defaults());
|
||||
byte[] pdf = svc.convert(sample, "barrier.docx", new ConvertOptions(false, false, false, 5, 100));
|
||||
assertEquals("%PDF", new String(pdf, 0, 4, StandardCharsets.US_ASCII));
|
||||
svc.shutdown();
|
||||
}
|
||||
|
||||
@@ -30,7 +30,10 @@ import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.
|
||||
*/
|
||||
@SpringBootTest
|
||||
@AutoConfigureMockMvc
|
||||
@TestPropertySource(properties = "wordpdf.convert-timeout=1ms")
|
||||
@TestPropertySource(properties = {"wordpdf.convert-timeout=1ms",
|
||||
// пустой ключ = фильтр выключен; пин от ambient WORDPDF_API_KEY
|
||||
// (mise подмешивает корневой .env в окружение тасок)
|
||||
"wordpdf.api-key="})
|
||||
class ConversionTimeoutTest {
|
||||
|
||||
private static final MediaType DOCX =
|
||||
|
||||
@@ -44,7 +44,8 @@ import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.
|
||||
* ядра, PDF разбирается PDFBox, текст нормализуется по пробелам — паттерны
|
||||
* {@code WordPdfConverterTest} (norm/pdfText).
|
||||
*/
|
||||
@SpringBootTest
|
||||
@SpringBootTest(properties = "wordpdf.api-key=") // пустой = фильтр выключен; пин от
|
||||
// ambient WORDPDF_API_KEY (mise подмешивает корневой .env в окружение тасок)
|
||||
@AutoConfigureMockMvc
|
||||
class ConvertControllerTest {
|
||||
|
||||
@@ -188,7 +189,8 @@ class ConvertControllerTest {
|
||||
|
||||
/**
|
||||
* errorOnSmartArt=true — HTTP 422 с текстом про SmartArt (диаграммы
|
||||
* конвертируются, их error-флаг выключен, поэтому бросается целевой Kind).
|
||||
* конвертируются, их error-флаг выключен, поэтому бросается
|
||||
* {@code SmartArtFoundException}).
|
||||
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsSmartArt,
|
||||
* фикстура samples/charts-smartart.docx.
|
||||
*/
|
||||
@@ -311,8 +313,8 @@ class ConvertControllerTest {
|
||||
@Test
|
||||
void oversizedOverCoreLimit_rejected() throws Exception {
|
||||
// 5 MiB + 1 байт: проходит контейнерный multipart-лимит (100 МБ)
|
||||
// и отсекается валидацией ядра до очереди (дефолт ядра цел —
|
||||
// лимит задаёт только конфигурация сервера)
|
||||
// и отсекается валидацией ядра до очереди (дефолт эндпоинта 5 МБ —
|
||||
// параметры запроса здесь не участвуют)
|
||||
byte[] big = new byte[5 * 1024 * 1024 + 1];
|
||||
mockMvc.perform(multipart("/api/v1/convert").file(docx("big.docx", big)))
|
||||
.andExpect(status().isBadRequest())
|
||||
@@ -321,20 +323,60 @@ class ConvertControllerTest {
|
||||
}
|
||||
|
||||
/**
|
||||
* Регрессия env-only: лимиты входа параметрами запроса не задаются.
|
||||
* maxMb/maxPages в multipart-форме игнорируются — маленький
|
||||
* документ проходит на серверных лимитах (дефолты ядра).
|
||||
* Параметр запроса maxMb ужимает серверный дефолт: файл в пределах
|
||||
* серверных 5 МБ отвергается по параметру 1 МБ (текст гварда — с
|
||||
* числом из запроса).
|
||||
*/
|
||||
@Test
|
||||
void requestLimitParams_areIgnored() throws Exception {
|
||||
void requestLimit_maxMbTightens_rejected() throws Exception {
|
||||
byte[] twoMb = new byte[2 * 1024 * 1024];
|
||||
mockMvc.perform(multipart("/api/v1/convert")
|
||||
.file(docx("two.docx", twoMb))
|
||||
.param("maxMb", "1"))
|
||||
.andExpect(status().isBadRequest())
|
||||
.andExpect(jsonPath("$.error",
|
||||
org.hamcrest.Matchers.containsString("больше 1 МБ")));
|
||||
}
|
||||
|
||||
/** Параметр maxMb поднимает серверный дефолт: обычный документ проходит. */
|
||||
@Test
|
||||
void requestLimit_maxMbRaises_smallOk() throws Exception {
|
||||
mockMvc.perform(multipart("/api/v1/convert")
|
||||
.file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx")))
|
||||
.param("maxMb", "1000")
|
||||
.param("maxPages", "1"))
|
||||
.param("maxPages", "1000"))
|
||||
.andExpect(status().isOk())
|
||||
.andExpect(content().contentType(MediaType.APPLICATION_PDF));
|
||||
}
|
||||
|
||||
/** Параметр maxPages ужимает дефолт: фикстура на 110 границ отвергается с числом из запроса. */
|
||||
@Test
|
||||
void requestLimit_maxPagesTightens_rejected() throws Exception {
|
||||
mockMvc.perform(multipart("/api/v1/convert")
|
||||
.file(docx("stale-cache.docx", bytes("/samples/stale-cache.docx")))
|
||||
.param("maxPages", "1"))
|
||||
.andExpect(status().isBadRequest())
|
||||
.andExpect(jsonPath("$.error",
|
||||
org.hamcrest.Matchers.containsString("длиннее 1 страниц")));
|
||||
}
|
||||
|
||||
/** Нулевые лимиты в запросе — 400 до любой работы с файлом. */
|
||||
@Test
|
||||
void requestLimit_nonPositive_rejected() throws Exception {
|
||||
mockMvc.perform(multipart("/api/v1/convert")
|
||||
.file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx")))
|
||||
.param("maxMb", "0"))
|
||||
.andExpect(status().isBadRequest())
|
||||
.andExpect(jsonPath("$.error",
|
||||
org.hamcrest.Matchers.containsString("maxMb должен быть больше 0")));
|
||||
mockMvc.perform(multipart("/api/v1/convert")
|
||||
.file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx")))
|
||||
.param("maxPages", "0"))
|
||||
.andExpect(status().isBadRequest())
|
||||
.andExpect(jsonPath("$.error",
|
||||
org.hamcrest.Matchers.containsString("maxPages должен быть больше 0")));
|
||||
}
|
||||
|
||||
/**
|
||||
* Невалидные лимиты в конфигурации — падение на старте (fail-fast):
|
||||
* «сервис поднят, но весь вход отсекается» хуже не поднявшегося.
|
||||
@@ -417,8 +459,14 @@ class ConvertControllerTest {
|
||||
mockMvc.perform(multipart("/api/v1/convert")
|
||||
.file(docx("bad.docx", docxPackageWithGarbage())))
|
||||
.andExpect(status().isInternalServerError())
|
||||
.andExpect(jsonPath("$.error",
|
||||
org.hamcrest.Matchers.containsString("Не удалось конвертировать")));
|
||||
// фиксированный текст: сообщение ядра (docx4j/FOP/JAXB) —
|
||||
// только в лог, наружу не уходит
|
||||
.andExpect(jsonPath("$.error").value("Не удалось конвертировать документ"))
|
||||
.andExpect(result -> {
|
||||
String body = result.getResponse().getContentAsString();
|
||||
assertTrue(!body.contains("docx4j") && !body.contains("Exception"),
|
||||
"500 протёк внутренними деталями: " + body);
|
||||
});
|
||||
}
|
||||
|
||||
@Test
|
||||
@@ -474,7 +522,7 @@ class ConvertControllerTest {
|
||||
ConvertController controller =
|
||||
new ConvertController(new ConversionService(Duration.ofSeconds(5)), 5L, 100);
|
||||
BadRequestException e = assertThrows(BadRequestException.class,
|
||||
() -> controller.convert(broken, null, null, null));
|
||||
() -> controller.convert(broken, null, null, null, null, null));
|
||||
assertTrue(e.getMessage().contains("Не удалось прочитать"), e.getMessage());
|
||||
}
|
||||
}
|
||||
|
||||
@@ -35,7 +35,10 @@ import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.
|
||||
*/
|
||||
@SpringBootTest
|
||||
@AutoConfigureMockMvc
|
||||
@TestPropertySource(properties = {"wordpdf.max-mb=1", "wordpdf.max-pages=1"})
|
||||
@TestPropertySource(properties = {"wordpdf.max-mb=1", "wordpdf.max-pages=1",
|
||||
// пустой ключ = фильтр выключен; пин от ambient WORDPDF_API_KEY
|
||||
// (mise подмешивает корневой .env в окружение тасок)
|
||||
"wordpdf.api-key="})
|
||||
class ConvertLimitsTest {
|
||||
|
||||
private static final MediaType DOCX =
|
||||
@@ -90,4 +93,26 @@ class ConvertLimitsTest {
|
||||
.andExpect(jsonPath("$.error",
|
||||
org.hamcrest.Matchers.containsString("страниц")));
|
||||
}
|
||||
|
||||
/**
|
||||
* Параметры запроса ПОДНИМАЮТ configured-дефолты (свойство — дефолт, не
|
||||
* потолок): maxMb=5 — и файл за 1 MiB проходит байтовый гейт (отказ уже
|
||||
* по контейнеру, не по размеру); maxPages=2 — и текст отказа несёт
|
||||
* двойку, а не configured единицу.
|
||||
*/
|
||||
@Test
|
||||
void restParamAboveConfigured_applies() throws Exception {
|
||||
mockMvc.perform(multipart("/api/v1/convert")
|
||||
.file(docx("big.docx", oversizedZip()))
|
||||
.param("maxMb", "5"))
|
||||
.andExpect(status().isBadRequest())
|
||||
.andExpect(jsonPath("$.error",
|
||||
org.hamcrest.Matchers.containsString("не является .docx")));
|
||||
mockMvc.perform(multipart("/api/v1/convert")
|
||||
.file(docx("too-many-pages.docx", bytes("/samples/too-many-pages.docx")))
|
||||
.param("maxPages", "2"))
|
||||
.andExpect(status().isBadRequest())
|
||||
.andExpect(jsonPath("$.error",
|
||||
org.hamcrest.Matchers.containsString("длиннее 2 страниц")));
|
||||
}
|
||||
}
|
||||
|
||||
@@ -29,6 +29,24 @@
|
||||
<dependency>
|
||||
<groupId>org.docx4j</groupId>
|
||||
<artifactId>docx4j-export-fo</artifactId>
|
||||
<!-- JEuclid (MathML-рендер FOP) исключён: формулы OMML больше не
|
||||
доходят до FO — DrawingPreRenderer заменяет каждую math-узел
|
||||
собственным растером (MathModel/MathRenderer) или текстом, а
|
||||
MathFallbackNormalizer (правило 6) срезает unsupported до
|
||||
загрузки. Jeuclid тянул AWT-менеджер шрифтов (fontconfig —
|
||||
падение на без-fontconfig хостах) и системные шрифты в вывод;
|
||||
инвариант «шрифты только бандла» пинит
|
||||
FontsBundledOnlyInvariantTest. -->
|
||||
<exclusions>
|
||||
<exclusion>
|
||||
<groupId>de.rototor.jeuclid</groupId>
|
||||
<artifactId>jeuclid-fop</artifactId>
|
||||
</exclusion>
|
||||
<exclusion>
|
||||
<groupId>de.rototor.jeuclid</groupId>
|
||||
<artifactId>jeuclid-core</artifactId>
|
||||
</exclusion>
|
||||
</exclusions>
|
||||
</dependency>
|
||||
<!-- Простой логгер в консоль (slf4j). Обязателен: без него docx4j
|
||||
пишет предупреждение прямо в выходной PDF. -->
|
||||
|
||||
@@ -0,0 +1,16 @@
|
||||
package ru.pjandro.wordpdf;
|
||||
|
||||
/**
|
||||
* В документе найдены диаграммы, а их обработка запрещена включённым
|
||||
* {@link ConvertOptions#errorOnCharts()}. Исключение отвергает документ целиком.
|
||||
*
|
||||
* <p>Наследник {@link ConversionException} — наружу по-прежнему ловится и он.
|
||||
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsCharts,
|
||||
* фикстура samples/charts-smartart.docx.</p>
|
||||
*/
|
||||
public final class ChartsFoundException extends ConversionException {
|
||||
|
||||
public ChartsFoundException() {
|
||||
super("В документе найдены диаграммы, а их обработка запрещена (errorOnCharts)");
|
||||
}
|
||||
}
|
||||
@@ -2,25 +2,18 @@ package ru.pjandro.wordpdf;
|
||||
|
||||
/**
|
||||
* на один вызов: error-флаги рисунков и лимиты входа (размер/страницы).
|
||||
* Дефолты — константы {@link WordPdfSettings}; вызывающий (например, REST API)
|
||||
* может переопределить их на конкретный вызов. Диаграммы/SmartArt
|
||||
* Дефолтов в ядре нет — значения задаёт вызывающий (приложение: свойства
|
||||
* сервера как дефолт REST-эндпоинта + параметры запроса). Диаграммы/SmartArt
|
||||
* конвертируются всегда.
|
||||
*
|
||||
* @param errorOnCharts бросать {@link DrawingFoundException} при находке диаграмм
|
||||
* @param errorOnSmartArt бросать {@link DrawingFoundException} при находке SmartArt
|
||||
* @param errorOnOle бросать {@link DrawingFoundException} при находке OLE-объектов
|
||||
* @param errorOnCharts бросать {@link ChartsFoundException} при находке диаграмм
|
||||
* @param errorOnSmartArt бросать {@link SmartArtFoundException} при находке SmartArt
|
||||
* @param errorOnOle бросать {@link OleFoundException} при находке OLE-объектов
|
||||
* (иначе — тихо удалить их из документа)
|
||||
* @param maxMb лимит размера входа в МБ (MiB) на этот вызов;
|
||||
* дефолт — {@link WordPdfSettings#MAX_INPUT_MB}
|
||||
* @param maxPages лимит числа страниц на этот вызов;
|
||||
* дефолт — {@link WordPdfSettings#MAX_PAGES}
|
||||
* должен быть больше 0
|
||||
* @param maxPages лимит числа страниц на этот вызов; должен быть больше 0
|
||||
*/
|
||||
public record ConvertOptions(boolean errorOnCharts, boolean errorOnSmartArt, boolean errorOnOle,
|
||||
long maxMb, int maxPages) {
|
||||
|
||||
/** Дефолты ядра из {@link WordPdfSettings}. */
|
||||
public static ConvertOptions defaults() {
|
||||
return new ConvertOptions(WordPdfSettings.ERROR_ON_CHARTS, WordPdfSettings.ERROR_ON_SMARTART,
|
||||
WordPdfSettings.ERROR_ON_OLE, WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES);
|
||||
}
|
||||
}
|
||||
|
||||
@@ -1,45 +0,0 @@
|
||||
package ru.pjandro.wordpdf;
|
||||
|
||||
/**
|
||||
* Документ содержит объект, находку которого вызывающий запретил:
|
||||
* соответствующий error-флаг включён
|
||||
* ({@link ConvertOptions#errorOnCharts()}, {@link ConvertOptions#errorOnSmartArt()},
|
||||
* {@link ConvertOptions#errorOnOle()}).
|
||||
* Диаграммы/SmartArt конвертируются всегда; OLE-объекты при выключенном
|
||||
* {@code errorOnOle} теряют свои данные, но сохраняют картинку-плейсхолдер
|
||||
* (в отличие от них).
|
||||
* Исключение отвергает документ целиком.
|
||||
*
|
||||
* <p>Наследник {@link ConversionException} — наружу по-прежнему ловится
|
||||
* только он; {@code kind()} даёт вызывающему тип объекта без разбора текста.
|
||||
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsCharts,
|
||||
* фикстура samples/charts-smartart.docx; OLE —
|
||||
* WordPdfConverterTest#drawingErrors_errorFlagRejectsOle,
|
||||
* фикстура samples/ole-embedded.docx.</p>
|
||||
*/
|
||||
public class DrawingFoundException extends ConversionException {
|
||||
|
||||
/** Тип найденного объекта. */
|
||||
public enum Kind { CHARTS, SMARTART, OLE }
|
||||
|
||||
private final Kind kind;
|
||||
|
||||
public DrawingFoundException(Kind kind) {
|
||||
super(message(kind));
|
||||
this.kind = kind;
|
||||
}
|
||||
|
||||
// switch вынесен из super(): парсер PMD 7.17 (движок maven-pmd-plugin)
|
||||
// падает на switch-выражении в аргументе super (pmd/pmd#6234).
|
||||
private static String message(Kind kind) {
|
||||
return switch (kind) {
|
||||
case CHARTS -> "В документе найдены диаграммы, а их обработка запрещена (errorOnCharts)";
|
||||
case SMARTART -> "В документе найден SmartArt, а его обработка запрещена (errorOnSmartArt)";
|
||||
case OLE -> "В документе найдены OLE-объекты, а их обработка запрещена (errorOnOle)";
|
||||
};
|
||||
}
|
||||
|
||||
public Kind kind() {
|
||||
return kind;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,22 @@
|
||||
package ru.pjandro.wordpdf;
|
||||
|
||||
/**
|
||||
* В документе найдены OLE-объекты, а их обработка запрещена включённым
|
||||
* {@link ConvertOptions#errorOnOle()}. Исключение отвергает документ целиком.
|
||||
*
|
||||
* <p>При выключенном флаге OLE-объекты теряют свои данные, но сохраняют
|
||||
* картинку-плейсхолдер (в отличие от диаграмм/SmartArt, конвертируемых
|
||||
* всегда). Флаг действует только на {@code .docx}: в бинарном {@code .doc}
|
||||
* вложения OLE — форматирование U+0001, мост деградирует их до картинки,
|
||||
* поэтому находки OLE там не бывает.</p>
|
||||
*
|
||||
* <p>Наследник {@link ConversionException} — наружу по-прежнему ловится и он.
|
||||
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsOle,
|
||||
* фикстура samples/ole-embedded.docx; OleObjectNormalizerTest#errorOnOleThrowsOleFound.</p>
|
||||
*/
|
||||
public final class OleFoundException extends ConversionException {
|
||||
|
||||
public OleFoundException() {
|
||||
super("В документе найдены OLE-объекты, а их обработка запрещена (errorOnOle)");
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,16 @@
|
||||
package ru.pjandro.wordpdf;
|
||||
|
||||
/**
|
||||
* В документе найден SmartArt, а его обработка запрещена включённым
|
||||
* {@link ConvertOptions#errorOnSmartArt()}. Исключение отвергает документ целиком.
|
||||
*
|
||||
* <p>Наследник {@link ConversionException} — наружу по-прежнему ловится и он.
|
||||
* Регрессия — WordPdfConverterTest#drawingErrors_errorFlagRejectsSmartArt,
|
||||
* фикстура samples/charts-smartart.docx.</p>
|
||||
*/
|
||||
public final class SmartArtFoundException extends ConversionException {
|
||||
|
||||
public SmartArtFoundException() {
|
||||
super("В документе найден SmartArt, а его обработка запрещена (errorOnSmartArt)");
|
||||
}
|
||||
}
|
||||
@@ -2,7 +2,8 @@ package ru.pjandro.wordpdf;
|
||||
|
||||
import org.apache.fop.apps.FOUserAgent;
|
||||
import org.apache.fop.apps.FopFactory;
|
||||
import org.apache.fop.apps.FopFactoryBuilder;
|
||||
import org.apache.fop.util.ImageObjectCache;
|
||||
import org.apache.fop.util.ImageObjectCacheImpl;
|
||||
import org.docx4j.Docx4J;
|
||||
import org.docx4j.XmlUtils;
|
||||
import org.docx4j.Docx4jProperties;
|
||||
@@ -30,6 +31,7 @@ import java.io.ByteArrayInputStream;
|
||||
import java.io.ByteArrayOutputStream;
|
||||
import java.io.IOException;
|
||||
import javax.xml.transform.Templates;
|
||||
import javax.xml.transform.TransformerConfigurationException;
|
||||
import javax.xml.transform.stream.StreamSource;
|
||||
import javax.imageio.ImageIO;
|
||||
import java.io.InputStream;
|
||||
@@ -54,9 +56,13 @@ import java.util.zip.ZipOutputStream;
|
||||
* подменяются метрически совместимыми open-source аналогами
|
||||
* (см. {@link BundledFontMapper}).
|
||||
*
|
||||
* Класс stateless, все методы статические. Класс НЕ потокобезопасен:
|
||||
* конвертации из нескольких потоков необходимо сериализовать (глобальный
|
||||
* реестр {@code PhysicalFonts}, кэши шрифтов/покрытия).
|
||||
* Класс stateless, все методы статические. Публичные {@code convert()} можно
|
||||
* вызывать из нескольких потоков: сериализация обеспечена внутри ядра —
|
||||
* конвертации выполняются по одной под монитором класса (глобальный реестр
|
||||
* {@code PhysicalFonts}, общая FopFactory с имиджевыми кешами, сброс кеши в
|
||||
* finally). {@link #warmup()} синхронизирован тем же монитором.
|
||||
* {@link WordPdfValidator} stateless и выполняется до монитора — валидация
|
||||
* параллельна и не блокируется.
|
||||
*/
|
||||
public final class WordPdfConverter {
|
||||
|
||||
@@ -83,38 +89,66 @@ public final class WordPdfConverter {
|
||||
private WordPdfConverter() {
|
||||
}
|
||||
|
||||
private static volatile FopFactory sharedFopFactory;
|
||||
|
||||
/**
|
||||
* Конвертирует байты .docx (или бинарного .doc Word 97–2003 — формат
|
||||
* определяется по сигнатуре байтов) в PDF. Работа с файлами — забота
|
||||
* вызывающего (файловое API было здесь раньше; ядро пути не принимает).
|
||||
*
|
||||
* <p>.doc предварительно переносится в .docx мостом
|
||||
* {@link ru.pjandro.wordpdf.internal.doc.DocToDocx} (текст + прямое
|
||||
* форматирование); число страниц для .doc проверяется мостом по чистому
|
||||
* бинарному документу (кэш PageCount + явные разрывы), сгенерированный
|
||||
* .docx валидацией не проверяется. Для .docx вход проверяется
|
||||
* {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера:
|
||||
* {@code null} / размер больше {@link WordPdfSettings#MAX_INPUT_MB} (МБ) / zip-подпись /
|
||||
* число страниц больше {@link WordPdfSettings#MAX_PAGES} — при отказе байтов результата нет;
|
||||
* страницы считаются ровно раз по сырому входу, повторного скана по
|
||||
* нормализованным байтам нет (см. javadoc перегрузки с {@link ConvertOptions}).
|
||||
*
|
||||
* @param docxBytes байты .docx или бинарного .doc
|
||||
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
|
||||
* @return байты готового PDF
|
||||
* @throws ValidationException некорректный вход: {@code null}, размер больше
|
||||
* {@link WordPdfSettings#MAX_INPUT_MB} (МБ), не .docx/.doc, зашифрованный .doc,
|
||||
* документ длиннее {@link WordPdfSettings#MAX_PAGES} страниц
|
||||
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
|
||||
* FopFactory, общая на JVM: разбор шрифтов форка (GPOS-таблицы, ~140k
|
||||
* объектов) выполняется один раз, а не на каждую конвертацию. Фабрика
|
||||
* хранит имиджевые кеши ({@code ImageManager#getCache()} и
|
||||
* {@link ImageObjectCacheImpl}) c ключами {@code file:/tmp/<uuid>…} —
|
||||
* уникальными на каждую конвертацию (docx4j выкладывает медиа во временные
|
||||
* файлы), поэтому кеш никогда не попадает и растёт на декодированный растр
|
||||
* каждого изображения (замер 2026-11: ~1,5 ГБ живых byte[] после 30
|
||||
* конвертаций с картинками). Поэтому каждая конвертация обязана вызвать
|
||||
* {@link #resetSharedImageCaches()} в finally. Вызывается только под локом
|
||||
* конвертации (см. {@code convert}), сброс mid-render невозможен. Методы
|
||||
* приватны: вызов вне лока конвертера вскрыл бы DCL/сброс на параллельный
|
||||
* рендер. Регрессия — WordPdfConverterTest#sharedImageCaches_clearedAfterConversion.
|
||||
*/
|
||||
public static byte[] convert(byte[] docxBytes, String title) throws ConversionException {
|
||||
return convert(docxBytes, title, ConvertOptions.defaults());
|
||||
private static FopFactory sharedFopFactory(final FOSettings foSettings) {
|
||||
FopFactory factory = sharedFopFactory;
|
||||
if (factory == null) {
|
||||
synchronized (WordPdfConverter.class) {
|
||||
if (sharedFopFactory == null) {
|
||||
try {
|
||||
sharedFopFactory = FORendererApacheFOP.getFopFactoryBuilder(foSettings).build();
|
||||
} catch (org.apache.fop.apps.FOPException e) {
|
||||
throw new ConversionException("Не удалось собрать FOP-фабрику", e);
|
||||
}
|
||||
}
|
||||
factory = sharedFopFactory;
|
||||
}
|
||||
}
|
||||
return factory;
|
||||
}
|
||||
|
||||
/**
|
||||
* Сброс имиджевых кешей общей фабрики после конвертации. Без него форк
|
||||
* удерживает растр каждого изображения документа до конца жизни JVM:
|
||||
* записи лежат в soft-ссылках, которые сборщик не трогает, пока свободная
|
||||
* куча велика (куча стенда фиксирована 2 ГБ). Сбросы публичные:
|
||||
* {@code ImageCache.clearCache()} и {@code ImageObjectCacheImpl.clearCache()}.
|
||||
* Вызывается исключительно из finally конвертации под локом (см.
|
||||
* {@code convert}) — параллельный рендер под сброс не попадает.
|
||||
* Регрессия — WordPdfConverterTest#sharedImageCaches_clearedAfterConversion.
|
||||
*/
|
||||
private static void resetSharedImageCaches() {
|
||||
FopFactory factory = sharedFopFactory;
|
||||
if (factory == null) {
|
||||
return;
|
||||
}
|
||||
factory.getImageManager().getCache().clearCache();
|
||||
ImageObjectCache imageObjects = factory.getImageObjectCache();
|
||||
if (imageObjects instanceof ImageObjectCacheImpl impl) {
|
||||
impl.clearCache();
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Конвертирует байты .docx (или бинарного .doc Word 97–2003 — формат
|
||||
* определяется по сигнатуре байтов, см. перегрузку выше) в PDF с
|
||||
* настройками на вызов: error-флаги диаграмм/SmartArt и лимиты входа.
|
||||
* определяется по сигнатуре байтов) в PDF с настройками на вызов:
|
||||
* error-флаги диаграмм/SmartArt и лимиты входа. Работа с файлами — забота
|
||||
* вызывающего (файловое API было здесь раньше; ядро пути не принимает).
|
||||
*
|
||||
* <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)}
|
||||
* до рендера — одна проверка на оба формата: {@code null} / размер больше
|
||||
@@ -123,15 +157,15 @@ public final class WordPdfConverter {
|
||||
* считаются ровно раз по сырому входу, до аллокаций docx4j: для .docx —
|
||||
* lightweight-скан по zip, для .doc — по чистому бинарному документу до
|
||||
* конвертации. Повторного скана по нормализованным байтам нет: правила
|
||||
* 1–10 {@code DocxRewritePipeline} число учитываемых разрывов не
|
||||
* 1–11 {@code DocxRewritePipeline} число учитываемых разрывов не
|
||||
* увеличивают (правило 9 способно только убрать разрыв внутри скрытого
|
||||
* рана — счёт по сырому входу остаётся верхней оценкой лимита), а скан
|
||||
* внутри живой JAXB-модели удваивал бы пиковую память.
|
||||
*
|
||||
* @param docxBytes байты .docx или бинарного .doc
|
||||
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
|
||||
* @param options error-флаги и лимиты входа на этот вызов; {@code null} —
|
||||
* дефолты (константы {@link WordPdfSettings})
|
||||
* @param options error-флаги и лимиты входа на этот вызов; обязательны,
|
||||
* {@code null} → {@link ValidationException} (дефолтов в ядре нет)
|
||||
* @return байты готового PDF
|
||||
* @throws ValidationException некорректный вход: {@code null}, размер больше
|
||||
* {@code options.maxMb()} (МБ), не .docx/.doc, зашифрованный .doc,
|
||||
@@ -139,7 +173,11 @@ public final class WordPdfConverter {
|
||||
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
|
||||
*/
|
||||
public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options) throws ConversionException {
|
||||
ConvertOptions opts = options == null ? ConvertOptions.defaults() : options;
|
||||
if (options == null) {
|
||||
throw new ValidationException("Не переданы параметры конвертации (ConvertOptions): "
|
||||
+ "лимиты входа задаёт вызывающий");
|
||||
}
|
||||
ConvertOptions opts = options;
|
||||
// Полная проверка входа — одна на оба формата: размер до
|
||||
// классификации (враждебный вход без подписи обязан получить ошибку
|
||||
// лимита), затем для .docx — zip/контейнер/страницы, для .doc —
|
||||
@@ -152,7 +190,15 @@ public final class WordPdfConverter {
|
||||
// .doc сбрасываются в кадре на этом же месте — детерминированно, до
|
||||
// рендера (точные liveness-карты HotSpot строит только для
|
||||
// скомпилированных кадров; отдельное присваивание null не нужно).
|
||||
docxBytes = WordPdfValidator.isBinaryDoc(docxBytes) ? DocToDocx.convert(docxBytes) : docxBytes;
|
||||
// Единый лок ядра: реестр PhysicalFonts, общая FopFactory (per-render
|
||||
// disableFontCache, имиджевые кеши) и её сброс в finally мутируются под
|
||||
// рендером — параллельная конвертация обязана ждать, иначе чистит кеши
|
||||
// посреди чужого рендера. Монитор класса тот же, что у warmup()
|
||||
// (реентельно) и DCL в sharedFopFactory. Регрессия —
|
||||
// WordPdfConverterTest#concurrentConversions_twoThreadsBothSucceed.
|
||||
synchronized (WordPdfConverter.class) {
|
||||
docxBytes = WordPdfValidator.isBinaryDoc(docxBytes)
|
||||
? DocToDocx.convert(docxBytes, opts.maxMb()) : docxBytes;
|
||||
ByteArrayOutputStream bos = new ByteArrayOutputStream(Math.max(1 << 16, docxBytes.length));
|
||||
try {
|
||||
convertToStream(docxBytes, title, opts, bos);
|
||||
@@ -165,20 +211,49 @@ public final class WordPdfConverter {
|
||||
}
|
||||
return bos.toByteArray();
|
||||
}
|
||||
}
|
||||
|
||||
/** Флаг «ядро прогрето»: повторные вызовы {@link #warmup()} — no-op. */
|
||||
private static volatile boolean warmedUp;
|
||||
|
||||
private static final Logger LOG = Logger.getLogger(WordPdfConverter.class.getName());
|
||||
|
||||
// Пороги защиты входа (считает WordPdfValidator.max* от лимитов входа
|
||||
// ConvertOptions). Значения — строго литералы compile-time констант: javac
|
||||
// инлайнит их в WordPdfValidator, и обращение из валидатора НЕ
|
||||
// инициализирует этот класс (его static-блок выставляет sysprops docx4j —
|
||||
// инвариант «WordPdfValidator не зависит от docx4j» сохраняется).
|
||||
/** Бюджет суммарной распаковки: MiB на каждый МБ лимита размера входа. */
|
||||
static final int DECOMPRESS_MB_PER_MAX_MB = 10;
|
||||
/** Бюджет суммарной распаковки: KiB на каждую страницу лимита. */
|
||||
static final int DECOMPRESS_KIB_PER_PAGE = 64;
|
||||
/** Бюджет XML-частей: MiB на каждый МБ лимита (JAXB-разбор дороже байта). */
|
||||
static final int DECOMPRESS_XML_MB_PER_MAX_MB = 4;
|
||||
/** Бюджет XML-частей: KiB на каждую страницу лимита. */
|
||||
static final int DECOMPRESS_XML_KIB_PER_PAGE = 32;
|
||||
/** Пол бюджета суммарной распаковки (MiB) — чтобы мелкие лимиты не ломали легитимные документы. */
|
||||
static final long MIN_DECOMPRESSED_MB = 16;
|
||||
/** Пол бюджета XML-частей (MiB). */
|
||||
static final long MIN_DECOMPRESSED_XML_MB = 4;
|
||||
/** Порог пиксельной площади одного растра: пикселей на каждый МБ лимита размера. */
|
||||
static final long IMAGE_PIXELS_PER_MAX_MB = 5_000_000;
|
||||
/** Порог числа zip-записей: записей на каждый МБ лимита размера. */
|
||||
static final int ZIP_ENTRIES_PER_MAX_MB = 512;
|
||||
/** Порог числа zip-записей: записей на каждую страницу лимита. */
|
||||
static final int ZIP_ENTRIES_PER_PAGE = 32;
|
||||
/** Пол порога числа zip-записей. */
|
||||
static final int MIN_ZIP_ENTRIES = 2048;
|
||||
|
||||
/**
|
||||
* Прогрев ядра: первая конвертация после старта JVM стоит 1,3–1,7 с
|
||||
* (JAXB/XSLT/FOP/классы), её платил первый запрос после деплоя. Прогоняет
|
||||
* пайплайн на минимальном docx, собранном в байтах (фикстуры тестов не
|
||||
* задействуются), и греет Java2D/PNG-энкодер для пре-рендера диаграмм.
|
||||
* Идемпотентен, никогда не бросает (провал — только warn); вызывать нужно
|
||||
* на том же потоке, на котором сериализованы конвертации (ядро не
|
||||
* потокобезопасно, см. {@code PhysicalFonts}). Артефакты (PDF, растр)
|
||||
* Идемпотентен, никогда не бросает (провал — только warn); метод
|
||||
* синхронизирован монитором класса — тем же, что сериализует конвертации
|
||||
* в {@code convert()}, так что прогрев гарантированно не пересекается с
|
||||
* рендером; приложение дополнительно держит warmup головой очереди.
|
||||
* Артефакты (PDF, растр)
|
||||
* отбрасываются. Ядро само {@code warmup()} не вызывает — момент прогрева
|
||||
* решает вызывающее приложение.
|
||||
*/
|
||||
@@ -187,7 +262,7 @@ public final class WordPdfConverter {
|
||||
return;
|
||||
}
|
||||
try {
|
||||
convert(warmupDocx(), "warmup");
|
||||
convert(warmupDocx(), "warmup", new ConvertOptions(false, false, false, 1, 1));
|
||||
warmRaster();
|
||||
warmedUp = true;
|
||||
} catch (Throwable t) {
|
||||
@@ -326,13 +401,15 @@ public final class WordPdfConverter {
|
||||
LayoutPostRenderer.register(foSettings);
|
||||
|
||||
// 4.5 Вендорный xslt/docx2fo.xslt = копия из docx4j-export-fo +
|
||||
// AUDIT-FIX-патч (w:rPr position) — стилист jar'а не
|
||||
// AUDIT-FIX-патчи (w:rPr/w:position→baseline-shift;
|
||||
// AUDIT-FIX-2: moveFrom/moveTo/bdo/dir) — стилист jar'а не
|
||||
// используется.
|
||||
foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES);
|
||||
|
||||
// 5. Метаданные PDF: заголовок — из параметра title
|
||||
FopFactoryBuilder builder = FORendererApacheFOP.getFopFactoryBuilder(foSettings);
|
||||
FopFactory fopFactory = builder.build();
|
||||
// 5. Метаданные PDF: заголовок — из параметра title. Фабрика —
|
||||
// общая на JVM (см. sharedFopFactory); после конвертации её
|
||||
// имиджевые кеши обязаны быть сброшены (шаг 7).
|
||||
FopFactory fopFactory = sharedFopFactory(foSettings);
|
||||
FOUserAgent foUserAgent = FORendererApacheFOP.getFOUserAgent(foSettings, fopFactory);
|
||||
if (title != null && !title.isEmpty()) {
|
||||
foUserAgent.setTitle(title);
|
||||
@@ -341,18 +418,26 @@ public final class WordPdfConverter {
|
||||
// 6. Проход XSLT (медленнее, но полнее), вывод в поток
|
||||
Docx4J.toFO(foSettings, os, Docx4J.FLAG_EXPORT_PREFER_XSL);
|
||||
} finally {
|
||||
// 7. Уборка временных файлов встроенных в docx шрифтов
|
||||
// 7. Уборка временных файлов встроенных в docx шрифтов, сброс
|
||||
// имиджевых кешей общей FopFactory (без него форк копит растр
|
||||
// каждого изображения: ~1,5 ГБ на 30 конвертаций, 2026-11) и
|
||||
// возврат реестра шрифтов в бандл-состояние: load() регистрирует
|
||||
// в глобальном PhysicalFonts встроенные шрифты документа, и без
|
||||
// restrictToBundled последний документ продолжал бы влиять на
|
||||
// выбор шрифта до следующей конвертации.
|
||||
if (pkg.getMainDocumentPart() != null
|
||||
&& pkg.getMainDocumentPart().getFontTablePart() != null) {
|
||||
pkg.getMainDocumentPart().getFontTablePart().deleteEmbeddedFontTempFiles();
|
||||
}
|
||||
// Примечание: в docx4j 11.x OpcPackage.close() отсутствует —
|
||||
resetSharedImageCaches();
|
||||
BundledFonts.restrictToBundled();
|
||||
// Примечание: в docx4j 17.x OpcPackage.close() отсутствует —
|
||||
// пакет загружается в память и ничего не закрывает.
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Нормализация входных байтов (цепочка {@link #normalizers}: правила 1–10
|
||||
* Нормализация входных байтов (цепочка {@link #normalizers}: правила 1–11
|
||||
* одним zip-проходом {@code DocxRewritePipeline} + условная OLE-вычистка)
|
||||
* и {@code WordprocessingMLPackage.load} полученного transitional-байта.
|
||||
* Нормализация переиспользует слот {@code bytes}: каждая замена массива
|
||||
@@ -371,10 +456,11 @@ public final class WordPdfConverter {
|
||||
* Конвейер байтовой нормализации docx. Порядок фиксирован: сначала один
|
||||
* zip-проход переписывания XML-частей (внутри части порядок рерайтов
|
||||
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→
|
||||
* NumberingSuffix→Hidden→Ruby значим: Strict первым — дальше transitional-байт;
|
||||
* NumberingSuffix→Hidden→Ruby→MathFallback значим: Strict первым — дальше transitional-байт;
|
||||
* GlyphCoverage — по финальному тексту рана; Hidden — вырезает скрытые
|
||||
* раны по финальному содержимому; Ruby — разворачивает руби-разметку,
|
||||
* которую схема docx4j не биндит), затем OleObjectNormalizer
|
||||
* которую схема docx4j не биндит; MathFallback — деградирует OMML-формулы
|
||||
* в текст m:t, когда JEuclid недоступен), затем OleObjectNormalizer
|
||||
* (меняет части, а не XML ранов).
|
||||
* Регрессии каждого рерайта — в javadoc соответствующего нормализатора.
|
||||
*/
|
||||
@@ -382,17 +468,19 @@ public final class WordPdfConverter {
|
||||
return List.of(
|
||||
// один zip-проход: strict→transitional, on/off, Symbol-PUA,
|
||||
// поля PAGE/NUMPAGES, невидимки, покрытие глифов, tblInd при
|
||||
// jc≠left, suff=space, скрытый текст (vanish) — порядок
|
||||
// jc≠left, suff=space, скрытый текст (vanish), снятие обёртки
|
||||
// w:ruby, OMML-фолбэк в текст — порядок
|
||||
// рерайтов внутри части фиксирован (DocxRewritePipeline)
|
||||
DocxRewritePipeline.STEP,
|
||||
// OLE-объекты: при выключенном errorOnOle тихо удаляем
|
||||
// (часть/rels/w:object), при включённом — DrawingFoundException
|
||||
// (часть/rels/w:object), при включённом — OleFoundException
|
||||
// (OleObjectNormalizer); второй проход, т.к. меняет части, а не XML
|
||||
bytes -> OleObjectNormalizer.normalize(bytes, options.errorOnOle()));
|
||||
}
|
||||
|
||||
/**
|
||||
* Вендорный docx2fo.xslt (копия из docx4j-export-fo + AUDIT-FIX-патч).
|
||||
* Вендорный docx2fo.xslt (копия из docx4j-export-fo + AUDIT-FIX-патчи:
|
||||
* w:rPr/w:position→baseline-shift; AUDIT-FIX-2: moveFrom/moveTo/bdo/dir).
|
||||
* {@code AbstractXsltExporterDelegate.getTemplates} кастит значение
|
||||
* {@code setCustomXsltTemplates} в {@code Templates} — компилируем заранее;
|
||||
* {@code Templates} неизменяем и потокобезопасен, один экземпляр на процесс.
|
||||
@@ -407,7 +495,7 @@ public final class WordPdfConverter {
|
||||
throw new ConversionException("Ресурс xslt/docx2fo.xslt не найден");
|
||||
}
|
||||
return XmlUtils.getTransformerFactory().newTemplates(new StreamSource(xslt));
|
||||
} catch (Exception e) {
|
||||
} catch (IOException | TransformerConfigurationException e) {
|
||||
throw new ConversionException("Не удалось скомпилировать xslt/docx2fo.xslt", e);
|
||||
}
|
||||
}
|
||||
|
||||
@@ -1,42 +0,0 @@
|
||||
package ru.pjandro.wordpdf;
|
||||
|
||||
/**
|
||||
* Единая точка конфигурации ядра: все настройки-дефолты — константы здесь.
|
||||
* Рантайм-конфигурации нет: изменение значения = правка этого файла и пересборка.
|
||||
* Лимиты входа ({@link #MAX_INPUT_MB}, {@link #MAX_PAGES}) — дефолты:
|
||||
* вызывающий может переопределить их на конкретный вызов через
|
||||
* {@link ConvertOptions}.
|
||||
*/
|
||||
public final class WordPdfSettings {
|
||||
|
||||
/** Максимальный размер входного .docx в МБ (дефолт). МБ = MiB = 1024 × 1024 байт. */
|
||||
public static final long MAX_INPUT_MB = 5;
|
||||
|
||||
/** Документ длиннее — ошибка (дефолт). */
|
||||
public static final int MAX_PAGES = 100;
|
||||
|
||||
/** Потолок суммарного распакованного размера архива (МБ) — защита от zip-бомбы. */
|
||||
public static final long MAX_DECOMPRESSED_MB = 200;
|
||||
|
||||
/** Потолок числа записей в архиве — защита от бомбы «много записей». */
|
||||
public static final int MAX_ZIP_ENTRIES = 8192;
|
||||
|
||||
/**
|
||||
* Ошибка при находке диаграмм ({@code c:chart}) — {@link DrawingFoundException}.
|
||||
* Дефолт {@code false} — конвертация проходит.
|
||||
*/
|
||||
public static final boolean ERROR_ON_CHARTS = false;
|
||||
|
||||
/** Ошибка при находке SmartArt ({@code dgm:relIds}) — {@link DrawingFoundException}. */
|
||||
public static final boolean ERROR_ON_SMARTART = false;
|
||||
|
||||
/**
|
||||
* Ошибка при находке OLE-объектов (бинарные {@code .bin}-части) —
|
||||
* {@link DrawingFoundException}. Дефолт {@code false} — объекты тихо
|
||||
* удаляются из документа (см. OleObjectNormalizer), конвертация проходит.
|
||||
*/
|
||||
public static final boolean ERROR_ON_OLE = false;
|
||||
|
||||
private WordPdfSettings() {
|
||||
}
|
||||
}
|
||||
@@ -30,19 +30,15 @@ import java.util.zip.ZipInputStream;
|
||||
* но им можно пользоваться и напрямую — например, проверить байты
|
||||
* документа, полученного из сети или БД, до любой работы с ними.
|
||||
*
|
||||
* <p>Лимиты по умолчанию:
|
||||
* <ul>
|
||||
* <li>{@link WordPdfSettings#MAX_INPUT_MB} — максимальный размер входного .docx (МБ);</li>
|
||||
* <li>{@link WordPdfSettings#MAX_PAGES} — максимально допустимое число страниц;</li>
|
||||
* <li>{@link WordPdfSettings#MAX_DECOMPRESSED_MB} — потолок суммарного
|
||||
* распакованного размера архива (МБ);</li>
|
||||
* <li>{@link WordPdfSettings#MAX_ZIP_ENTRIES} — потолок числа записей
|
||||
* в архиве.</li>
|
||||
* </ul>
|
||||
* Первые два переопределяются на вызов: перегрузками с явным лимитом или
|
||||
* {@link ConvertOptions} (конвертер {@link WordPdfConverter} применяет их сам).
|
||||
* Последние два — защитные константные пороги ({@link #validate(byte[], ConvertOptions)}),
|
||||
* {@link ConvertOptions} их не переопределяет.
|
||||
* <p>Лимитов-констант в ядре нет: все пороги выводятся из лимитов входа
|
||||
* {@link ConvertOptions} ({@code maxMb} — размер в МБ, {@code maxPages} —
|
||||
* число страниц): бюджеты распаковки {@link #maxDecompressedBytes(long, int)}
|
||||
* и {@link #maxDecompressedXmlBytes(long, int)}, порог площади растра
|
||||
* {@link #maxImagePixels(long)}, потолок числа zip-записей
|
||||
* {@code maxZipEntries} (package-private) — коэффициенты в
|
||||
* {@link WordPdfConverter}. Конвертер применяет {@link ConvertOptions} сам;
|
||||
* одноаргументных оверлодов-дефолтов нет — лимит задаётся параметром каждого
|
||||
* метода.
|
||||
*
|
||||
* <p>Проверка контейнера: архив обязан декларировать документ
|
||||
* wordprocessingml в {@code [Content_Types].xml} — иначе это не .docx
|
||||
@@ -70,6 +66,15 @@ public final class WordPdfValidator {
|
||||
/** Элемент-контейнер body, внутри которого sectPr — межсекционный разрыв. */
|
||||
private static final String BODY_ELEMENT = "body";
|
||||
|
||||
/** Кэш-элемент <Pages> в docProps/app.xml. */
|
||||
private static final String PAGES_ELEMENT = "Pages";
|
||||
|
||||
/** Элемент sectPr — секция документа (межсекционный разрыв). */
|
||||
private static final String SECTION_PROPERTIES = "sectPr";
|
||||
|
||||
/** Элемент w:br — разрыв строки/страницы. */
|
||||
private static final String BREAK_ELEMENT = "br";
|
||||
|
||||
/** Кэш Word <Pages>. */
|
||||
private static final String APP_PART = "docProps/app.xml";
|
||||
|
||||
@@ -79,15 +84,6 @@ public final class WordPdfValidator {
|
||||
private WordPdfValidator() {
|
||||
}
|
||||
|
||||
/**
|
||||
* Проверяет размер байтов входа (для документа, полученного из сети/БД).
|
||||
*
|
||||
* @throws ValidationException при {@code null} или превышении лимита (МБ)
|
||||
*/
|
||||
public static void checkInput(byte[] docxBytes) throws ValidationException {
|
||||
checkInput(docxBytes, WordPdfSettings.MAX_INPUT_MB);
|
||||
}
|
||||
|
||||
/**
|
||||
* Проверяет размер байтов входа против явного лимита в МБ (переопределение
|
||||
* на вызов, см. {@link ConvertOptions#maxMb()}). МБ = MiB = 1024 × 1024 байт.
|
||||
@@ -111,7 +107,7 @@ public final class WordPdfValidator {
|
||||
* такой вход не проверяется .docx-валидацией (zip-пути), его страницы
|
||||
* считает мост {@code internal.doc} по чистому бинарному документу.
|
||||
*/
|
||||
public static boolean isBinaryDoc(byte[] bytes) {
|
||||
static boolean isBinaryDoc(byte[] bytes) {
|
||||
byte[] sig = {(byte) 0xD0, (byte) 0xCF, 0x11, (byte) 0xE0,
|
||||
(byte) 0xA1, (byte) 0xB1, 0x1A, (byte) 0xE1};
|
||||
if (bytes == null || bytes.length < sig.length) {
|
||||
@@ -154,19 +150,13 @@ public final class WordPdfValidator {
|
||||
* .docx-манифест и распакованный размер (регрессия —
|
||||
* {@code WordPdfValidatorTest#validate_notAZip}); поэтому вызывать
|
||||
* {@code checkPageCount} напрямую допустимо только над доверенным входом.
|
||||
* @throws ValidationException при {@code null}, ошибке разбора zip или превышении {@link WordPdfSettings#MAX_PAGES}
|
||||
*/
|
||||
public static void checkPageCount(byte[] docxBytes) throws ValidationException {
|
||||
checkPageCount(docxBytes, WordPdfSettings.MAX_PAGES);
|
||||
}
|
||||
|
||||
/**
|
||||
* То же, что {@link #checkPageCount(byte[])}, с явным лимитом
|
||||
* страниц (переопределение на вызов, см. {@link ConvertOptions#maxPages()}).
|
||||
*
|
||||
* <p>Лимит страниц задаётся параметром (переопределение на вызов,
|
||||
* см. {@link ConvertOptions#maxPages()}).
|
||||
*
|
||||
* @throws ValidationException при {@code null}, ошибке разбора zip или превышении {@code maxPages}
|
||||
*/
|
||||
public static void checkPageCount(byte[] docxBytes, int maxPages) throws ValidationException {
|
||||
static void checkPageCount(byte[] docxBytes, int maxPages) throws ValidationException {
|
||||
if (docxBytes == null) {
|
||||
throw new ValidationException("Не указаны байты входного .docx");
|
||||
}
|
||||
@@ -215,17 +205,7 @@ public final class WordPdfValidator {
|
||||
* разрывы 0x0C − непрерывные межсекционные разрывы + абзацы с
|
||||
* pageBreakBefore)} — тот же контур, что lightweight-скан по zip для
|
||||
* .docx. Разбор делает {@code internal.doc} ({@link DocToDocx#countPages(byte[])}).
|
||||
*
|
||||
* @throws ValidationException при {@code null}, не-.doc-входе, шифровании
|
||||
* или превышении {@link WordPdfSettings#MAX_PAGES}
|
||||
*/
|
||||
public static void checkPageCountDoc(byte[] docBytes) throws ValidationException {
|
||||
checkPageCountDoc(docBytes, WordPdfSettings.MAX_PAGES);
|
||||
}
|
||||
|
||||
/**
|
||||
* То же, что {@link #checkPageCountDoc(byte[])}, с явным лимитом
|
||||
* страниц (переопределение на вызов, см. {@link ConvertOptions#maxPages()}).
|
||||
* Лимит страниц задаётся параметром (см. {@link ConvertOptions#maxPages()}).
|
||||
*
|
||||
* <p>Отказ разбора {@code .doc}-моста ({@code internal.doc}) —
|
||||
* {@link ConversionException} — оборачивается здесь в
|
||||
@@ -237,7 +217,7 @@ public final class WordPdfValidator {
|
||||
* @throws ValidationException при {@code null}, не-.doc-входе, шифровании
|
||||
* или превышении {@code maxPages}
|
||||
*/
|
||||
public static void checkPageCountDoc(byte[] docBytes, int maxPages) throws ValidationException {
|
||||
static void checkPageCountDoc(byte[] docBytes, int maxPages) throws ValidationException {
|
||||
if (docBytes == null) {
|
||||
throw new ValidationException("Не указаны байты входного .doc");
|
||||
}
|
||||
@@ -273,18 +253,25 @@ public final class WordPdfValidator {
|
||||
* <p>Проверка контейнера: в {@code [Content_Types].xml} обязана быть
|
||||
* декларация документа wordprocessingml (архив без неё — не .docx);
|
||||
* zip-бомба отсекается потоковым счётчиком распакованных байт
|
||||
* ({@link WordPdfSettings#MAX_DECOMPRESSED_MB}) и числом записей
|
||||
* ({@link WordPdfSettings#MAX_ZIP_ENTRIES}) — до разбора содержимого
|
||||
* в {@link #checkPageCount(byte[], int)}. Оба лимита —
|
||||
* защитные пороги, {@link ConvertOptions} их не переопределяет.
|
||||
* ({@link #maxDecompressedBytes(long, int)}, XML —
|
||||
* {@link #maxDecompressedXmlBytes(long, int)}) и числом записей
|
||||
* ({@code maxZipEntries}) — до разбора содержимого
|
||||
* в {@link #checkPageCount(byte[], int)}. Все пороги — производные от
|
||||
* {@code options.maxMb()}/{@code options.maxPages()}, отдельных
|
||||
* констант в ядре нет.
|
||||
* Регрессии — {@code WordPdfValidatorTest#validate_plainZipRejected},
|
||||
* {@code #validate_xlsxRenamedRejected}, {@code #validate_zipBombRejected},
|
||||
* {@code #validate_tooManyEntriesRejected}.</p>
|
||||
* @throws ValidationException при {@code null}, превышении {@code options.maxMb()},
|
||||
* @throws ValidationException при {@code null} входа или {@code options},
|
||||
* превышении {@code options.maxMb()},
|
||||
* отсутствии zip-подписи, не-.docx-контейнере, признаках zip-бомбы,
|
||||
* ошибке разбора zip или превышении {@code options.maxPages()}
|
||||
*/
|
||||
public static void validate(byte[] docxBytes, ConvertOptions options) throws ValidationException {
|
||||
if (options == null) {
|
||||
throw new ValidationException("Не переданы параметры конвертации (ConvertOptions): "
|
||||
+ "лимиты входа задаёт вызывающий");
|
||||
}
|
||||
checkInput(docxBytes, options.maxMb());
|
||||
if (isBinaryDoc(docxBytes)) {
|
||||
// Бинарный .doc: страницы — по чистому бинарному документу,
|
||||
@@ -296,7 +283,11 @@ public final class WordPdfValidator {
|
||||
|| (docxBytes[2] & 0xFF) != 0x03 || (docxBytes[3] & 0xFF) != 0x04) {
|
||||
throw new ValidationException("Содержимое не похоже на .docx или .doc (не zip-архив)");
|
||||
}
|
||||
checkDocxContainer(docxBytes);
|
||||
checkDocxContainer(docxBytes,
|
||||
maxDecompressedBytes(options.maxMb(), options.maxPages()),
|
||||
maxDecompressedXmlBytes(options.maxMb(), options.maxPages()),
|
||||
maxZipEntries(options.maxMb(), options.maxPages()),
|
||||
maxImagePixels(options.maxMb()));
|
||||
checkPageCount(docxBytes, options.maxPages());
|
||||
}
|
||||
|
||||
@@ -306,30 +297,60 @@ public final class WordPdfValidator {
|
||||
* в {@link #checkPageCount(byte[], int)}) и наличие в
|
||||
* {@code [Content_Types].xml} декларации документа wordprocessingml
|
||||
* (архив без неё — не .docx: обычный zip, переименованный .xlsx/.pptx).
|
||||
*
|
||||
* <p>Пороги передаются параметром (считает
|
||||
* {@link #validate(byte[], ConvertOptions)} из лимитов входа через
|
||||
* {@link #maxDecompressedBytes} / {@link #maxDecompressedXmlBytes} /
|
||||
* {@code maxZipEntries} / {@link #maxImagePixels}): заголовок
|
||||
* центрального каталога врёт о размере, поэтому считается по ходу чтения.
|
||||
*/
|
||||
private static void checkDocxContainer(byte[] docxBytes) throws ValidationException {
|
||||
long maxTotal = WordPdfSettings.MAX_DECOMPRESSED_MB * 1024 * 1024;
|
||||
private static void checkDocxContainer(byte[] docxBytes, long maxTotal, long maxXmlTotal,
|
||||
long maxEntries, long maxPixels)
|
||||
throws ValidationException {
|
||||
long total = 0;
|
||||
long xmlTotal = 0;
|
||||
int entries = 0;
|
||||
// OPC требует уникальных имён частей: дубликат — либо крафт, либо
|
||||
// обход кэша страниц (валидатор читает ПЕРВУЮ партию document.xml,
|
||||
// парсер может взять другую) — отказ по первому повтору имени.
|
||||
Set<String> names = new HashSet<>();
|
||||
ByteArrayOutputStream ctBuf = new ByteArrayOutputStream();
|
||||
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docxBytes))) {
|
||||
ZipEntry entry;
|
||||
while ((entry = zip.getNextEntry()) != null) {
|
||||
if (!names.add(entry.getName())) {
|
||||
throw new ValidationException("Дубликаты записей в архиве: " + entry.getName());
|
||||
}
|
||||
if (!entry.isDirectory()) {
|
||||
entries++;
|
||||
if (entries > WordPdfSettings.MAX_ZIP_ENTRIES) {
|
||||
if (entries > maxEntries) {
|
||||
throw new ValidationException("Слишком много записей в архиве: больше "
|
||||
+ WordPdfSettings.MAX_ZIP_ENTRIES);
|
||||
+ maxEntries);
|
||||
}
|
||||
}
|
||||
boolean isCt = "[Content_Types].xml".equals(entry.getName());
|
||||
String name = entry.getName();
|
||||
boolean isCt = "[Content_Types].xml".equals(name);
|
||||
boolean isXml = name.endsWith(".xml") || name.endsWith(".rels");
|
||||
// Raster-bomb: маленькая запись объявляет гигантский растр
|
||||
// (декод по заголовку) — размеры читаются из head-буфера,
|
||||
// весь содержимый поток идёт через счётчик total как раньше.
|
||||
boolean isRaster = isRasterMedia(name);
|
||||
byte[] head = isRaster ? new byte[RASTER_HEAD_LIMIT] : null;
|
||||
int headLen = 0;
|
||||
byte[] buf = new byte[8192];
|
||||
int n;
|
||||
while ((n = zip.read(buf)) > 0) {
|
||||
total += n;
|
||||
if (total > maxTotal) {
|
||||
throw new ValidationException("Распакованный размер архива больше "
|
||||
+ WordPdfSettings.MAX_DECOMPRESSED_MB + " МБ (признак zip-бомбы)");
|
||||
+ (maxTotal / 1048576) + " МБ (признак zip-бомбы)");
|
||||
}
|
||||
if (isXml) {
|
||||
xmlTotal += n;
|
||||
if (xmlTotal > maxXmlTotal) {
|
||||
throw new ValidationException("Суммарный распакованный размер XML-частей больше "
|
||||
+ (maxXmlTotal / 1048576) + " МБ (признак zip-бомбы)");
|
||||
}
|
||||
}
|
||||
if (isCt) {
|
||||
if (ctBuf.size() + n > 8 * 1024 * 1024) {
|
||||
@@ -338,6 +359,18 @@ public final class WordPdfValidator {
|
||||
}
|
||||
ctBuf.write(buf, 0, n);
|
||||
}
|
||||
if (head != null && headLen < head.length) {
|
||||
int take = Math.min(n, head.length - headLen);
|
||||
System.arraycopy(buf, 0, head, headLen, take);
|
||||
headLen += take;
|
||||
}
|
||||
}
|
||||
if (head != null) {
|
||||
long area = rasterArea(name, head, headLen);
|
||||
if (area > maxPixels) {
|
||||
throw new ValidationException("Изображение слишком большое: " + name
|
||||
+ " объявляет не менее " + area + " пикселей");
|
||||
}
|
||||
}
|
||||
}
|
||||
} catch (ValidationException e) {
|
||||
@@ -357,6 +390,55 @@ public final class WordPdfValidator {
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Бюджет суммарной распаковки docx, байты: {@code max(MIN_DECOMPRESSED_MB×MiB,
|
||||
* maxMb×10MiB + maxPages×64KiB)} — без верхней крышки: бюджет догоняет
|
||||
* лимиты входа (защита от upload-бомбы масштабируется вместе с них).
|
||||
* Коэффициенты — {@link WordPdfConverter#DECOMPRESS_MB_PER_MAX_MB} и
|
||||
* {@link WordPdfConverter#DECOMPRESS_KIB_PER_PAGE} (запас на XML/медиа
|
||||
* легитимного архива), пол — {@link WordPdfConverter#MIN_DECOMPRESSED_MB}
|
||||
* (мелким лимитам входа). Регрессия —
|
||||
* WordPdfValidatorTest#validate_smallLimitsBudgetFloor,
|
||||
* #validate_budgetScalesWithInputLimits.
|
||||
*/
|
||||
static long maxDecompressedBytes(long maxMb, int maxPages) {
|
||||
long budget = Math.multiplyExact(maxMb,
|
||||
WordPdfConverter.DECOMPRESS_MB_PER_MAX_MB * 1048576L)
|
||||
+ (long) maxPages * WordPdfConverter.DECOMPRESS_KIB_PER_PAGE * 1024L;
|
||||
return Math.max(WordPdfConverter.MIN_DECOMPRESSED_MB * 1048576L, budget);
|
||||
}
|
||||
|
||||
/**
|
||||
* Бюджет распаковки XML-частей docx, байты: {@code max(MIN_DECOMPRESSED_XML_MB×MiB,
|
||||
* maxMb×4MiB + maxPages×32KiB)} (XML парсится JAXB DOM — дороже байта,
|
||||
* поэтому коэффициенты вдвое ниже суммарных, и пол ниже). Инвариант: при
|
||||
* одних лимитах строго меньше суммарного бюджета, поэтому гейт XML
|
||||
* достижим.
|
||||
*/
|
||||
static long maxDecompressedXmlBytes(long maxMb, int maxPages) {
|
||||
long budget = Math.multiplyExact(maxMb,
|
||||
WordPdfConverter.DECOMPRESS_XML_MB_PER_MAX_MB * 1048576L)
|
||||
+ (long) maxPages * WordPdfConverter.DECOMPRESS_XML_KIB_PER_PAGE * 1024L;
|
||||
return Math.max(WordPdfConverter.MIN_DECOMPRESSED_XML_MB * 1048576L, budget);
|
||||
}
|
||||
|
||||
/**
|
||||
* Порог пиксельной площади одного растрового медиа, пиксели:
|
||||
* {@code maxMb×5_000_000} (при лимите 5 МБ — 25 Мпикс, как в Word;
|
||||
* разложение в ARGB-буфер ≈ 4 байта/пиксель). Публичный — нужен
|
||||
* .doc-мосту ({@code OfficeArt}) для той же защиты на своём пути.
|
||||
*/
|
||||
public static long maxImagePixels(long maxMb) {
|
||||
return Math.multiplyExact(maxMb, WordPdfConverter.IMAGE_PIXELS_PER_MAX_MB);
|
||||
}
|
||||
|
||||
/** Порог числа zip-записей: {@code max(2048, maxMb×512 + maxPages×32)} — защита от бомбы «много записей». */
|
||||
static long maxZipEntries(long maxMb, int maxPages) {
|
||||
long v = Math.multiplyExact(maxMb, WordPdfConverter.ZIP_ENTRIES_PER_MAX_MB)
|
||||
+ (long) maxPages * WordPdfConverter.ZIP_ENTRIES_PER_PAGE;
|
||||
return Math.max(WordPdfConverter.MIN_ZIP_ENTRIES, v);
|
||||
}
|
||||
|
||||
/** Поиск байтов ASCII-строки в массиве (манифест ограничен 8 МБ — наивного поиска достаточно). */
|
||||
private static boolean containsAscii(byte[] data, String needle) {
|
||||
byte[] pat = needle.getBytes(StandardCharsets.UTF_8);
|
||||
@@ -372,6 +454,89 @@ public final class WordPdfValidator {
|
||||
return false;
|
||||
}
|
||||
|
||||
/** Растровые медиа, чьи размеры читываются из заголовка (прочие форматы не инспектируются). */
|
||||
private static boolean isRasterMedia(String name) {
|
||||
String n = name.toLowerCase(java.util.Locale.ROOT);
|
||||
return n.endsWith(".png") || n.endsWith(".gif") || n.endsWith(".bmp")
|
||||
|| n.endsWith(".jpg") || n.endsWith(".jpeg");
|
||||
}
|
||||
|
||||
/** Хватает на PNG/GIF/BMP-заголовок и на JPEG-SOF даже с большими embedded-превью. */
|
||||
private static final int RASTER_HEAD_LIMIT = 64 * 1024;
|
||||
|
||||
/** Минимальный читаемый заголовок GIF: сигнатура «GIF8xа» + width/height (2×u16). */
|
||||
private static final int GIF_HEADER_MIN = 10;
|
||||
/** Префикс каждого JPEG-сегмента: маркер 0xFF. */
|
||||
private static final int JPEG_MARKER = 0xFF;
|
||||
|
||||
/**
|
||||
* Пиксельная площадь по заголовку растра (PNG — IHDR big-endian, GIF/BMP —
|
||||
* little-endian, JPEG — скан сегментов SOFn); нераспознанный/неполный
|
||||
* заголовок → -1 (не отклонять: формат мог быть нестандартным, декод
|
||||
* всё равно ограничен {@code total}).
|
||||
*/
|
||||
private static long rasterArea(String name, byte[] h, int len) {
|
||||
String n = name.toLowerCase(java.util.Locale.ROOT);
|
||||
if (n.endsWith(".png")) {
|
||||
if (len >= 24 && (h[0] & 0xFF) == 0x89 && h[1] == 'P' && h[2] == 'N' && h[3] == 'G') {
|
||||
return be32(h, 16) * (long) be32(h, 20);
|
||||
}
|
||||
return -1;
|
||||
}
|
||||
if (n.endsWith(".gif")) {
|
||||
if (len >= GIF_HEADER_MIN) {
|
||||
return (long) le16(h, 6) * le16(h, 8);
|
||||
}
|
||||
return -1;
|
||||
}
|
||||
if (n.endsWith(".bmp")) {
|
||||
if (len >= 26 && h[0] == 'B' && h[1] == 'M') {
|
||||
return Math.abs((long) le32(h, 18)) * Math.abs((long) le32(h, 22));
|
||||
}
|
||||
return -1;
|
||||
}
|
||||
// JPEG: скан маркеров до SOFn (C0–CF кроме C4/DHT, C8, CC/DAC);
|
||||
// префикс FFD8 обязателен, иначе — не JPEG.
|
||||
if (len < 4 || (h[0] & 0xFF) != 0xFF || (h[1] & 0xFF) != 0xD8) {
|
||||
return -1;
|
||||
}
|
||||
int i = 2;
|
||||
while (i + 4 <= len) {
|
||||
if ((h[i] & JPEG_MARKER) != JPEG_MARKER) {
|
||||
return -1;
|
||||
}
|
||||
int marker = h[i + 1] & 0xFF;
|
||||
if (marker >= 0xC0 && marker <= 0xCF && marker != 0xC4 && marker != 0xC8 && marker != 0xCC) {
|
||||
if (i + 9 > len) {
|
||||
return -1;
|
||||
}
|
||||
return (long) be16(h, i + 7) * be16(h, i + 5);
|
||||
}
|
||||
if (marker == 0xD8 || (marker >= 0xD0 && marker <= 0xD7) || marker == 0x01) {
|
||||
i += 2;
|
||||
continue;
|
||||
}
|
||||
i += 2 + be16(h, i + 2);
|
||||
}
|
||||
return -1;
|
||||
}
|
||||
|
||||
private static int be16(byte[] b, int off) {
|
||||
return ((b[off] & 0xFF) << 8) | (b[off + 1] & 0xFF);
|
||||
}
|
||||
|
||||
private static int le16(byte[] b, int off) {
|
||||
return (b[off] & 0xFF) | ((b[off + 1] & 0xFF) << 8);
|
||||
}
|
||||
|
||||
private static int be32(byte[] b, int off) {
|
||||
return (be16(b, off) << 16) | be16(b, off + 2);
|
||||
}
|
||||
|
||||
private static int le32(byte[] b, int off) {
|
||||
return (le16(b, off) & 0xFFFF) | (le16(b, off + 2) << 16);
|
||||
}
|
||||
|
||||
/** {@code word/headerN.xml} / {@code word/footerN.xml} (не .rels). */
|
||||
private static boolean isHeaderFooterPart(String name) {
|
||||
return (name.startsWith("word/header") || name.startsWith("word/footer"))
|
||||
@@ -407,7 +572,7 @@ public final class WordPdfValidator {
|
||||
XMLStreamReader xr = newSecureReader().createXMLStreamReader(in);
|
||||
while (xr.hasNext()) {
|
||||
if (xr.next() == XMLStreamReader.START_ELEMENT
|
||||
&& "Pages".equals(xr.getLocalName())) {
|
||||
&& PAGES_ELEMENT.equals(xr.getLocalName())) {
|
||||
String text = xr.getElementText().trim();
|
||||
return Math.max(0, Integer.parseInt(text));
|
||||
}
|
||||
@@ -496,7 +661,7 @@ public final class WordPdfValidator {
|
||||
// различает финальную и межсекционные)
|
||||
}
|
||||
case "type" -> {
|
||||
if (inBodySectPr && "sectPr".equals(parent)) {
|
||||
if (inBodySectPr && SECTION_PROPERTIES.equals(parent)) {
|
||||
sectTypeVal = attrLocal(xr, "val");
|
||||
}
|
||||
}
|
||||
@@ -504,7 +669,7 @@ public final class WordPdfValidator {
|
||||
}
|
||||
}
|
||||
} else if (ev == XMLStreamReader.END_ELEMENT) {
|
||||
if ("sectPr".equals(xr.getLocalName()) && inBodySectPr) {
|
||||
if (SECTION_PROPERTIES.equals(xr.getLocalName()) && inBodySectPr) {
|
||||
if (pendingNewPageSection) {
|
||||
bodyDirectSectPr++;
|
||||
}
|
||||
@@ -537,7 +702,7 @@ public final class WordPdfValidator {
|
||||
XMLStreamReader xr = newSecureReader().createXMLStreamReader(in);
|
||||
while (xr.hasNext()) {
|
||||
if (xr.next() == XMLStreamReader.START_ELEMENT
|
||||
&& "br".equals(xr.getLocalName()) && isPageBreak(xr)) {
|
||||
&& BREAK_ELEMENT.equals(xr.getLocalName()) && isPageBreak(xr)) {
|
||||
count++;
|
||||
}
|
||||
}
|
||||
|
||||
@@ -0,0 +1,106 @@
|
||||
package ru.pjandro.wordpdf.fonts;
|
||||
|
||||
import java.util.HashMap;
|
||||
import java.util.Locale;
|
||||
import java.util.Map;
|
||||
|
||||
/**
|
||||
* Таблица алиасов имён шрифтов и обратное имя для {@code w:rFonts}.
|
||||
*
|
||||
* Почему это вынесено из {@link BundledFontMapper}: обращение к статикам
|
||||
* маппера (чарты, GlyphCoverageNormalizer, MathModel) по правилам JVM
|
||||
* инициализирует и суперкласс {@code BestMatchingMapper}, чей
|
||||
* {@code <clinit>} сканирует classpath-джары в реестр {@code PhysicalFonts};
|
||||
* системный скан гейтится свойствами {@code docx4j.fonts.discover*},
|
||||
* которые выставляет {@code WordPdfConverter.<clinit>}, — и при раннем
|
||||
* обращении к мапперу скан мог пройти без гейта. У этого класса нет
|
||||
* наследования, его статика безопасна при любом порядке загрузки.
|
||||
* Экземпляр {@code BundledFontMapper} создаётся только в конвейере
|
||||
* {@code WordPdfConverter} — всегда после его {@code <clinit>}.
|
||||
*/
|
||||
public final class BundledFontAliases {
|
||||
|
||||
/**
|
||||
* Алиасы: имя шрифта из документа (lowercase) -> бандл-семейство (lowercase).
|
||||
* Croscore (Arimo/Tinos/Cousine) и crosextra (Carlito/Caladea) шрифты
|
||||
* метрически совместимы с соответствующими MS-шрифтами и содержат
|
||||
* кириллицу.
|
||||
*/
|
||||
static final Map<String, String> ALIASES;
|
||||
|
||||
static {
|
||||
Map<String, String> m = new HashMap<>();
|
||||
// Частые MS-шрифты -> open-source аналоги
|
||||
m.put("calibri", "carlito");
|
||||
m.put("calibri light", "carlito");
|
||||
m.put("cambria", "caladea");
|
||||
m.put("arial", "arimo");
|
||||
m.put("times new roman", "tinos");
|
||||
m.put("courier new", "cousine");
|
||||
// Бандл-шрифты сами по себе (на случай, если документ прямо
|
||||
// указывает одно из них)
|
||||
m.put("carlito", "carlito");
|
||||
m.put("caladea", "caladea");
|
||||
m.put("arimo", "arimo");
|
||||
m.put("tinos", "tinos");
|
||||
m.put("cousine", "cousine");
|
||||
m.put("dejavu sans", "dejavu sans");
|
||||
m.put("dejavu serif", "dejavu serif");
|
||||
// Покрывающие шрифты (в документе обычно не встречаются, но если
|
||||
// встречаться — маппятся на себя, а не в DejaVu-фолбэк)
|
||||
m.put("noto naskh arabic", "noto naskh arabic");
|
||||
m.put("noto sans armenian", "noto sans armenian");
|
||||
ALIASES = Map.copyOf(m);
|
||||
}
|
||||
|
||||
/** Финальный fallback: шрифт с гарантированной кириллицей. */
|
||||
private static final String FALLBACK_FAMILY = BundledFonts.FALLBACK_FAMILY;
|
||||
|
||||
/**
|
||||
* Имя семейства для записи в {@code w:rFonts} (ключ — lowercase-семейство).
|
||||
* Нужно {@code GlyphCoverageNormalizer}: он пишет в разрезанный ран
|
||||
* человекочитаемое имя, а {@code BundledFontMapper.populateFontMappings}
|
||||
* маппит его обратно на TTF.
|
||||
*/
|
||||
private static final Map<String, String> DISPLAY_NAMES = Map.of(
|
||||
"dejavu sans", "DejaVu Sans",
|
||||
"dejavu serif", "DejaVu Serif",
|
||||
"noto naskh arabic", "Noto Naskh Arabic",
|
||||
"noto sans armenian", "Noto Sans Armenian");
|
||||
|
||||
/**
|
||||
* Имя, которое docx4j {@code RunFontSelector} запрашивает у маппера для
|
||||
* символов диапазона U+2000–U+2EFF (em-dash «—», кавычки «„», многоточие
|
||||
* «…»), если шрифт ранa не содержит глифа. Это виртуальное имя (в
|
||||
* документе его нет), поэтому маппим его на {@link #FALLBACK_FAMILY}:
|
||||
* без записи символ остаётся без font-family в FO и рендерится системным
|
||||
* неembedded-шрифтом (Helvetica).
|
||||
*/
|
||||
static final String SYMBOL_FONT = "Segoe UI Symbol";
|
||||
|
||||
private BundledFontAliases() {
|
||||
}
|
||||
|
||||
/**
|
||||
* Бандл-семейство для имени шрифта из документа (таблица алиасов)
|
||||
* или финальный fallback. Используется пре-рендером диаграмм и формул
|
||||
* (internal/chart), которому нужен тот же шрифт, что и у текста PDF.
|
||||
*/
|
||||
public static String bundledFamily(String docFontName) {
|
||||
String family = ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
|
||||
return family != null && BundledFonts.regular(family) != null
|
||||
? family
|
||||
: FALLBACK_FAMILY;
|
||||
}
|
||||
|
||||
/**
|
||||
* Имя шрифта, которое можно поставить в {@code w:rFonts}, чтобы получить
|
||||
* бандл-семейство {@code family}: {@code GlyphCoverageNormalizer} пишет
|
||||
* его в разрезанные раны. Обратная к {@link #bundledFamily} операция —
|
||||
* имена берутся из таблицы алиасов, поэтому маппинг гарантированно
|
||||
* возвращается к тому же семейству.
|
||||
*/
|
||||
public static String documentFontName(String family) {
|
||||
return DISPLAY_NAMES.getOrDefault(family, family);
|
||||
}
|
||||
}
|
||||
@@ -4,10 +4,8 @@ import org.docx4j.fonts.BestMatchingMapper;
|
||||
import org.docx4j.fonts.PhysicalFont;
|
||||
import org.docx4j.wml.Fonts;
|
||||
|
||||
import java.util.HashMap;
|
||||
import java.util.LinkedHashSet;
|
||||
import java.util.Locale;
|
||||
import java.util.Map;
|
||||
import java.util.Set;
|
||||
|
||||
/**
|
||||
@@ -15,7 +13,8 @@ import java.util.Set;
|
||||
*
|
||||
* Стратегия (см. {@link #populateFontMappings}):
|
||||
* 1. Частые MS-шрифты заменяются метрически совместимыми open-source
|
||||
* аналогами (таблица алиасов) — они есть в jar и содержат кириллицу.
|
||||
* аналогами (таблица алиасов {@link BundledFontAliases}) — они есть в
|
||||
* jar и содержат кириллицу.
|
||||
* 2. Нераспознанные шрифты передаются родительскому
|
||||
* {@link BestMatchingMapper} (совпадение по Panose-кодам среди
|
||||
* доступных шрифтов).
|
||||
@@ -27,95 +26,30 @@ import java.util.Set;
|
||||
* файл для каждого начертания. Ключи register*Form — точное имя из
|
||||
* документа: docx4j ищет варианты именно по нему.
|
||||
*
|
||||
* ВАЖНО (macOS): {@code PhysicalFonts.getBoldForm} для имён бандл-шрифтов
|
||||
* ({@code Tinos Regular}, {@code Carlito Regular}, …) на macOS уходит в
|
||||
* {@code MicrosoftFontsRegistry} и возвращает {@code null} — у этих записей
|
||||
* нет Mac-имени файла. docx4j тогда строит simulate-style fopconf (все
|
||||
* начертания на regular-TTF), и FOP теряет реальные Bold/Italic: другие
|
||||
* метрики и кернинг ломают переносы в узких ячейках (регрессии —
|
||||
* {@code WordPdfConverterTest#strictOoxml_convertsNotRejected},
|
||||
* {@code #ruPlain_regularRunsUseRegularFont}). Override-ы
|
||||
* {@code getBoldForm}/{@code getItalicForm}/{@code getBoldItalicForm}
|
||||
* отдают реальные бандл-варианты.
|
||||
*
|
||||
* ВАЖНО (порядок инициализации): конструктор BestMatchingMapper
|
||||
* запускает обнаружение системных шрифтов, которые могут занять те же
|
||||
* имена в реестре docx4j. Поэтому {@code BundledFonts.init()} нужно
|
||||
* вызывать ПОСЛЕ создания маппера, чтобы бандл-шрифты оказались в
|
||||
* реестре поверх системных.
|
||||
* реестре поверх системных. Таблица алиасов вынесена в
|
||||
* {@link BundledFontAliases}, чтобы обращение к ней не инициировало этот
|
||||
* класс до гейта {@code WordPdfConverter.<clinit>}.
|
||||
*/
|
||||
public class BundledFontMapper extends BestMatchingMapper {
|
||||
|
||||
/**
|
||||
* Алиасы: имя шрифта из документа (lowercase) -> бандл-семейство (lowercase).
|
||||
* Croscore (Arimo/Tinos/Cousine) и crosextra (Carlito/Caladea) шрифты
|
||||
* метрически совместимы с соответствующими MS-шрифтами и содержат
|
||||
* кириллицу.
|
||||
*/
|
||||
private static final Map<String, String> ALIASES;
|
||||
|
||||
/** Финальный fallback: шрифт с гарантированной кириллицей. */
|
||||
private static final String FALLBACK_FAMILY = BundledFonts.FALLBACK_FAMILY;
|
||||
|
||||
/**
|
||||
* Имя семейства для записи в {@code w:rFonts} (ключ — lowercase-семейство).
|
||||
* Нужно {@code GlyphCoverageNormalizer}: он пишет в разрезанный ран
|
||||
* человекочитаемое имя, а {@link #populateFontMappings} маппит его
|
||||
* обратно на TTF.
|
||||
*/
|
||||
private static final Map<String, String> DISPLAY_NAMES = Map.of(
|
||||
"dejavu sans", "DejaVu Sans",
|
||||
"dejavu serif", "DejaVu Serif",
|
||||
"noto naskh arabic", "Noto Naskh Arabic",
|
||||
"noto sans armenian", "Noto Sans Armenian");
|
||||
|
||||
/**
|
||||
* Имя, которое docx4j {@code RunFontSelector} запрашивает у маппера для
|
||||
* символов диапазона U+2000–U+2EFF (em-dash «—», кавычки «„», многоточие
|
||||
* «…»), если шрифт ранa не содержит глифа. Это виртуальное имя (в
|
||||
* документе его нет), поэтому маппим его на {@link #FALLBACK_FAMILY}:
|
||||
* без записи символ остаётся без font-family в FO и рендерится системным
|
||||
* неembedded-шрифтом (Helvetica).
|
||||
*/
|
||||
static final String SYMBOL_FONT = "Segoe UI Symbol";
|
||||
|
||||
static {
|
||||
Map<String, String> m = new HashMap<>();
|
||||
// Частые MS-шрифты -> open-source аналоги
|
||||
m.put("calibri", "carlito");
|
||||
m.put("calibri light", "carlito");
|
||||
m.put("cambria", "caladea");
|
||||
m.put("arial", "arimo");
|
||||
m.put("times new roman", "tinos");
|
||||
m.put("courier new", "cousine");
|
||||
// Бандл-шрифты сами по себе (на случай, если документ прямо
|
||||
// указывает одно из них)
|
||||
m.put("carlito", "carlito");
|
||||
m.put("caladea", "caladea");
|
||||
m.put("arimo", "arimo");
|
||||
m.put("tinos", "tinos");
|
||||
m.put("cousine", "cousine");
|
||||
m.put("dejavu sans", "dejavu sans");
|
||||
m.put("dejavu serif", "dejavu serif");
|
||||
// Покрывающие шрифты (в документе обычно не встречаются, но если
|
||||
// встречаться — маппятся на себя, а не в DejaVu-фолбэк)
|
||||
m.put("noto naskh arabic", "noto naskh arabic");
|
||||
m.put("noto sans armenian", "noto sans armenian");
|
||||
ALIASES = Map.copyOf(m);
|
||||
}
|
||||
|
||||
/**
|
||||
* Бандл-семейство для имени шрифта из документа (таблица алиасов)
|
||||
* или финальный fallback. Используется пре-рендером диаграмм
|
||||
* (internal/chart), которому нужен тот же шрифт, что и у текста PDF.
|
||||
*/
|
||||
public static String bundledFamily(String docFontName) {
|
||||
String family = ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
|
||||
return family != null && BundledFonts.regular(family) != null
|
||||
? family
|
||||
: FALLBACK_FAMILY;
|
||||
}
|
||||
|
||||
/**
|
||||
* Имя шрифта, которое можно поставить в {@code w:rFonts}, чтобы получить
|
||||
* бандл-семейство {@code family}: {@link GlyphCoverageNormalizer} пишет
|
||||
* его в разрезанные раны. Обратная к {@link #bundledFamily} операция —
|
||||
* имена берутся из таблицы алиасов, поэтому маппинг гарантированно
|
||||
* возвращается к тому же семейству.
|
||||
*/
|
||||
public static String documentFontName(String family) {
|
||||
return DISPLAY_NAMES.getOrDefault(family, family);
|
||||
}
|
||||
|
||||
/**
|
||||
* Вызывается docx4j при {@code package.setFontMapper(...)}: для каждого
|
||||
* имени шрифта, использованного в документе, нужно определить, каким
|
||||
@@ -126,21 +60,21 @@ public class BundledFontMapper extends BestMatchingMapper {
|
||||
*/
|
||||
@Override
|
||||
public void populateFontMappings(Set<String> documentFontNames, Fonts wmlFonts) throws Exception {
|
||||
// Виртуальное имя для символов U+2000–U+2EFF (см. SYMBOL_FONT):
|
||||
// Виртуальное имя для символов U+2000–U+2EFF (см. BundledFontAliases.SYMBOL_FONT):
|
||||
// маппим сразу, чтобы оно не попало в remaining и родительский
|
||||
// BestMatchingMapper не пытался искать его в fontTable (и не логировал
|
||||
// "Font Segoe UI Symbol not found in font table!").
|
||||
if (BundledFonts.regular(FALLBACK_FAMILY) != null) {
|
||||
mapFamily(SYMBOL_FONT, FALLBACK_FAMILY);
|
||||
mapFamily(BundledFontAliases.SYMBOL_FONT, FALLBACK_FAMILY);
|
||||
}
|
||||
|
||||
Set<String> remaining = new LinkedHashSet<>();
|
||||
for (String docFontName : documentFontNames) {
|
||||
if (SYMBOL_FONT.equalsIgnoreCase(docFontName)) {
|
||||
if (BundledFontAliases.SYMBOL_FONT.equalsIgnoreCase(docFontName)) {
|
||||
// уже маппировано выше
|
||||
continue;
|
||||
}
|
||||
String family = ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
|
||||
String family = BundledFontAliases.ALIASES.get(docFontName.toLowerCase(Locale.ROOT));
|
||||
if (family == null || BundledFonts.regular(family) == null) {
|
||||
// Нет алиаса (или init() не вызван) — доверимся родителю
|
||||
remaining.add(docFontName);
|
||||
@@ -163,6 +97,51 @@ public class BundledFontMapper extends BestMatchingMapper {
|
||||
}
|
||||
}
|
||||
|
||||
/** Начертание бандла вместо registry-эвристики: см. «ВАЖНО (macOS)» в javadoc класса. */
|
||||
@Override
|
||||
public PhysicalFont getBoldForm(String fontName, PhysicalFont physicalFont) {
|
||||
PhysicalFont bundled = bundledSibling(physicalFont, BundledFonts.V_BOLD);
|
||||
return bundled != null ? bundled : super.getBoldForm(fontName, physicalFont);
|
||||
}
|
||||
|
||||
/** Начертание бандла вместо registry-эвристики: см. «ВАЖНО (macOS)» в javadoc класса. */
|
||||
@Override
|
||||
public PhysicalFont getItalicForm(String fontName, PhysicalFont physicalFont) {
|
||||
PhysicalFont bundled = bundledSibling(physicalFont, BundledFonts.V_ITALIC);
|
||||
return bundled != null ? bundled : super.getItalicForm(fontName, physicalFont);
|
||||
}
|
||||
|
||||
/** Начертание бандла вместо registry-эвристики: см. «ВАЖНО (macOS)» в javadoc класса. */
|
||||
@Override
|
||||
public PhysicalFont getBoldItalicForm(String fontName, PhysicalFont physicalFont) {
|
||||
PhysicalFont bundled = bundledSibling(physicalFont, BundledFonts.V_BOLD_ITALIC);
|
||||
return bundled != null ? bundled : super.getBoldItalicForm(fontName, physicalFont);
|
||||
}
|
||||
|
||||
/**
|
||||
* Реальное начертание бандл-семейства, к которому относится {@code pf}.
|
||||
*
|
||||
* <p>Семейство опознаётся по {@code embeddedURI} regular-варианта, а не
|
||||
* по имени: на macOS имя в реестре docx4j — полное из TTF-таблицы
|
||||
* ({@code Tinos Regular}), и именно на нём ломается
|
||||
* {@code PhysicalFonts.getBoldForm}. Шрифт вне бандла (или {@code pf ==
|
||||
* null}, {@code BundledFonts.init()} не вызван) → {@code null}, вызывающий
|
||||
* идёт родительской логикой.</p>
|
||||
*/
|
||||
private static PhysicalFont bundledSibling(PhysicalFont pf, String variant) {
|
||||
if (pf == null || pf.getEmbeddedURI() == null) {
|
||||
return null;
|
||||
}
|
||||
String uri = pf.getEmbeddedURI().toString();
|
||||
for (String family : BundledFonts.families()) {
|
||||
PhysicalFont regular = BundledFonts.regular(family);
|
||||
if (regular != null && uri.equals(regular.getEmbeddedURI().toString())) {
|
||||
return BundledFonts.font(family, variant);
|
||||
}
|
||||
}
|
||||
return null;
|
||||
}
|
||||
|
||||
/**
|
||||
* Привязывает все начертания семейства к имени шрифта из документа.
|
||||
*/
|
||||
|
||||
@@ -2,6 +2,7 @@ package ru.pjandro.wordpdf.fonts;
|
||||
|
||||
import org.docx4j.fonts.PhysicalFont;
|
||||
import org.docx4j.fonts.PhysicalFonts;
|
||||
import ru.pjandro.wordpdf.WordPdfConverter;
|
||||
|
||||
import java.io.IOException;
|
||||
import java.io.InputStream;
|
||||
@@ -124,8 +125,15 @@ public final class BundledFonts {
|
||||
/**
|
||||
* Выгружает шрифты из jar и регистрирует их в docx4j.
|
||||
* Повторные вызовы игнорируются (idempotентно).
|
||||
*
|
||||
* <p>Монитор — {@code WordPdfConverter.class}, а не {@code BundledFonts.class}:
|
||||
* {@code PhysicalFonts} и {@link #VARIANTS} читаются рендером внутри
|
||||
* конвертации (она сериализована монитором конвертера), и мутация под
|
||||
* собственным замком вырезала бы записи из-под идущего рендера.
|
||||
* Все синхронизированные методы класса держат ровно этот монитор.</p>
|
||||
*/
|
||||
public static synchronized void init() {
|
||||
public static void init() {
|
||||
synchronized (WordPdfConverter.class) {
|
||||
if (inited) {
|
||||
return;
|
||||
}
|
||||
@@ -176,6 +184,7 @@ public final class BundledFonts {
|
||||
extractDir.toFile().deleteOnExit();
|
||||
inited = true;
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Удаляет из реестра docx4j все шрифты вне бандла (системные, которые
|
||||
@@ -188,13 +197,19 @@ public final class BundledFonts {
|
||||
* em-dash на шрифте ранa (Carlito) вместо fallback-DejaVu.
|
||||
* Шрифты, встроенные в docx, регистрируются при {@code load()} —
|
||||
* если чистить до load(), они останутся в реестре.
|
||||
* <p>Мутирует глобальный реестр {@code PhysicalFonts} под монитором
|
||||
* {@code WordPdfConverter.class} — тем же, что сериализует конвертации,
|
||||
* поэтому вызов рядом с идущей {@code WordPdfConverter.convert()}
|
||||
* безопасен автоматически (замок удерживается внутри метода).
|
||||
*/
|
||||
public static synchronized void restrictToBundled() {
|
||||
public static void restrictToBundled() {
|
||||
synchronized (WordPdfConverter.class) {
|
||||
if (!inited) {
|
||||
return;
|
||||
}
|
||||
dropNonBundled();
|
||||
}
|
||||
}
|
||||
|
||||
/** Удаляет из реестра всё, что не было выгружено из jar в {@link #extractDir}. */
|
||||
private static void dropNonBundled() {
|
||||
@@ -232,13 +247,19 @@ public final class BundledFonts {
|
||||
|
||||
/**
|
||||
* Зарегистрированный шрифт: семейство (lowercase) + начертание.
|
||||
* Синхронизирован с {@link #init()} общим монитором
|
||||
* {@code WordPdfConverter.class}: {@code VARIANTS} — обычный
|
||||
* {@code HashMap}, наполняемый в {@code init()}; без замка внешний
|
||||
* читатель мог бы увидеть недобранную карту.
|
||||
*
|
||||
* @return PhysicalFont или null (если init() не вызван или шрифта нет)
|
||||
*/
|
||||
public static PhysicalFont font(String family, String variant) {
|
||||
synchronized (WordPdfConverter.class) {
|
||||
Map<String, PhysicalFont> m = VARIANTS.get(family);
|
||||
return m == null ? null : m.get(variant);
|
||||
}
|
||||
}
|
||||
|
||||
public static PhysicalFont regular(String family) {
|
||||
return font(family, V_REGULAR);
|
||||
|
||||
@@ -38,6 +38,12 @@ import java.util.Map;
|
||||
* каталога {@link BundledFonts#init()} — поэтому класс не зависит от
|
||||
* порядка шагов конвертации. TTF буферизуется в памяти и живёт до конца
|
||||
* JVM (шрифты бандла конечны, {@link TrueTypeFont} намеренно не закрываем).
|
||||
*
|
||||
* Потокобезопасен: {@link #of(String, String)} идёт под монитором класса
|
||||
* (единый {@code CACHE}), {@code cmap} — {@code volatile} поле с
|
||||
* идемпотентным пересчётом, а ленивые таблицы fontbox читаются под её
|
||||
* внутренними замками ({@code TrueTypeFont.lockReadtable}, fontbox 3.x) —
|
||||
* один экземпляр можно держать в нескольких потоках.
|
||||
*/
|
||||
public final class GlyphFont {
|
||||
|
||||
|
||||
@@ -13,7 +13,7 @@ import java.util.regex.Pattern;
|
||||
/**
|
||||
* Нормализация ST_OnOff-значений в docx перед загрузкой docx4j.
|
||||
*
|
||||
* docx4j 11.x теряет атрибуты {@code w:val="off"} / {@code w:val="on"}
|
||||
* docx4j 17.x теряет атрибуты {@code w:val="off"} / {@code w:val="on"}
|
||||
* при JAXB-разборе (тип поля {@code Boolean} не принимает "on"/"off",
|
||||
* поле остаётся null и {@code BooleanDefaultTrue.isVal()} считается
|
||||
* true). Из-за этого явные {@code <w:b w:val="off"/>} и
|
||||
@@ -22,9 +22,14 @@ import java.util.regex.Pattern;
|
||||
* docx4j разбирает корректно, поэтому заменяем "off"->"false",
|
||||
* "on"->"true" в XML-частях word/*.xml.
|
||||
*
|
||||
* <p>Исключение — {@code w:scrollbar} (свойство фрейма, §17.15.2.37): его
|
||||
* {@code w:val} — ST_FrameScrollbar (none/left/right/leftAndRight,
|
||||
* §17.18.32), единственный не-ST_OnOff носитель on/off в WML; переписывать
|
||||
* его нельзя — вывод станет невалидным.
|
||||
*
|
||||
* Если совпадений нет, возвращает исходный массив без переупаковки zip.
|
||||
*/
|
||||
public final class DocxOnOffNormalizer {
|
||||
final class DocxOnOffNormalizer {
|
||||
|
||||
/**
|
||||
* {@code w:val="on"/"off"} только внутри открывающего тега: group 1 — от
|
||||
@@ -33,15 +38,12 @@ public final class DocxOnOffNormalizer {
|
||||
* {@code w:t} не правится. Регрессия — DocxOnOffNormalizerTest#onOffInTextNotTouched.
|
||||
*/
|
||||
private static final Pattern ON_OFF = Pattern.compile(
|
||||
"(<[A-Za-z][A-Za-z0-9:]*(?:\\s[^<>]*)?)w:val=([\"'])(on|off)\\2",
|
||||
"(<(?!w:scrollbar\\b)[A-Za-z][A-Za-z0-9:]*(?:\\s[^<>]*)?)w:val=([\"'])(on|off)\\2",
|
||||
Pattern.CASE_INSENSITIVE);
|
||||
|
||||
private DocxOnOffNormalizer() {
|
||||
}
|
||||
|
||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||
public static final DocxNormalizer STEP = DocxOnOffNormalizer::normalize;
|
||||
|
||||
/**
|
||||
* Заменяет в XML-частях docx (word/*.xml) w:val="off"/"on"
|
||||
* на "false"/"true".
|
||||
@@ -49,7 +51,7 @@ public final class DocxOnOffNormalizer {
|
||||
* @param docx байты .docx (zip)
|
||||
* @return те же или переупакованные байты
|
||||
*/
|
||||
public static byte[] normalize(byte[] docx) throws IOException {
|
||||
static byte[] normalize(byte[] docx) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||
boolean changed = false;
|
||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||
|
||||
@@ -15,12 +15,14 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
|
||||
/**
|
||||
* Единый zip-проход переписывания XML-частей (.docx) вместо отдельных
|
||||
* проходов нормализаторов: к каждой записи {@code word/*.xml} применяются
|
||||
* все десять рерайтов в фиксированном порядке
|
||||
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby.
|
||||
* все одиннадцать рерайтов в фиксированном порядке
|
||||
* Strict→OnOff→Symbol→Field→Invisible→MathFallback→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby.
|
||||
* Порядок значим: Strict первым — дальше части в transitional-виде
|
||||
* (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage
|
||||
* (TableIndent читает transitional-атрибуты {@code w:}); MathFallback
|
||||
* шестым — flatten unsupported-формул даёт обычный текст ранов, который
|
||||
* следующий GlyphCoverage покрывает кириллицей бандла; GlyphCoverage
|
||||
* режет раны по финальному тексту рана (после Symbol/Invisible); Hidden
|
||||
* последним — вырезает уже финальные раны (после Symbol/GLYPH-разбиений),
|
||||
* девятым — вырезает уже финальные раны (после Symbol/GLYPH-разбиений),
|
||||
* а его OnOff-форма vanish читается после правила 2. Каждый
|
||||
* рерайт работает только содержимым одной части, поэтому по-частная
|
||||
* цепочка эквивалентна последовательным полным проходам. Исключения из
|
||||
@@ -52,13 +54,13 @@ public final class DocxRewritePipeline {
|
||||
public static final DocxNormalizer STEP = DocxRewritePipeline::normalize;
|
||||
|
||||
/**
|
||||
* Применяет десять рерайтов к каждой записи {@code word/*.xml} за один
|
||||
* Применяет одиннадцать рерайтов к каждой записи {@code word/*.xml} за один
|
||||
* проход zip.
|
||||
*
|
||||
* @param docx байты .docx (валидный zip)
|
||||
* @return те же или переупакованные байты
|
||||
*/
|
||||
public static byte[] normalize(byte[] docx) throws IOException {
|
||||
static byte[] normalize(byte[] docx) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||
boolean changed = false;
|
||||
try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx));
|
||||
@@ -66,7 +68,8 @@ public final class DocxRewritePipeline {
|
||||
// Ширина полосы набора для правила 7 (таблицы в header/footer-
|
||||
// частях своей sectPr не содержат): из сырого document.xml —
|
||||
// геометрия инвариантна к рерайтам цепочки (Strict не трогает
|
||||
// w:pgSz/@w:w, а pgMar-чередование left|start покрывает strict).
|
||||
// w:pgSz/@w:w; у strict CT_PageMar start/end нет вовсе —
|
||||
// только left/right).
|
||||
// Записи нет/несколько секций → −1, header/footer консервативно
|
||||
// пропускаются (та же неоднозначность полосы, что для body).
|
||||
int band = -1;
|
||||
@@ -113,6 +116,10 @@ public final class DocxRewritePipeline {
|
||||
if (next != null) {
|
||||
cur = next;
|
||||
}
|
||||
next = MathFallbackNormalizer.rewrite(cur);
|
||||
if (next != null) {
|
||||
cur = next;
|
||||
}
|
||||
next = GlyphCoverageNormalizer.rewrite(cur);
|
||||
if (next != null) {
|
||||
cur = next;
|
||||
@@ -133,7 +140,7 @@ public final class DocxRewritePipeline {
|
||||
if (next != null) {
|
||||
cur = next;
|
||||
}
|
||||
if (cur != xml) {
|
||||
if (!cur.equals(xml)) {
|
||||
changed = true;
|
||||
rewritten = cur.getBytes(StandardCharsets.UTF_8);
|
||||
}
|
||||
|
||||
@@ -36,7 +36,7 @@ import java.util.zip.ZipOutputStream;
|
||||
* разбираются — если внутри {@code begin … end} встречается ещё один
|
||||
* {@code begin}, поле пропускается.
|
||||
*/
|
||||
public final class FieldNormalizer {
|
||||
final class FieldNormalizer {
|
||||
|
||||
/** Инструкции, для которых в docx4j-export-fo есть обработчик fldSimple. */
|
||||
private static final String[] SUPPORTED = {"PAGE", "NUMPAGES", "SECTIONPAGES"};
|
||||
@@ -44,16 +44,13 @@ public final class FieldNormalizer {
|
||||
private FieldNormalizer() {
|
||||
}
|
||||
|
||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||
public static final DocxNormalizer STEP = FieldNormalizer::normalize;
|
||||
|
||||
/**
|
||||
* Переписывает поддерживаемые поля во всех word/*.xml частях docx.
|
||||
*
|
||||
* @param docx байты .docx (zip)
|
||||
* @return те же или переупакованные байты
|
||||
*/
|
||||
public static byte[] normalize(byte[] docx) throws IOException {
|
||||
static byte[] normalize(byte[] docx) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||
boolean changed = false;
|
||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||
|
||||
@@ -26,7 +26,16 @@ import ru.pjandro.wordpdf.fonts.BundledFonts;
|
||||
* рендерится шрифтом просмотрщика либо .notdef («#»). Поэтому в конфиг
|
||||
* добавляются ВСЕ шрифты бандла: стоит они в документе или нет, решает FO.
|
||||
*
|
||||
* Метод идемпотентен: уже задекларированное семейство не дублируется.
|
||||
* Конфиг обязан быть полным при каждом {@code declare}: общая FopFactory
|
||||
* ({@code WordPdfConverter.sharedFopFactory}) строится из fopconf первого
|
||||
* документа JVM, а docx4j декларирует из {@code fontsInUse} только
|
||||
* использованные начертания — {@code declareFamily} дополняет семейство
|
||||
* недостающими реальными начертаниями, а не пропускает его целиком.
|
||||
* Идемпотентность: начертание, уже имеющее в конфиге запись на реальном
|
||||
* TTF, не дублируется.
|
||||
*
|
||||
* <p>Регрессия — FopFallbackFontsTest#declareWhenDocx4jDeclaredRegularOnly_addsMissingVariants,
|
||||
* WordPdfConverterTest#fopFactoryFrozenFromFirstDoc_fontsComplete.
|
||||
*/
|
||||
public final class FopFallbackFonts {
|
||||
|
||||
@@ -49,7 +58,15 @@ public final class FopFallbackFonts {
|
||||
}
|
||||
}
|
||||
|
||||
/** Одно семейство: regular + существующие начертания (Noto — только regular). */
|
||||
/**
|
||||
* Одно семейство: каждое начертание, для которого в конфиге нет
|
||||
* записи с реальным TTF этого начертания (Noto — только regular,
|
||||
* отсутствующие варианты пропускаются). Family-level «уже есть —
|
||||
* пропускаем всё» запрещён: docx4j декларирует только использованные
|
||||
* начертания (или simulate-style на одном файле), а общая FopFactory
|
||||
* замораживает конфиг первого документа на всю JVM — пропущенное
|
||||
* семейство остаётся неполным для всех последующих конвертаций.
|
||||
*/
|
||||
private static void declareFamily(Fonts rendererFonts, ObjectFactory factory,
|
||||
String family) {
|
||||
PhysicalFont regular = BundledFonts.regular(family);
|
||||
@@ -61,21 +78,43 @@ public final class FopFallbackFonts {
|
||||
// и под это же имя декларируются все начертания (так делает
|
||||
// docx4j FopConfigUtil.createVariant).
|
||||
String familyName = regular.getName();
|
||||
for (Fonts.Font existing : rendererFonts.getFont()) {
|
||||
for (Fonts.Font.FontTriplet triplet : existing.getFontTriplet()) {
|
||||
if (familyName.equals(triplet.getName())) {
|
||||
return;
|
||||
String[][] variants = {
|
||||
{BundledFonts.V_REGULAR, "normal", "normal"},
|
||||
{BundledFonts.V_BOLD, "normal", "bold"},
|
||||
{BundledFonts.V_ITALIC, "italic", "normal"},
|
||||
{BundledFonts.V_BOLD_ITALIC, "italic", "bold"},
|
||||
};
|
||||
for (String[] v : variants) {
|
||||
PhysicalFont variant = BundledFonts.font(family, v[0]);
|
||||
if (variant == null
|
||||
|| hasRealFace(rendererFonts, familyName, v[1], v[2], variant)) {
|
||||
continue;
|
||||
}
|
||||
addFont(rendererFonts, factory, familyName, variant, v[1], v[2]);
|
||||
}
|
||||
}
|
||||
|
||||
addFont(rendererFonts, factory, familyName, regular, "normal", "normal");
|
||||
addFont(rendererFonts, factory, familyName,
|
||||
BundledFonts.bold(family), "normal", "bold");
|
||||
addFont(rendererFonts, factory, familyName,
|
||||
BundledFonts.italic(family), "italic", "normal");
|
||||
addFont(rendererFonts, factory, familyName,
|
||||
BundledFonts.boldItalic(family), "italic", "bold");
|
||||
/**
|
||||
* Есть ли в конфиге запись триплета (familyName, style, weight) именно
|
||||
* на реальном TTF {@code variant}. Триплет без этого embed-url
|
||||
* (simulate-style docx4j — все начертания на regular-файле) реальным
|
||||
* лицом не считается: FOP встроит из него не то начертание.
|
||||
*/
|
||||
private static boolean hasRealFace(Fonts rendererFonts, String familyName,
|
||||
String style, String weight, PhysicalFont variant) {
|
||||
String url = variant.getEmbeddedURI().toString();
|
||||
for (Fonts.Font font : rendererFonts.getFont()) {
|
||||
if (!url.equals(font.getEmbedUrl())) {
|
||||
continue;
|
||||
}
|
||||
for (Fonts.Font.FontTriplet triplet : font.getFontTriplet()) {
|
||||
if (familyName.equals(triplet.getName()) && style.equals(triplet.getStyle())
|
||||
&& weight.equals(triplet.getWeight())) {
|
||||
return true;
|
||||
}
|
||||
}
|
||||
}
|
||||
return false;
|
||||
}
|
||||
|
||||
/**
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
package ru.pjandro.wordpdf.internal;
|
||||
|
||||
import ru.pjandro.wordpdf.fonts.BundledFontMapper;
|
||||
import ru.pjandro.wordpdf.fonts.BundledFontAliases;
|
||||
import ru.pjandro.wordpdf.fonts.BundledFonts;
|
||||
import ru.pjandro.wordpdf.fonts.GlyphFont;
|
||||
|
||||
@@ -38,7 +38,7 @@ import java.util.concurrent.ConcurrentHashMap;
|
||||
* Делаем то, что должен был сделать рендер: ран, в тексте которого есть
|
||||
* знаки без глифа, разрезается на части, и каждой части явно назначается
|
||||
* бандл-семейство, где глиф есть ({@link #targetFamily}). Имя пишется в
|
||||
* {@code w:rFonts}, дальше {@link BundledFontMapper} маппит его на TTF,
|
||||
* {@code w:rFonts}, дальше {@code BundledFontMapper} маппит его на TTF,
|
||||
* а {@link FopFallbackFonts} декларирует его в FOP-конфиге.
|
||||
*
|
||||
* Правила, ограничивающие вмешательство:
|
||||
@@ -54,7 +54,7 @@ import java.util.concurrent.ConcurrentHashMap;
|
||||
*
|
||||
* Как и {@link SymbolFontNormalizer}, правим байты zip до JAXB-разбора.
|
||||
*/
|
||||
public final class GlyphCoverageNormalizer {
|
||||
final class GlyphCoverageNormalizer {
|
||||
|
||||
/** Семейства с засечками: для них fallback ищется сначала среди serif. */
|
||||
private static final List<String> SERIF_FAMILIES =
|
||||
@@ -81,16 +81,13 @@ public final class GlyphCoverageNormalizer {
|
||||
private GlyphCoverageNormalizer() {
|
||||
}
|
||||
|
||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||
public static final DocxNormalizer STEP = GlyphCoverageNormalizer::normalize;
|
||||
|
||||
/**
|
||||
* Разрезает раны с непокрытыми глифами в XML-частях docx (word/*.xml).
|
||||
*
|
||||
* @param docx байты .docx (zip)
|
||||
* @return те же или переупакованные байты
|
||||
*/
|
||||
public static byte[] normalize(byte[] docx) throws IOException {
|
||||
static byte[] normalize(byte[] docx) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||
boolean changed = false;
|
||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||
@@ -409,7 +406,7 @@ public final class GlyphCoverageNormalizer {
|
||||
if (!m.find()) {
|
||||
return null;
|
||||
}
|
||||
return BundledFontMapper.bundledFamily(m.group(2));
|
||||
return BundledFontAliases.bundledFamily(m.group(2));
|
||||
}
|
||||
|
||||
/**
|
||||
@@ -417,7 +414,7 @@ public final class GlyphCoverageNormalizer {
|
||||
* {@code w:rFonts}, а если их нет — вставляет элемент первым ребёнком.
|
||||
*/
|
||||
private static String forceFont(String rPr, String family) {
|
||||
String name = BundledFontMapper.documentFontName(family);
|
||||
String name = BundledFontAliases.documentFontName(family);
|
||||
String fonts = "<w:rFonts w:ascii=\"" + name + "\" w:hAnsi=\"" + name + "\"/>";
|
||||
if (rPr.isEmpty()) {
|
||||
return "<w:rPr>" + fonts + "</w:rPr>";
|
||||
|
||||
@@ -24,7 +24,7 @@ import org.apache.commons.compress.archivers.zip.ZipFile;
|
||||
import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
|
||||
|
||||
/**
|
||||
* Вырезание скрытых ранов ({@code w:rPr/w:vanish}, Part 1 §17.3.2.30) из
|
||||
* Вырезание скрытых ранов ({@code w:rPr/w:vanish}, Part 1 §17.3.2.41) из
|
||||
* XML-частей — до загрузки docx4j.
|
||||
*
|
||||
* <p>Word по умолчанию не выводит скрытый текст ни на экран, ни на печать,
|
||||
@@ -39,8 +39,13 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
|
||||
* правило 2 к моменту запуска уже привело on/off к true/false, но обе формы
|
||||
* принимаются) либо {@code w:rStyle} ссылается на стиль с vanish — по
|
||||
* цепочке {@code w:basedOn} (капа 16, цикл — обрыв; тот же приём, что
|
||||
* {@code internal/doc/Styles}). Прямой vanish ранa перекрывает стилевой;
|
||||
* вложенные раны ({@code w:rubyBase}/{@code w:rt}, текстовые боксы)
|
||||
* {@code internal/doc/Styles}). Прямой vanish ранa перекрывает стилевой
|
||||
* (§17.7.3: в конфликте toggle выигрывает direct formatting); принятое
|
||||
* упрощение стилевого слоя — явный falsy {@code w:val} <b>у стиля</b>
|
||||
* (vanish=false поверх vanish-предка по {@code w:basedOn}) не
|
||||
* разворачивается: стиль с {@code w:vanish} делает раны скрытыми
|
||||
* независимо от {@code w:val}; вложенные раны
|
||||
* ({@code w:rubyBase}/{@code w:rt}, текстовые боксы)
|
||||
* оцениваются независимо, но ран внутри уже удалённого внешнего не
|
||||
* вырезается повторно (диапазоны сливаются при сборке).
|
||||
*
|
||||
@@ -64,7 +69,7 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
|
||||
*
|
||||
* <p>Регрессия — WordPdfConverterTest#hiddenText_notPrinted.
|
||||
*/
|
||||
public final class HiddenTextNormalizer {
|
||||
final class HiddenTextNormalizer {
|
||||
|
||||
/** Капа цепочки {@code w:basedOn} (образец — {@code doc.Styles.MAX_CHAIN}). */
|
||||
private static final int MAX_CHAIN = 16;
|
||||
@@ -72,6 +77,10 @@ public final class HiddenTextNormalizer {
|
||||
/** Закрывающий слэш самозакрывающегося тега. */
|
||||
private static final char SELF_CLOSE = '/';
|
||||
|
||||
/** Части, которые рерайт пропускает: ранов там нет, а vanish в styles — входные данные. */
|
||||
private static final String STYLES_PART = "word/styles.xml";
|
||||
private static final String NUMBERING_PART = "word/numbering.xml";
|
||||
|
||||
/** Открывающий/закрывающий тег рана; {@code <w:rPr>}/{@code <w:rStyle>} и прочее не матчатся по границе имени. */
|
||||
private static final Pattern RUN_TOKEN = Pattern.compile("<w:r(?=[ >/])|</w:r>");
|
||||
|
||||
@@ -97,9 +106,6 @@ public final class HiddenTextNormalizer {
|
||||
private HiddenTextNormalizer() {
|
||||
}
|
||||
|
||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||
public static final DocxNormalizer STEP = HiddenTextNormalizer::normalize;
|
||||
|
||||
/**
|
||||
* Вырезает скрытые раны (только прямой {@code w:vanish}) из XML-частей
|
||||
* docx; {@code word/styles.xml}/{@code word/numbering.xml} пропускаются.
|
||||
@@ -107,10 +113,10 @@ public final class HiddenTextNormalizer {
|
||||
* @param docx байты .docx (zip)
|
||||
* @return те же или переупакованные байты
|
||||
*/
|
||||
public static byte[] normalize(byte[] docx) throws IOException {
|
||||
static byte[] normalize(byte[] docx) throws IOException {
|
||||
Set<String> vanishStyles = Set.of();
|
||||
try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx))) {
|
||||
ZipArchiveEntry styles = zf.getEntry("word/styles.xml");
|
||||
ZipArchiveEntry styles = zf.getEntry(STYLES_PART);
|
||||
if (styles != null) {
|
||||
vanishStyles = vanishStyles(new String(
|
||||
zf.getInputStream(styles).readAllBytes(), StandardCharsets.UTF_8));
|
||||
@@ -152,7 +158,7 @@ public final class HiddenTextNormalizer {
|
||||
* @return новая строка либо null, если менять нечего
|
||||
*/
|
||||
static String rewritePart(String name, String xml, Set<String> vanishStyleIds) {
|
||||
if ("word/styles.xml".equals(name) || "word/numbering.xml".equals(name)) {
|
||||
if (STYLES_PART.equals(name) || NUMBERING_PART.equals(name)) {
|
||||
return null;
|
||||
}
|
||||
return rewrite(vanishStyleIds, xml);
|
||||
@@ -309,6 +315,9 @@ public final class HiddenTextNormalizer {
|
||||
if (hasTruthyVanish(region)) {
|
||||
return true;
|
||||
}
|
||||
if (hasExplicitFalsyVanish(region)) {
|
||||
return false; // явный w:val=false/0/off перекрывает стилевой vanish (§17.7.3)
|
||||
}
|
||||
if (!vanishStyleIds.isEmpty()) {
|
||||
Matcher r = RSTYLE.matcher(region);
|
||||
if (r.find() && vanishStyleIds.contains(r.group(1))) {
|
||||
@@ -360,7 +369,7 @@ public final class HiddenTextNormalizer {
|
||||
String tag = end < 0 ? region.substring(i) : region.substring(i, end + 1);
|
||||
Matcher v = VAL_ATTR.matcher(tag);
|
||||
if (!v.find()) {
|
||||
return true; // вал опущен — default true (Part 1 §17.3.2.30)
|
||||
return true; // вал опущен — default true (Part 1 §17.3.2.41)
|
||||
}
|
||||
if (truthy(v.group(1))) {
|
||||
return true;
|
||||
@@ -372,11 +381,21 @@ public final class HiddenTextNormalizer {
|
||||
return false;
|
||||
}
|
||||
|
||||
/** truthy по Part 1 §17.18.69 ST_OnOff: false/0/off — выключено, прочее — включено. */
|
||||
/** truthy по Part 1 §22.9.2.7 ST_OnOff: false/0/off — выключено, прочее — включено. */
|
||||
private static boolean truthy(String val) {
|
||||
return !"false".equalsIgnoreCase(val) && !"0".equals(val) && !"off".equalsIgnoreCase(val);
|
||||
}
|
||||
|
||||
/** Явный falsy {@code w:vanish} (val=false/0/off) — перекрытие стилевого. */
|
||||
private static final Pattern FALSY_VANISH =
|
||||
Pattern.compile("<w:vanish\\b[^>]*w:val=\"(?:false|0|off)\"",
|
||||
Pattern.CASE_INSENSITIVE);
|
||||
|
||||
/** Есть ли в регионе явный falsy {@code w:vanish} (val=false/0/off). */
|
||||
private static boolean hasExplicitFalsyVanish(String region) {
|
||||
return FALSY_VANISH.matcher(region).find();
|
||||
}
|
||||
|
||||
/** Есть ли защищённый элемент в содержимом рана [from, to). */
|
||||
private static boolean hasProtected(String xml, int from, int to) {
|
||||
for (String p : PROTECTED) {
|
||||
|
||||
@@ -27,9 +27,10 @@ import java.util.zip.ZipOutputStream;
|
||||
* в невидимый DejaVu — FOP рисует «тофу» прямо в тексте.</li>
|
||||
* </ul>
|
||||
*
|
||||
* Zero-width знаки, значимые для shaping и переносов (U+00A0, U+00AD,
|
||||
* U+200B, U+200C, U+200D), НЕ трогаем: во всех шрифтах бандла они
|
||||
* нулевой ширины и пустых строк не создают.
|
||||
* NBSP (U+00A0, ширина пробела — не zero-width) и zero-width знаки, значимые
|
||||
* для shaping и переносов (U+00AD, U+200B, U+200C, U+200D), НЕ трогаем:
|
||||
* во всех шрифтах бандла NBSP широк, остальное нулевой ширины, и ни то ни
|
||||
* другое пустых строк не создаёт.
|
||||
*
|
||||
* Правим байты zip до JAXB-разбора, как остальные нормализаторы; запускается
|
||||
* до {@link GlyphCoverageNormalizer}, чтобы тот не искал шрифт для уже
|
||||
@@ -38,7 +39,7 @@ import java.util.zip.ZipOutputStream;
|
||||
* Регрессия — WordPdfConverterTest#invisibleChars_noEmptyLines,
|
||||
* WordPdfConverterTest#invisibleChars_arimoBoxesNotDrawn.
|
||||
*/
|
||||
public final class InvisibleCharNormalizer {
|
||||
final class InvisibleCharNormalizer {
|
||||
|
||||
/**
|
||||
* Коды на вырезание: явные переносы FOP (U+0085, U+2028, U+2029),
|
||||
@@ -86,9 +87,6 @@ public final class InvisibleCharNormalizer {
|
||||
private InvisibleCharNormalizer() {
|
||||
}
|
||||
|
||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||
public static final DocxNormalizer STEP = InvisibleCharNormalizer::normalize;
|
||||
|
||||
/**
|
||||
* Вырезает невидимые символы из текстовых узлов XML-частей docx
|
||||
* (word/*.xml).
|
||||
@@ -96,7 +94,7 @@ public final class InvisibleCharNormalizer {
|
||||
* @param docx байты .docx (zip)
|
||||
* @return те же или переупакованные байты
|
||||
*/
|
||||
public static byte[] normalize(byte[] docx) throws IOException {
|
||||
static byte[] normalize(byte[] docx) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||
boolean changed = false;
|
||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||
|
||||
@@ -0,0 +1,268 @@
|
||||
package ru.pjandro.wordpdf.internal;
|
||||
|
||||
import ru.pjandro.wordpdf.internal.chart.MathModel;
|
||||
|
||||
import java.util.ArrayList;
|
||||
import java.util.HashMap;
|
||||
import java.util.HashSet;
|
||||
import java.util.List;
|
||||
import java.util.Map;
|
||||
import java.util.Set;
|
||||
import java.util.regex.Matcher;
|
||||
import java.util.regex.Pattern;
|
||||
|
||||
/**
|
||||
* Байтовый скан формул OMML (§22.1): блок {@code m:oMathPara}/{@code m:oMath},
|
||||
* содержащий math-элемент вне {@link MathModel#SUPPORTED}, заменяется раном с
|
||||
* конкатенацией текста {@code m:t} (как штатный фолбэк docx4j
|
||||
* {@code XsltFOFunctions.mathText}) — формула видна текстом, а не теряется.
|
||||
*
|
||||
* <p>Зачем скан до загрузки docx4j: собственный растер формул
|
||||
* ({@code MathModel}/{@code MathRenderer} в {@code DrawingPreRenderer})
|
||||
* уронил бы unsupported-конструкцию в {@code MathUnsupportedException} и
|
||||
* деградировал тем же текстом — но скан даёт детерминизм «формула целиком
|
||||
* текстом» для байтового уровня пайплайна и не зависит от JAXB-биндинга.
|
||||
* Рантайм-деградация остаётся второй сетью (биндинг может не смонтировать
|
||||
* неизвестный элемент, который скан увидел).
|
||||
*
|
||||
* <p>Скан namespace-aware: префиксы, привязанные к math-URI на корневом
|
||||
* элементе (+ переопределения {@code xmlns} внутри блока), — unsupported
|
||||
* проверяется только для тегов в math-namespace; префиксы чужих namespace'ов
|
||||
* ( {@code w:rPr} внутри рана формулы) игнорируются. Непривязанный/отсутствующий
|
||||
* map объявлений при наличии {@code :oMath} — консервативная обработка «как
|
||||
* math» (риск потерять контент при недобитом биндинге сильнее избыточной
|
||||
* деградации).
|
||||
*
|
||||
* <p>Позиция в цепочке — шестое правило, перед GlyphCoverage: flatten даёт
|
||||
* обычный текст ранов, который следующий рерайт покрывает кириллицей бандла
|
||||
* (раньше формулы с {@code м} теряли глифы именно из-за порядка —
|
||||
* GlyphCoverage не видел текст внутри OMML). Блок para заменяется первым:
|
||||
* {@code m:oMathPara} содержит {@code m:oMath}, иначе остался бы
|
||||
* несбалансированный каркас.
|
||||
*/
|
||||
final class MathFallbackNormalizer {
|
||||
|
||||
/** Закрывающий символ открывающего тега (скан конца корня формулы). */
|
||||
private static final char TAG_END = '>';
|
||||
|
||||
/** Math-namespace OMML (§22.1). */
|
||||
private static final String MATH_NS =
|
||||
"http://schemas.openxmlformats.org/officeDocument/2006/math";
|
||||
|
||||
/** Объявление {@code xmlns:prefix="uri"} (значение без кавычек). */
|
||||
private static final Pattern XMLNS = Pattern.compile(
|
||||
"xmlns:([A-Za-z_][\\w.-]*)=\"([^\"]*)\"");
|
||||
|
||||
/** Начало блока формулы; префикс обязателен (без него {@code :oMath} нет). */
|
||||
private static final Pattern MATH_BLOCK = Pattern.compile(
|
||||
"<([A-Za-z_][\\w.-]*):oMath(Para)?(?=[\\s/>])");
|
||||
|
||||
/** Элементный тег с префиксом {@code <p:name>} / {@code </p:name>}. */
|
||||
private static final Pattern PREFIXED_TAG = Pattern.compile(
|
||||
"</?([A-Za-z_][\\w.-]*):([A-Za-z_][\\w.-]*)");
|
||||
|
||||
/** Текстовый узел {@code <p:t>}; содержимое — уже экранированный XML. */
|
||||
private static final Pattern MATH_TEXT = Pattern.compile(
|
||||
"<([A-Za-z_][\\w.-]*):t(?:\\s[^>]*)?>(.*?)</\\1:t>", Pattern.DOTALL);
|
||||
|
||||
private MathFallbackNormalizer() {
|
||||
}
|
||||
|
||||
/**
|
||||
* Рерайт одной XML-части: unsupported-формулы → текст. Формул нет /
|
||||
* все поддерживаются / ничего не изменилось → {@code null}
|
||||
* (пайплайн отдаёт тот же массив).
|
||||
*/
|
||||
static String rewrite(String xml) {
|
||||
if (!xml.contains(":oMath")) {
|
||||
return null;
|
||||
}
|
||||
Map<String, String> rootNs = rootNamespaces(xml);
|
||||
StringBuilder out = new StringBuilder();
|
||||
int pos = 0;
|
||||
boolean changed = false;
|
||||
Matcher m = MATH_BLOCK.matcher(xml);
|
||||
int search = 0;
|
||||
while (m.find(search)) {
|
||||
String prefix = m.group(1);
|
||||
boolean para = m.group(2) != null;
|
||||
int start = m.start();
|
||||
int tagEnd = tagEnd(xml, start);
|
||||
if (tagEnd < 0) {
|
||||
break; // незакрытый тег — дело валидатора, скан останавливаем
|
||||
}
|
||||
Map<String, String> ns = mergedNamespaces(rootNs, xml.substring(start, tagEnd));
|
||||
if (!isMath(ns, prefix)) {
|
||||
search = tagEnd;
|
||||
continue; // чужой namespace — не формула
|
||||
}
|
||||
int blockEnd;
|
||||
int before = tagEnd - 2;
|
||||
while (before > start && Character.isWhitespace(xml.charAt(before))) {
|
||||
before--;
|
||||
}
|
||||
boolean selfClosing = xml.charAt(before) == '/';
|
||||
if (selfClosing) {
|
||||
blockEnd = tagEnd;
|
||||
} else {
|
||||
String closing = "</" + prefix + ":oMath" + (para ? "Para" : "") + ">";
|
||||
int close = xml.indexOf(closing, tagEnd);
|
||||
if (close < 0) {
|
||||
break; // битый каркас — валидатор его и отвергнет
|
||||
}
|
||||
blockEnd = close + closing.length();
|
||||
}
|
||||
String block = xml.substring(start, blockEnd);
|
||||
if (hasUnsupported(ns, block)) {
|
||||
out.append(xml, pos, start).append(run(text(ns, block)));
|
||||
pos = blockEnd;
|
||||
changed = true;
|
||||
search = blockEnd;
|
||||
continue;
|
||||
}
|
||||
search = tagEnd;
|
||||
}
|
||||
if (!changed) {
|
||||
return null;
|
||||
}
|
||||
return out.append(xml, pos, xml.length()).toString();
|
||||
}
|
||||
|
||||
/**
|
||||
* Объявления {@code xmlns:} фактического корневого элемента: пролог
|
||||
* ({@code <?xml ...?>}, комментарии, DOCTYPE) пропускается — иначе
|
||||
* карта осталась бы пустой на реальном XML-файле части, а пустая карта
|
||||
* консервативно считает каждый префикс math-тегом и срезает боевые
|
||||
* формулы (внутри {@code m:r}/{@code m:ctrlPr} Word пишет
|
||||
* {@code w:rPr}/{@code w:rFonts} — имена вне SUPPORTED).
|
||||
*/
|
||||
private static Map<String, String> rootNamespaces(String xml) {
|
||||
Map<String, String> map = new HashMap<>();
|
||||
int pos = 0;
|
||||
while (pos < xml.length()) {
|
||||
int open = xml.indexOf('<', pos);
|
||||
if (open < 0) {
|
||||
return map;
|
||||
}
|
||||
if (xml.startsWith("<?", open)) {
|
||||
int end = xml.indexOf("?>", open);
|
||||
pos = end < 0 ? xml.length() : end + 2;
|
||||
continue;
|
||||
}
|
||||
if (xml.startsWith("<!--", open)) {
|
||||
int end = xml.indexOf("-->", open);
|
||||
pos = end < 0 ? xml.length() : end + 3;
|
||||
continue;
|
||||
}
|
||||
if (xml.startsWith("<!", open)) {
|
||||
int end = xml.indexOf('>', open);
|
||||
pos = end < 0 ? xml.length() : end + 1;
|
||||
continue;
|
||||
}
|
||||
int end = tagEnd(xml, open);
|
||||
if (end < 0) {
|
||||
return map;
|
||||
}
|
||||
Matcher m = XMLNS.matcher(xml.substring(open, end));
|
||||
while (m.find()) {
|
||||
map.put(m.group(1), m.group(2));
|
||||
}
|
||||
return map;
|
||||
}
|
||||
return map;
|
||||
}
|
||||
|
||||
/** Корневые объявления + переопределения из заголовка блока. */
|
||||
private static Map<String, String> mergedNamespaces(Map<String, String> root,
|
||||
String openTag) {
|
||||
Matcher m = XMLNS.matcher(openTag);
|
||||
if (!m.find()) {
|
||||
return root;
|
||||
}
|
||||
Map<String, String> map = new HashMap<>(root);
|
||||
m.reset();
|
||||
while (m.find()) {
|
||||
map.put(m.group(1), m.group(2));
|
||||
}
|
||||
return map;
|
||||
}
|
||||
|
||||
/**
|
||||
* Привязан ли префикс к math-namespace: явная привязка — да; привязка к
|
||||
* другому URI — нет; префикс не объявлен нигде — да (консервативно, см.
|
||||
* javadoc класса), если только вообще нет ни одного объявления xmlns
|
||||
* (тогда это не XML с map префиксов, а мусор — тоже «как math»).
|
||||
*/
|
||||
private static boolean isMath(Map<String, String> ns, String prefix) {
|
||||
String bound = ns.get(prefix);
|
||||
if (MATH_NS.equals(bound)) {
|
||||
return true;
|
||||
}
|
||||
return bound == null;
|
||||
}
|
||||
|
||||
/** Есть ли в блоке тег math-namespace вне {@link MathModel#SUPPORTED}. */
|
||||
private static boolean hasUnsupported(Map<String, String> ns, String block) {
|
||||
List<String> mathPrefixes = new ArrayList<>();
|
||||
for (Map.Entry<String, String> e : ns.entrySet()) {
|
||||
if (MATH_NS.equals(e.getValue())) {
|
||||
mathPrefixes.add(e.getKey());
|
||||
}
|
||||
}
|
||||
Matcher m = PREFIXED_TAG.matcher(block);
|
||||
while (m.find()) {
|
||||
String prefix = m.group(1);
|
||||
String name = m.group(2);
|
||||
boolean mathTag = mathPrefixes.contains(prefix)
|
||||
|| (mathPrefixes.isEmpty() && !ns.containsKey(prefix));
|
||||
if (mathTag && !MathModel.SUPPORTED.contains(name)) {
|
||||
return true;
|
||||
}
|
||||
}
|
||||
return false;
|
||||
}
|
||||
|
||||
/** Текст формулы: конкатенация {@code m:t} math-префиксов (как mathText). */
|
||||
private static String text(Map<String, String> ns, String block) {
|
||||
Set<String> mathPrefixes = new HashSet<>();
|
||||
for (Map.Entry<String, String> e : ns.entrySet()) {
|
||||
if (MATH_NS.equals(e.getValue())) {
|
||||
mathPrefixes.add(e.getKey());
|
||||
}
|
||||
}
|
||||
StringBuilder sb = new StringBuilder();
|
||||
Matcher m = MATH_TEXT.matcher(block);
|
||||
while (m.find()) {
|
||||
String prefix = m.group(1);
|
||||
if (mathPrefixes.contains(prefix)
|
||||
|| (mathPrefixes.isEmpty() && !ns.containsKey(prefix))) {
|
||||
sb.append(m.group(2));
|
||||
}
|
||||
}
|
||||
return sb.toString();
|
||||
}
|
||||
|
||||
/** Конец открывающего тега (индекс после {@code >}), кавычки-осведомлённый. */
|
||||
private static int tagEnd(String xml, int start) {
|
||||
char quote = 0;
|
||||
for (int i = start + 1; i < xml.length(); i++) {
|
||||
char c = xml.charAt(i);
|
||||
if (quote != 0) {
|
||||
if (c == quote) {
|
||||
quote = 0;
|
||||
}
|
||||
} else if (c == '"' || c == '\'') {
|
||||
quote = c;
|
||||
} else if (c == TAG_END) {
|
||||
return i + 1;
|
||||
}
|
||||
}
|
||||
return -1;
|
||||
}
|
||||
|
||||
/** Ран с текстом формулы; пустая формула удаляется. */
|
||||
private static String run(String text) {
|
||||
return text.isEmpty() ? ""
|
||||
: "<w:r><w:t xml:space=\"preserve\">" + text + "</w:t></w:r>";
|
||||
}
|
||||
}
|
||||
+4
-6
@@ -16,7 +16,8 @@ import java.util.zip.ZipOutputStream;
|
||||
*
|
||||
* Word рисует после номера лейбла разделитель по {@code w:suff}: tab —
|
||||
* табуляция до позиционного отступа, space — обычный пробел, nothing — ничего
|
||||
* (Part 1 §17.3.1.28). docx4j/export-fo разделитель не эмитит вовсе: в FO
|
||||
* (Part 1 §17.9.28, тип — ST_LevelSuffix §17.18.46). docx4j/export-fo
|
||||
* разделитель не эмитит вовсе: в FO
|
||||
* уходит только текст лейбла («1.»), хинт {@code docx4j:label-suffix} —
|
||||
* заготовка без обработчика (дамп n4.fo аудита раскладки). Для suff=tab это
|
||||
* отдельный Class C-остаток (нужна per-item ширина), а suff=space чинится
|
||||
@@ -29,7 +30,7 @@ import java.util.zip.ZipOutputStream;
|
||||
* заканчивающийся пробелом lvlText не дублируется. suff=tab/absent/nothing —
|
||||
* не трогаем. Нечего менять → тот же массив.
|
||||
*/
|
||||
public final class NumberingSuffixNormalizer {
|
||||
final class NumberingSuffixNormalizer {
|
||||
|
||||
private static final Pattern SUFF_SPACE =
|
||||
Pattern.compile("<w:suff\\b[^>]*w:val=\"space\"[^>]*/>");
|
||||
@@ -38,16 +39,13 @@ public final class NumberingSuffixNormalizer {
|
||||
private NumberingSuffixNormalizer() {
|
||||
}
|
||||
|
||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||
public static final DocxNormalizer STEP = NumberingSuffixNormalizer::normalize;
|
||||
|
||||
/**
|
||||
* Дописывает пробел в lvlText у уровней с suff=space.
|
||||
*
|
||||
* @param docx байты .docx (zip)
|
||||
* @return те же или переупакованные байты
|
||||
*/
|
||||
public static byte[] normalize(byte[] docx) throws IOException {
|
||||
static byte[] normalize(byte[] docx) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||
boolean changed = false;
|
||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||
|
||||
@@ -1,9 +1,10 @@
|
||||
package ru.pjandro.wordpdf.internal;
|
||||
|
||||
import ru.pjandro.wordpdf.DrawingFoundException;
|
||||
import ru.pjandro.wordpdf.OleFoundException;
|
||||
|
||||
import java.io.ByteArrayOutputStream;
|
||||
import java.io.IOException;
|
||||
import java.io.InputStream;
|
||||
import java.nio.charset.StandardCharsets;
|
||||
import java.util.ArrayList;
|
||||
import java.util.HashMap;
|
||||
@@ -41,13 +42,14 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
|
||||
* по ECMA-376 §15.2.10 у каждого внедрённого объекта обязан быть «associated
|
||||
* image, which appears in the document as a placeholder» — именно его показывает
|
||||
* Word вместо объекта, — поэтому {@code w:object} заменяется его статичным
|
||||
* представлением (картинкой-плейсхолдером, §17.3.3.3); без плейсхолдера блок
|
||||
* представлением (картинкой-плейсхолдером, §17.3.3.19; картинка — §17.3.3.9);
|
||||
* без плейсхолдера блок
|
||||
* удаляется. OLE-бинарники при этом никогда не читаются — байты только
|
||||
* удаляются, так что содержимое объекта (вплоть до враждебного архива) на
|
||||
* вывод не влияет.</p>
|
||||
*
|
||||
* <p>Отличие от остальных нормализаторов пакета: принимает флаг
|
||||
* {@code errorOnOle} и умеет бросать {@link DrawingFoundException}
|
||||
* {@code errorOnOle} и умеет бросать {@link OleFoundException}
|
||||
* (при включённом флаге документ отвергается вместо вычистки), и правит
|
||||
* не только {@code word/*.xml}, но и {@code [Content_Types].xml} с
|
||||
* {@code *.rels}. Хука {@code rewrite(String)} нет — нормализатор
|
||||
@@ -74,6 +76,9 @@ public final class OleObjectNormalizer {
|
||||
/** Сегмент «наверх» в относительном Target rels. */
|
||||
private static final String PARENT_DIR = "..";
|
||||
|
||||
/** Сегмент «текущий каталог» в относительном Target rels. */
|
||||
private static final String CURRENT_DIR = ".";
|
||||
|
||||
private static final Pattern DEFAULT_TYPE = Pattern.compile(
|
||||
"<Default\\b[^>]*\\bExtension=\"([^\"]*)\"[^>]*\\bContentType=\"([^\"]*)\"[^>]*/>"
|
||||
+ "|<Default\\b[^>]*\\bContentType=\"([^\"]*)\"[^>]*\\bExtension=\"([^\"]*)\"[^>]*/>");
|
||||
@@ -135,9 +140,46 @@ public final class OleObjectNormalizer {
|
||||
|
||||
private static final Logger LOG = Logger.getLogger(OleObjectNormalizer.class.getName());
|
||||
|
||||
/** Детект `w:object` по байтам: ASCII-литерал в UTF-8 не может
|
||||
* встретиться внутри многобайтовой последовательности, поэтому поиск
|
||||
* по сырым байтам эквивалентен `new String(...).contains(...)`. */
|
||||
private static final byte[] OBJECT_NEEDLE = "<w:object".getBytes(StandardCharsets.US_ASCII);
|
||||
|
||||
private OleObjectNormalizer() {
|
||||
}
|
||||
|
||||
/**
|
||||
* Поиск ASCII-литерала в потоке окном 8 KiB с перекрытием
|
||||
* {@code needle.length - 1} байт на границе окна — без материализации
|
||||
* всей XML-части (document.xml десятки МБ дублировались в память ради
|
||||
* поиска 9-байтного литерала).
|
||||
*/
|
||||
private static boolean containsAscii(InputStream in, byte[] needle) throws IOException {
|
||||
try (in) {
|
||||
byte[] window = new byte[8192];
|
||||
int carried = 0; // байт перенесённого хвоста предыдущего окна
|
||||
int read;
|
||||
while ((read = in.read(window, carried, window.length - carried)) > 0) {
|
||||
int limit = carried + read;
|
||||
for (int i = 0; i + needle.length <= limit; i++) {
|
||||
boolean hit = true;
|
||||
for (int j = 0; j < needle.length; j++) {
|
||||
if (window[i + j] != needle[j]) {
|
||||
hit = false;
|
||||
break;
|
||||
}
|
||||
}
|
||||
if (hit) {
|
||||
return true;
|
||||
}
|
||||
}
|
||||
carried = Math.min(needle.length - 1, limit);
|
||||
System.arraycopy(window, limit - carried, window, 0, carried);
|
||||
}
|
||||
return false;
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Вычистляет из docx OLE-объекты: бинарные `.bin`-части с OLE-типом (или
|
||||
* ложным XML-типом), ссылки на них и oleObject-ссылки (включая External) в
|
||||
@@ -183,8 +225,7 @@ public final class OleObjectNormalizer {
|
||||
oleParts.add(name);
|
||||
}
|
||||
} else if (!hasObjectMarkup && name.startsWith("word/") && name.endsWith(".xml")
|
||||
&& new String(zf.getInputStream(entry).readAllBytes(),
|
||||
StandardCharsets.UTF_8).contains("<w:object")) {
|
||||
&& containsAscii(zf.getInputStream(entry), OBJECT_NEEDLE)) {
|
||||
// сам w:object — уже OLE: без bin-части он всё равно роняет docx4j
|
||||
// (NPE chunkType is null) и обязан быть переписан
|
||||
hasObjectMarkup = true;
|
||||
@@ -194,7 +235,7 @@ public final class OleObjectNormalizer {
|
||||
return docx;
|
||||
}
|
||||
if (errorOnOle) {
|
||||
throw new DrawingFoundException(DrawingFoundException.Kind.OLE);
|
||||
throw new OleFoundException();
|
||||
}
|
||||
for (String part : oleParts) {
|
||||
LOG.warning("Удалён OLE-объект: " + part);
|
||||
@@ -222,7 +263,7 @@ public final class OleObjectNormalizer {
|
||||
if (fixed != null) {
|
||||
data = fixed.getBytes(StandardCharsets.UTF_8);
|
||||
}
|
||||
} else if (name.equals(CONTENT_TYPES_ENTRY)) {
|
||||
} else if (CONTENT_TYPES_ENTRY.equals(name)) {
|
||||
String fixed = stripOverrides(
|
||||
new String(data, StandardCharsets.UTF_8), oleParts);
|
||||
if (fixed != null) {
|
||||
@@ -336,7 +377,7 @@ public final class OleObjectNormalizer {
|
||||
}
|
||||
}
|
||||
for (String s : target.split("/")) {
|
||||
if (s.isEmpty() || ".".equals(s)) {
|
||||
if (s.isEmpty() || CURRENT_DIR.equals(s)) {
|
||||
continue;
|
||||
}
|
||||
if (PARENT_DIR.equals(s)) {
|
||||
@@ -352,7 +393,7 @@ public final class OleObjectNormalizer {
|
||||
|
||||
/**
|
||||
* Заменяет в word/*.xml каждый w:object его статичным представлением
|
||||
* (плейсхолдером, ECMA-376 §15.2.10/§17.3.3.3): блок с `w:control`
|
||||
* (плейсхолдером, ECMA-376 §15.2.10/§17.3.3.19): блок с `w:control`
|
||||
* (ActiveX) удаляется целиком — property bag всё равно остаётся сиротой;
|
||||
* блок с `w:drawing` (ветка mc:Choice) заменяется этим drawing дословно;
|
||||
* блок с `v:imagedata r:id` заменяется inline-DrawingML на ту же
|
||||
|
||||
@@ -10,8 +10,9 @@ import java.util.zip.ZipInputStream;
|
||||
import java.util.zip.ZipOutputStream;
|
||||
|
||||
/**
|
||||
* Разбор руби-разметки ({@code w:rubyBase}/{@code w:rt}/{@code w:rubyPr},
|
||||
* Part 1 §17.3.3.19/.20/.21) в байтах до загрузки docx4j.
|
||||
* Разбор руби-разметки ({@code w:ruby}/{@code w:rubyBase}/{@code w:rt}/
|
||||
* {@code w:rubyPr}/{@code w:rubyAlign}, Part 1 §17.3.3.25/.27/.24/.28/.26)
|
||||
* в байтах до загрузки docx4j.
|
||||
*
|
||||
* <p>Джинябиндованные схемы docx4j 17.3.2 {@code w:rubyBase}/{@code w:rt}
|
||||
* в {@code w:r} <b>не содержат</b> (unmarshaller сообщает «unexpected
|
||||
@@ -20,11 +21,13 @@ import java.util.zip.ZipOutputStream;
|
||||
* (в отличие от {@code w:moveFrom}/{@code w:moveTo}/{@code w:bdo}/{@code w:dir},
|
||||
* которые схема знает). Единственный слой починки — байтовый нормализатор.
|
||||
*
|
||||
* <p>Деградация принята: база ({@code w:rubyBase}/{@code w:rubyBaseText})
|
||||
* разворачивается в обычные раны ранa — текст печатается; надстрочница
|
||||
* ({@code w:rt}) и форматирование руби ({@code w:rubyPr}, {@code w:rubyAlign})
|
||||
* удаляются вместе с содержимым — ruby-разметки в XSL-FO у FOP нет, а потеря
|
||||
* текста хуже потери аннотации.
|
||||
* <p>Деградация принята: база ({@code w:rubyBase}) разворачивается в обычные
|
||||
* раны ранa — текст печатается; надстрочница ({@code w:rt}) и форматирование
|
||||
* руби ({@code w:rubyPr}, {@code w:rubyAlign}) удаляются вместе с содержимым
|
||||
* — ruby-разметки в XSL-FO у FOP нет, а потеря текста хуже потери аннотации.
|
||||
* Снимается и обёртка {@code w:ruby}: схемно-валидная разметка (транзишнл
|
||||
* CT_R: {@code w:r} → {@code w:ruby} → rubyPr/rt/rubyBase, wml.xsd) иначе
|
||||
* достаёт catch-all-шаблону XSLT и база теряется молча.
|
||||
*
|
||||
* <p>В конвейере подключается десятым рерайтом в {@link DocxRewritePipeline}
|
||||
* (после Hidden; порядок 1–8 не перенумеровать); в
|
||||
@@ -33,7 +36,7 @@ import java.util.zip.ZipOutputStream;
|
||||
*
|
||||
* <p>Регрессия — WordPdfConverterTest#rubyBase_textPrinted.
|
||||
*/
|
||||
public final class RubyNormalizer {
|
||||
final class RubyNormalizer {
|
||||
|
||||
private RubyNormalizer() {
|
||||
}
|
||||
@@ -46,18 +49,21 @@ public final class RubyNormalizer {
|
||||
private static final Pattern RUBY_PR_BLOCK =
|
||||
Pattern.compile("<w:rubyPr(?:\\s[^>]*)?(?:/>|>.*?</w:rubyPr>)", Pattern.DOTALL);
|
||||
|
||||
/** Одиночный {@code w:rubyPr}. */
|
||||
/** Одиночный {@code w:rubyAlign}. */
|
||||
private static final Pattern RUBY_ALIGN =
|
||||
Pattern.compile("<w:rubyAlign(?:\\s[^>]*)?(?:/>|>\\s*</w:rubyAlign>)", Pattern.DOTALL);
|
||||
|
||||
private static final Pattern RUBY_BASE_OPEN =
|
||||
Pattern.compile("<w:rubyBase(?:\\s[^>]*)?>");
|
||||
private static final Pattern RUBY_BASE_TEXT_OPEN =
|
||||
Pattern.compile("<w:rubyBaseText(?:\\s[^>]*)?>");
|
||||
|
||||
/** Обёртка {@code w:ruby} (снимается: ран разворачивается в обычные раны). */
|
||||
private static final Pattern RUBY_OPEN =
|
||||
Pattern.compile("<w:ruby(?:\\s[^>]*)?>");
|
||||
private static final String RUBY_CLOSE = "</w:ruby>";
|
||||
|
||||
/**
|
||||
* Рерайт одной XML-строки: разворачивает {@code w:rubyBase}/
|
||||
* {@code w:rubyBaseText}, вырезает {@code w:rt}/{@code w:rubyPr}/
|
||||
* Рерайт одной XML-строки: разворачивает {@code w:rubyBase}, снимает
|
||||
* обёртку {@code w:ruby}, вырезает {@code w:rt}/{@code w:rubyPr}/
|
||||
* {@code w:rubyAlign}. Руби-токенов нет / ничего не поменялось → {@code null}.
|
||||
*/
|
||||
static String rewrite(String xml) {
|
||||
@@ -67,10 +73,10 @@ public final class RubyNormalizer {
|
||||
String out = RT_BLOCK.matcher(xml).replaceAll("");
|
||||
out = RUBY_PR_BLOCK.matcher(out).replaceAll("");
|
||||
out = RUBY_ALIGN.matcher(out).replaceAll("");
|
||||
out = RUBY_BASE_TEXT_OPEN.matcher(out).replaceAll("");
|
||||
out = out.replace("</w:rubyBaseText>", "");
|
||||
out = RUBY_BASE_OPEN.matcher(out).replaceAll("");
|
||||
out = out.replace("</w:rubyBase>", "");
|
||||
out = RUBY_OPEN.matcher(out).replaceAll("");
|
||||
out = out.replace(RUBY_CLOSE, "");
|
||||
return out.equals(xml) ? null : out;
|
||||
}
|
||||
|
||||
@@ -78,7 +84,7 @@ public final class RubyNormalizer {
|
||||
* Индивидуальный контракт {@link DocxNormalizer} (тесты); в конвейере
|
||||
* {@link DocxRewritePipeline} вызывает {@link #rewrite} в общем проходе.
|
||||
*/
|
||||
public static byte[] normalize(byte[] docx) throws IOException {
|
||||
static byte[] normalize(byte[] docx) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||
boolean changed = false;
|
||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||
|
||||
@@ -26,14 +26,17 @@ import java.util.zip.ZipOutputStream;
|
||||
* {@code w14:fillToRect w14:t="130%"} — JAXB падает на
|
||||
* {@code NumberFormatException: Not a number: 130%};</li>
|
||||
* <li>текстовые проценты в {@code wp14:pctWidth}/{@code wp14:pctHeight};</li>
|
||||
* <li>границы и отступы в элементах {@code w:start}/{@code w:end}
|
||||
* (в transitional они называются {@code w:left}/{@code w:right}) —
|
||||
* JAXB сообщает «unexpected element» и границы теряются;</li>
|
||||
* <li>границы и отступы в элементах {@code w:start}/{@code w:end} — в
|
||||
* strict-схеме это единственные имена, transitional-схема допускает
|
||||
* обе пары детей (wml.xsd CT_TcMar/CT_TblCellMar), но strict-часть их
|
||||
* не пишет — JAXB transitional-модели сообщает «unexpected element»
|
||||
* и границы теряются;</li>
|
||||
* <li>атрибуты {@code w:start}/{@code w:end} у {@code w:ind} и значения
|
||||
* {@code start}/{@code end} у {@code w:jc}/{@code w:tab} — в strict-модели
|
||||
* это единственные имена, а transitional-модель docx4j их не принимает
|
||||
* (значения {@code w:tab} — и подавно: enum {@code STTabJc} в docx4j
|
||||
* 17.3.2 содержит только left/right).</li>
|
||||
* 17.3.2 содержит только left/center/right; в спековом ST_TabJc
|
||||
* §17.18.84 start/end есть, но JAXB-enum их не принимает).</li>
|
||||
* </ul>
|
||||
*
|
||||
* <p>Полный strict→transitional рерайт не делается: mc-preprocessor уже
|
||||
@@ -72,12 +75,14 @@ import java.util.zip.ZipOutputStream;
|
||||
* RTL; ST_Jc §17.18.44); RTL вне контура конвейера (FOP без complex-script,
|
||||
* direction docx4j не выставляет — start и так рендерился как left).</li>
|
||||
* <li>значения {@code start}/{@code end} у {@code w:tab} правятся всегда
|
||||
* (enum без start/end).</li>
|
||||
* (enum {@code STTabJc} docx4j — left/center/right, без start/end;
|
||||
* спека ST_TabJc §17.18.84 их содержит, но JAXB-биндинг их не
|
||||
* принимает).</li>
|
||||
* </ul>
|
||||
*
|
||||
* Регрессия — WordPdfConverterTest#strictOoxml_convertsNotRejected.
|
||||
*/
|
||||
public final class StrictOoxmlNormalizer {
|
||||
final class StrictOoxmlNormalizer {
|
||||
|
||||
/** Открывающий тег элемента префикса {@code a:} (DrawingML). */
|
||||
private static final Pattern A_TAG = Pattern.compile("<a:[A-Za-z]+\\b[^>]*>");
|
||||
@@ -121,9 +126,6 @@ public final class StrictOoxmlNormalizer {
|
||||
private StrictOoxmlNormalizer() {
|
||||
}
|
||||
|
||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||
public static final DocxNormalizer STEP = StrictOoxmlNormalizer::normalize;
|
||||
|
||||
/**
|
||||
* Приводит strict-OOXML в XML-частях docx (word/*.xml) к виду, который
|
||||
* разбирает JAXB-модель transitional (детали — в javadoc класса).
|
||||
@@ -131,7 +133,7 @@ public final class StrictOoxmlNormalizer {
|
||||
* @param docx байты .docx (zip)
|
||||
* @return те же или переупакованные байты
|
||||
*/
|
||||
public static byte[] normalize(byte[] docx) throws IOException {
|
||||
static byte[] normalize(byte[] docx) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||
boolean changed = false;
|
||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||
@@ -219,13 +221,14 @@ public final class StrictOoxmlNormalizer {
|
||||
|
||||
/**
|
||||
* Атрибуты {@code w:start→w:left}/{@code w:end→w:right} только внутри
|
||||
* открывающего тега {@code w:ind} (MS-OI29500 §2.1.174a: start/end как
|
||||
* псевдонимы left/right в strict — единственный носитель w:ind) и только
|
||||
* открывающего тега {@code w:ind} (MS-OI29500 §2.1.44 (ind) плюс
|
||||
* strict wml.xsd: {@code CT_Ind} знает только start/end — единственный
|
||||
* носитель w:ind в strict) и только
|
||||
* при отсутствии в нём {@code w:left}/{@code w:right}: CT_Ind
|
||||
* (transitional) допускает обе пары, дубль атрибута — не well-formed
|
||||
* XML; литеральный текст {@code w:val}-вида в {@code w:t} не
|
||||
* затрагивается. У {@code w:pgNumType} атрибут {@code w:start} — старт
|
||||
* нумерации страниц, легален в transitional (Part 1 §17.13.7), — не
|
||||
* нумерации страниц, легален в transitional (Part 1 §17.6.12), — не
|
||||
* трогается (регрессия — pgNumTypeStartAttrUntouched).
|
||||
*/
|
||||
private static String renameStartEndAttrs(String xml) {
|
||||
|
||||
@@ -42,7 +42,7 @@ import java.util.zip.ZipOutputStream;
|
||||
*
|
||||
* Как и {@link DocxOnOffNormalizer}, правим байты zip до JAXB-разбора.
|
||||
*/
|
||||
public final class SymbolFontNormalizer {
|
||||
final class SymbolFontNormalizer {
|
||||
|
||||
/** Семейство, на которое заменяются символьные шрифты (есть в jar). */
|
||||
static final String REPLACEMENT_FAMILY = "DejaVu Sans";
|
||||
@@ -51,8 +51,9 @@ public final class SymbolFontNormalizer {
|
||||
* Имя шрифта (lowercase) -> таблица из 256 слотов по 4 hex-цифры:
|
||||
* младший байт кода из PUA -> Unicode-код цели (0 — соответствия нет).
|
||||
* Источник — SymbolMapper из docx4j 17.x; сгенерировано, см. javadoc
|
||||
* класса. Коды вне U+F000–U+F0FF (обычная ASCII-часть символьного
|
||||
* шрифта) не переписываются.
|
||||
* класса. Прямые коды {@code w:sym} (≤0xFF, вне PUA) маппятся по той же
|
||||
* таблице как индекс символной cmap (§17.3.3.30); слот без маппинга, код
|
||||
* >0xFF вне PUA или отсутствие font-map — элемент сохраняется как есть.
|
||||
*/
|
||||
private static final Map<String, String> SYMBOL_MAPS = buildMaps();
|
||||
|
||||
@@ -70,16 +71,13 @@ public final class SymbolFontNormalizer {
|
||||
private SymbolFontNormalizer() {
|
||||
}
|
||||
|
||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||
public static final DocxNormalizer STEP = SymbolFontNormalizer::normalize;
|
||||
|
||||
/**
|
||||
* Заменяет символьные шрифты в XML-частях docx (word/*.xml).
|
||||
*
|
||||
* @param docx байты .docx (zip)
|
||||
* @return те же или переупакованные байты
|
||||
*/
|
||||
public static byte[] normalize(byte[] docx) throws IOException {
|
||||
static byte[] normalize(byte[] docx) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||
boolean changed = false;
|
||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||
@@ -311,14 +309,20 @@ public final class SymbolFontNormalizer {
|
||||
char mapped = 0;
|
||||
if (charHex != null && fontMap != null) {
|
||||
char code = (char) Integer.parseInt(charHex, 16);
|
||||
if (code >= 0xF000 && code <= 0xF0FF) {
|
||||
mapped = mapped(fontMap, code & 0xFF);
|
||||
}
|
||||
// PUA-форма (U+F0xx) и прямая (код ≤0xFF — индекс в символной
|
||||
// cmap, §17.3.3.30) маппятся по одной таблице
|
||||
int slot = (code >= 0xF000 && code <= 0xF0FF) ? code & 0xFF
|
||||
: (code <= 0xFF ? code : -1);
|
||||
mapped = slot >= 0 ? mapped(fontMap, slot) : 0;
|
||||
}
|
||||
if (mapped != 0) {
|
||||
sb.append(openTag).append(fallbackRPr)
|
||||
.append("<w:t xml:space=\"preserve\">").append(mapped)
|
||||
.append("</w:t></w:r>");
|
||||
} else if (charHex != null) {
|
||||
// неразрешимый, но схемно-валидный w:sym (§17.3.3.30) —
|
||||
// сохраняем verbatim: удалять валидный контент нельзя
|
||||
sb.append(openTag).append(rPr).append(m.group()).append("</w:r>");
|
||||
}
|
||||
pos = m.end();
|
||||
}
|
||||
|
||||
@@ -14,7 +14,9 @@ import java.util.zip.ZipOutputStream;
|
||||
* Свёртка {@code w:tblPr/w:jc} (center/right) с ненулевым {@code w:tblInd} в
|
||||
* абсолютный {@code w:tblInd} — до загрузки docx4j.
|
||||
*
|
||||
* Word (Part 1 §17.4.50 в чтении MS-OI29500 §2.1.155): при {@code w:jc}≠left
|
||||
* Word (MS-OI29500 §2.1.155; Part 1 §17.4.28 {@code w:jc} + §17.4.50
|
||||
* {@code w:tblInd} описывают без аддитивной семантики — «сдвиг от поля после
|
||||
* центрирования/прижимания» есть измеренное поведение Word): при {@code w:jc}≠left
|
||||
* таблица центрируется/прижимается, а {@code w:tblInd} добавляется сдвигом от
|
||||
* поля. docx4j же при {@code w:jc}≠left {@code w:tblInd} игнорирует буквально
|
||||
* (аудит раскладки ECMA-376, матрица B3) — таблица рендерилась без учёта
|
||||
@@ -31,12 +33,17 @@ import java.util.zip.ZipOutputStream;
|
||||
* <p>Пропускается (не ломая существующее поведение): документы без
|
||||
* единственного body-level {@code w:sectPr} (несколько секций — полоса
|
||||
* неоднозначна), {@code w:tblW type="pct"} и таблицы с gridCol без целого
|
||||
* {@code w:w} (фактическая ширина неизвестна), {@code w:tblInd} не-dxa и
|
||||
* {@code w:w} (фактическая ширина неизвестна), {@code w:tblInd} с явным
|
||||
* {@code w:type}≠dxa (опущенный type — dxa, §17.4.87) и
|
||||
* {@code w:tblPr} с {@code w:tblCellSpacing} без {@code w:tblInd} (вставить
|
||||
* тег в корректную позицию CT_TblPrBase некуда). Дефолты при отсутствии
|
||||
* pgSz/pgMar — 11906 и 1440/1440: измеренное поведение docx4j при отсутствующем
|
||||
* {@code w:pgMar} (левый край текста = 72pt = 1440 twips), а не ECMA-дефолт
|
||||
* 1800 — нормализатор обязан считать ту же полосу, что рендерит стек.
|
||||
* pgSz/pgMar — 11906 и 1440/1440: ECMA дефолтов {@code w:pgSz}/{@code w:pgMar}
|
||||
* не фиксирует (§17.6.13/§17.6.11), а 11906/1440 — измеренное поведение
|
||||
* docx4j при отсутствующем {@code w:pgMar} (левый край текста = 72pt =
|
||||
* 1440 twips) — нормализатор обязан считать ту же полосу, что рендерит стек.
|
||||
* Band берётся из сырого {@code word/document.xml}: геометрия инвариантна
|
||||
* к рерайтам (Strict-схема у {@code CT_PageMar} не имеет start/end, rule 1
|
||||
* {@code w:pgSz}/{@code w:pgMar} не трогает).
|
||||
*
|
||||
* <p>{@link #normalize} трогает только {@code word/document.xml} (признак —
|
||||
* {@code <w:body}); нечего менять → тот же массив. {@link #rewritePart} —
|
||||
@@ -46,7 +53,7 @@ import java.util.zip.ZipOutputStream;
|
||||
* WordPdfConverterTest#tableIndentCentered_shiftedLikeWord,
|
||||
* #headerTableIndent_centeredInHeader.
|
||||
*/
|
||||
public final class TableIndentNormalizer {
|
||||
final class TableIndentNormalizer {
|
||||
|
||||
/** Дефолт pgSz w:w (A4 portrait, twips) при отсутствии атрибута. */
|
||||
private static final int DEFAULT_PG_W = 11906;
|
||||
@@ -57,13 +64,14 @@ public final class TableIndentNormalizer {
|
||||
private static final String DOCUMENT_ENTRY = "word/document.xml";
|
||||
|
||||
private static final Pattern PG_SZ_W = Pattern.compile("<w:pgSz\\b[^>]*w:w=\"(\\d+)\"");
|
||||
// strict-OOXML пишет поля как w:start/w:end; band считается из СЫРОГО
|
||||
// document.xml (до rule 1, которая их переименует) — чередование
|
||||
// обязательно, иначе полоса строгого документа молча возьмётся из дефолтов
|
||||
// полоса считается из СЫРОГО document.xml; чередование left|start не
|
||||
// нужен: CT_PageMar не имеет start/end ни в strict-, ни в transitional-
|
||||
// схеме (wml.xsd), StrictOoxmlNormalizer w:pgSz/w:pgMar не трогает —
|
||||
// геометрия инвариантна к рерайтам
|
||||
private static final Pattern PG_MAR_LEFT =
|
||||
Pattern.compile("<w:pgMar\\b[^>]*w:(?:left|start)=\"(\\d+)\"");
|
||||
Pattern.compile("<w:pgMar\\b[^>]*w:left=\"(\\d+)\"");
|
||||
private static final Pattern PG_MAR_RIGHT =
|
||||
Pattern.compile("<w:pgMar\\b[^>]*w:(?:right|end)=\"(\\d+)\"");
|
||||
Pattern.compile("<w:pgMar\\b[^>]*w:right=\"(\\d+)\"");
|
||||
private static final Pattern JC =
|
||||
Pattern.compile("<w:jc\\b[^>]*w:val=\"(center|right)\"[^>]*/>");
|
||||
private static final Pattern TBL_IND = Pattern.compile("<w:tblInd\\b[^>]*/>");
|
||||
@@ -74,16 +82,13 @@ public final class TableIndentNormalizer {
|
||||
private TableIndentNormalizer() {
|
||||
}
|
||||
|
||||
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
|
||||
public static final DocxNormalizer STEP = TableIndentNormalizer::normalize;
|
||||
|
||||
/**
|
||||
* Переписывает jc+tblInd в абсолютный tblInd в {@code word/document.xml}.
|
||||
*
|
||||
* @param docx байты .docx (zip)
|
||||
* @return те же или переупакованные байты
|
||||
*/
|
||||
public static byte[] normalize(byte[] docx) throws IOException {
|
||||
static byte[] normalize(byte[] docx) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||
boolean changed = false;
|
||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||
@@ -186,10 +191,18 @@ public final class TableIndentNormalizer {
|
||||
if (hasInd) {
|
||||
String indTag = ind.group();
|
||||
Matcher indW = TBL_IND_W.matcher(indTag);
|
||||
if (!indW.find() || !indTag.contains("w:type=\"dxa\"")) {
|
||||
continue; // не-dxa — величина сдвига неизвестна
|
||||
// CT_TblWidth (§17.4.87): опущенный w:type = dxa;
|
||||
// явный не-dxa (pct и т.п.) — величина сдвига неизвестна
|
||||
boolean nonDxa = indTag.contains("w:type=") && !indTag.contains("w:type=\"dxa\"");
|
||||
if (!indW.find() || nonDxa) {
|
||||
continue;
|
||||
}
|
||||
x = Integer.parseInt(indW.group(1));
|
||||
} else if (pr.contains("<w:tblInd")) {
|
||||
// парный (не самозакрывающийся) w:tblInd — паттерн видит
|
||||
// только самозакрытый; вставка нового тега оставила бы старый
|
||||
// → дубль элемента (maxOccurs=1 у CT_TblPrBase), консервативно
|
||||
continue;
|
||||
} else if (pr.contains("<w:tblCellSpacing")) {
|
||||
// tblInd по CT_TblPrBase идёт ПОСЛЕ tblCellSpacing — вставить
|
||||
// тег в корректную позицию некуда, консервативно пропускаем
|
||||
|
||||
+5
-5
@@ -11,7 +11,7 @@ import java.util.List;
|
||||
|
||||
/**
|
||||
* Объёмные декартовы графики: c:bar3DChart, c:line3DChart, c:area3DChart
|
||||
* (ECMA-376 §21.2.2.19/.101/.122). Камера — та же, что у поверхности
|
||||
* (ECMA-376 §21.2.2.15/.96/.4). Камера — та же, что у поверхности
|
||||
* ({@link Surface3dPainter#project}): u — категория (ширина), v — ряд
|
||||
* (глубина), w — значение (высота); вписка равномерным масштабом в поля
|
||||
* {@link Surface3dPainter#GUTTER_LEFT} и т.д.
|
||||
@@ -21,8 +21,8 @@ import java.util.List;
|
||||
* §2.1.1474(a)); торец затемняется (псевдо-свет, калибровка — Cartesian3dPainterTest).
|
||||
* line3D: полилиния ряда на своей глубине, лента-толщина не имитируется;
|
||||
* area3D: стена ряда от пола до значений, полупрозрачная, как AREA.
|
||||
* c:shape (§21.2.2.177, ST_Shape §21.2.3.44): box/cone/coneToMax/cylinder/pyramid/
|
||||
* pyramidToMax; c:shape ряда переопределяет форму диаграммы (MS-OI29500 §2.1.1545(a/b)),
|
||||
* c:shape (§21.2.2.177, ST_Shape §21.2.3.42): box/cone/coneToMax/cylinder/pyramid/
|
||||
* pyramidToMax; c:shape ряда переопределяет форму диаграммы (MS-OI29500 §2.1.1546(a/b)),
|
||||
* ToMax-формы сужаются к верху пропорционально val/max (семантика Excel — ECMA геометрию
|
||||
* не нормирует); неизвестное значение — box. c:barDir="bar" — горизонтальная ориентация
|
||||
* боксов (Word UI не сочетает barDir=bar с формами).
|
||||
@@ -343,7 +343,7 @@ final class Cartesian3dPainter {
|
||||
}
|
||||
}
|
||||
|
||||
/** Грани колонки в модельных координатах (§21.2.3.44 ST_Shape); все вершины
|
||||
/** Грани колонки в модельных координатах (§21.2.3.42 ST_Shape); все вершины
|
||||
* проецируются в nodes — по ним происходит вписка. Неизвестная форма — box. */
|
||||
private static List<Face> buildFaces(Color color, String shape, double t,
|
||||
double u0, double u1, double v0, double v1,
|
||||
@@ -600,7 +600,7 @@ final class Cartesian3dPainter {
|
||||
}
|
||||
|
||||
/** Подписи: значения — вдоль переднего левого ребра, категории — нижнего,
|
||||
* ряды — правого; c:delete (§21.2.2.38) убирает подписи оси.
|
||||
* ряды — правого; c:delete (§21.2.2.40) убирает подписи оси.
|
||||
* Регрессия — Cartesian3dPainterTest#bar3d_seriesAxisLabelsDrawn. */
|
||||
private static void drawLabels(Graphics2D g, ChartSpec spec, List<Double> tickValues,
|
||||
List<Surface3dPainter.Node> valueAnchors, int nCat,
|
||||
|
||||
@@ -70,12 +70,12 @@ final class CartesianPainter {
|
||||
"percentStacked".equalsIgnoreCase(lineGrouping))
|
||||
: null;
|
||||
|
||||
// Разделение серий по осям значений: ссылочное равенство с secondaryValAxis
|
||||
// (назначается ChartSpec.parse по c:axId, §21.2.2.9).
|
||||
// Разделение серий по осям значений: та же ось по c:axId
|
||||
// (назначается ChartSpec.parse, §21.2.2.9; {@link ChartSpec#sameAxis}).
|
||||
List<Integer> primIdx = new ArrayList<>();
|
||||
List<Integer> secIdx = new ArrayList<>();
|
||||
for (int si = 0; si < spec.series.size(); si++) {
|
||||
if (secAxis != null && spec.series.get(si).valAxis == secAxis) {
|
||||
if (ChartSpec.sameAxis(spec.series.get(si).valAxis, secAxis)) {
|
||||
secIdx.add(si);
|
||||
} else {
|
||||
primIdx.add(si);
|
||||
@@ -278,9 +278,9 @@ final class CartesianPainter {
|
||||
return gr != null ? gr : spec.grouping;
|
||||
}
|
||||
|
||||
/** Серия на вторичной оси значений (ссылочное равенство с secondaryValAxis). */
|
||||
/** Серия на вторичной оси значений (та же ось по c:axId, §21.2.2.9; {@link ChartSpec#sameAxis}). */
|
||||
private static boolean onSecondary(ChartSpec.Series s, ChartSpec spec) {
|
||||
return spec.secondaryValAxis != null && s.valAxis == spec.secondaryValAxis;
|
||||
return ChartSpec.sameAxis(s.valAxis, spec.secondaryValAxis);
|
||||
}
|
||||
|
||||
private static List<Integer> intersect(List<Integer> family, List<Integer> prim) {
|
||||
|
||||
+98
-3
@@ -2,10 +2,13 @@ package ru.pjandro.wordpdf.internal.chart;
|
||||
|
||||
import org.docx4j.convert.out.fo.FOConversionImageHandler;
|
||||
import org.docx4j.model.images.AbstractWordXmlPicture;
|
||||
import org.docx4j.model.images.PictureCompression;
|
||||
import org.docx4j.openpackaging.exceptions.Docx4JException;
|
||||
import org.docx4j.openpackaging.parts.WordprocessingML.BinaryPart;
|
||||
import org.docx4j.relationships.Relationship;
|
||||
|
||||
import java.nio.ByteBuffer;
|
||||
|
||||
/**
|
||||
* Image-обработчик FO-экспорта, отключающий docx4j «Compress Pictures»
|
||||
* (CR-029) для наших chart-PNG.
|
||||
@@ -25,13 +28,26 @@ import org.docx4j.relationships.Relationship;
|
||||
* {@code /word/media/chart-*} возвращаем null (нет варианта), картинка
|
||||
* уходит в PDF как есть.
|
||||
*
|
||||
* Медиа документов (фото/скрины) — не наши части, им остаётся штатный
|
||||
* docx4j-режим CR-029.
|
||||
* Медиа документов (фото/скрины) — не наши части, но и для них штатный путь
|
||||
* дорог: {@code PictureCompression.compress} декодирует полный растр (ImageIO)
|
||||
* ДО любых решений, а для не-JPEG без кропа с ppi <= threshold (и без размера
|
||||
* в макете) результат всегда null — декод впустую. Здесь такое решение
|
||||
* принимается по 26 байтам заголовка (PNG/GIF/BMP), растр не декодируется
|
||||
* вовсе. JPEG сознательно не ускоряем: Word при ppi <= threshold перекодирует
|
||||
* его «для размера», вывод должен остаться побайтно прежним.
|
||||
*
|
||||
* Регрессия — WordPdfConverterTest#chartMedia_notDownsampled.
|
||||
* Регрессии — WordPdfConverterTest#chartMedia_notDownsampled,
|
||||
* ChartImageHandlerTest#plainPngBelowThreshold_returnsNull,
|
||||
* ChartImageHandlerTest#jpegBelowThreshold_stillDelegates,
|
||||
* ChartImageHandlerTest#pngAboveThreshold_stillDelegates.
|
||||
*/
|
||||
public final class ChartImageHandler extends FOConversionImageHandler {
|
||||
|
||||
private static final int[] PNG_SIGNATURE =
|
||||
{0x89, 0x50, 0x4E, 0x47, 0x0D, 0x0A, 0x1A, 0x0A};
|
||||
private static final int[] GIF_SIGNATURE = {0x47, 0x49, 0x46, 0x38};
|
||||
private static final int[] BMP_SIGNATURE = {0x42, 0x4D};
|
||||
|
||||
@Override
|
||||
protected String compressedVariant(AbstractWordXmlPicture picture,
|
||||
Relationship relationship, BinaryPart part)
|
||||
@@ -41,6 +57,85 @@ public final class ChartImageHandler extends FOConversionImageHandler {
|
||||
.startsWith(DrawingPreRenderer.CHART_MEDIA_URI_PREFIX)) {
|
||||
return null;
|
||||
}
|
||||
// Быстрый путь: null идентичен тому, что super вернул бы после
|
||||
// полного декода. PictureCompression.compress для не-JPEG без кропа
|
||||
// возвращает null, когда ресемпл не нужен: ppi по заголовку не выше
|
||||
// threshold (формула — дословно из compress) или размер в макете
|
||||
// задан нулём/не задан (кроп при этом исключён, reencoding требует
|
||||
// JPEG). Кроп, high-fidelity, JPEG и нераспознанный формат — super.
|
||||
if (picture != null && picture.isForXslFo() && part != null
|
||||
&& (!cropsPictures() || picture.getCrop().isNone())) {
|
||||
PictureCompression.Resolution resolution =
|
||||
PictureCompression.resolution(picture.getWmlPackage(), pictureResolution);
|
||||
if (!resolution.isHighFidelity() && noResampleNeeded(part.getBuffer(),
|
||||
picture.getWidthInPoints(), picture.getHeightInPoints(),
|
||||
resolution.threshold)) {
|
||||
return null;
|
||||
}
|
||||
}
|
||||
return super.compressedVariant(picture, relationship, part);
|
||||
}
|
||||
|
||||
/**
|
||||
* Истинно, когда по 26 байтам заголовка контейнера картинка — из быстрого
|
||||
* списка (PNG/GIF/BMP) и ресемпл ей не нужен: нативный ppi при заданном
|
||||
* макетном размере не выше {@code threshold} (формула — дословно из
|
||||
* {@code PictureCompression.compress}), либо размер в макете не задан
|
||||
* (без кропа и без JPEG super тоже приходит к null). Ложь — формат вне
|
||||
* списка (JPEG — решение пользователя, TIFF/EMF/WMF/…), заголовок
|
||||
* неполный/неправдоподобный или буфер части пуст: решение отдаём super.
|
||||
* Байты читаются абсолютными индексами — позиция общего {@link ByteBuffer}
|
||||
* части не мутируется.
|
||||
*/
|
||||
private static boolean noResampleNeeded(ByteBuffer bb, double widthPt, double heightPt,
|
||||
int threshold) {
|
||||
if (bb == null) {
|
||||
return false;
|
||||
}
|
||||
final int len = bb.limit();
|
||||
final int width;
|
||||
final int height;
|
||||
// PNG: сигнатура, затем длина блока, «IHDR» со смещения 12,
|
||||
// ширина/высота big-endian в 16/20.
|
||||
if (len >= 24 && magic(bb, 0, PNG_SIGNATURE) && be32(bb, 12) == 0x49484452) {
|
||||
width = be32(bb, 16);
|
||||
height = be32(bb, 20);
|
||||
// GIF: «GIF8», ширина/высота little-endian в 6/8 (le32-чтение
|
||||
// с 8 идёт до байта 11 включительно).
|
||||
} else if (len >= 12 && magic(bb, 0, GIF_SIGNATURE)) {
|
||||
width = le32(bb, 6) & 0xFFFF;
|
||||
height = le32(bb, 8) & 0xFFFF;
|
||||
// BMP: «BM», ширина/высота BITMAPINFOHEADER little-endian в 18/22
|
||||
// (высота отрицательная для top-down — берём модуль).
|
||||
} else if (len >= 26 && magic(bb, 0, BMP_SIGNATURE)) {
|
||||
width = le32(bb, 18);
|
||||
height = Math.abs(le32(bb, 22));
|
||||
} else {
|
||||
return false;
|
||||
}
|
||||
if (width <= 0 || height <= 0) {
|
||||
return false;
|
||||
}
|
||||
return widthPt <= 0 || heightPt <= 0
|
||||
|| Math.max(width / (widthPt / 72d), height / (heightPt / 72d)) <= threshold;
|
||||
}
|
||||
|
||||
private static boolean magic(ByteBuffer bb, int at, int[] bytes) {
|
||||
for (int i = 0; i < bytes.length; i++) {
|
||||
if ((bb.get(at + i) & 0xFF) != bytes[i]) {
|
||||
return false;
|
||||
}
|
||||
}
|
||||
return true;
|
||||
}
|
||||
|
||||
private static int be32(ByteBuffer bb, int at) {
|
||||
return ((bb.get(at) & 0xFF) << 24) | ((bb.get(at + 1) & 0xFF) << 16)
|
||||
| ((bb.get(at + 2) & 0xFF) << 8) | (bb.get(at + 3) & 0xFF);
|
||||
}
|
||||
|
||||
private static int le32(ByteBuffer bb, int at) {
|
||||
return (bb.get(at) & 0xFF) | ((bb.get(at + 1) & 0xFF) << 8)
|
||||
| ((bb.get(at + 2) & 0xFF) << 16) | ((bb.get(at + 3) & 0xFF) << 24);
|
||||
}
|
||||
}
|
||||
|
||||
@@ -52,6 +52,10 @@ final class ChartRenderer {
|
||||
/** Порог «значение целое» при форматировании подписей. */
|
||||
private static final double INTEGER_EPSILON = 1e-9;
|
||||
|
||||
/** Позиции легенды (ECMA-376 §21.2.2.95 legendPos, ST_LegendPos §21.2.3.24): снизу/сверху. */
|
||||
private static final String LEGEND_BOTTOM = "b";
|
||||
private static final String LEGEND_TOP = "t";
|
||||
|
||||
/**
|
||||
* Верхняя граница числа делений: {@code c:majorUnit} (ECMA-376 §21.2.2.103) —
|
||||
* double без нижней границы; Word пишет «круглые» значения, а враждебный docx —
|
||||
@@ -110,12 +114,12 @@ final class ChartRenderer {
|
||||
// дорисовывается поверх после художника. Регрессия — ChartRendererTest#overlayLegend_drawnOverPlot.
|
||||
double legendH = legend == null || spec.legendOverlay ? 0 : legend.height;
|
||||
Rectangle2D box0 = box;
|
||||
if (legend != null && !spec.legendOverlay && "b".equals(spec.legendPos)) {
|
||||
if (legend != null && !spec.legendOverlay && LEGEND_BOTTOM.equals(spec.legendPos)) {
|
||||
legend.draw(g, box.getX(), box.getY() + box.getHeight() - legendH,
|
||||
box.getWidth());
|
||||
box = new Rectangle2D.Double(box.getX(), box.getY(),
|
||||
box.getWidth(), box.getHeight() - legendH);
|
||||
} else if (legend != null && !spec.legendOverlay && "t".equals(spec.legendPos)) {
|
||||
} else if (legend != null && !spec.legendOverlay && LEGEND_TOP.equals(spec.legendPos)) {
|
||||
legend.draw(g, box.getX(), box.getY(), box.getWidth());
|
||||
box = new Rectangle2D.Double(box.getX(), box.getY() + legendH,
|
||||
box.getWidth(), box.getHeight() - legendH);
|
||||
@@ -144,7 +148,7 @@ final class ChartRenderer {
|
||||
default -> LOG.warn("тип графика {} не поддерживается — пустой PNG", spec.type);
|
||||
}
|
||||
if (legend != null && spec.legendOverlay) {
|
||||
double y = "t".equals(spec.legendPos)
|
||||
double y = LEGEND_TOP.equals(spec.legendPos)
|
||||
? box0.getY() : box0.getY() + box0.getHeight() - legend.height;
|
||||
legend.draw(g, box0.getX(), y, box0.getWidth());
|
||||
}
|
||||
|
||||
@@ -117,7 +117,7 @@ final class ChartSpec {
|
||||
final List<Double> xValues = new ArrayList<>();
|
||||
/** bubble: размеры пузырей (c:bubbleSize). */
|
||||
final List<Double> bubbleSizes = new ArrayList<>();
|
||||
/** c:shape ряда bar3D (MS-OI29500 §2.1.1545(b)); null = дефолт диаграммы ({@link #shape3d}). */
|
||||
/** c:shape ряда bar3D (MS-OI29500 §2.1.1546(b)); null = дефолт диаграммы ({@link #shape3d}). */
|
||||
String shape3d;
|
||||
/** Способ отрисовки ряда в combo-диаграмме (несколько групп в одном c:plotArea,
|
||||
* ECMA-376 §21.2.2.145): BAR/BAR_HORIZONTAL/LINE/AREA по группе-источнику.
|
||||
@@ -396,7 +396,7 @@ final class ChartSpec {
|
||||
break;
|
||||
}
|
||||
}
|
||||
if (va == null || va == spec.valAxis) {
|
||||
if (va == null || sameAxis(va, spec.valAxis)) {
|
||||
continue;
|
||||
}
|
||||
if (spec.secondaryValAxis == null) {
|
||||
@@ -409,6 +409,14 @@ final class ChartSpec {
|
||||
}
|
||||
}
|
||||
|
||||
/** Та же ось по c:axId (§21.2.2.9): id уникален в диаграмме, оси с id ≥ 0 лежат
|
||||
* в {@code axesById} по одному на id — для осей, назначенных из карты при разборе,
|
||||
* эквивалентно ссылочному равенству. Прямое сравнение осей через == запрещено
|
||||
* PMD CompareObjectsWithEquals; null и id < 0 — никогда «та же». */
|
||||
static boolean sameAxis(AxisSpec a, AxisSpec b) {
|
||||
return a != null && b != null && a.axId >= 0 && a.axId == b.axId;
|
||||
}
|
||||
|
||||
private static void readChartFrame(CTChartSpace space, ChartSpec spec, DrawMlColor colors) {
|
||||
CTShapeProperties sp = space.getSpPr();
|
||||
if (sp == null) {
|
||||
|
||||
@@ -29,12 +29,13 @@ import java.util.Map;
|
||||
* Палитра цветов DrawingML: цвета схемы из word/theme/theme1.xml плюс
|
||||
* разбор {@code a:color} (srgbClr / scrgbClr / hslClr / sysClr /
|
||||
* schemeClr / prstClr) с полным набором трансформаций EG_ColorTransform
|
||||
* (§20.1.2.3.2-28: lum/sat/hue Mod/Off и абсолютные, tint/shade,
|
||||
* (§20.1.2.3.2-34: lum/sat/hue Mod/Off и абсолютные, tint §20.1.2.3.34 /
|
||||
* shade §20.1.2.3.31,
|
||||
* alpha/alphaMod/alphaOff, red/green/blue + Mod/Off, comp, inv, gray,
|
||||
* gamma/invGamma).
|
||||
*
|
||||
* tint/shade — модуляция светлоты в HSL (L' = L·p + (1−p) / L·p,
|
||||
* MS-OI29500 §17.3.2.6(a) — поведение Word); ECMA-примеры именно для
|
||||
* MS-OI29500 §2.1.72 — поведение Word); ECMA-примеры именно для
|
||||
* tint/shade (00BC00) противоречат его же примерам семейства lum/sat —
|
||||
* расхождение на стороне спецификации.
|
||||
*
|
||||
@@ -432,7 +433,7 @@ final class DrawMlColor {
|
||||
rgb = toRgb(hsl);
|
||||
}
|
||||
// §20.1.2.3.31/.34: Office-семантика — модуляция
|
||||
// светлоты в HSL (MS-OI29500 §17.3.2.6(a)), не
|
||||
// светлоты в HSL (MS-OI29500 §2.1.72), не
|
||||
// гамма-микс; ECMA-примеры tint/shade противоречат
|
||||
// собственному семейству lum/sat (§20.1.2.3.19-28).
|
||||
case "tint" -> {
|
||||
|
||||
@@ -7,7 +7,7 @@ import org.docx4j.dml.CTTextParagraph;
|
||||
import org.docx4j.dml.CTTextParagraphProperties;
|
||||
import org.docx4j.dml.CTTextSpacing;
|
||||
import org.docx4j.dml.TextFont;
|
||||
import ru.pjandro.wordpdf.fonts.BundledFontMapper;
|
||||
import ru.pjandro.wordpdf.fonts.BundledFontAliases;
|
||||
import ru.pjandro.wordpdf.fonts.BundledFonts;
|
||||
|
||||
import ru.pjandro.wordpdf.fonts.GlyphFont;
|
||||
@@ -23,7 +23,7 @@ import java.util.List;
|
||||
* (a:defRPr / a:rPr: sz, b, i, solidFill, latin) и разбивка на строки.
|
||||
*
|
||||
* Шрифты берутся из того же бандла, что и у текста PDF
|
||||
* ({@link BundledFontMapper#bundledFamily}), поэтому подпись диаграммы
|
||||
* ({@link BundledFontAliases#bundledFamily}), поэтому подпись диаграммы
|
||||
* рисуется тем же Carlito/Tinos, что и абзацы документа.
|
||||
*/
|
||||
final class DrawMlText {
|
||||
@@ -43,7 +43,7 @@ final class DrawMlText {
|
||||
|
||||
/**
|
||||
* Один абзац: текст + начертание + выравнивание + межстрочный интервал
|
||||
* из {@code a:lnSpc} (ECMA-376 §21.1.2.4): {@code spacingPct} — доля
|
||||
* из {@code a:lnSpc} (ECMA-376 §21.1.2.2.5): {@code spacingPct} — доля
|
||||
* одинарного (a:spcPct/100000), {@code spacingPts} — фиксированная
|
||||
* высота строки в pt (a:spcPts/100); оба null — одинарный.
|
||||
*/
|
||||
@@ -57,6 +57,8 @@ final class DrawMlText {
|
||||
|
||||
/** Значения выравнивания DrawingML (a:pPr/@algn, a:bodyPr/@anchor). */
|
||||
private static final String ALIGN_CTR = "ctr";
|
||||
private static final String ALIGN_RIGHT = "r";
|
||||
private static final String ALIGN_FAR = "far";
|
||||
private static final String VALIGN_BOTTOM = "b";
|
||||
|
||||
/** Длина строки, дальше которую рез не идёт (прогресс гарантирован 1 символом). */
|
||||
@@ -82,7 +84,7 @@ final class DrawMlText {
|
||||
String fallbackFam, double fallbackSize, Color fallbackColor) {
|
||||
Style base = new Style(fallbackSize, false, false, fallbackColor,
|
||||
fallbackFam == null ? BundledFonts.FALLBACK_FAMILY
|
||||
: BundledFontMapper.bundledFamily(fallbackFam));
|
||||
: BundledFontAliases.bundledFamily(fallbackFam));
|
||||
if (txPr == null || txPr.getP().isEmpty()) {
|
||||
return base;
|
||||
}
|
||||
@@ -168,7 +170,7 @@ final class DrawMlText {
|
||||
case "+mj-lt", "+mj-ea", "+mj-cs" -> colors.majorFontName();
|
||||
default -> typeface;
|
||||
};
|
||||
return BundledFontMapper.bundledFamily(name != null ? name : fallbackFam);
|
||||
return BundledFontAliases.bundledFamily(name != null ? name : fallbackFam);
|
||||
}
|
||||
|
||||
/**
|
||||
@@ -241,7 +243,7 @@ final class DrawMlText {
|
||||
String align = line.align() != null ? line.align() : defAlign;
|
||||
if (ALIGN_CTR.equals(align)) {
|
||||
x += (box.getWidth() - line.width()) / 2.0;
|
||||
} else if ("r".equals(align) || "far".equals(align)) {
|
||||
} else if (ALIGN_RIGHT.equals(align) || ALIGN_FAR.equals(align)) {
|
||||
x += box.getWidth() - line.width();
|
||||
}
|
||||
fontFor(line.style()).draw(g, line.text(), x, y + line.ascent(),
|
||||
@@ -253,7 +255,7 @@ final class DrawMlText {
|
||||
/**
|
||||
* Высота строки абзаца: a:lnSpc/a:spcPts — фиксированная в pt,
|
||||
* a:spcPct — доля одинарного (ascent+descent+leading), ничего —
|
||||
* одинарный (ECMA-376 §21.1.2.4 CT_TextLineSpacing).
|
||||
* одинарный (ECMA-376 §21.1.2.2.5 CT_TextLineSpacing).
|
||||
*/
|
||||
private static double lineFor(Paragraph p, double single) {
|
||||
if (p.spacingPts() != null) {
|
||||
|
||||
+309
-22
@@ -22,6 +22,8 @@ import org.docx4j.dml.diagram2008.CTDrawing;
|
||||
import org.docx4j.dml.picture.Pic;
|
||||
import org.docx4j.dml.wordprocessingDrawing.Anchor;
|
||||
import org.docx4j.dml.wordprocessingDrawing.Inline;
|
||||
import org.docx4j.math.CTOMath;
|
||||
import org.docx4j.math.CTOMathPara;
|
||||
import org.docx4j.openpackaging.contenttype.ContentTypes;
|
||||
import org.docx4j.openpackaging.exceptions.Docx4JException;
|
||||
import org.docx4j.openpackaging.exceptions.InvalidFormatException;
|
||||
@@ -32,19 +34,34 @@ import org.docx4j.openpackaging.parts.PartName;
|
||||
import org.docx4j.openpackaging.parts.ThemePart;
|
||||
import org.docx4j.openpackaging.parts.WordprocessingML.BinaryPartAbstractImage;
|
||||
import org.docx4j.openpackaging.parts.relationships.RelationshipsPart;
|
||||
import org.docx4j.wml.CTSignedHpsMeasure;
|
||||
import org.docx4j.wml.Drawing;
|
||||
import org.docx4j.wml.Jc;
|
||||
import org.docx4j.wml.JcEnumeration;
|
||||
import org.docx4j.wml.P;
|
||||
import org.docx4j.wml.PPr;
|
||||
import org.docx4j.wml.R;
|
||||
import org.docx4j.wml.RPr;
|
||||
import org.docx4j.wml.Text;
|
||||
import org.slf4j.Logger;
|
||||
import org.slf4j.LoggerFactory;
|
||||
import ru.pjandro.wordpdf.ChartsFoundException;
|
||||
import ru.pjandro.wordpdf.ConvertOptions;
|
||||
import ru.pjandro.wordpdf.DrawingFoundException;
|
||||
import ru.pjandro.wordpdf.ConversionException;
|
||||
import ru.pjandro.wordpdf.SmartArtFoundException;
|
||||
|
||||
import javax.imageio.ImageIO;
|
||||
import javax.xml.namespace.QName;
|
||||
import java.awt.image.BufferedImage;
|
||||
import java.io.ByteArrayInputStream;
|
||||
import java.io.ByteArrayOutputStream;
|
||||
import java.io.IOException;
|
||||
import java.lang.reflect.Method;
|
||||
import java.math.BigInteger;
|
||||
import java.util.ArrayList;
|
||||
import java.util.Collections;
|
||||
import java.util.HashSet;
|
||||
import java.util.IdentityHashMap;
|
||||
import java.util.List;
|
||||
import java.util.Set;
|
||||
|
||||
@@ -58,8 +75,20 @@ import java.util.Set;
|
||||
* пакета и до создания FOSettings, иначе FOP увидит исходные chart/diagram
|
||||
* и молча их выбросит (notImplemented в шаблоне).
|
||||
*
|
||||
* <p>Третий объект — формулы OMML (§22.1): {@code m:oMathPara}/{@code m:oMath}
|
||||
* доходят сюда нетронутыми (docx2fo.xslt кладёт их в
|
||||
* {@code fo:instream-foreign-object} с MathML, который FOP+jeuclid на
|
||||
* без-fontconfig хостах роняет конвертацию, а на остальных рисует чужими
|
||||
* системными шрифтами). Каждая формула рендерится своим растером
|
||||
* ({@link MathModel} → {@link MathRenderer}) и заменяется inline-картинкой
|
||||
* на месте; unsupported/битая формула деградирует раном с текстом
|
||||
* {@code m:t}. Байтовый скан {@code MathFallbackNormalizer} (правило 6)
|
||||
* срезает unsupported-конструкции до загрузки docx4j — этот путь остаётся
|
||||
* безопасной сетью.
|
||||
*
|
||||
* Error-флаги {@link ConvertOptions}: при выключенном render-флаге и
|
||||
* включённом error-флаге находка объекта — {@link DrawingFoundException}
|
||||
* включённом error-флаге находка объекта — {@link ChartsFoundException} или
|
||||
* {@link SmartArtFoundException}
|
||||
* (бросок здесь, на шаге 3.5, до XSLT/FOP). Регрессия —
|
||||
* WordPdfConverterTest#drawingErrors_errorFlagRejectsCharts, фикстура
|
||||
* samples/charts-smartart.docx.
|
||||
@@ -76,6 +105,15 @@ public final class DrawingPreRenderer {
|
||||
"http://schemas.openxmlformats.org/drawingml/2006/picture";
|
||||
private static final String DIAGRAM_DRAWING_REL =
|
||||
"http://schemas.microsoft.com/office/2007/relationships/diagramDrawing";
|
||||
/** {@code m:} — namespace OMML (§22.1); {@code w:} — wordprocessingML. */
|
||||
private static final String MATH_URI =
|
||||
"http://schemas.openxmlformats.org/officeDocument/2006/math";
|
||||
/** Local name элемента {@code m:oMath} (диспетч JAXBElement по имени тега). */
|
||||
private static final String LOCAL_OMATH = "oMath";
|
||||
/** Local name элемента {@code m:oMathPara} (формула отдельным абзацем). */
|
||||
private static final String LOCAL_OMATH_PARA = "oMathPara";
|
||||
private static final String WML_URI =
|
||||
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
|
||||
|
||||
/**
|
||||
* Верхняя граница {@code wp:extent} в EMU: максимальная страница Word —
|
||||
@@ -98,10 +136,25 @@ public final class DrawingPreRenderer {
|
||||
|
||||
/**
|
||||
* Рендерит диаграммы/SmartArt пакета в PNG и подменяет их картинками —
|
||||
* объекты конвертируются всегда. Бросается {@link DrawingFoundException},
|
||||
* объекты конвертируются всегда. Бросается {@link ChartsFoundException} или
|
||||
* {@link SmartArtFoundException},
|
||||
* когда для объектов включён error-флаг ({@link ConvertOptions}).
|
||||
*/
|
||||
public static void run(WordprocessingMLPackage pkg, ConvertOptions options) {
|
||||
run(pkg, options, MAX_CHART_PNG_BYTES_TOTAL);
|
||||
}
|
||||
|
||||
/**
|
||||
* Потолок суммарного размера chart-PNG на документ: пер-объектные гейты
|
||||
* ({@code MAX_EXTENT_EMU}, {@code MAX_PIXELS}) ограничивают один объект,
|
||||
* но тысячи chart-частей × MB PNG оседали бы в heap как media-части
|
||||
* (много-ГБ пик с входа ≤5 MiB). Превышение — деградация «объект удалён
|
||||
* + warn», конвертация продолжается.
|
||||
*/
|
||||
private static final long MAX_CHART_PNG_BYTES_TOTAL = 128L * 1024 * 1024;
|
||||
|
||||
/** Тестовый шов: бюджет задаётся явно (публичный {@link #run} — с константой). */
|
||||
static void run(WordprocessingMLPackage pkg, ConvertOptions options, long maxPngBytesTotal) {
|
||||
ThemePart themePart = null;
|
||||
for (Part p : new ArrayList<>(pkg.getParts().getParts().values())) {
|
||||
if (p instanceof ThemePart tp) {
|
||||
@@ -116,7 +169,9 @@ public final class DrawingPreRenderer {
|
||||
// ConcurrentModificationException.
|
||||
List<Part> parts = new ArrayList<>(pkg.getParts().getParts().values());
|
||||
Set<Part> handled = new HashSet<>();
|
||||
Set<List<?>> visitedContents = Collections.newSetFromMap(new IdentityHashMap<>());
|
||||
int[] idSeq = {1000};
|
||||
long[] pngTotal = {0};
|
||||
for (Part p : parts) {
|
||||
if (!handled.add(p)) {
|
||||
continue;
|
||||
@@ -125,7 +180,8 @@ public final class DrawingPreRenderer {
|
||||
if (content.isEmpty()) {
|
||||
continue;
|
||||
}
|
||||
walk(p, content, pkg, colors, idSeq, options);
|
||||
walk(p, content, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options,
|
||||
visitedContents, null);
|
||||
}
|
||||
}
|
||||
|
||||
@@ -151,20 +207,61 @@ public final class DrawingPreRenderer {
|
||||
}
|
||||
|
||||
private static void walk(Part part, List<?> content, WordprocessingMLPackage pkg,
|
||||
DrawMlColor colors, int[] idSeq, ConvertOptions options) {
|
||||
for (Object o : content) {
|
||||
DrawMlColor colors, int[] idSeq, long[] pngTotal,
|
||||
long maxPngBytesTotal, ConvertOptions options,
|
||||
Set<List<?>> visitedContents, P ownerPara) {
|
||||
// Посещённые списки — по идентичности (IdentityHashMap): рефлексивный
|
||||
// getContent (ребёнок возвращает список родителя) не зацикливает обход.
|
||||
// Сравнение списков через ==/!= запрещено PMD CompareObjectsWithEquals.
|
||||
if (!visitedContents.add(content)) {
|
||||
return;
|
||||
}
|
||||
for (int i = 0; i < content.size(); i++) {
|
||||
Object o = content.get(i);
|
||||
Object v = o instanceof JAXBElement ? ((JAXBElement<?>) o).getValue() : o;
|
||||
if (v instanceof Drawing drawing) {
|
||||
replaceDrawing(part, drawing, pkg, colors, idSeq, options);
|
||||
replaceDrawing(part, drawing, pkg, colors, idSeq, pngTotal,
|
||||
maxPngBytesTotal, options);
|
||||
continue;
|
||||
}
|
||||
if (o instanceof JAXBElement<?> el && el.getName() != null
|
||||
&& MATH_URI.equals(el.getName().getNamespaceURI())) {
|
||||
String local = el.getName().getLocalPart();
|
||||
if (LOCAL_OMATH.equals(local) && v instanceof CTOMath math) {
|
||||
i = splice(content, i, mathReplacements(math, false, part, pkg,
|
||||
idSeq, pngTotal, maxPngBytesTotal));
|
||||
continue;
|
||||
}
|
||||
if (LOCAL_OMATH_PARA.equals(local) && v instanceof CTOMathPara para) {
|
||||
i = splice(content, i, mathParaReplacements(para, ownerPara, part,
|
||||
pkg, idSeq, pngTotal, maxPngBytesTotal));
|
||||
continue;
|
||||
}
|
||||
}
|
||||
P para = v instanceof P p ? p : ownerPara;
|
||||
List<?> nested = invokeList(v, "getContent");
|
||||
if (!nested.isEmpty() && nested != content) {
|
||||
walk(part, nested, pkg, colors, idSeq, options);
|
||||
if (!nested.isEmpty()) {
|
||||
walk(part, nested, pkg, colors, idSeq, pngTotal, maxPngBytesTotal,
|
||||
options, visitedContents, para);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* In-place замена элемента {@code index} живого списка дерева на {@code reps}
|
||||
* (формула → картинка/текст). Живые списки docx4j — изменяемые
|
||||
* {@code ArrayList}; немодифицируемый список (нетипичный биндинг) —
|
||||
* {@link UnsupportedOperationException}, который вызывающий не ловит:
|
||||
* это ошибка программы, а не враждебный вход (валидатор пропускает только
|
||||
* OOXML-валидные пакеты). Raw-сигнатура — единственный способ mutate
|
||||
* {@code List<?>} без {@code @SuppressWarnings}.
|
||||
*/
|
||||
private static int splice(List content, int index, List reps) {
|
||||
content.remove(index);
|
||||
content.addAll(index, reps);
|
||||
return index + reps.size() - 1;
|
||||
}
|
||||
|
||||
private static List<?> invokeList(Object target, String getter) {
|
||||
try {
|
||||
Method m = target.getClass().getMethod(getter);
|
||||
@@ -176,7 +273,8 @@ public final class DrawingPreRenderer {
|
||||
}
|
||||
|
||||
private static void replaceDrawing(Part part, Drawing drawing, WordprocessingMLPackage pkg,
|
||||
DrawMlColor colors, int[] idSeq, ConvertOptions options) {
|
||||
DrawMlColor colors, int[] idSeq, long[] pngTotal,
|
||||
long maxPngBytesTotal, ConvertOptions options) {
|
||||
for (Object wrapper : drawing.getAnchorOrInline()) {
|
||||
Graphic graphic;
|
||||
long cx;
|
||||
@@ -207,10 +305,10 @@ public final class DrawingPreRenderer {
|
||||
boolean isChart = CHART_ELEMENT.equals(name);
|
||||
boolean isDiagram = DIAGRAM_ELEMENT.equals(name);
|
||||
if (isChart && options.errorOnCharts()) {
|
||||
throw new DrawingFoundException(DrawingFoundException.Kind.CHARTS);
|
||||
throw new ChartsFoundException();
|
||||
}
|
||||
if (isDiagram && options.errorOnSmartArt()) {
|
||||
throw new DrawingFoundException(DrawingFoundException.Kind.SMARTART);
|
||||
throw new SmartArtFoundException();
|
||||
}
|
||||
if (cx <= 0 || cy <= 0 || cx > MAX_EXTENT_EMU || cy > MAX_EXTENT_EMU) {
|
||||
LOG.warn("drawing вне допустимого wp:extent (cx={}, cy={}) — объект оставлен как есть",
|
||||
@@ -234,10 +332,169 @@ public final class DrawingPreRenderer {
|
||||
}
|
||||
continue;
|
||||
}
|
||||
swapForPicture(part, gd, img, cx, cy, idSeq, pkg);
|
||||
swapForPicture(part, gd, img, cx, cy, idSeq, pkg, pngTotal, maxPngBytesTotal);
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Одна {@code m:oMath} → замены на позиции формулы: inline
|
||||
* {@code w:drawing} с pic:pic (успех) или ран с конкатенацией
|
||||
* {@code m:t} (деградация: unsupported-конструкция — безопасная сеть
|
||||
* после байтового скана MathFallbackNormalizer, пустая/битая формула,
|
||||
* переполнение бюджета PNG). OOM — {@link ConversionException}, не
|
||||
* деградация (тот же контракт, что у графиков).
|
||||
*/
|
||||
private static List<Object> mathReplacements(CTOMath math, boolean display,
|
||||
Part part, WordprocessingMLPackage pkg,
|
||||
int[] idSeq, long[] pngTotal,
|
||||
long maxPngBytesTotal) {
|
||||
try {
|
||||
MathRenderer.MathImage mi = MathRenderer.render(MathModel.build(math, display));
|
||||
if (mi.image() == null) {
|
||||
return textRuns(MathModel.mathText(math));
|
||||
}
|
||||
byte[] png;
|
||||
try {
|
||||
ByteArrayOutputStream bos = new ByteArrayOutputStream();
|
||||
ImageIO.write(mi.image(), "png", bos);
|
||||
png = bos.toByteArray();
|
||||
} finally {
|
||||
mi.image().flush();
|
||||
}
|
||||
if (png.length == 0) {
|
||||
LOG.warn("PNG формулы пуст — формула деградирована в текст");
|
||||
return textRuns(MathModel.mathText(math));
|
||||
}
|
||||
if (pngTotal[0] + png.length > maxPngBytesTotal) {
|
||||
LOG.warn("суммарный размер PNG превысил {} байт — формула деградирована в текст",
|
||||
maxPngBytesTotal);
|
||||
return textRuns(MathModel.mathText(math));
|
||||
}
|
||||
pngTotal[0] += png.length;
|
||||
String relId = addChartMedia(pkg, part, png);
|
||||
long cx = Math.round(mi.widthPt() * 12700.0);
|
||||
long cy = Math.round(mi.heightPt() * 12700.0);
|
||||
Drawing pic = mathPicture(idSeq, relId, cx, cy);
|
||||
if (display) {
|
||||
return List.of(pic);
|
||||
}
|
||||
// FOP ставит инлайн-картинку НИЖНИМ краем на базовую линию
|
||||
// строки, поэтому формула «всплывала» на descent+PAD над
|
||||
// текстом. Word роняет базовую линию формулы на базовую
|
||||
// линию строки — компенсируем смещением ранa вниз:
|
||||
// w:rPr/w:position (полупункты, отрицательное опускает,
|
||||
// §17.3.2.24) через AUDIT-FIX baseline-shift вендорного
|
||||
// XSLT. belowBaselinePt > PAD всегда (канва ≥ габариту +
|
||||
// 2·PAD), нулевого смещения не бывает. Регрессия —
|
||||
// WordPdfConverterTest#ommlMathInline_sitsOnTextBaseline.
|
||||
R run = new R();
|
||||
RPr rpr = new RPr();
|
||||
CTSignedHpsMeasure pos = new CTSignedHpsMeasure();
|
||||
pos.setVal(BigInteger.valueOf(-Math.round(2 * mi.belowBaselinePt())));
|
||||
rpr.setPosition(pos);
|
||||
run.setRPr(rpr);
|
||||
run.getContent().add(pic);
|
||||
return List.of(run);
|
||||
} catch (MathUnsupportedException e) {
|
||||
LOG.info("формула не поддерживается рендером — деградация в текст: {}",
|
||||
e.getMessage());
|
||||
return textRuns(MathModel.mathText(math));
|
||||
} catch (OutOfMemoryError e) {
|
||||
LOG.error("память исчерпана при рендере формулы", e);
|
||||
throw new ConversionException("Память исчерпана при рендере формулы", e);
|
||||
} catch (Docx4JException | IOException | RuntimeException e) {
|
||||
LOG.warn("рендер формулы упал: {}", e.toString());
|
||||
return textRuns(MathModel.mathText(math));
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Блок {@code m:oMathPara} (§22.1.3.13): все формулы блока — display.
|
||||
* Word кладёт {@code oMathPara} либо в блок-контейнер (§22.1.3 —
|
||||
* наблюдаемая раскладка Word-файлов), либо в {@code w:p}; в первом
|
||||
* случае формулы заворачиваются в новый центрированный {@code w:p},
|
||||
* во втором — вставляются на место блока, а содержащему абзацу
|
||||
* выставляется {@code jc=center} (семантика центрированной
|
||||
* формулы-абзаца; prose в том же абзаце — враждебный вход, центрируется
|
||||
* тоже — зарегистрированная деградация).
|
||||
*/
|
||||
private static List<Object> mathParaReplacements(CTOMathPara para, P ownerPara,
|
||||
Part part, WordprocessingMLPackage pkg,
|
||||
int[] idSeq, long[] pngTotal,
|
||||
long maxPngBytesTotal) {
|
||||
List<Object> inner = new ArrayList<>();
|
||||
for (CTOMath m : para.getOMath()) {
|
||||
inner.addAll(mathReplacements(m, true, part, pkg, idSeq, pngTotal,
|
||||
maxPngBytesTotal));
|
||||
}
|
||||
if (ownerPara != null) {
|
||||
centerParagraph(ownerPara);
|
||||
return inner;
|
||||
}
|
||||
if (inner.isEmpty()) {
|
||||
return List.of();
|
||||
}
|
||||
P p = new P();
|
||||
PPr ppr = new PPr();
|
||||
Jc jc = new Jc();
|
||||
jc.setVal(JcEnumeration.CENTER);
|
||||
ppr.setJc(jc);
|
||||
p.setPPr(ppr);
|
||||
p.getContent().addAll(inner);
|
||||
return List.of(p);
|
||||
}
|
||||
|
||||
/** {@code jc=center} на абзаце (создаёт {@code w:pPr}, если нет). */
|
||||
private static void centerParagraph(P para) {
|
||||
PPr ppr = para.getPPr();
|
||||
if (ppr == null) {
|
||||
ppr = new PPr();
|
||||
para.setPPr(ppr);
|
||||
}
|
||||
Jc jc = new Jc();
|
||||
jc.setVal(JcEnumeration.CENTER);
|
||||
ppr.setJc(jc);
|
||||
}
|
||||
|
||||
/** Inline {@code w:drawing} с pic:Pic заданного размера (EMU). */
|
||||
private static Drawing mathPicture(int[] idSeq, String relId, long cx, long cy) {
|
||||
Drawing drawing = new Drawing();
|
||||
Inline inline = new Inline();
|
||||
inline.setDistT(0L);
|
||||
inline.setDistB(0L);
|
||||
inline.setDistL(0L);
|
||||
inline.setDistR(0L);
|
||||
CTPositiveSize2D extent = new CTPositiveSize2D();
|
||||
extent.setCx(cx);
|
||||
extent.setCy(cy);
|
||||
inline.setExtent(extent);
|
||||
CTNonVisualDrawingProps docPr = new CTNonVisualDrawingProps();
|
||||
docPr.setId(idSeq[0]++);
|
||||
docPr.setName("Формула " + docPr.getId());
|
||||
inline.setDocPr(docPr);
|
||||
Graphic graphic = new Graphic();
|
||||
GraphicData gd = new GraphicData();
|
||||
gd.setUri(PICTURE_URI);
|
||||
gd.getAny().add(buildPic(idSeq, relId, cx, cy, "Формула"));
|
||||
graphic.setGraphicData(gd);
|
||||
inline.setGraphic(graphic);
|
||||
drawing.getAnchorOrInline().add(inline);
|
||||
return drawing;
|
||||
}
|
||||
|
||||
/** Ран с текстом (деградация формулы); пустой текст — пустой список. */
|
||||
private static List<Object> textRuns(String text) {
|
||||
if (text.isEmpty()) {
|
||||
return List.of();
|
||||
}
|
||||
R run = new R();
|
||||
Text t = new Text();
|
||||
t.setValue(text);
|
||||
t.setSpace("preserve");
|
||||
run.getContent().add(new JAXBElement<>(new QName(WML_URI, "t"), Text.class, t));
|
||||
return List.of(run);
|
||||
}
|
||||
|
||||
private static BufferedImage renderChart(Part part, CTRelId ref,
|
||||
DrawMlColor colors, long cx, long cy) {
|
||||
Part target = resolve(part, ref.getId());
|
||||
@@ -248,8 +505,15 @@ public final class DrawingPreRenderer {
|
||||
try {
|
||||
ChartSpec spec = ChartSpec.parse(space, colors);
|
||||
return ChartRenderer.render(spec, cx / 12700.0, cy / 12700.0, colors);
|
||||
} catch (RuntimeException | OutOfMemoryError e) {
|
||||
// OOM — второй эшелон после MAX_EXTENT_EMU/MAX_POINTS: враждебный
|
||||
} catch (OutOfMemoryError e) {
|
||||
// OOM — не «деградация объекта»: состояние heap после него
|
||||
// ненадёжно, продолжение рендера следующих объектов — второй
|
||||
// OOM вместо одного детерминированного 500.
|
||||
LOG.error("память исчерпана при рендере графика r:id={}", ref.getId(), e);
|
||||
throw new ConversionException(
|
||||
"Память исчерпана при рендере объектов рисования", e);
|
||||
} catch (RuntimeException e) {
|
||||
// второй эшелон после MAX_EXTENT_EMU/MAX_POINTS: враждебный
|
||||
// chart-XML не должен валить всю конвертацию, деградация = объект удалён.
|
||||
LOG.warn("рендер графика r:id={} упал: {}", ref.getId(), e.toString());
|
||||
return null;
|
||||
@@ -265,7 +529,11 @@ public final class DrawingPreRenderer {
|
||||
}
|
||||
try {
|
||||
return SmartArtRenderer.render(drawing, colors, cx / 12700.0, cy / 12700.0);
|
||||
} catch (RuntimeException | OutOfMemoryError e) {
|
||||
} catch (OutOfMemoryError e) {
|
||||
LOG.error("память исчерпана при рендере SmartArt", e);
|
||||
throw new ConversionException(
|
||||
"Память исчерпана при рендере объектов рисования", e);
|
||||
} catch (RuntimeException e) {
|
||||
LOG.warn("рендер SmartArt упал: {}", e.toString());
|
||||
return null;
|
||||
}
|
||||
@@ -309,7 +577,8 @@ public final class DrawingPreRenderer {
|
||||
*/
|
||||
private static void swapForPicture(Part part, GraphicData gd, BufferedImage img,
|
||||
long cx, long cy, int[] idSeq,
|
||||
WordprocessingMLPackage pkg) {
|
||||
WordprocessingMLPackage pkg,
|
||||
long[] pngTotal, long maxPngBytesTotal) {
|
||||
byte[] png;
|
||||
try {
|
||||
ByteArrayOutputStream bos = new ByteArrayOutputStream();
|
||||
@@ -325,6 +594,13 @@ public final class DrawingPreRenderer {
|
||||
gd.getAny().clear(); // контракт: упавший рендер — объект удалён
|
||||
return;
|
||||
}
|
||||
if (pngTotal[0] + png.length > maxPngBytesTotal) {
|
||||
LOG.warn("суммарный размер chart-PNG превысил {} байт — объект удалён",
|
||||
maxPngBytesTotal);
|
||||
gd.getAny().clear(); // деградация «объект удалён + warn»
|
||||
return;
|
||||
}
|
||||
pngTotal[0] += png.length;
|
||||
String relId;
|
||||
try {
|
||||
relId = addChartMedia(pkg, part, png);
|
||||
@@ -334,11 +610,25 @@ public final class DrawingPreRenderer {
|
||||
return;
|
||||
}
|
||||
|
||||
Pic pic = buildPic(idSeq, relId, cx, cy, "Диаграмма");
|
||||
|
||||
gd.setUri(PICTURE_URI);
|
||||
gd.getAny().clear();
|
||||
gd.getAny().add(pic);
|
||||
}
|
||||
|
||||
/**
|
||||
* {@code pic:pic} на готовый media-r:id: id/имя из счётчика {@code idSeq}
|
||||
* (общего для картинок диаграмм и формул), геометрия — входной extent
|
||||
* (EMU), превью не нужно.
|
||||
*/
|
||||
private static Pic buildPic(int[] idSeq, String relId, long cx, long cy,
|
||||
String namePrefix) {
|
||||
Pic pic = new Pic();
|
||||
org.docx4j.dml.picture.CTPictureNonVisual nv = new org.docx4j.dml.picture.CTPictureNonVisual();
|
||||
CTNonVisualDrawingProps props = new CTNonVisualDrawingProps();
|
||||
props.setId(idSeq[0]++);
|
||||
props.setName("Диаграмма " + props.getId());
|
||||
props.setName(namePrefix + " " + props.getId());
|
||||
nv.setCNvPr(props);
|
||||
nv.setCNvPicPr(new CTNonVisualPictureProperties());
|
||||
pic.setNvPicPr(nv);
|
||||
@@ -368,10 +658,7 @@ public final class DrawingPreRenderer {
|
||||
geom.setAvLst(new CTGeomGuideList());
|
||||
spPr.setPrstGeom(geom);
|
||||
pic.setSpPr(spPr);
|
||||
|
||||
gd.setUri(PICTURE_URI);
|
||||
gd.getAny().clear();
|
||||
gd.getAny().add(pic);
|
||||
return pic;
|
||||
}
|
||||
|
||||
/**
|
||||
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,75 @@
|
||||
package ru.pjandro.wordpdf.internal.chart;
|
||||
|
||||
import java.awt.Color;
|
||||
import java.awt.Graphics2D;
|
||||
import java.awt.RenderingHints;
|
||||
import java.awt.image.BufferedImage;
|
||||
|
||||
/**
|
||||
* Растеризация разобранной формулы: дерево {@link MathModel.Box} → PNG
|
||||
* в координатах pt×dpi/72 (тот же растер-контракт, что у график:
|
||||
* {@link ChartRenderer#DPI}, понижение dpi по {@link ChartRenderer#fitDpi}
|
||||
* при превышении площади). Фон прозрачный (ARGB), сглаживание включено —
|
||||
* глифы рисуются контурами fontbox, шрифтов хоста не касается.
|
||||
*
|
||||
* <p>Пустая формула (нулевые метрики) → {@link MathImage} с нулевыми
|
||||
* размерами и {@code image == null}: вызывающий заменяет её текстом
|
||||
* {@code m:t} либо убирает вовсе. {@code OutOfMemoryError} при раздутии
|
||||
* битмапа НЕ перехватывается — это {@code ConversionException} (500) выше
|
||||
* по стеку, не деградация (контракт chart-модели).
|
||||
*/
|
||||
final class MathRenderer {
|
||||
|
||||
/** Минимальный размер растра формулы, pt (тонкий индекс не «схлопнется»). */
|
||||
static final double MIN_WIDTH_PT = 4.0;
|
||||
|
||||
/** Минимальная высота растра формулы, pt. */
|
||||
static final double MIN_HEIGHT_PT = 12.0;
|
||||
|
||||
/** Отступ вокруг габарита формулы, pt (обрезка сглаженных краёв). */
|
||||
static final double PAD_PT = 1.0;
|
||||
|
||||
private MathRenderer() {
|
||||
}
|
||||
|
||||
/**
|
||||
* Растр формулы: PNG-носитель, габарит в pt (для extcx/extcy) и
|
||||
* {@code belowBaselinePt} — расстояние от базовой линии формулы до
|
||||
* нижнего края растра (высота минус верхний отступ и ascent; при
|
||||
* клампе к MIN_HEIGHT — с запасом снизу).
|
||||
*/
|
||||
record MathImage(BufferedImage image, double widthPt, double heightPt,
|
||||
double belowBaselinePt) {
|
||||
}
|
||||
|
||||
/** Растр бокса; пустой бокс → {@code image == null}, размеры 0. */
|
||||
static MathImage render(MathModel.Box root) {
|
||||
if (root.isEmpty()) {
|
||||
return new MathImage(null, 0, 0, 0);
|
||||
}
|
||||
double widthPt = Math.max(MIN_WIDTH_PT, root.width + 2 * PAD_PT);
|
||||
double heightPt = Math.max(MIN_HEIGHT_PT, root.ascent + root.descent + 2 * PAD_PT);
|
||||
double dpi = ChartRenderer.fitDpi(widthPt, heightPt);
|
||||
int w = Math.max(1, (int) Math.round(widthPt * dpi / 72.0));
|
||||
int h = Math.max(1, (int) Math.round(heightPt * dpi / 72.0));
|
||||
BufferedImage img = new BufferedImage(w, h, BufferedImage.TYPE_INT_ARGB);
|
||||
Graphics2D g = img.createGraphics();
|
||||
try {
|
||||
g.setRenderingHint(RenderingHints.KEY_ANTIALIASING,
|
||||
RenderingHints.VALUE_ANTIALIAS_ON);
|
||||
g.setRenderingHint(RenderingHints.KEY_TEXT_ANTIALIASING,
|
||||
RenderingHints.VALUE_TEXT_ANTIALIAS_ON);
|
||||
g.setRenderingHint(RenderingHints.KEY_STROKE_CONTROL,
|
||||
RenderingHints.VALUE_STROKE_PURE);
|
||||
g.setColor(new Color(0, 0, 0, 0));
|
||||
double k = dpi / 72.0;
|
||||
g.scale(k, k);
|
||||
double x = (widthPt - root.width) / 2.0;
|
||||
double baseline = PAD_PT + root.ascent;
|
||||
root.paint(g, x, baseline);
|
||||
} finally {
|
||||
g.dispose();
|
||||
}
|
||||
return new MathImage(img, widthPt, heightPt, heightPt - PAD_PT - root.ascent);
|
||||
}
|
||||
}
|
||||
+20
@@ -0,0 +1,20 @@
|
||||
package ru.pjandro.wordpdf.internal.chart;
|
||||
|
||||
/**
|
||||
* Конструкция OMML, которую формульный рендер не раскладывает: math-элемент
|
||||
* вне {@link MathModel#SUPPORTED}, math-узел не JAXBElement или структурная
|
||||
* поломка (например, {@code w:br} внутри math-рана).
|
||||
*
|
||||
* <p>Сигнал деградации, не отказа: {@code DrawingPreRenderer} заменяет
|
||||
* формулу её текстом {@code m:t} вместо растра (контент не теряется).
|
||||
* Бросается на разборе ({@link MathModel#build}), тем же критерием
|
||||
* срезается раньше — на байтовом уровне в {@code MathFallbackNormalizer}.
|
||||
*/
|
||||
final class MathUnsupportedException extends RuntimeException {
|
||||
|
||||
private static final long serialVersionUID = 1L;
|
||||
|
||||
MathUnsupportedException(String what) {
|
||||
super(what);
|
||||
}
|
||||
}
|
||||
@@ -11,11 +11,11 @@ import java.util.List;
|
||||
import java.util.Set;
|
||||
|
||||
/**
|
||||
* Комбинированная диаграмма (c:ofPieChart, ECMA-376 §21.2.2.108): главный
|
||||
* Комбинированная диаграмма (c:ofPieChart, ECMA-376 §21.2.2.126): главный
|
||||
* пирог из первичных точек + вторичная круговая (c:ofPieType="pie") либо
|
||||
* вертикальный стек ("bar") из вторичных. Разбиение по c:splitType
|
||||
* (auto|cust|percent|pos|val, §21.2.2.155; семантика splitPos —
|
||||
* MS-OI29500 §2.1.1554a/b): auto/pos — последние ceil(n/3) (или splitPos)
|
||||
* (auto|cust|percent|pos|val, §21.2.2.196; семантика splitPos —
|
||||
* MS-OI29500 §2.1.1553): auto/pos — последние ceil(n/3) (или splitPos)
|
||||
* точек, val/percent — точки ниже splitPos, cust — c:secondPiePt.
|
||||
* Вторичных точек нет → обычная круговая через {@link PiePainter}.
|
||||
* «Other»-сектор (MS-OI29500 §2.1.1507(a)) замыкает главный пирог и обращён к
|
||||
@@ -37,7 +37,7 @@ final class OfPiePainter {
|
||||
* калибровка — OfPiePainterTest). */
|
||||
private static final double GAP_FIT = 0.25;
|
||||
|
||||
/** c:ofPieType="bar" — вторичная часть столбчатая (§21.2.2.134). */
|
||||
/** c:ofPieType="bar" — вторичная часть столбчатая (§21.2.2.127). */
|
||||
private static final String SECONDARY_BAR = "bar";
|
||||
|
||||
private OfPiePainter() {
|
||||
|
||||
@@ -9,9 +9,9 @@ import java.util.ArrayList;
|
||||
import java.util.List;
|
||||
|
||||
/**
|
||||
* Лепестковая диаграмма (c:radarChart, ECMA-376 §21.2.2.143): категории —
|
||||
* Лепестковая диаграмма (c:radarChart, ECMA-376 §21.2.2.153): категории —
|
||||
* спицы от 12 часов по часовой, значения — радиус по оси значений.
|
||||
* c:radarStyle (§21.2.2.119): standard — контур, marker — контур + маркеры,
|
||||
* c:radarStyle (§21.2.2.154): standard — контур, marker — контур + маркеры,
|
||||
* filled — полупрозрачная заливка без контура (вид как у AREA).
|
||||
* Сетка — концентрические многоугольники по делениям оси значений (паутина
|
||||
* прямыми звеньями, как в Word) и спицы.
|
||||
|
||||
@@ -15,9 +15,9 @@ import java.util.List;
|
||||
* ChartSpecTest#scatterFirstValAxisIsX).
|
||||
*
|
||||
* scatter: маркеры по c:marker ряда, линия по c:scatterStyle (line/smooth —
|
||||
* ECMA-376 §21.2.2.136, сглаживание — кривая Жозефа де Кастельно не
|
||||
* ECMA-376 §21.2.2.162, сглаживание — кривая Жозефа де Кастельно не
|
||||
* имитируется, ломаная с JOIN_ROUND). bubble: круги без обводки, радиус
|
||||
* sqrt(|size|/maxSize) при c:sizeRepresents="area" (§21.2.2.128) и линейно
|
||||
* sqrt(|size|/maxSize) при c:sizeRepresents="area" (§21.2.2.193) и линейно
|
||||
* при "w", масштаб c:bubbleScale. Ограничения: c:bubble3D рисуется плоско.
|
||||
*
|
||||
* Регрессия — ScatterPainterTest, фикстура samples/chart-types.docx
|
||||
|
||||
@@ -278,8 +278,9 @@ final class SmartArtRenderer {
|
||||
if (paragraphs.isEmpty()) {
|
||||
return;
|
||||
}
|
||||
// autofit по ECMA-376 §21.1.2.1.2/.3: noAutofit, spAutoFit (§21.1.2.1.4 —
|
||||
// под размер текста ресайзится фигура, сам текст не масштабируется)
|
||||
// autofit по ECMA-376 §21.1.2.1.2 noAutofit / §21.1.2.1.3 normAutofit /
|
||||
// §21.1.2.1.4 spAutoFit (под размер текста ресайзится фигура,
|
||||
// сам текст не масштабируется)
|
||||
// или отсутствие autofit-элемента (отсутствие имплицирует noAutofit) —
|
||||
// текст рисуется заявленным кеглем. normAutofit — применяем запечённые
|
||||
// Word-ом fontScale/lnSpcReduction из XML; если fontScale не запечён
|
||||
|
||||
@@ -9,7 +9,7 @@ import java.util.ArrayList;
|
||||
import java.util.List;
|
||||
|
||||
/**
|
||||
* Биржевая диаграмма (c:stockChart, ECMA-376 §21.2.2.153): ряды — линии
|
||||
* Биржевая диаграмма (c:stockChart, ECMA-376 §21.2.2.198): ряды — линии
|
||||
* (CT_LineSer, обычно open/high/low/close), плюс факультативные
|
||||
* c:hiLowLines (вертикаль min..max по всем рядам категории),
|
||||
* c:upDownBars (столбик между первым и последним рядом: вверх — зелёный,
|
||||
|
||||
+16
-11
@@ -402,19 +402,24 @@ final class Surface3dPainter {
|
||||
|
||||
private static List<double[]> clipHalf(List<double[]> poly, double bound, boolean keepAbove) {
|
||||
List<double[]> out = new ArrayList<>();
|
||||
for (int i = 0; i < poly.size(); i++) {
|
||||
double[] cur = poly.get(i);
|
||||
double[] nxt = poly.get((i + 1) % poly.size());
|
||||
if (poly.isEmpty()) {
|
||||
return out;
|
||||
}
|
||||
// Рёбра (prev → cur) по кругу от замыкающего: то же множество рёбер, что у
|
||||
// индексного (i, (i+1)%n); foreach — ForLoopCanBeForeach.
|
||||
double[] prev = poly.get(poly.size() - 1);
|
||||
for (double[] cur : poly) {
|
||||
boolean inPrev = keepAbove ? prev[2] >= bound : prev[2] <= bound;
|
||||
boolean inCur = keepAbove ? cur[2] >= bound : cur[2] <= bound;
|
||||
boolean inNxt = keepAbove ? nxt[2] >= bound : nxt[2] <= bound;
|
||||
if (inCur) {
|
||||
out.add(cur);
|
||||
if (inPrev) {
|
||||
out.add(prev);
|
||||
}
|
||||
if (inCur != inNxt && Math.abs(nxt[2] - cur[2]) > 1e-12) {
|
||||
double t = (bound - cur[2]) / (nxt[2] - cur[2]);
|
||||
out.add(new double[]{cur[0] + t * (nxt[0] - cur[0]),
|
||||
cur[1] + t * (nxt[1] - cur[1]), bound});
|
||||
if (inPrev != inCur && Math.abs(cur[2] - prev[2]) > 1e-12) {
|
||||
double t = (bound - prev[2]) / (cur[2] - prev[2]);
|
||||
out.add(new double[]{prev[0] + t * (cur[0] - prev[0]),
|
||||
prev[1] + t * (cur[1] - prev[1]), bound});
|
||||
}
|
||||
prev = cur;
|
||||
}
|
||||
return out;
|
||||
}
|
||||
@@ -459,7 +464,7 @@ final class Surface3dPainter {
|
||||
project(0.5, v, floorW, rotX, rotY, depthScale, persp), fit);
|
||||
}
|
||||
// сетка значений: левая стенка (от переднего левого ребра в глубину)
|
||||
// и дальней стенка — обе рисует Word; c:delete (§21.2.2.38) убирает ось
|
||||
// и дальней стенка — обе рисует Word; c:delete (§21.2.2.40) убирает ось
|
||||
// целиком — сетка удалённой оси не рисуется.
|
||||
if (valAxis.gridlines && !valAxis.deleted) {
|
||||
for (double v = lo; v <= hi + unit / 2; v += unit) {
|
||||
|
||||
@@ -22,7 +22,7 @@ import java.util.Map;
|
||||
* любой цепочки ограничена числом секторов файла, иначе враждебный FAT
|
||||
* зациклил бы разбор.</p>
|
||||
*/
|
||||
public final class CfbReader {
|
||||
final class CfbReader {
|
||||
|
||||
/** Сигнатура контейнера, MS-CFB §2.2 (Header Signature). */
|
||||
static final byte[] SIGNATURE = {(byte) 0xD0, (byte) 0xCF, 0x11, (byte) 0xE0,
|
||||
@@ -33,9 +33,6 @@ public final class CfbReader {
|
||||
private static final long FREESECT = 0xFFFFFFFFL;
|
||||
private static final long MAX_SECT = 0xFFFFFFFAL;
|
||||
|
||||
/** Разумный потолок mini-sector shift: 2^16 = 64 KiB (MS-CFB §2.2). */
|
||||
private static final int MAX_MINI_SECTOR_SHIFT = 16;
|
||||
|
||||
/** Типы записей directory (MS-CFB §2.6, Object Type). */
|
||||
private static final int TYPE_STREAM = 0x02;
|
||||
private static final int TYPE_ROOT = 0x05;
|
||||
@@ -44,6 +41,7 @@ public final class CfbReader {
|
||||
private static final int ENTRY_SIZE = 128;
|
||||
|
||||
/** Смещения полей заголовка (MS-CFB §2.2: сигнатура 8 + CLSID 16). */
|
||||
private static final int OFF_BYTE_ORDER = 0x1C;
|
||||
private static final int OFF_SECTOR_SHIFT = 0x1E;
|
||||
private static final int OFF_MINI_SECTOR_SHIFT = 0x20;
|
||||
private static final int OFF_FIRST_DIR = 0x30;
|
||||
@@ -63,6 +61,16 @@ public final class CfbReader {
|
||||
/** Минимальный заголовок — 512 байт (сектор v3). */
|
||||
private static final int HEADER_SIZE = 512;
|
||||
|
||||
/** ByteOrder MUST быть little-endian ([MS-CFB] §2.2). */
|
||||
private static final int BYTE_ORDER_LITTLE = 0xFFFE;
|
||||
/** SectorShift: 9 (v3, 512 Б) или 12 (v4, 4096 Б) ([MS-CFB] §2.2). */
|
||||
private static final int SECTOR_SHIFT_V3 = 9;
|
||||
private static final int SECTOR_SHIFT_V4 = 12;
|
||||
/** MiniSectorShift MUST быть 6 (64 Б) ([MS-CFB] §2.2). */
|
||||
private static final int MINI_SECTOR_SHIFT_MUST = 6;
|
||||
/** Mini Stream Cutoff MUST быть 0x1000 ([MS-CFB] §2.2). */
|
||||
private static final int MINI_STREAM_CUTOFF_MUST = 0x1000;
|
||||
|
||||
private CfbReader() {
|
||||
}
|
||||
|
||||
@@ -73,22 +81,30 @@ public final class CfbReader {
|
||||
* @throws ConversionException если это не CFB, файл обрезан или цепочки
|
||||
* секторов цикличны/указывают за конец файла
|
||||
*/
|
||||
public static Map<String, byte[]> readStreams(byte[] cfb) {
|
||||
static Map<String, byte[]> readStreams(byte[] cfb) {
|
||||
if (cfb == null || cfb.length < HEADER_SIZE || !startsWithSignature(cfb)) {
|
||||
throw new ConversionException("Содержимое не похоже на .doc Word 97–2003");
|
||||
}
|
||||
// MUST-поля заголовка ([MS-CFB] §2.2): не-равенство — чужой/битый
|
||||
// формат, разбор дал бы мусор вместо отказа
|
||||
if (u16(cfb, OFF_BYTE_ORDER) != BYTE_ORDER_LITTLE) {
|
||||
throw new ConversionException("Неизвестный Byte Order контейнера .doc");
|
||||
}
|
||||
int sectorShift = u16(cfb, OFF_SECTOR_SHIFT);
|
||||
int miniSectorShift = u16(cfb, OFF_MINI_SECTOR_SHIFT);
|
||||
if (sectorShift != 9 && sectorShift != 12) {
|
||||
if (sectorShift != SECTOR_SHIFT_V3 && sectorShift != SECTOR_SHIFT_V4) {
|
||||
throw new ConversionException("Неподдерживаемый размер сектора CFB: 2^" + sectorShift);
|
||||
}
|
||||
if (miniSectorShift > MAX_MINI_SECTOR_SHIFT) {
|
||||
if (miniSectorShift != MINI_SECTOR_SHIFT_MUST) { // §2.2: «MUST be set to 0x0006»
|
||||
throw new ConversionException("Неподдерживаемый размер mini-сектора CFB: 2^" + miniSectorShift);
|
||||
}
|
||||
int sectorSize = 1 << sectorShift;
|
||||
int miniSectorSize = 1 << miniSectorShift;
|
||||
long firstDir = u32(cfb, OFF_FIRST_DIR);
|
||||
long cutoff = u32(cfb, OFF_CUTOFF);
|
||||
if (cutoff != MINI_STREAM_CUTOFF_MUST) { // §2.2: «MUST be set to 0x00001000»
|
||||
throw new ConversionException("Неподдерживаемый Mini Stream Cutoff контейнера .doc");
|
||||
}
|
||||
long firstMiniFat = u32(cfb, OFF_FIRST_MINI_FAT);
|
||||
long firstDifat = u32(cfb, OFF_FIRST_DIFAT);
|
||||
long difatCount = u32(cfb, OFF_DIFAT_COUNT);
|
||||
@@ -123,6 +139,13 @@ public final class CfbReader {
|
||||
}
|
||||
|
||||
if (rootStart >= 0 && rootSize > 0) {
|
||||
// Root-запись не проходит фильтр «size <= cfb.length», что ниже для
|
||||
// stream-записей: readChain аллоцирует new byte[(int) size] ДО
|
||||
// любых проверок границ — завышенный rootSize уложил бы heap (MS-CFB §2.4,
|
||||
// поток не может быть больше контейнера).
|
||||
if (rootSize > cfb.length) {
|
||||
throw new ConversionException("Размер mini stream .doc больше контейнера");
|
||||
}
|
||||
miniStream = readChain(cfb, fat, rootStart, rootSize, sectorSize, sectorTotal, "mini stream");
|
||||
}
|
||||
if (firstMiniFat != FREESECT && firstMiniFat != ENDOFCHAIN && firstMiniFat <= MAX_SECT) {
|
||||
@@ -137,11 +160,27 @@ public final class CfbReader {
|
||||
}
|
||||
}
|
||||
|
||||
// второй проход: содержимое потоков
|
||||
// второй проход: содержимое потоков.
|
||||
// Суммарный бюджет аллокаций big-потоков: FAT легально шарит сектора
|
||||
// между записями, поэтому пер-запись «size <= cfb.length» не
|
||||
// ограничивает итог — N записей с size ≈ cfb.length аллоцировали бы
|
||||
// N×файл (OOM с одного враждебного контейнера). В легитимном
|
||||
// контейнере big-потоки не перекрываются: rootSize + Σ big ≤ файл +
|
||||
// служебные сектора (FAT/dir/докругление) ≈ 1.1×файла; 1.5× — запас.
|
||||
// Mini-потоки (size < cutoff) в бюджет НЕ идут: их данные физически
|
||||
// лежат внутри rootSize ([MS-CFB] §2.1/§2.4 — «The space for these
|
||||
// objects comes from a special stream that is called the mini
|
||||
// stream»), учёт их размеров второй раз удваивал бы rootSize и
|
||||
// ложно отвергал контейнер из одних мелких потоков.
|
||||
Map<String, byte[]> result = new HashMap<>();
|
||||
long allocated = rootSize;
|
||||
for (Entry e : entries) {
|
||||
byte[] data;
|
||||
if (e.size() >= cutoff) {
|
||||
if (allocated + e.size() > 3L * cfb.length / 2) {
|
||||
throw new ConversionException("Суммарный размер потоков .doc больше лимита контейнера");
|
||||
}
|
||||
allocated += e.size();
|
||||
data = readChain(cfb, fat, e.start(), e.size(), sectorSize, sectorTotal,
|
||||
"цепочка потока «" + e.name() + "»");
|
||||
} else {
|
||||
@@ -224,7 +263,15 @@ public final class CfbReader {
|
||||
return fat;
|
||||
}
|
||||
|
||||
/** Цепочка секторов по FAT; цикл/выход за FAT → {@link ConversionException}. */
|
||||
/**
|
||||
* Цепочка секторов по FAT; цикл/выход за FAT → {@link ConversionException}.
|
||||
* Капа min(fat.length, sectorTotal): sectorOffset=(sector+1)·sectorSize
|
||||
* обязан остаться положительным int — сектор «за файлом» дал бы оффлоу
|
||||
* и обход проверок base+n>cfb.length; капка fat.length — ещё и на
|
||||
* индексацию fat[] при FAT, покрывающем меньше файла (битый DIFAT).
|
||||
* Регрессия — CfbReaderTest#streamChainBeyondFile_rejected,
|
||||
* #rootChainBeyondFile_rejected.
|
||||
*/
|
||||
private static int[] chain(int[] fat, long start, int sectorTotal, String what) {
|
||||
List<Integer> sectors = new ArrayList<>();
|
||||
long sect = start;
|
||||
@@ -233,7 +280,7 @@ public final class CfbReader {
|
||||
if (sectors.size() > limit) {
|
||||
throw new ConversionException("Циклическая " + what + " в .doc");
|
||||
}
|
||||
if (sect >= fat.length) {
|
||||
if (sect >= limit - 1) {
|
||||
throw new ConversionException("Сектор за концом FAT в .doc: " + what);
|
||||
}
|
||||
sectors.add((int) sect);
|
||||
@@ -286,12 +333,15 @@ public final class CfbReader {
|
||||
if (sect >= miniFat.length) {
|
||||
throw new ConversionException("Mini-сектор за концом MiniFAT в .doc");
|
||||
}
|
||||
int base = (int) sect * miniSectorSize;
|
||||
int n = Math.min(miniSectorSize, (int) size - done);
|
||||
if (base + n > miniStream.length) {
|
||||
// long-арифметика: sect уже long, умножение не может уйти в
|
||||
// отрицательный int-wrap и пройти прежний guard — arraycopy тогда бросал
|
||||
// ArrayIndexOutOfBoundsException (не ConversionException → 500).
|
||||
long base = sect * miniSectorSize;
|
||||
if (base < 0 || base + n > miniStream.length) {
|
||||
throw new ConversionException("Mini-поток .doc ссылается за конец mini stream");
|
||||
}
|
||||
System.arraycopy(miniStream, base, out, done, n);
|
||||
System.arraycopy(miniStream, (int) base, out, done, n);
|
||||
done += n;
|
||||
sect = miniFat[(int) sect] & 0xFFFFFFFFL;
|
||||
}
|
||||
@@ -303,11 +353,15 @@ public final class CfbReader {
|
||||
}
|
||||
|
||||
private static int sectorOffset(int sector, int sectorSize) {
|
||||
return (sector + 1) * sectorSize;
|
||||
long off = (long) (sector + 1) * sectorSize;
|
||||
if (off > Integer.MAX_VALUE) {
|
||||
throw new ConversionException("Сектор за концом файла в .doc");
|
||||
}
|
||||
return (int) off;
|
||||
}
|
||||
|
||||
private static void requireInFile(int offset, int len, int fileLen, String what) {
|
||||
if (offset < HEADER_SIZE || offset + len > fileLen) {
|
||||
if (offset < HEADER_SIZE || (long) offset + len > fileLen) {
|
||||
throw new ConversionException("Ссылка за конец файла в .doc: " + what);
|
||||
}
|
||||
}
|
||||
|
||||
@@ -58,13 +58,19 @@ final class ChpxIndex {
|
||||
if (bx != 0) {
|
||||
int chpxOff = (int) pageOff + bx * 2;
|
||||
int cb = wordDocument[chpxOff] & 0xFF;
|
||||
if (cb == 0 || chpxOff + 1 + cb > pageOff + FKP_PAGE_SIZE) {
|
||||
continue;
|
||||
// cb=0 (§2.9.32 Chpx — пустой grpx; ср. rgb[i]=0 в
|
||||
// §2.9.33 «there is no Chpx associated»): диапазон без
|
||||
// прямых свойств, но валидный — заносим с пустым grpprl
|
||||
if (cb > 0) {
|
||||
if (chpxOff + 1 + cb > pageOff + FKP_PAGE_SIZE) {
|
||||
continue; // grpprl не влезает в страницу — пропуск
|
||||
}
|
||||
grpprl = new byte[cb];
|
||||
System.arraycopy(wordDocument, chpxOff + 1, grpprl, 0, cb);
|
||||
}
|
||||
// bOffset=0 (§2.4.2 «no properties») — диапазон без свойств, НО
|
||||
}
|
||||
// bOffset=0 (§2.9.33 «there is no Chpx associated») — диапазон
|
||||
// без свойств, НО
|
||||
// граница rgfc[j+1] значима: без записи в ranges rangeEnd для
|
||||
// дефолтного рана вернул бы конец абзаца, и ран, следующий за
|
||||
// plain-участком (жирное слово в простом тексте — норма Word),
|
||||
|
||||
@@ -42,7 +42,8 @@ final class DocFile {
|
||||
throw new ConversionException("В .doc нет потока "
|
||||
+ (fib.use1Table() ? "1Table" : "0Table"));
|
||||
}
|
||||
pieces = PieceTable.read(table, fib.fcClx(), fib.lcbClx(), wordDocument);
|
||||
pieces = PieceTable.read(table, fib.fcClx(), fib.lcbClx(), wordDocument,
|
||||
fib.cbMac() & 0xFFFF_FFFFL);
|
||||
}
|
||||
|
||||
static DocFile open(byte[] docBytes) {
|
||||
@@ -78,7 +79,8 @@ final class DocFile {
|
||||
+ papx.countPageBreakBefore());
|
||||
}
|
||||
|
||||
/** Число символов 0x0C (разрыв страницы/колонки/секции, §2.2) в основном тексте. */
|
||||
/** Число символов 0x0C (разрыв страницы/секции, §2.8.26) в основном тексте;
|
||||
* разрыв колонки — 0x0E (§2.6.3), страниц не добавляет. */
|
||||
int countPageBreaks() {
|
||||
int count = 0;
|
||||
for (int cp = 0; cp < fib.ccpText(); cp++) {
|
||||
|
||||
@@ -1,29 +1,34 @@
|
||||
package ru.pjandro.wordpdf.internal.doc;
|
||||
|
||||
import ru.pjandro.wordpdf.WordPdfValidator;
|
||||
|
||||
import java.nio.charset.StandardCharsets;
|
||||
import java.util.ArrayDeque;
|
||||
import java.util.ArrayList;
|
||||
import java.util.Arrays;
|
||||
import java.util.Deque;
|
||||
import java.util.HashMap;
|
||||
import java.util.Iterator;
|
||||
import java.util.List;
|
||||
import java.util.Locale;
|
||||
import java.util.Map;
|
||||
import java.util.Set;
|
||||
import java.util.logging.Logger;
|
||||
import java.util.regex.Pattern;
|
||||
|
||||
/**
|
||||
* Мост бинарного .doc (Word 97–2003) → минимальный transitional-.docx.
|
||||
*
|
||||
* <p>Точки входа пакета: {@link #convert(byte[])} (конвертация) и
|
||||
* <p>Точки входа пакета: {@link #convert(byte[], long)} (конвертация) и
|
||||
* {@link #countPages(byte[])} (нижняя оценка страниц для валидатора).
|
||||
* Разбор строго по [MS-DOC]/[MS-CFB]/[MS-OLEPS]: контейнер — {@link CfbReader},
|
||||
* общий разбор — {@link DocFile}, заголовок — {@link FibHeader}, текст —
|
||||
* {@link PieceTable} (§2.4.1), прямые
|
||||
* свойства — {@link ChpxIndex}/{@link PapxIndex} (§2.4.6.1/.2), стили —
|
||||
* {@link Styles} (STSH, цепочка по istd, §2.4.6.5), списки — {@link Lists}
|
||||
* (PlfLst/PlfLfo → numbering.xml + w:numPr, §2.4.6.5 «Determining List
|
||||
* (PlfLst/PlfLfo → numbering.xml + w:numPr, §2.4.6.3 «Determining List
|
||||
* Formatting»), сетка таблиц — {@link Tables} (TAP, §2.6.3), полоса набора —
|
||||
* {@link Sections} (§2.8.26), колонтитуки — {@link Headers} (§2.4.1,
|
||||
* {@link Sections} (§2.8.26), колонтитуки — {@link Headers} (§2.3.3,
|
||||
* нечётные полосы каждой секции → свой {@code w:sectPr} с
|
||||
* {@code headerReference}/{@code footerReference} в pPr абзаца с
|
||||
* межсекционным разрывом + body-level sectPr последней секции),
|
||||
@@ -40,7 +45,7 @@ import java.util.regex.Pattern;
|
||||
* объектов (0x08 — inline-приближение, PlcfSpa не переносится),
|
||||
* текстовыделитель (sprmCHighlight → w:highlight), затенения рана/абзаца
|
||||
* (sprmCShd/sprmCShd80 → rPr, sprmPShd/sprmPShd80 → pPr — w:shd), прямые
|
||||
* символьные стили (sprmCIstd + stk=3 в STSH → цепочка chpx в rPr), поля
|
||||
* символьные стили (sprmCIstd + stk=2 в STSH → цепочка chpx в rPr), поля
|
||||
* ячеек (sprmTCellPadding/sprmTCellPaddingDefault → w:tcMar; по умолчанию
|
||||
* конвейер даёт дефолт Word 108/0), титульная страница секции
|
||||
* (sprmSFTitlePage → w:titlePg + first-колонтитуки Plcfhdd). Не переносятся:
|
||||
@@ -49,14 +54,14 @@ import java.util.regex.Pattern;
|
||||
* (sprmPBrc* 0xC64E–0xC652 — конвейер не читает w:pBdr) и ячейки
|
||||
* (sprmTSetBrc — не читает w:tcBorders), высота строк (sprmTDyaRowHeight —
|
||||
* не читает w:trHeight),
|
||||
* «шапка-repeat»/cantSplit/widowControl, типы подчёркивания и цвет линии
|
||||
* (sprmCKul/sprmCCvUl — всегда single), эффетки шрифта, отступы Dxc
|
||||
* цвет линии подчёркивания
|
||||
* (sprmCCvUl — w:u без w:color), эффетки шрифта, отступы Dxc
|
||||
* (hundredths of a character — пайплайн не читает w:*Chars);
|
||||
* сноски/комментарии
|
||||
* (0x02/0x05) и инструкции полей (0x13–0x14) выбрасываются,
|
||||
* результат поля (0x14–0x15) остаётся; поле {@code HYPERLINK} в основном
|
||||
* тексте переносится как {@code w:hyperlink} с внешней rels-связью на URL из
|
||||
* инструкции ([MS-DOC] §2.4.4; деградации в плоский текст: якорный
|
||||
* инструкции ([MS-DOC] §2.9.115 HFD; деградации в плоский текст: якорный
|
||||
* переключатель {@code \l}, URL без схемы RFC 3986, ссылки в колонтитуках);
|
||||
* прочие управляющие символы не эмитятся.</p>
|
||||
*
|
||||
@@ -66,7 +71,9 @@ import java.util.regex.Pattern;
|
||||
*/
|
||||
public final class DocToDocx {
|
||||
|
||||
/** Символы .doc (§2.2/§2.4). */
|
||||
private static final Logger LOG = Logger.getLogger(DocToDocx.class.getName());
|
||||
|
||||
/** Символы .doc (§2.8.26/§2.4). */
|
||||
private static final char CELL_MARK = 0x07;
|
||||
private static final char EMBEDDED_OBJECT = 0x01;
|
||||
private static final char ANNOTATION_REF = 0x05;
|
||||
@@ -81,7 +88,7 @@ public final class DocToDocx {
|
||||
private static final char FIELD_SEPARATOR = 0x14;
|
||||
private static final char FIELD_END = 0x15;
|
||||
|
||||
/** Ниже — управляющие символы без текстового смысла (§2.2) → граница рана. */
|
||||
/** Ниже — управляющие символы без текстового смысла (§2.8.26) → граница рана. */
|
||||
private static final char CONTROL_LIMIT = 0x20;
|
||||
private static final char NON_BREAKING_HYPHEN = 0x1E;
|
||||
private static final char SOFT_HYPHEN = 0x1F;
|
||||
@@ -113,9 +120,12 @@ public final class DocToDocx {
|
||||
* {@link #countPages(byte[])}, но до всякой конвертации).</p>
|
||||
*
|
||||
* @param docBytes контейнер Word 97–2003
|
||||
* @param maxMb лимит размера входа (МБ) — из него порог пиксельной
|
||||
* площади растра ({@code WordPdfValidator.maxImagePixels})
|
||||
* @throws ConversionException на некорректном/зашифрованном/чужом входе
|
||||
*/
|
||||
public static byte[] convert(byte[] docBytes) {
|
||||
public static byte[] convert(byte[] docBytes, long maxMb) {
|
||||
long maxPixels = WordPdfValidator.maxImagePixels(maxMb);
|
||||
DocFile file = DocFile.open(docBytes);
|
||||
FibHeader fib = file.fib();
|
||||
FontTable fonts = FontTable.read(file.table(), fib.fcSttbfFfn(), fib.lcbSttbfFfn());
|
||||
@@ -145,7 +155,7 @@ public final class DocToDocx {
|
||||
byte[] data = CfbReader.stream(file.streams(), "Data");
|
||||
file.releaseRawStreams();
|
||||
DocxBody body = new DocxBody(file.pieces(), chpx, papx, fonts, styles, lists,
|
||||
fib.ccpText(), data, parts);
|
||||
fib.ccpText(), data, maxPixels, parts);
|
||||
List<Sections.Section> secs = sections.list();
|
||||
String[] hdrRel = new String[secs.size()];
|
||||
String[] ftrRel = new String[secs.size()];
|
||||
@@ -153,7 +163,7 @@ public final class DocToDocx {
|
||||
String[] firstFtrRel = new String[secs.size()];
|
||||
// Odd header/footer каждой секции → type="default" (FOP не различает
|
||||
// чётные/нечётные); guard-абзац истории отбрасывается. История
|
||||
// cpStart == cpEnd не определена (§2.4.4) — ни части, ни ссылки:
|
||||
// cpStart == cpEnd не определена (§2.3.3) — ни части, ни ссылки:
|
||||
// docx4j наследует полосы предыдущей секции. Guard-only история —
|
||||
// часть с единственным <w:p/> (явно пустой колонтитул, обрывающий
|
||||
// наследование; пустой w:hdr невалиден — ≥1 блочный элемент).
|
||||
@@ -225,7 +235,7 @@ public final class DocToDocx {
|
||||
/** Текст CP 0..ccpText → XML-тело {@code <w:body>}. */
|
||||
static final class DocxBody {
|
||||
|
||||
/** Длина операнда LSPD: dyaLine (i16) + fMultLinespace (i16), §2.9.181. */
|
||||
/** Длина операнда LSPD: dyaLine (i16) + fMultLinespace (i16), §2.9.146. */
|
||||
private static final int LSPD_OPERAND_LEN = 4;
|
||||
/** fMultLinespace=1: dyaLine — множитель интервала в 240-х долях. */
|
||||
private static final int FMULT_MULTIPLIER = 1;
|
||||
@@ -236,12 +246,22 @@ public final class DocToDocx {
|
||||
/** Схема URL в начале строки (RFC 3986 §3.1), lookingAt. */
|
||||
private static final Pattern URL_SCHEME =
|
||||
Pattern.compile("[A-Za-z][A-Za-z0-9+.\\-]*:");
|
||||
/**
|
||||
* Разрешённые схемы гиперссылок: RFC 3986 пропускает {@code javascript:}
|
||||
* и {@code file:}, они доезжают до /URI-аннотаций PDF (выполнение
|
||||
* скрипта/локальный путь в просмотрщике). Прочие схемы → ссылка не
|
||||
* эмитится, текст остаётся.
|
||||
*/
|
||||
private static final Set<String> ALLOWED_URL_SCHEMES =
|
||||
Set.of("http", "https", "mailto", "ftp");
|
||||
/** ASCII DEL — управляющий символ, невалидный в URL. */
|
||||
private static final char DEL = 0x7F;
|
||||
/** Кавычка-обёртка URL в инструкции HYPERLINK. */
|
||||
private static final char QUOTE = '"';
|
||||
/** Переключатель якорной ссылки Word. */
|
||||
private static final String ANCHOR_SWITCH = "\\l";
|
||||
/** Токен поля HYPERLINK в начале инструкции. */
|
||||
private static final String HYPERLINK_FIELD = "HYPERLINK";
|
||||
|
||||
private final PieceTable pieces;
|
||||
private final ChpxIndex chpx;
|
||||
@@ -254,6 +274,8 @@ public final class DocToDocx {
|
||||
private final int ccpText;
|
||||
/** Data-поток (.doc) для BLIP по sprmCPicLocation. */
|
||||
private final byte[] dataStream;
|
||||
/** Порог пиксельной площади растра (WordPdfValidator.maxImagePixels). */
|
||||
private final long maxPixels;
|
||||
/** Части пакета (колонтитуки + media); id связи = rId{позиция+1}. */
|
||||
private final List<DocxWriter.Part> parts;
|
||||
private final Deque<Boolean> fieldStack = new ArrayDeque<>();
|
||||
@@ -274,10 +296,16 @@ public final class DocToDocx {
|
||||
private Map<Integer, String> sectByEndCp = Map.of();
|
||||
/** sectPr разрыва, потреблённого в текущем абзаце (прикрепляется к Para). */
|
||||
private String pendingSectPr;
|
||||
/** Остаток бюджета развёрнутых PrcData на документ (сброса нет). */
|
||||
private final long[] prcBudget = {PrcData.MAX_BYTES_PER_DOCUMENT};
|
||||
/** Номер следующей картинки ({@code word/media/imageN}); media-части
|
||||
* добавляет только {@code emitPicture} — инкремент эквивалентен прежнему
|
||||
* скану {@code parts} (тот был квадратичным на тысячах картинок). */
|
||||
private int imageSeq;
|
||||
|
||||
DocxBody(PieceTable pieces, ChpxIndex chpx, PapxIndex papx, FontTable fonts,
|
||||
Styles styles, Lists lists, int ccpText, byte[] dataStream,
|
||||
List<DocxWriter.Part> parts) {
|
||||
long maxPixels, List<DocxWriter.Part> parts) {
|
||||
this.pieces = pieces;
|
||||
this.chpx = chpx;
|
||||
this.papx = papx;
|
||||
@@ -286,6 +314,7 @@ public final class DocToDocx {
|
||||
this.lists = lists;
|
||||
this.ccpText = ccpText;
|
||||
this.dataStream = dataStream;
|
||||
this.maxPixels = maxPixels;
|
||||
this.parts = parts;
|
||||
}
|
||||
|
||||
@@ -299,7 +328,7 @@ public final class DocToDocx {
|
||||
* {@code w:sectPr} в pPr абзаца с разрывом 0x0C + body-level sectPr
|
||||
* последней секции. {@code w:type} секции описывает разрыв ПЕРЕД ней
|
||||
* (ECMA-376 §17.6.22), поэтому берётся из sprmSBkc ПРЕДЫДУЩЕЙ секции
|
||||
* ([MS-DOC] §2.6.3 SBkcOperand — «break that terminates the section»).
|
||||
* ([MS-DOC] sprmSBkc §2.6.4, SBkcOperand §2.9.235 — «break that terminates the section»).
|
||||
*/
|
||||
String build(List<Sections.Section> secs, String[] hdrRel, String[] ftrRel,
|
||||
String[] firstHdrRel, String[] firstFtrRel) {
|
||||
@@ -311,14 +340,14 @@ public final class DocToDocx {
|
||||
&& pieces.charAt(endCp) == PAGE_OR_SECTION_BREAK) {
|
||||
sectByEndCp.put(endCp, sectPrXml(secs.get(i), hdrRel[i], ftrRel[i],
|
||||
firstHdrRel[i], firstFtrRel[i],
|
||||
i > 0 && secs.get(i - 1).continuous()));
|
||||
i > 0 ? secs.get(i - 1) : null));
|
||||
}
|
||||
}
|
||||
Sections.Section last = secs.get(n - 1);
|
||||
return buildRange(0, ccpText, false, sectByEndCp)
|
||||
+ sectPrXml(last, hdrRel[n - 1], ftrRel[n - 1],
|
||||
firstHdrRel[n - 1], firstFtrRel[n - 1],
|
||||
n > 1 && secs.get(n - 2).continuous());
|
||||
n > 1 ? secs.get(n - 2) : null);
|
||||
}
|
||||
|
||||
/**
|
||||
@@ -361,11 +390,29 @@ public final class DocToDocx {
|
||||
int cp = from;
|
||||
while (cp < to) {
|
||||
int paraStart = cp;
|
||||
long paraFc = pieces.fcOf(paraStart);
|
||||
// PAPX-ключ — FC ПОСЛЕДНЕГО символа абзаца (маркера): bucket
|
||||
// PlcBtePapx и rgfc PapxFkp определяются последним символом
|
||||
// (§2.8.6, §2.4.6.1 «Determining Paragraph Boundaries» →
|
||||
// Direct Paragraph Formatting шаг 1); граница bucket'а внутри
|
||||
// абзаца иначе обрезает диапазон выше первого FC и теряются
|
||||
// grpprl + istd (регрессия —
|
||||
// DocToDocxFormattingTest#papxBucketBoundary_insideParagraph_propsKept)
|
||||
int markCp = paraStart;
|
||||
while (markCp < to) {
|
||||
char chMark = pieces.charAt(markCp);
|
||||
// 0x0C, завершающий секцию, и есть ¶-маркер абзаца
|
||||
// (тот же предикат, что обрывает абзац в цикле ниже)
|
||||
if (chMark == PARA_MARK || chMark == CELL_MARK
|
||||
|| sectByEndCp.containsKey(markCp)) {
|
||||
break;
|
||||
}
|
||||
markCp++;
|
||||
}
|
||||
long paraFc = pieces.fcOf(markCp < to ? markCp : Math.max(paraStart, markCp - 1));
|
||||
// grpprl абзаца может быть вынесен Word в PrcData (Data-поток)
|
||||
// через sprmPHugePapx/sprmPTableProps — разворачиваем до
|
||||
// потребления: InTable/TTP/TAP видят автомат и paraProps (§2.9.210)
|
||||
byte[] direct = PrcData.resolve(dataStream, papx.grpprlFor(paraFc));
|
||||
byte[] direct = PrcData.resolve(dataStream, papx.grpprlFor(paraFc), prcBudget);
|
||||
int istd = istdOf(direct, papx.istdFor(paraFc));
|
||||
byte[] styleChpx = styles.chpxChain(istd);
|
||||
StringBuilder runs = new StringBuilder();
|
||||
@@ -503,7 +550,7 @@ public final class DocToDocx {
|
||||
}
|
||||
}
|
||||
|
||||
/** Открытие w:tbl: tblPr (tblW → jc → tblInd → tblBorders) + tblGrid (§17.4.49). */
|
||||
/** Открытие w:tbl: tblPr (tblW → jc → tblInd → tblBorders) + tblGrid (§17.4.48). */
|
||||
private static String openTable(Tables.Grid g) {
|
||||
StringBuilder xml = new StringBuilder("<w:tbl><w:tblPr>");
|
||||
int total = 0;
|
||||
@@ -529,7 +576,7 @@ public final class DocToDocx {
|
||||
* w:tr: ширина/объединение ячейки — из собственной сетки строки
|
||||
* (§2.9.321: у TTP-абзаца свой sprmTDefTable; объединённая ячейка —
|
||||
* центр, покрывающий несколько колонок tblGrid → w:gridSpan +
|
||||
* суммарный w:tcW, ECMA-376 §17.4.65, порядок детей CT_TcPrBase:
|
||||
* суммарный w:tcW, ECMA-376 §17.4.17, порядок детей CT_TcPrBase:
|
||||
* tcW → gridSpan). Строка без согласованной сетки (центров не на 1
|
||||
* больше числа ячеек) или с невыровненными с tblGrid границами —
|
||||
* прежнее поведение: ячейка i получает tcW i-й колонки, лишние —
|
||||
@@ -540,7 +587,7 @@ public final class DocToDocx {
|
||||
int[] table = grid.centers();
|
||||
int[] row = rowGrid == null ? null : rowGrid.centers();
|
||||
// собственная сетка строки согласована с автоматом, только если
|
||||
// центров ровно на 1 больше ячеек (§2.4.4: число ячеек = число определений)
|
||||
// центров ровно на 1 больше ячеек (§2.4.3: число ячеек = число определений)
|
||||
boolean perRow = row != null && row.length == cells.size() + 1;
|
||||
int i = 0;
|
||||
for (List<Para> cell : cells) {
|
||||
@@ -558,7 +605,7 @@ public final class DocToDocx {
|
||||
tcPr.append("<w:tcW w:w=\"").append(grid.colWidths()[i])
|
||||
.append("\" w:type=\"dxa\"/>");
|
||||
}
|
||||
// sprmTCellPadding/…Default (CT_TcPr, §17.4.72: tcMar до vAlign)
|
||||
// sprmTCellPadding/…Default (CT_TcPr, §17.4.69: tcMar до vAlign)
|
||||
String tcMar = tcMarXml(rowGrid, i);
|
||||
if (tcMar != null) {
|
||||
tcPr.append(tcMar);
|
||||
@@ -573,7 +620,7 @@ public final class DocToDocx {
|
||||
xml.append("<w:tcPr>").append(tcPr).append("</w:tcPr>");
|
||||
}
|
||||
if (cell.isEmpty()) {
|
||||
xml.append("<w:p/>"); // ≥1 абзац в ячейке обязательно (§17.4.42)
|
||||
xml.append("<w:p/>"); // ≥1 абзац в ячейке обязательно (§17.4.65)
|
||||
} else {
|
||||
for (Para p : cell) {
|
||||
xml.append(paraXml(p));
|
||||
@@ -600,7 +647,7 @@ public final class DocToDocx {
|
||||
* пересечение диапазона [itcFirst, itcLim) с индексом ячейки, позже
|
||||
* заданный операнд перекрывает сторону ранее заданного (порядок
|
||||
* скана TAP = last-wins). Стороны только явные, порядок детей
|
||||
* CT_TcMar (§17.4.66): top → left → bottom → right. Нет явных
|
||||
* CT_TcMar (§17.4.68): top → left → bottom → right. Нет явных
|
||||
* полей — null (конвейер даёт дефолт 108/0 — он же дефолт Word).
|
||||
*/
|
||||
private static String tcMarXml(Tables.Grid rowGrid, int i) {
|
||||
@@ -655,7 +702,7 @@ public final class DocToDocx {
|
||||
boolean[] in = {false};
|
||||
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
|
||||
if (sprm == Grpprl.SPRM_P_F_IN_TABLE) {
|
||||
in[0] = Grpprl.toggleOn(buf, off);
|
||||
in[0] = Grpprl.toggle(false, buf[off]);
|
||||
}
|
||||
});
|
||||
return in[0];
|
||||
@@ -778,7 +825,7 @@ public final class DocToDocx {
|
||||
break;
|
||||
case EMBEDDED_OBJECT:
|
||||
case DRAWN_OBJECT:
|
||||
// Якорь плавающей картинки 0x08 (§2.9.267) несёт тот же
|
||||
// Якорь плавающей картинки 0x08 (PlcfSpa §2.8.27) несёт тот же
|
||||
// sprmCPicLocation, что 0x01 → inline-приближение
|
||||
// (позиционирование/обтекание PlcfSpa не переносится)
|
||||
flushText(text, content);
|
||||
@@ -822,7 +869,8 @@ public final class DocToDocx {
|
||||
/**
|
||||
* Закрыть накопленный {@code <w:r>}: fldSimple обязан лежать вне рана;
|
||||
* непринятая правка (sprmCFRMark*) оборачивает ран в {@code w:del}/
|
||||
* {@code w:ins} (атрибуты w:id/w:author/w:date опциональны — не эмитятся).
|
||||
* {@code w:ins}. Атрибуты w:id и w:author обязательны (CT_Markup/
|
||||
* CT_TrackChange, wml.xsd — оба use="required", w:date опционален).
|
||||
*/
|
||||
private void closeRun(StringBuilder runs, String rPr, StringBuilder content,
|
||||
StringBuilder text) {
|
||||
@@ -834,9 +882,16 @@ public final class DocToDocx {
|
||||
}
|
||||
}
|
||||
|
||||
/** Счётчик w:id правок (CT_TrackChange.@w:id). */
|
||||
private int markupSeq;
|
||||
|
||||
/** Открывающая обёртка правки текущего рана; обычный ран — пустая строка. */
|
||||
private String markupOpen() {
|
||||
return runMarkup == MARKUP_DEL ? "<w:del>" : runMarkup == MARKUP_INS ? "<w:ins>" : "";
|
||||
if (runMarkup == MARKUP_NONE) {
|
||||
return "";
|
||||
}
|
||||
String tag = runMarkup == MARKUP_DEL ? "w:del" : "w:ins";
|
||||
return "<" + tag + " w:id=\"" + (++markupSeq) + "\" w:author=\"\">";
|
||||
}
|
||||
|
||||
/** Закрывающая обёртка правки; см. {@link #markupOpen()}. */
|
||||
@@ -853,20 +908,21 @@ public final class DocToDocx {
|
||||
* простираться дальше картинки.
|
||||
*/
|
||||
private void emitPicture(StringBuilder runs, String rPr, int cp) {
|
||||
if (fieldsAsSimple) {
|
||||
// колонтитулы: rels per-story (word/_rels/headerN.xml.rels) мост
|
||||
// не пишет → r:embed висел бы над несуществующей связью
|
||||
LOG.warning("Картинка в колонтитуле пропущена (нет per-story rels)");
|
||||
return;
|
||||
}
|
||||
long picLoc = picLocationFor(chpx.grpprlFor(pieces.fcOf(cp)));
|
||||
if (picLoc < 0) {
|
||||
return;
|
||||
}
|
||||
OfficeArt.Picture pic = OfficeArt.read(dataStream, picLoc);
|
||||
OfficeArt.Picture pic = OfficeArt.read(dataStream, picLoc, maxPixels);
|
||||
if (pic == null) {
|
||||
return;
|
||||
}
|
||||
int imageNo = 1;
|
||||
for (DocxWriter.Part p : parts) {
|
||||
if (p.entry().startsWith("word/media/")) {
|
||||
imageNo++;
|
||||
}
|
||||
}
|
||||
int imageNo = ++imageSeq;
|
||||
String entry = "word/media/image" + imageNo + "." + pic.extension();
|
||||
parts.add(new DocxWriter.Part(entry, pic.contentType(), IMAGE_REL_TYPE, pic.data()));
|
||||
String relId = "rId" + parts.size();
|
||||
@@ -918,7 +974,7 @@ public final class DocToDocx {
|
||||
}
|
||||
|
||||
/**
|
||||
* URL из инструкции поля HYPERLINK ([MS-DOC] §2.4.4: токен, затем
|
||||
* URL из инструкции поля HYPERLINK ([MS-DOC] §2.9.115 HFD: токен, затем
|
||||
* {@code "url"} или url без кавычек, затем switch'и). Схема обязательна
|
||||
* (RFC 3986 §3.1) — {@code readme.txt}/{@code #bookmark} ссылкой не
|
||||
* считаются. Якорный переключатель {@code \l} — {@code null}: закладки
|
||||
@@ -932,7 +988,7 @@ public final class DocToDocx {
|
||||
while (end < s.length() && !Character.isWhitespace(s.charAt(end))) {
|
||||
end++;
|
||||
}
|
||||
if (!"HYPERLINK".equalsIgnoreCase(s.substring(0, end))) {
|
||||
if (!HYPERLINK_FIELD.equalsIgnoreCase(s.substring(0, end))) {
|
||||
return null;
|
||||
}
|
||||
int p = end;
|
||||
@@ -965,7 +1021,9 @@ public final class DocToDocx {
|
||||
}
|
||||
}
|
||||
if (url.isEmpty() || hasControlChar(url)
|
||||
|| !URL_SCHEME.matcher(url).lookingAt()) {
|
||||
|| !URL_SCHEME.matcher(url).lookingAt()
|
||||
|| !ALLOWED_URL_SCHEMES.contains(
|
||||
url.substring(0, url.indexOf(':')).toLowerCase(Locale.ROOT))) {
|
||||
return null;
|
||||
}
|
||||
return url;
|
||||
@@ -1035,7 +1093,7 @@ public final class DocToDocx {
|
||||
boolean[] ttp = {false};
|
||||
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
|
||||
if (sprm == Grpprl.SPRM_P_F_TTP) {
|
||||
ttp[0] = Grpprl.toggleOn(buf, off);
|
||||
ttp[0] = Grpprl.toggle(false, buf[off]);
|
||||
}
|
||||
});
|
||||
return ttp[0];
|
||||
@@ -1046,14 +1104,20 @@ public final class DocToDocx {
|
||||
RunProps p = new RunProps();
|
||||
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
|
||||
switch (sprm) {
|
||||
case Grpprl.SPRM_C_F_BOLD -> p.bold = Grpprl.toggleOn(buf, off);
|
||||
case Grpprl.SPRM_C_F_ITALIC -> p.italic = Grpprl.toggleOn(buf, off);
|
||||
case Grpprl.SPRM_C_F_STRIKE -> p.strike = Grpprl.toggleOn(buf, off);
|
||||
case Grpprl.SPRM_C_KUL -> p.underline = Grpprl.operandInt(buf, off, len) != 0;
|
||||
// ToggleOperand (§2.9.327): current = накопленное значение
|
||||
// (цепочка стиля сканируется раньше прямого grpprl)
|
||||
case Grpprl.SPRM_C_F_BOLD -> p.bold = Grpprl.toggle(p.bold, buf[off]);
|
||||
case Grpprl.SPRM_C_F_ITALIC -> p.italic = Grpprl.toggle(p.italic, buf[off]);
|
||||
case Grpprl.SPRM_C_F_STRIKE -> p.strike = Grpprl.toggle(p.strike, buf[off]);
|
||||
case Grpprl.SPRM_C_KUL ->
|
||||
p.underline = Grpprl.underlineVal(Grpprl.operandInt(buf, off, len));
|
||||
case Grpprl.SPRM_C_HPS -> p.sz = Grpprl.operandInt(buf, off, len);
|
||||
case Grpprl.SPRM_C_HPS_BI -> p.szCs = Grpprl.operandInt(buf, off, len);
|
||||
case Grpprl.SPRM_C_RG_FTC0 -> p.ftc0 = Grpprl.operandInt(buf, off, len);
|
||||
case Grpprl.SPRM_C_RG_FTC1 -> p.ftc1 = Grpprl.operandInt(buf, off, len);
|
||||
case Grpprl.SPRM_C_RG_FTC0 -> p.ftc0 = signedXas(buf, off, len);
|
||||
case Grpprl.SPRM_C_RG_FTC1 -> p.ftc1 = signedXas(buf, off, len);
|
||||
case Grpprl.SPRM_C_RG_FTC2 -> p.ftc2 = signedXas(buf, off, len);
|
||||
case Grpprl.SPRM_C_FTC_BI -> p.ftcBi = signedXas(buf, off, len);
|
||||
case Grpprl.SPRM_C_ISS -> p.iss = Grpprl.operandInt(buf, off, len);
|
||||
case Grpprl.SPRM_C_CV -> p.color = colorOf(buf, off, len);
|
||||
case Grpprl.SPRM_C_HIGHLIGHT -> p.highlight =
|
||||
highlightName(Grpprl.operandInt(buf, off, len));
|
||||
@@ -1061,11 +1125,12 @@ public final class DocToDocx {
|
||||
case Grpprl.SPRM_C_SHD80 -> p.shd =
|
||||
shdAttrs80(Grpprl.operandInt(buf, off, len));
|
||||
case Grpprl.SPRM_C_HPS_POS -> p.pos = signedXas(buf, off, len);
|
||||
case Grpprl.SPRM_C_F_VANISH -> p.hidden = Grpprl.toggleOn(buf, off);
|
||||
case Grpprl.SPRM_C_F_CAPS -> p.caps = Grpprl.toggleOn(buf, off);
|
||||
case Grpprl.SPRM_C_F_SMALL_CAPS -> p.smallCaps = Grpprl.toggleOn(buf, off);
|
||||
case Grpprl.SPRM_C_RMARK_DEL -> p.del = Grpprl.toggleOn(buf, off);
|
||||
case Grpprl.SPRM_C_RMARK_INS -> p.ins = Grpprl.toggleOn(buf, off);
|
||||
case Grpprl.SPRM_C_F_VANISH -> p.hidden = Grpprl.toggle(p.hidden, buf[off]);
|
||||
case Grpprl.SPRM_C_F_CAPS -> p.caps = Grpprl.toggle(p.caps, buf[off]);
|
||||
case Grpprl.SPRM_C_F_SMALL_CAPS ->
|
||||
p.smallCaps = Grpprl.toggle(p.smallCaps, buf[off]);
|
||||
case Grpprl.SPRM_C_RMARK_DEL -> p.del = Grpprl.toggle(p.del, buf[off]);
|
||||
case Grpprl.SPRM_C_RMARK_INS -> p.ins = Grpprl.toggle(p.ins, buf[off]);
|
||||
default -> { }
|
||||
}
|
||||
});
|
||||
@@ -1074,17 +1139,26 @@ public final class DocToDocx {
|
||||
|
||||
/**
|
||||
* rPr по CT_RPr-порядку (§17.3.2.28): rFonts, b, i, strike, color,
|
||||
* position, sz, szCs, highlight, u, shd.
|
||||
* position, sz, szCs, highlight, u, shd, vertAlign.
|
||||
*/
|
||||
private String runXml(RunProps p) {
|
||||
StringBuilder xml = new StringBuilder();
|
||||
// Слоты шрифта (ms-doc-full.md §2.6.1): ftc0→ascii, ftc1→eastAsia,
|
||||
// ftc2→hAnsi (перекрывает ascii-значение ftc0), ftcBi→cs
|
||||
String ascii = p.ftc0 >= 0 ? fonts.font(p.ftc0) : null;
|
||||
String cs = p.ftc1 >= 0 ? fonts.font(p.ftc1) : null;
|
||||
if (ascii != null || cs != null) {
|
||||
String hAnsi = p.ftc2 >= 0 ? fonts.font(p.ftc2) : ascii;
|
||||
String eastAsia = p.ftc1 >= 0 ? fonts.font(p.ftc1) : null;
|
||||
String cs = p.ftcBi >= 0 ? fonts.font(p.ftcBi) : null;
|
||||
if (ascii != null || hAnsi != null || eastAsia != null || cs != null) {
|
||||
xml.append("<w:rFonts");
|
||||
if (ascii != null) {
|
||||
xml.append(" w:ascii=\"").append(escapeAttr(ascii))
|
||||
.append("\" w:hAnsi=\"").append(escapeAttr(ascii)).append('"');
|
||||
xml.append(" w:ascii=\"").append(escapeAttr(ascii)).append('"');
|
||||
}
|
||||
if (hAnsi != null) {
|
||||
xml.append(" w:hAnsi=\"").append(escapeAttr(hAnsi)).append('"');
|
||||
}
|
||||
if (eastAsia != null) {
|
||||
xml.append(" w:eastAsia=\"").append(escapeAttr(eastAsia)).append('"');
|
||||
}
|
||||
if (cs != null) {
|
||||
xml.append(" w:cs=\"").append(escapeAttr(cs)).append('"');
|
||||
@@ -1117,12 +1191,17 @@ public final class DocToDocx {
|
||||
if (p.highlight != null) {
|
||||
xml.append("<w:highlight w:val=\"").append(p.highlight).append("\"/>");
|
||||
}
|
||||
if (p.underline) {
|
||||
xml.append("<w:u w:val=\"single\"/>");
|
||||
if (p.underline != null) {
|
||||
xml.append("<w:u w:val=\"").append(p.underline).append("\"/>");
|
||||
}
|
||||
if (p.shd != null) {
|
||||
xml.append("<w:shd ").append(p.shd).append("/>");
|
||||
}
|
||||
if (p.iss == RunProps.ISS_SUPERSCRIPT) {
|
||||
xml.append("<w:vertAlign w:val=\"superscript\"/>");
|
||||
} else if (p.iss == RunProps.ISS_SUBSCRIPT) {
|
||||
xml.append("<w:vertAlign w:val=\"subscript\"/>");
|
||||
}
|
||||
return xml.length() == 0 ? "" : "<w:rPr>" + xml + "</w:rPr>";
|
||||
}
|
||||
|
||||
@@ -1164,17 +1243,17 @@ public final class DocToDocx {
|
||||
jc80[0] = false;
|
||||
}
|
||||
case Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE -> pageBreak[0] =
|
||||
Grpprl.toggleOn(buf, off);
|
||||
Grpprl.toggle(false, buf[off]);
|
||||
case Grpprl.SPRM_P_F_KEEP_FOLLOW -> keepNext[0] =
|
||||
Grpprl.toggleOn(buf, off);
|
||||
Grpprl.toggle(false, buf[off]);
|
||||
case Grpprl.SPRM_P_F_KEEP -> keepLines[0] =
|
||||
Grpprl.toggleOn(buf, off);
|
||||
Grpprl.toggle(false, buf[off]);
|
||||
case Grpprl.SPRM_P_DYA_BEFORE -> before[0] =
|
||||
Grpprl.operandInt(buf, off, len);
|
||||
case Grpprl.SPRM_P_DYA_AFTER -> after[0] = Grpprl.operandInt(buf, off, len);
|
||||
case Grpprl.SPRM_P_DYA_LINE -> {
|
||||
if (len >= LSPD_OPERAND_LEN) {
|
||||
// LSPD (§2.9.181): dyaLine (i16) + fMultLinespace (i16)
|
||||
// LSPD (§2.9.146): dyaLine (i16) + fMultLinespace (i16)
|
||||
dyaLine[0] = signedXas(buf, off, 2);
|
||||
fMult[0] = Grpprl.operandInt(buf, off + 2, 2);
|
||||
}
|
||||
@@ -1219,11 +1298,11 @@ public final class DocToDocx {
|
||||
spacing.append(" w:after=\"").append(after[0]).append('"');
|
||||
}
|
||||
if (dyaLine[0] != Integer.MIN_VALUE && dyaLine[0] != 0) {
|
||||
// LSPD → w:spacing (§2.9.181): fMult=1 — множитель в 240-х
|
||||
// LSPD → w:spacing (§2.9.146): fMult=1 — множитель в 240-х
|
||||
// (lineRule="auto"); fMult=0, dyaLine>0 — «не меньше» (atLeast,
|
||||
// max(dyaLine, одиночный интервал)); dyaLine<0 — точная высота
|
||||
// (exact, |dyaLine|). См. grfhicPapx.fSuppressTopSpacingMac5 /
|
||||
// fExactOnTop ([MS-DOC] §2.4.6, отсылки к lineRule).
|
||||
// fExactOnTop — бит A Copts80 ([MS-DOC] §2.7.12, отсылки к lineRule).
|
||||
if (fMult[0] == FMULT_MULTIPLIER) {
|
||||
spacing.append(" w:line=\"").append(dyaLine[0])
|
||||
.append("\" w:lineRule=\"auto\"");
|
||||
@@ -1373,7 +1452,7 @@ public final class DocToDocx {
|
||||
}
|
||||
}
|
||||
|
||||
/** w:tabs: TBD.jc → ST_TabVal (§17.18.78), TBD.tlc → ST_Leader (§17.18.57). */
|
||||
/** w:tabs: TBD.jc → ST_TabJc (§17.18.84), TBD.tlc → ST_TabTlc (§17.18.85). */
|
||||
private static String tabsXml(List<int[]> tabs) {
|
||||
StringBuilder inner = new StringBuilder();
|
||||
for (int[] t : tabs) {
|
||||
@@ -1436,7 +1515,7 @@ public final class DocToDocx {
|
||||
}
|
||||
|
||||
/**
|
||||
* Ico (§2.9.171) → член ST_HighlightColor (§17.18.42) — соответствие
|
||||
* Ico (§2.9.119) → член ST_HighlightColor (§17.18.40) — соответствие
|
||||
* 1:1 по RGB палитры (teal 00FFFF = cyan, dark teal 008080 = darkCyan,
|
||||
* gray50 = darkGray, gray25 = lightGray). 0/auto/вне 1..16 → null
|
||||
* (не эмитится).
|
||||
@@ -1464,8 +1543,8 @@ public final class DocToDocx {
|
||||
}
|
||||
|
||||
/**
|
||||
* SHDOperand (§2.9.177): cb(1)=10 + Shd(10: cvFore/cvBack COLORREF +
|
||||
* ipat u16, §2.9.178) → атрибуты w:shd; cb≠10/обрезок → null.
|
||||
* SHDOperand (§2.9.249): cb(1)=10 + Shd(10: cvFore/cvBack COLORREF +
|
||||
* ipat u16, §2.9.121) → атрибуты w:shd; cb≠10/обрезок → null.
|
||||
*/
|
||||
private static String shdAttrs10(byte[] buf, int off, int len) {
|
||||
if (len < 11 || (buf[off] & 0xFF) != 10) {
|
||||
@@ -1476,7 +1555,7 @@ public final class DocToDocx {
|
||||
}
|
||||
|
||||
/**
|
||||
* Shd80 (§2.9.176, u16: icoFore(5) icoBack(5) ipat(6)) → атрибуты
|
||||
* Shd80 (§2.9.248, u16: icoFore(5) icoBack(5) ipat(6)) → атрибуты
|
||||
* w:shd; Shd80Nil (0x1F/0x1F/0x3F) даёт null (цвета вне палитры).
|
||||
*/
|
||||
private static String shdAttrs80(int v) {
|
||||
@@ -1490,7 +1569,7 @@ public final class DocToDocx {
|
||||
* w:fill (зонд 2026-11: w:val="solid" w:color=RRGGBB w:fill="auto"
|
||||
* не рисует ничего); паттерны Ipat≥2 в FOP неразличимы — деградация
|
||||
* в фон cvBack (MS-DOC Ipat: вне ST_Shd паттерны «lost if converted
|
||||
* to ECMA-376»). ShdAuto/ShdNil (оба цвета auto, §2.9.178) и
|
||||
* to ECMA-376»). ShdAuto/ShdNil (оба цвета auto, §2.9.249) и
|
||||
* нечем-красить (fill auto) → null.
|
||||
*/
|
||||
private static String shdAttrs(int ipat, String fore, String back) {
|
||||
@@ -1503,43 +1582,51 @@ public final class DocToDocx {
|
||||
}
|
||||
|
||||
/**
|
||||
* Grpprl рана с учётом sprmCIstd (§2.6.1): цепочка chpx символьного
|
||||
* стиля (stk=3) вставляется между цепочкой стиля абзаца и прямыми
|
||||
* CHPX — §2.4.6.5: символьные свойства сначала возвращаются к
|
||||
* результату стиля абзаца, затем символьный стиль, затем прямые.
|
||||
* Без sprmCIstd — прежняя конкатенация.
|
||||
* Grpprl рана с учётом sprmCIstd (§2.6.1): символьные свойства
|
||||
* возвращаются к результату стиля абзаца (прямые до sprmCIstd
|
||||
* сбрасываются, кроме preserv-list {@link Grpprl#CI_STD_PRESERVE}),
|
||||
* затем цепочка chpx символьного стиля (stk=2), затем Prl после
|
||||
* sprmCIstd. sprmCIstd нет или istd вне STSH (Prl невалиден —
|
||||
* спекулятивный сброс не делается) — прежняя конкатенация.
|
||||
*/
|
||||
private byte[] chpxWithCharStyle(byte[] grpprl, byte[] styleChpx) {
|
||||
int[] istd = {-1};
|
||||
int[] ciStdStart = {-1};
|
||||
int[] ciStdEnd = {-1};
|
||||
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
|
||||
if (sprm == Grpprl.SPRM_C_ISTD) {
|
||||
if (sprm == Grpprl.SPRM_C_ISTD && ciStdStart[0] < 0) {
|
||||
ciStdStart[0] = off - 2;
|
||||
ciStdEnd[0] = off + len;
|
||||
int v = Grpprl.operandInt(buf, off, len);
|
||||
istd[0] = v < styles.count() ? v : -1;
|
||||
}
|
||||
});
|
||||
byte[] chStyle = istd[0] >= 0 ? styles.charChain(istd[0]) : new byte[0];
|
||||
if (chStyle.length == 0) {
|
||||
if (istd[0] < 0) {
|
||||
return styleChpx.length == 0 ? grpprl : concat(styleChpx, grpprl);
|
||||
}
|
||||
return concat(concat(styleChpx, chStyle), grpprl);
|
||||
byte[] chStyle = styles.charChain(istd[0]);
|
||||
byte[] before = Grpprl.filterOnly(grpprl, ciStdStart[0],
|
||||
Grpprl.CI_STD_PRESERVE);
|
||||
byte[] after = Arrays.copyOfRange(grpprl, ciStdEnd[0], grpprl.length);
|
||||
return concat(concat(concat(styleChpx, chStyle), before), after);
|
||||
}
|
||||
|
||||
/**
|
||||
* w:sectPr секции: ссылки на части колонтитуков (null — элемент не
|
||||
* пишется, docx4j наследует полосы предыдущей секции), затем w:type,
|
||||
* затем pgSz/pgMar её геометрии. Порядок детей — CT_SectPr:
|
||||
* EG_HdrFtrReferences → type → pgSz → pgMar (ECMA-376 §17.2.3).
|
||||
* EG_HdrFtrReferences → type → pgSz → pgMar (ECMA-376 §17.6.18).
|
||||
*
|
||||
* @param typeContinuous разрыв ПЕРЕД секцией не начинает новую
|
||||
* страницу (§17.6.22 — w:type описывает
|
||||
* предыдущий разрыв; источник — sprmSBkc
|
||||
* предыдущей секции, [MS-DOC] §2.6.3)
|
||||
* @param prev разрыв ПЕРЕД секцией (null — первая секция): его
|
||||
* SBkcOperand даёт {@code w:type} (§17.6.22 — w:type
|
||||
* описывает предыдущий разрыв; источник — sprmSBkc
|
||||
* предыдущей секции, [MS-DOC] §2.6.4)
|
||||
*/
|
||||
private static String sectPrXml(Sections.Section s, String headerRelId,
|
||||
String footerRelId, String firstHeaderRelId, String firstFooterRelId,
|
||||
boolean typeContinuous) {
|
||||
Sections.Section prev) {
|
||||
StringBuilder xml = new StringBuilder("<w:sectPr>");
|
||||
// EG_HdrFtrReferences — до содержимого секции (CT_SectPr, ECMA-376 §17.2.3)
|
||||
// EG_HdrFtrReferences — до содержимого секции (CT_SectPr, ECMA-376 §17.6.18)
|
||||
if (headerRelId != null) {
|
||||
xml.append("<w:headerReference w:type=\"default\" r:id=\"")
|
||||
.append(headerRelId).append("\"/>");
|
||||
@@ -1556,8 +1643,9 @@ public final class DocToDocx {
|
||||
xml.append("<w:footerReference w:type=\"first\" r:id=\"")
|
||||
.append(firstFooterRelId).append("\"/>");
|
||||
}
|
||||
if (typeContinuous) {
|
||||
xml.append("<w:type w:val=\"continuous\"/>");
|
||||
String typeVal = prev == null ? null : prev.wTypeName();
|
||||
if (typeVal != null) {
|
||||
xml.append("<w:type w:val=\"").append(typeVal).append("\"/>");
|
||||
}
|
||||
// sprmSBOrientation: Word пишет dxa уже перевёрнутыми; max/min —
|
||||
// защита от генераторов, оставивших портретные размеры при landscape
|
||||
@@ -1578,10 +1666,10 @@ public final class DocToDocx {
|
||||
.append("\" w:left=\"").append(s.marginLeft())
|
||||
.append("\" w:header=\"").append(s.header())
|
||||
.append("\" w:footer=\"").append(s.footer())
|
||||
.append("\" w:gutter=\"0\"/>");
|
||||
.append("\" w:gutter=\"").append(s.gutter()).append("\"/>");
|
||||
appendPgNumType(xml, s);
|
||||
appendCols(xml, s);
|
||||
// w:titlePg — после w:cols (CT_SectPrBase, §17.2.3): первая страница
|
||||
// w:titlePg — после w:cols (CT_SectPrBase, §17.6.18): первая страница
|
||||
// секции использует first-части (ссылки w:type="first" выше)
|
||||
if (s.titlePage()) {
|
||||
xml.append("<w:titlePg/>");
|
||||
@@ -1595,7 +1683,7 @@ public final class DocToDocx {
|
||||
* w:start — при сбросе нумерации, w:fmt — из подмножества
|
||||
* ST_NumberFormat, допустимого для номеров страниц (decimal —
|
||||
* формат по умолчанию, не эмитится; bullet/none/экзотика — вне
|
||||
* смысла w:fmt). Порядок CT_SectPr §17.2.3: после pgMar.
|
||||
* смысла w:fmt). Порядок CT_SectPr §17.6.18: после pgMar.
|
||||
*/
|
||||
private static void appendPgNumType(StringBuilder xml, Sections.Section s) {
|
||||
int start = s.pgNumStart();
|
||||
@@ -1690,11 +1778,19 @@ public final class DocToDocx {
|
||||
private boolean bold;
|
||||
private boolean italic;
|
||||
private boolean strike;
|
||||
private boolean underline;
|
||||
/** sprmCKul → ST_Underline-имя; null — без подчёркивания. */
|
||||
private String underline;
|
||||
private int sz;
|
||||
private int szCs;
|
||||
private int ftc0 = -1;
|
||||
private int ftc1 = -1;
|
||||
private int ftc2 = -1;
|
||||
private int ftcBi = -1;
|
||||
/** sprmCIss: 0 нормальный, 1 надстрочный, 2 подстрочный. */
|
||||
private int iss;
|
||||
/** Значения sprmCIss ([MS-DOC] §2.6.1): надстрочный/подстрочный. */
|
||||
private static final int ISS_SUPERSCRIPT = 1;
|
||||
private static final int ISS_SUBSCRIPT = 2;
|
||||
private String color;
|
||||
/** sprmCHpsPos: вертикальный сдвиг в hps со знаком ( надострочный, <0 подстрочный). */
|
||||
private int pos;
|
||||
@@ -1706,7 +1802,7 @@ public final class DocToDocx {
|
||||
/** sprmCFRMarkDel/sprmCFRMarkIns: непринятая правка → w:del/w:ins. */
|
||||
private boolean del;
|
||||
private boolean ins;
|
||||
/** sprmCHighlight: член ST_HighlightColor (§17.18.42); null — нет. */
|
||||
/** sprmCHighlight: член ST_HighlightColor (§17.18.40); null — нет. */
|
||||
private String highlight;
|
||||
/** sprmCShd/sprmCShd80: готовые атрибуты w:shd; null — нет затенения. */
|
||||
private String shd;
|
||||
|
||||
@@ -8,7 +8,9 @@ import ru.pjandro.wordpdf.ConversionException;
|
||||
* <p>По [MS-DOC] §2.5: Fib = FibBase (32) + csw + FibRgW97 + cslw + FibRgLw97
|
||||
* + cbRgFcLcb + FibRgFcLcbBlob (§2.5.1). Читаются только нужные поля;
|
||||
* порядок и смещения — §2.5.15 «How to read the FIB», побайтовые примеры —
|
||||
* §3 (Figure 22/30). Число 136 пар в blob (Word 2003+) не мешает: нужные
|
||||
* §3 (Figure 22/30). cbRgFcLcb — один из по таблице nFib (§2.5.1):
|
||||
* 0x00C1→0x005D (88 пар, Word 97), 0x0101→0x0088 (136, Word 2002),
|
||||
* 0x010C→0x00A4 (164, Word 2003) — сверяется при чтении; нужные
|
||||
* пары стоят на фиксированных индексах.</p>
|
||||
*/
|
||||
final class FibHeader {
|
||||
@@ -29,10 +31,12 @@ final class FibHeader {
|
||||
/** Значение бита флага «включён» (§2.5.2, grpprl FIB). */
|
||||
private static final int BIT_ON = 1;
|
||||
|
||||
/** Минимум FibRgW97 (4 коротких значения, §2.5.4). */
|
||||
private static final int MIN_CSLW = 4;
|
||||
/** MUST-значения счётчиков (§2.5.1 Fib, Word 97+): csw=14 коротких, cslw=22 длинных. */
|
||||
private static final int C_SW = 0x000E;
|
||||
private static final int C_SLW = 0x0016;
|
||||
|
||||
/** Смещения после FibBase (§2.5.1). */
|
||||
private static final int OFF_CSW = 32;
|
||||
private static final int OFF_CSLW = 62;
|
||||
private static final int OFF_FIB_RG_LW = 64;
|
||||
private static final int OFF_CB_MAC = OFF_FIB_RG_LW;
|
||||
@@ -91,8 +95,13 @@ final class FibHeader {
|
||||
throw new ConversionException("Документ зашифрован (пароль на открытие) — конвертация невозможна");
|
||||
}
|
||||
use1Table = ((flags >> BIT_F_WHICH_TBL_STM) & BIT_ON) == BIT_ON;
|
||||
// §2.5.1 Fib: csw «MUST be 0x000E», cslw «MUST be 0x0016» —
|
||||
// фиксированный layout FibRgW97/FibRgLw97, любое другое
|
||||
// значение = чужая версия FIB, чтение по константным смещениям дало
|
||||
// бы мусор
|
||||
int csw = (int) CfbReader.u32(wd, OFF_CSW) & 0xFFFF;
|
||||
int cslw = (int) CfbReader.u32(wd, OFF_CSLW) & 0xFFFF;
|
||||
if (cslw < MIN_CSLW) {
|
||||
if (csw != C_SW || cslw != C_SLW) {
|
||||
throw new ConversionException("Обрезанный FIB в .doc");
|
||||
}
|
||||
cbMac = (int) CfbReader.u32(wd, OFF_CB_MAC);
|
||||
@@ -102,35 +111,35 @@ final class FibHeader {
|
||||
if (ccpText < 0) {
|
||||
throw new ConversionException("Отрицательная длина текста в .doc");
|
||||
}
|
||||
int cbRgFcLcb = (int) CfbReader.u32(wd, OFF_CB_RG_FC_LCB) & 0xFFFF;
|
||||
int cbRgFcLcb = CfbReader.u16(wd, OFF_CB_RG_FC_LCB);
|
||||
if (cbRgFcLcb <= PAIR_CLX) {
|
||||
throw new ConversionException("Устаревшая структура FIB в .doc");
|
||||
}
|
||||
long[] stshf = pair(wd, PAIR_STSHF);
|
||||
long[] stshf = pair(wd, PAIR_STSHF, cbRgFcLcb);
|
||||
fcStshf = stshf[0];
|
||||
lcbStshf = stshf[1];
|
||||
long[] sed = pair(wd, PAIR_PLCF_SED);
|
||||
long[] sed = pair(wd, PAIR_PLCF_SED, cbRgFcLcb);
|
||||
fcPlcfSed = sed[0];
|
||||
lcbPlcfSed = sed[1];
|
||||
long[] hdd = pair(wd, PAIR_PLCF_HDD);
|
||||
long[] hdd = pair(wd, PAIR_PLCF_HDD, cbRgFcLcb);
|
||||
fcPlcfHdd = hdd[0];
|
||||
lcbPlcfHdd = hdd[1];
|
||||
long[] chpx = pair(wd, PAIR_PLCF_BTE_CHPX);
|
||||
long[] chpx = pair(wd, PAIR_PLCF_BTE_CHPX, cbRgFcLcb);
|
||||
fcPlcfBteChpx = chpx[0];
|
||||
lcbPlcfBteChpx = chpx[1];
|
||||
long[] papx = pair(wd, PAIR_PLCF_BTE_PAPX);
|
||||
long[] papx = pair(wd, PAIR_PLCF_BTE_PAPX, cbRgFcLcb);
|
||||
fcPlcfBtePapx = papx[0];
|
||||
lcbPlcfBtePapx = papx[1];
|
||||
long[] ffn = pair(wd, PAIR_STTBF_FFN);
|
||||
long[] ffn = pair(wd, PAIR_STTBF_FFN, cbRgFcLcb);
|
||||
fcSttbfFfn = ffn[0];
|
||||
lcbSttbfFfn = ffn[1];
|
||||
long[] clx = pair(wd, PAIR_CLX);
|
||||
long[] clx = pair(wd, PAIR_CLX, cbRgFcLcb);
|
||||
fcClx = clx[0];
|
||||
lcbClx = clx[1];
|
||||
long[] lst = pair(wd, PAIR_PLF_LST);
|
||||
long[] lst = pair(wd, PAIR_PLF_LST, cbRgFcLcb);
|
||||
fcPlfLst = lst[0];
|
||||
lcbPlfLst = lst[1];
|
||||
long[] lfo = pair(wd, PAIR_PLF_LFO);
|
||||
long[] lfo = pair(wd, PAIR_PLF_LFO, cbRgFcLcb);
|
||||
fcPlfLfo = lfo[0];
|
||||
lcbPlfLfo = lfo[1];
|
||||
}
|
||||
@@ -143,7 +152,16 @@ final class FibHeader {
|
||||
return new FibHeader(wordDocument);
|
||||
}
|
||||
|
||||
private static long[] pair(byte[] wd, int index) {
|
||||
/**
|
||||
* Пара (fc,lcb) с индексом {@code index} в FibRgFcLcbBlob. Индекс за
|
||||
* объявленным числом пар (§2.5.1: cbRgFcLcb «MUST be one of» —
|
||||
* 0x005D при nFib=0x00C1 … 0x00B7 при 0x0112; старые FIB короче) — поле
|
||||
* отсутствует: fc=0/lcb=0, потребитель трактует как «нет структуры».
|
||||
*/
|
||||
private static long[] pair(byte[] wd, int index, int pairCount) {
|
||||
if (index >= pairCount) {
|
||||
return new long[] {0, 0};
|
||||
}
|
||||
int off = OFF_BLOB + index * 8;
|
||||
if (off + 8 > wd.length) {
|
||||
throw new ConversionException("Обрезанный FIB в .doc");
|
||||
|
||||
@@ -1,5 +1,8 @@
|
||||
package ru.pjandro.wordpdf.internal.doc;
|
||||
|
||||
import java.io.ByteArrayOutputStream;
|
||||
import java.util.Set;
|
||||
|
||||
/**
|
||||
* Разбор Grpprl — массива Prl (sprm + операнд), [MS-DOC] §2.6.
|
||||
*
|
||||
@@ -9,8 +12,8 @@ package ru.pjandro.wordpdf.internal.doc;
|
||||
* 3 = 4, 4 = 2, 5 = 2, 6 = переменный (первый байт — длина остального),
|
||||
* 7 = 3. Неизвестный sprm пропускается по spra (ms-doc.md:1809).</p>
|
||||
*
|
||||
* <p>Значения sprm — таблицы §2.6.1/2.6.2/2.6.3 dated-.docx [MS-DOC] 12.5
|
||||
* (в md репозитория потеряны как [TABLE]); кросс-чек с примерами §3:
|
||||
* <p>Значения sprm — таблицы §2.6.1/§2.6.2/§2.6.3/§2.6.4 полного [MS-DOC]
|
||||
* (ms-doc-full.md); кросс-чек с примерами §3:
|
||||
* sprmPJc = 0x2461, sprmSDxaLeft = 0xB021, sprmCKul ispmd 0x3E fSpec 1.</p>
|
||||
*/
|
||||
final class Grpprl {
|
||||
@@ -29,7 +32,7 @@ final class Grpprl {
|
||||
* sprmCPicLocation (§2.6.1, 4 байта): offset в Data-потоке —
|
||||
* PICFAndOfficeArtData (картинка) или NilPICFAndBinData (OLE-бинарник,
|
||||
* {@code picf.cbHeader≠0x44} → {@link OfficeArt#read} вернёт null).
|
||||
* sprmCFSpec=0x0875/sprmCFData=0x0806/sprmCFOle2=0x084B не читаем:
|
||||
* sprmCFSpec=0x0855/sprmCFData=0x0806/sprmCFOle2=0x080A не читаем:
|
||||
* фикстуры пишут их непоследовательно (ole-embedded — без CFSpec),
|
||||
* а различает картинку/бинарник сам cbHeader.
|
||||
*/
|
||||
@@ -53,26 +56,39 @@ final class Grpprl {
|
||||
/** sprmCHpsPos (§2.6.1, 2 байта со знаком): вертикальный сдвиг в hps. */
|
||||
static final int SPRM_C_HPS_POS = 0x4845;
|
||||
/**
|
||||
* sprmCHighlight (§2.6.1, 1 байт Ico): текстовыделитель. Ico (§2.9.171)
|
||||
* sprmCHighlight (§2.6.1, 1 байт Ico): текстовыделитель. Ico (§2.9.119)
|
||||
* → w:highlight в порядке CT_RPr — конвейер рисует фон рана (пинь
|
||||
* WordPdfConverterTest#highlightAndShading_backgroundDrawn).
|
||||
*/
|
||||
static final int SPRM_C_HIGHLIGHT = 0x2A0C;
|
||||
/**
|
||||
* sprmCShd/sprmCShd80 (§2.6.1): затенение рана → w:shd в rPr.
|
||||
* SHDOperand (§2.9.177) = cb(1)=10 + Shd(10): cvFore/cvBack COLORREF
|
||||
* + ipat (§2.9.178); Shd80 (§2.9.176) — 2 байта: icoFore(5) icoBack(5)
|
||||
* SHDOperand (§2.9.249) = cb(1)=10 + Shd(10): cvFore/cvBack COLORREF
|
||||
* + ipat (§2.9.121); Shd80 (§2.9.248) — 2 байта: icoFore(5) icoBack(5)
|
||||
* ipat(6).
|
||||
*/
|
||||
static final int SPRM_C_SHD = 0xCA71;
|
||||
static final int SPRM_C_SHD80 = 0x4866;
|
||||
/**
|
||||
* sprmCIstd (§2.6.1, u16): istd прямого символьного стиля (stk=3 в STSH).
|
||||
* sprmCIstd (§2.6.1, u16): istd прямого символьного стиля (stk=2 в STSH).
|
||||
* По §2.4.6.5 символьные свойства возвращаются к результату стиля абзаца,
|
||||
* затем накладывается цепочка chpx символьного стиля, затем прямые CHPX —
|
||||
* порядок конкатенации в {@code DocxBody.chpxWithCharStyle}.
|
||||
*/
|
||||
static final int SPRM_C_ISTD = 0x4A30;
|
||||
/**
|
||||
* sprmCRgFtc2 (§2.6.1, 2 байта со знаком): индекс SttbfFfn для текста вне
|
||||
* U+0020–U+007F, когда ftc1/ftcBi не применимы → {@code w:hAnsi}
|
||||
* (перекрывает ftc0-значение).
|
||||
*/
|
||||
static final int SPRM_C_RG_FTC2 = 0x4A51;
|
||||
/** sprmCFtcBi (§2.6.1, 2 байта со знаком): RTL/complex-шрифт → {@code w:cs}. */
|
||||
static final int SPRM_C_FTC_BI = 0x4A5E;
|
||||
/**
|
||||
* sprmCIss (§2.6.1, 1 байт): 0x01 надстрочный, 0x02 подстрочный →
|
||||
* {@code w:vertAlign} (0x00 нормальный — элемент не эмитится).
|
||||
*/
|
||||
static final int SPRM_C_ISS = 0x2A48;
|
||||
|
||||
// Paragraph Properties (§2.6.2, sgc 1)
|
||||
static final int SPRM_P_ISTD = 0x4600;
|
||||
@@ -179,7 +195,7 @@ final class Grpprl {
|
||||
static final int SPRM_T_VERT_ALIGN = 0xD62C;
|
||||
/**
|
||||
* sprmTCellPadding/sprmTCellPaddingDefault (§2.6.3): поля ячеек —
|
||||
* CSSAOperand (§2.9.209): cb(1)=6 + CSSA (§2.9.96): itc(2, ItcFirstLim)
|
||||
* CSSAOperand (§2.9.46): cb(1)=6 + CSSA (§2.9.45): itc(2, ItcFirstLim)
|
||||
* + grfbrc(1: маска сторон top|left|bottom|right = 1|2|4|8) + ftsWidth(1)
|
||||
* + wWidth(2). Поля переносятся только при ftsWidth=ftsDxa(0x03);
|
||||
* ftsNil(0) — сторона не задана. Default-вариант действует на весь ряд
|
||||
@@ -191,7 +207,7 @@ final class Grpprl {
|
||||
static final int SPRM_T_CELL_PADDING_DEFAULT = 0xD634;
|
||||
/**
|
||||
* sprmTInsert (§2.6.3): вставка определений ячеек ряда — пропускается
|
||||
* правилом spra=3 (4 байта: itcFirst(1)+ctc(1)+dxaCol(2 XAS), §2.9.322;
|
||||
* правилом spra=3 (4 байта: itcFirst(1)+ctc(1)+dxaCol(2 XAS), §2.9.324;
|
||||
* ECMA-376 Part 4 описывал прежнюю форму rgttte ctc×6 байт, но [MS-DOC]
|
||||
* и реальные файлы Word сходятся на 4 байтах: в TAP образцов
|
||||
* ru-table-image.doc/ru-en-mixed.doc following-sprm выравниваются ровно
|
||||
@@ -222,11 +238,15 @@ final class Grpprl {
|
||||
static final int SPRM_S_C_COLUMNS = 0x500B;
|
||||
/** sprmSPgnStart97 (§2.6.4, 2 байта): стартовый номер страниц (Word 97+). */
|
||||
static final int SPRM_S_PGN_START97 = 0x501C;
|
||||
/** sprmSPgnStart (§2.6.4, 4 байта, u32): стартовый номер (32-бит вариант). */
|
||||
static final int SPRM_S_PGN_START = 0x7044;
|
||||
/** sprmSDzaGutter (§2.6.4, XAS_nonNeg 2 байта): поле переплёта → w:gutter. */
|
||||
static final int SPRM_S_DZA_GUTTER = 0xB025;
|
||||
/** sprmSDxaColumns (§2.6.4, XAS_nonNeg): зазор между колонками при evenly-spaced. */
|
||||
static final int SPRM_S_DXA_COLUMNS = 0x900C;
|
||||
/**
|
||||
* sprmSDxaColWidth/sprmSDxaColSpacing (§2.6.4, SDxaColWidthOperand /
|
||||
* SDxaColSpacingOperand §2.9.241/.242: iCol(1)+dxaCol(2)) — ширина
|
||||
* sprmSDxaColWidth/sprmSDxaColSpacing (§2.6.4, SDxaColWidthOperand
|
||||
* §2.9.242 / SDxaColSpacingOperand §2.9.241: iCol(1)+dxaCol(2)) — ширина
|
||||
* колонки iCol / зазор ПОСЛЕ колонки iCol при неравных колонках.
|
||||
*/
|
||||
static final int SPRM_S_DXA_COL_WIDTH = 0xF203;
|
||||
@@ -262,19 +282,20 @@ final class Grpprl {
|
||||
|
||||
/** Кормить каждым Prl скана PAPX; не-отступные sprm игнорируются. */
|
||||
void prl(int sprm, byte[] buf, int off, int len) {
|
||||
// XAS — 16-битное СО ЗНАКОМ значение (§2.9.349), не unsigned
|
||||
switch (sprm) {
|
||||
case SPRM_P_DXA_LEFT -> {
|
||||
modern = true;
|
||||
left = operandInt(buf, off, len);
|
||||
left = signedXas(buf, off, len);
|
||||
}
|
||||
case SPRM_P_NEST -> {
|
||||
modern = true;
|
||||
nest = operandInt(buf, off, len);
|
||||
nest = signedXas(buf, off, len);
|
||||
}
|
||||
case SPRM_P_DXA_LEFT80 -> left80 = operandInt(buf, off, len);
|
||||
case SPRM_P_NEST80 -> nest80 = operandInt(buf, off, len);
|
||||
case SPRM_P_DXA_LEFT80 -> left80 = signedXas(buf, off, len);
|
||||
case SPRM_P_NEST80 -> nest80 = signedXas(buf, off, len);
|
||||
case SPRM_P_DXA_RIGHT, SPRM_P_DXA_RIGHT80 ->
|
||||
right = operandInt(buf, off, len);
|
||||
right = signedXas(buf, off, len);
|
||||
case SPRM_P_DXA_LEFT1, SPRM_P_DXA_LEFT180 ->
|
||||
left1 = signedXas(buf, off, len);
|
||||
default -> { }
|
||||
@@ -340,6 +361,36 @@ final class Grpprl {
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Preserv-list sprmCIstd (§2.6.1): значения этих свойств предшествуют
|
||||
* применению символьного стиля при сбросе прямого форматирования к
|
||||
* результату стиля абзаца. Значения — таблица §2.6.1: CFRMarkDel
|
||||
* 0x0800, CFRMarkIns 0x0801, CFFldVanish 0x0802, CFData 0x0806,
|
||||
* CFOle2 0x080A, CFWebHidden 0x0811, CFSpec 0x0855, CFObj 0x0856,
|
||||
* CFBiDi 0x085A, CFComplexScripts 0x0882, CIdctHint 0x286F,
|
||||
* CHighlight 0x2A0C, CWall 0x2A83, CIdslRMark 0x4807, CPicLocation
|
||||
* 0x6A03, CSymbol 0x6A09, CPropRMark 0xCA89.
|
||||
*/
|
||||
static final Set<Integer> CI_STD_PRESERVE = Set.of(
|
||||
0x0800, 0x0801, 0x0802, 0x0806, 0x080A, 0x0811, 0x0855, 0x0856,
|
||||
0x085A, 0x0882, 0x286F, 0x2A0C, 0x2A83, 0x4807, 0x6A03, 0x6A09,
|
||||
0xCA89);
|
||||
|
||||
/**
|
||||
* Байты Prl-ей, целиком лежащих в {@code [0, endExclusive)} и имеющих
|
||||
* sprm из {@code keep} (§2.6.1 — выборка preserve-list до sprmCIstd);
|
||||
* битый хвост обрывается как в {@link #scan}.
|
||||
*/
|
||||
static byte[] filterOnly(byte[] grpprl, int endExclusive, Set<Integer> keep) {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
|
||||
if (keep.contains(sprm) && off + len <= endExclusive) {
|
||||
out.write(buf, off - 2, len + 2);
|
||||
}
|
||||
});
|
||||
return out.toByteArray();
|
||||
}
|
||||
|
||||
/** Длина операнда по spra; -1 — переменный формат битый. */
|
||||
private static int operandSize(int sprm, byte[] buf, int p, int end) {
|
||||
int spra = sprm >> 13;
|
||||
@@ -352,6 +403,8 @@ final class Grpprl {
|
||||
case 5:
|
||||
return 2;
|
||||
case 3:
|
||||
// §2.8.4: «A value of 0x3 specifies that operand is four
|
||||
// bytes long» (ms-doc.md:14495) — не путать с S16=2
|
||||
return 4;
|
||||
case 7:
|
||||
return 3;
|
||||
@@ -404,8 +457,47 @@ final class Grpprl {
|
||||
return v;
|
||||
}
|
||||
|
||||
/** Toggle-операнд: бит 0 = on; чётное («переключить от предыдущего») = off. */
|
||||
static boolean toggleOn(byte[] buf, int off) {
|
||||
return (buf[off] & 1) == 1;
|
||||
/**
|
||||
* ToggleOperand (§2.9.327): 0x00 — off, 0x01 — on, 0x80 — значение
|
||||
* свойства текущего стиля (текущее накопленное {@code current}), 0x81 —
|
||||
* инверсия стилевого; иное (вне перечисления) — консервативно current.
|
||||
*/
|
||||
static boolean toggle(boolean current, byte operand) {
|
||||
int v = operand & 0xFF;
|
||||
return switch (v) {
|
||||
case 0x00 -> false;
|
||||
case 0x01 -> true;
|
||||
case 0x80 -> current;
|
||||
case 0x81 -> !current;
|
||||
default -> current;
|
||||
};
|
||||
}
|
||||
|
||||
/**
|
||||
* Kul (§2.9.127) → ST_Underline (wml.xsd): 0 — без подчёркивания
|
||||
* ({@code null}), нераспознанный ≠0 — single.
|
||||
*/
|
||||
static String underlineVal(int kul) {
|
||||
return switch (kul) {
|
||||
case 0x00 -> null;
|
||||
case 0x01 -> "single";
|
||||
case 0x02 -> "words";
|
||||
case 0x03 -> "double";
|
||||
case 0x04 -> "dotted";
|
||||
case 0x06 -> "thick";
|
||||
case 0x07 -> "dash";
|
||||
case 0x09 -> "dotDash";
|
||||
case 0x0A -> "dotDotDash";
|
||||
case 0x0B -> "wave";
|
||||
case 0x14 -> "dottedHeavy";
|
||||
case 0x17 -> "dashedHeavy";
|
||||
case 0x19 -> "dashDotHeavy";
|
||||
case 0x1A -> "dashDotDotHeavy";
|
||||
case 0x1B -> "wavyHeavy";
|
||||
case 0x27 -> "dashLong";
|
||||
case 0x2B -> "wavyDouble";
|
||||
case 0x37 -> "dashLongHeavy";
|
||||
default -> "single";
|
||||
};
|
||||
}
|
||||
}
|
||||
|
||||
@@ -4,11 +4,11 @@ import ru.pjandro.wordpdf.ConversionException;
|
||||
|
||||
/**
|
||||
* Header Document (.doc): истории колонтитуков по {@code Plcfhdd}
|
||||
* ([MS-DOC] §2.8.22 — PLC из одних CP; §2.4.4 — порядок историй).
|
||||
* ([MS-DOC] §2.8.22 — PLC из одних CP; §2.3.3 — порядок историй).
|
||||
*
|
||||
* <p>Массив aCP размечает подряд идущие CP-диапазоны: первые шесть — пустые
|
||||
* абзацы-разделители, далее на каждую секцию шесть историй
|
||||
* [even header, odd header, even footer, odd footer, first-page header,
|
||||
* <p>Массив aCP размечает подряд идущие CP-диапазоны: первые шесть —
|
||||
* footnote/endnote separator-истории (§2.4.4), далее на каждую секцию шесть
|
||||
* историй [even header, odd header, even footer, odd footer, first-page header,
|
||||
* first-page footer]; последний aCP (§2.8.22 «the last CP is ignored») в
|
||||
* расчёт не входит. Каждая история заканчивается guard-абзацем (¶), который
|
||||
* в вывод не попадает.</p>
|
||||
@@ -19,7 +19,7 @@ import ru.pjandro.wordpdf.ConversionException;
|
||||
* {@code sprmSFTitlePage} (w:titlePg, конвейер различает first/default —
|
||||
* пинь {@code titlePg_firstPageHeader}). История с {@code cpStart == cpEnd}
|
||||
* не определена — часть и ссылка не эмитятся, docx4j наследует полосы
|
||||
* предыдущей секции (§2.4.4 «Same as Previous»).</p>
|
||||
* предыдущей секции (§2.3.3 «Same as Previous»).</p>
|
||||
*/
|
||||
final class Headers {
|
||||
|
||||
@@ -27,7 +27,7 @@ final class Headers {
|
||||
record Story(int cpStart, int cpEnd) {
|
||||
|
||||
/**
|
||||
* История НЕ определена (§2.4.4: «Stories are considered empty if
|
||||
* История НЕ определена (§2.3.3: «Stories are considered empty if
|
||||
* they have no contents and no guard paragraph mark … the beginning
|
||||
* CP being the same as the next CP») — Word показывает полосы
|
||||
* предыдущей секции (Same as Previous). Пустая часть с guard-¶ при
|
||||
@@ -49,14 +49,14 @@ final class Headers {
|
||||
}
|
||||
}
|
||||
|
||||
/** Пустых абзацев-разделителей перед историями первой секции (§2.4.4). */
|
||||
/** Footnote/endnote separator-историй перед историями первой секции (§2.4.4). */
|
||||
private static final int SEPARATOR_STORIES = 6;
|
||||
/** Историй на секцию (§2.4.4). */
|
||||
/** Историй на секцию (§2.3.3). */
|
||||
private static final int STORIES_PER_SECTION = 6;
|
||||
/** Индексы внутри группы секции: 0 even hdr, 1 odd hdr, 2 even ftr, 3 odd ftr… */
|
||||
private static final int ODD_HEADER = 1;
|
||||
private static final int ODD_FOOTER = 3;
|
||||
/** Первая страница (истории 4/5, применяются при sprmSFTitlePage, §2.4.4). */
|
||||
/** Первая страница (истории 4/5, применяются при sprmSFTitlePage, §2.3.3). */
|
||||
private static final int FIRST_HEADER = 4;
|
||||
private static final int FIRST_FOOTER = 5;
|
||||
|
||||
@@ -89,22 +89,22 @@ final class Headers {
|
||||
return new Headers(table, fcPlcfHdd, lcbPlcfHdd, baseCp);
|
||||
}
|
||||
|
||||
/** Заголовок нечётных полос набора секции {@code section} (§2.4.4). */
|
||||
/** Заголовок нечётных полос набора секции {@code section} (§2.3.3). */
|
||||
Story oddHeader(int section) {
|
||||
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + ODD_HEADER);
|
||||
}
|
||||
|
||||
/** Колонтитул нечётных полос набора секции {@code section} (§2.4.4). */
|
||||
/** Колонтитул нечётных полос набора секции {@code section} (§2.3.3). */
|
||||
Story oddFooter(int section) {
|
||||
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + ODD_FOOTER);
|
||||
}
|
||||
|
||||
/** Заголовок первой страницы секции {@code section} (titlePg, §2.4.4). */
|
||||
/** Заголовок первой страницы секции {@code section} (titlePg, §2.3.3). */
|
||||
Story firstHeader(int section) {
|
||||
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + FIRST_HEADER);
|
||||
}
|
||||
|
||||
/** Колонтитул первой страницы секции {@code section} (titlePg, §2.4.4). */
|
||||
/** Колонтитул первой страницы секции {@code section} (titlePg, §2.3.3). */
|
||||
Story firstFooter(int section) {
|
||||
return story(SEPARATOR_STORIES + section * STORIES_PER_SECTION + FIRST_FOOTER);
|
||||
}
|
||||
|
||||
@@ -158,8 +158,13 @@ final class Lists {
|
||||
|
||||
/** abstractNumId (1-базированный индекс LSTF) для LFO; −1 — нет валидного. */
|
||||
private int abstractIdOf(int lfoIndex) {
|
||||
// lfos[·] всегда непустой: readPlfLfo присваивает out[i] до обхода LFOData
|
||||
Integer lstfIndex = lstfByLsid.get(lfos[lfoIndex].lsid());
|
||||
// обрыв LFOData оставляет lfos[i+1..] null (readPlfLfo выходит по
|
||||
// границе потока) — null LFO = «номера нет», без NPE
|
||||
Lfo lfo = lfos[lfoIndex];
|
||||
if (lfo == null) {
|
||||
return -1;
|
||||
}
|
||||
Integer lstfIndex = lstfByLsid.get(lfo.lsid());
|
||||
if (lstfIndex == null || !isValid(lstfs[lstfIndex])) {
|
||||
return -1;
|
||||
}
|
||||
@@ -194,7 +199,9 @@ final class Lists {
|
||||
boolean simple = (table[rec + 26] & 1) != 0;
|
||||
Level[] levels = new Level[simple ? 1 : LEVEL_COUNT];
|
||||
for (int j = 0; j < levels.length; j++) {
|
||||
Level lv = readLevel(table, cursor);
|
||||
// массив LVL приложен ЗА lcbPlfLst (§2.5.6) — граница одна
|
||||
// длина потока, lcb здесь не ограничитель
|
||||
Level lv = readLevel(table, cursor, table.length);
|
||||
if (lv == null) {
|
||||
// обрыв: этот LSTF — с разобранными уровнями, остальные — без
|
||||
out[i] = new Lstf(lsid, levels);
|
||||
@@ -208,9 +215,9 @@ final class Lists {
|
||||
return out;
|
||||
}
|
||||
|
||||
/** LVL по {@code at}; null — поля за пределами потока. */
|
||||
private static Level readLevel(byte[] table, int at) {
|
||||
if (at < 0 || at + LVLF_SIZE > table.length) {
|
||||
/** LVL по {@code at}; null — поля за пределами {@code limit}. */
|
||||
private static Level readLevel(byte[] table, int at, int limit) {
|
||||
if (at < 0 || at + LVLF_SIZE > limit) {
|
||||
return null;
|
||||
}
|
||||
int startAt = (int) CfbReader.u32(table, at);
|
||||
@@ -220,19 +227,19 @@ final class Lists {
|
||||
int cbChpx = table[at + 24] & 0xFF;
|
||||
int cbPapx = table[at + 25] & 0xFF;
|
||||
int p = at + LVLF_SIZE;
|
||||
if (p + cbPapx + cbChpx > table.length) {
|
||||
if (p + cbPapx + cbChpx > limit) {
|
||||
return null;
|
||||
}
|
||||
byte[] papx = slice(table, p, cbPapx);
|
||||
p += cbPapx;
|
||||
byte[] chpx = slice(table, p, cbChpx);
|
||||
p += cbChpx;
|
||||
if (p + 2 > table.length) {
|
||||
if (p + 2 > limit) {
|
||||
return null;
|
||||
}
|
||||
int cch = CfbReader.u16(table, p);
|
||||
p += 2;
|
||||
if (cch > MAX_XST_CHARS || p + 2 * cch > table.length) {
|
||||
if (cch > MAX_XST_CHARS || p + 2 * cch > limit) {
|
||||
return null;
|
||||
}
|
||||
String xst = new String(table, p, 2 * cch, StandardCharsets.UTF_16LE);
|
||||
@@ -259,6 +266,10 @@ final class Lists {
|
||||
int fit = (int) ((end - fc - 4) / LFO_SIZE);
|
||||
mac = Math.min(Math.min(mac, fit), MAX_ENTRIES);
|
||||
Lfo[] out = new Lfo[mac];
|
||||
// LFOData лежит ВНУТРИ lcbPlfLfo (§2.5.6/§2.9.132) — обход ограничен
|
||||
// end, а не длиной потока: короткий lcb не должен уводить парсер в
|
||||
// чужие записи табличного потока
|
||||
int limit = (int) end;
|
||||
int cursor = (int) (fc + 4) + mac * LFO_SIZE;
|
||||
for (int i = 0; i < mac; i++) {
|
||||
int rec = (int) fc + 4 + i * LFO_SIZE;
|
||||
@@ -266,12 +277,12 @@ final class Lists {
|
||||
int clfolvl = table[rec + 12] & 0xFF;
|
||||
LfoLvl[] overrides = new LfoLvl[clfolvl];
|
||||
out[i] = new Lfo(lsid, overrides);
|
||||
if (cursor + 4 > table.length) {
|
||||
if (cursor + 4 > limit) {
|
||||
return out; // обрыв LFOData — остаток без переопределений
|
||||
}
|
||||
cursor += 4; // cp — не переносится (осознанный остаток)
|
||||
for (int j = 0; j < clfolvl; j++) {
|
||||
if (cursor + 8 > table.length) {
|
||||
if (cursor + 8 > limit) {
|
||||
return out;
|
||||
}
|
||||
int startAt = (int) CfbReader.u32(table, cursor);
|
||||
@@ -282,7 +293,7 @@ final class Lists {
|
||||
boolean fFormatting = (bits >>> 5 & 1) != 0;
|
||||
Level formatting = null;
|
||||
if (fFormatting) {
|
||||
formatting = readLevel(table, cursor);
|
||||
formatting = readLevel(table, cursor, limit);
|
||||
if (formatting == null) {
|
||||
return out;
|
||||
}
|
||||
@@ -398,7 +409,7 @@ final class Lists {
|
||||
Grpprl.scan(chpx, 0, chpx.length, (sprm, buf, off, len) -> {
|
||||
switch (sprm) {
|
||||
case Grpprl.SPRM_C_RG_FTC0 -> ftc0[0] = Grpprl.operandInt(buf, off, len);
|
||||
case Grpprl.SPRM_C_F_BOLD -> bold[0] = Grpprl.toggleOn(buf, off);
|
||||
case Grpprl.SPRM_C_F_BOLD -> bold[0] = Grpprl.toggle(bold[0], buf[off]);
|
||||
case Grpprl.SPRM_C_HPS -> hps[0] = Grpprl.operandInt(buf, off, len);
|
||||
default -> { }
|
||||
}
|
||||
|
||||
@@ -4,8 +4,9 @@ package ru.pjandro.wordpdf.internal.doc;
|
||||
* Извлечение растровой картинки из {@code PICFAndOfficeArtData}
|
||||
* ([MS-DOC] §2.9.192, операнд {@code sprmCPicLocation} = offset в Data-потоке)
|
||||
* по [MS-ODRAW]: PICF (68 байт, §2.9.190) → OfficeArt-записи → BLIP
|
||||
* (§2.2.23–.31: recType 0xF01A EMF / 0xF01B WMF / 0xF01C PICT / 0xF01D JPEG /
|
||||
* 0xF01E PNG / 0xF01F DIB; нечётный recInstance — второй UID, §2.2.24).
|
||||
* (§2.2.23–.30: recType 0xF01A EMF / 0xF01B WMF / 0xF01C PICT / 0xF01D JPEG /
|
||||
* 0xF01E PNG / 0xF01F DIB / 0xF029 TIFF; recInstance с вторым UID —
|
||||
* §2.2.24–.30).
|
||||
*
|
||||
* <p>Word кладёт BLIP в разные места (BStoreContainer 0xF004,
|
||||
* BStoreContainerDelay 0xF007, инлайн-контейнер), а POI-продукция пишет
|
||||
@@ -17,8 +18,9 @@ package ru.pjandro.wordpdf.internal.doc;
|
||||
* потоку их плодит, скан по картинному диапазону нет.</p>
|
||||
*
|
||||
* <p>EMF/WMF/PICT в PDF не рендерятся (Java2D-движка для метафайлов в ядре
|
||||
* нет) — {@code null} (объект исчезает, как удалённый {@code w:object}).
|
||||
* DIB перекодируется в PNG через ImageIO.</p>
|
||||
* нет) — {@code null} с JUL-warning (объект исчезает, как удалённый
|
||||
* {@code w:object}; потеря контента должна быть видна в логе).
|
||||
* DIB перекодируется в PNG через ImageIO, TIFF проходит как есть.</p>
|
||||
*/
|
||||
final class OfficeArt {
|
||||
|
||||
@@ -39,20 +41,29 @@ final class OfficeArt {
|
||||
/** Границы отображаемого размера, twips (§2.9.193: 15…31680). */
|
||||
private static final int DXA_MIN = 15;
|
||||
private static final int DXA_MAX = 31_680;
|
||||
/** twips → EMU (ECMA-376 §20.1.8: 1 twip = 635 EMU). */
|
||||
/** twips → EMU (ST_TwipsMeasure §22.9.2.14: 1 twip = 635 EMU). */
|
||||
private static final int EMU_PER_TWIP = 635;
|
||||
|
||||
private static final int BLIP_EMF = 0xF01A;
|
||||
private static final int BLIP_WMF = 0xF01B;
|
||||
private static final int BLIP_PICT = 0xF01C;
|
||||
private static final int BLIP_JPEG = 0xF01D;
|
||||
private static final int BLIP_JPEG_ALT = 0xF02A; // [MS-ODRAW] A.1: = 0xF01D
|
||||
private static final int BLIP_JPEG_ALT = 0xF02A; // [MS-ODRAW] Appendix A, примечание <5> к §2.2.23
|
||||
private static final int BLIP_PNG = 0xF01E;
|
||||
private static final int BLIP_DIB = 0xF01F;
|
||||
private static final int BLIP_TIFF = 0xF029; // §2.2.30
|
||||
|
||||
/** recInstance с двумя UID ([MS-ODRAW] §2.2.24–.31). */
|
||||
/** Пропуск метафайлов логируется (JUL — конвенция {@code internal/}). */
|
||||
private static final java.util.logging.Logger LOG =
|
||||
java.util.logging.Logger.getLogger(OfficeArt.class.getName());
|
||||
|
||||
/**
|
||||
* recInstance с двумя UID ([MS-ODRAW] §2.2.24–.30): EMF 0x3D5, WMF 0x217,
|
||||
* PICT 0x543, JPEG CMYK 0x6E3, JPEG RGB 0x46B, PNG 0x6E1, DIB 0x7A9,
|
||||
* TIFF 0x6E5.
|
||||
*/
|
||||
private static final java.util.Set<Integer> TWO_UIDS =
|
||||
java.util.Set.of(0x217, 0x3D5, 0x543, 0x6E1, 0x6E3, 0x6E5, 0x7A9);
|
||||
java.util.Set.of(0x217, 0x3D5, 0x46B, 0x543, 0x6E1, 0x6E3, 0x6E5, 0x7A9);
|
||||
|
||||
private OfficeArt() {
|
||||
}
|
||||
@@ -60,8 +71,10 @@ final class OfficeArt {
|
||||
/**
|
||||
* Картинка по {@code picLocation} в Data-потоке; {@code null} — нет
|
||||
* данных/векторный формат/битая запись (деградация, не ошибка).
|
||||
* Порог пиксельной площади растра ({@code maxPixels}, считает
|
||||
* {@code WordPdfValidator.maxImagePixels}) приходит параметром.
|
||||
*/
|
||||
static Picture read(byte[] dataStream, long picLocation) {
|
||||
static Picture read(byte[] dataStream, long picLocation, long maxPixels) {
|
||||
if (picLocation < 0 || picLocation + PICF_SIZE > dataStream.length) {
|
||||
return null;
|
||||
}
|
||||
@@ -79,7 +92,7 @@ final class OfficeArt {
|
||||
scanFrom += 1 + (dataStream[scanFrom] & 0xFF); // cchPicName + stPicName
|
||||
}
|
||||
for (int p = scanFrom; p + 8 <= end; p++) {
|
||||
Picture pic = tryBlip(dataStream, p, end, sizeX, sizeY);
|
||||
Picture pic = tryBlip(dataStream, p, end, sizeX, sizeY, maxPixels);
|
||||
if (pic != null) {
|
||||
return pic;
|
||||
}
|
||||
@@ -88,16 +101,15 @@ final class OfficeArt {
|
||||
}
|
||||
|
||||
/** Кандидат на BLIP-запись по смещению {@code p}; {@code null} — не он. */
|
||||
private static Picture tryBlip(byte[] data, int p, int end, int sizeX, int sizeY) {
|
||||
private static Picture tryBlip(byte[] data, int p, int end, int sizeX, int sizeY, long maxPixels) {
|
||||
int verInstance = (int) (CfbReader.u32(data, p) & 0xFFFF);
|
||||
int type = (int) (CfbReader.u32(data, p + 2) & 0xFFFF);
|
||||
long cb = CfbReader.u32(data, p + 4);
|
||||
if (cb < 17 || p + 8 + cb > end) {
|
||||
return null;
|
||||
}
|
||||
// Второй UID — только перечисленные recInstance (§2.2.24–.31:
|
||||
// EMF 0x3D5, WMF 0x217, PICT 0x543, JPEG 0x6E3, PNG 0x6E1,
|
||||
// DIB 0x7A9, EMF+ 0x6E5; JPEG 0x46B — нечётный, но ОДИН UID).
|
||||
// Второй UID — только перечисленные recInstance (§2.2.24–.30,
|
||||
// таблица выше: 0x46B = JPEG RGB с ДВУМЯ UID, 0x6E5 = TIFF).
|
||||
// Word/POI кладут значение в raw verInstance (0x06E1), спека —
|
||||
// в 12-битное поле (0x6E10): проверяем обе формы.
|
||||
int uidSize = (TWO_UIDS.contains(verInstance >>> 4) || TWO_UIDS.contains(verInstance))
|
||||
@@ -117,12 +129,26 @@ final class OfficeArt {
|
||||
? new Picture("jpg", "image/jpeg", slice(data, dataOff, dataLen),
|
||||
emu(sizeX), emu(sizeY))
|
||||
: null;
|
||||
case BLIP_DIB -> dibToPng(data, dataOff, dataLen, sizeX, sizeY);
|
||||
case BLIP_EMF, BLIP_WMF, BLIP_PICT -> null; // метафайлы не рендерим
|
||||
case BLIP_TIFF -> isTiff(data, dataOff, dataLen)
|
||||
? new Picture("tif", "image/tiff", slice(data, dataOff, dataLen),
|
||||
emu(sizeX), emu(sizeY))
|
||||
: null;
|
||||
case BLIP_DIB -> dibToPng(data, dataOff, dataLen, sizeX, sizeY, maxPixels);
|
||||
case BLIP_EMF, BLIP_WMF, BLIP_PICT -> {
|
||||
// метафайлы не рендерим — пропуск с warn (деградация видна в логе)
|
||||
LOG.warning("Метафайл в .doc пропущен (EMF/WMF/PICT в PDF не рендерятся)");
|
||||
yield null;
|
||||
}
|
||||
default -> null;
|
||||
};
|
||||
}
|
||||
|
||||
/** TIFF-сигнатура II*\\0 или MM\\0* ([TIFF] §2, little/big endian). */
|
||||
private static boolean isTiff(byte[] data, int off, int len) {
|
||||
return startsWith(data, off, len, new byte[] {'I', 'I', '*', 0})
|
||||
|| startsWith(data, off, len, new byte[] {'M', 'M', 0, '*'});
|
||||
}
|
||||
|
||||
/** PICMID отсутствует/битый — размер из PNG IHDR @96 dpi (1 px = 15 twips). */
|
||||
private static int pngDxa(byte[] data, int pngOff, boolean width) {
|
||||
if (pngOff + 24 > data.length) {
|
||||
@@ -160,10 +186,21 @@ final class OfficeArt {
|
||||
private static final int BITMAPINFOHEADER_SIZE = 40;
|
||||
|
||||
/** DIB (BITMAPINFOHEADER + пиксели) → PNG через ImageIO; битый → null. */
|
||||
private static Picture dibToPng(byte[] data, int off, int len, int sizeX, int sizeY) {
|
||||
private static Picture dibToPng(byte[] data, int off, int len, int sizeX, int sizeY, long maxPixels) {
|
||||
if (len < BITMAPINFOHEADER_SIZE) {
|
||||
return null;
|
||||
}
|
||||
// Raster-bomb: BITMAPINFOHEADER из нескольких сотен байтов может
|
||||
// объявить 50000×50000 — ImageIO аллоцирует растр ПО ЗАГОЛОВКУ и
|
||||
// бросает OutOfMemoryError (Error, не ловится catch ниже). Отказ по
|
||||
// площади — та же семантика «битый → объект пропущен»; порог
|
||||
// приходит параметром (WordPdfValidator.maxImagePixels).
|
||||
// abs в long: Math.abs(Integer.MIN_VALUE) отрицателен и обходил бы guard
|
||||
long area = Math.abs((long) (int) CfbReader.u32(data, off + 4))
|
||||
* Math.abs((long) (int) CfbReader.u32(data, off + 8));
|
||||
if (area > maxPixels) {
|
||||
return null;
|
||||
}
|
||||
try {
|
||||
java.awt.image.BufferedImage img = javax.imageio.ImageIO.read(
|
||||
new java.io.ByteArrayInputStream(wrapAsBmp(data, off, len)));
|
||||
@@ -178,7 +215,14 @@ final class OfficeArt {
|
||||
}
|
||||
}
|
||||
|
||||
/** DIB → BMP: BITMAPFILEHEADER(14) + как есть (§2.2.29 — DIB без хедера). */
|
||||
/**
|
||||
* DIB → BMP: BITMAPFILEHEADER(14) + как есть (§2.2.29 — DIB без хедера).
|
||||
* dataOff: BITMAPINFOHEADER + палитра (biClrUsed, offset 32: 0 — полное
|
||||
* 2^bits, иначе объявленное число записей, [MS-WMF] §2.2.2.8) + для
|
||||
* BI_BITFIELDS (biCompression=3, 16/32 bpp) ещё 12 байт масок после
|
||||
* хедера ([MS-WMF] §2.2.1.6.3). CoreHeader (12 байт) не поддерживаем —
|
||||
* ImageIO отвергнет, деградация в null.
|
||||
*/
|
||||
private static byte[] wrapAsBmp(byte[] data, int off, int len) {
|
||||
byte[] bmp = new byte[14 + len];
|
||||
bmp[0] = 'B';
|
||||
@@ -190,8 +234,18 @@ final class OfficeArt {
|
||||
bmp[5] = (byte) (fileSize >>> 24);
|
||||
int bits = (int) (CfbReader.u32(data, off + 14) & 0xFFFF);
|
||||
int headerSize = (int) CfbReader.u32(data, off);
|
||||
int dataOff = 14 + headerSize
|
||||
+ (bits == 1 || bits == 4 || bits == 8 ? (1 << bits) * 4 : 0);
|
||||
int palette = 0;
|
||||
int bitfields = 0;
|
||||
if (headerSize >= BITMAPINFOHEADER_SIZE) {
|
||||
if (bits == 1 || bits == 4 || bits == 8) {
|
||||
int clrUsed = (int) CfbReader.u32(data, off + 32);
|
||||
palette = 4 * (clrUsed > 0 && clrUsed < (1 << bits) ? clrUsed : 1 << bits);
|
||||
}
|
||||
if ((int) CfbReader.u32(data, off + 16) == 3 && (bits == 16 || bits == 32)) {
|
||||
bitfields = 12;
|
||||
}
|
||||
}
|
||||
int dataOff = 14 + headerSize + palette + bitfields;
|
||||
bmp[10] = (byte) dataOff;
|
||||
bmp[11] = (byte) (dataOff >>> 8);
|
||||
System.arraycopy(data, off, bmp, 14, len);
|
||||
|
||||
@@ -11,8 +11,9 @@ import java.util.List;
|
||||
* <p>Алгоритм [MS-DOC] §2.4.6.1 (Direct Paragraph Formatting): PlcfBtePapx —
|
||||
* PLC (aFc n+1, PnFkpPapx n по 4 байта: pn 22 бита); PapxFkp-страница по
|
||||
* {@code pn*512} в WordDocument-потоке: rgfc (cpara+1 × 4), rgbx (cpara ×
|
||||
* BxPap — по 13 байт: bOffset 1 + reserved 12, §2.9.16; PapxInFkp по
|
||||
* {@code bOffset*2}), cpara — последний байт. BxPap.bOffset=0 → абзац по
|
||||
* BxPap — по 13 байт: bOffset 1 + reserved 12, §2.9.23; PapxInFkp по
|
||||
* {@code bOffset*2}), cpara — последний байт (§2.9.174: cpara ≥ 0x01 и ≤ 0x1D,
|
||||
* больше — PapxFkp не влезает в 512). BxPap.bOffset=0 → абзац по
|
||||
* умолчанию (ms-doc.md:5635). PapxInFkp (§2.9.175):
|
||||
* cb (1 байт); при cb≠0 GrpPrlAndIstd занимает 2×cb−1 байт, при cb=0 —
|
||||
* следующий байт cb' и 2×cb' байт; GrpPrlAndIstd = istd(2) + grpprl.
|
||||
@@ -45,9 +46,14 @@ final class PapxIndex {
|
||||
throw new ConversionException("PapxFkp вне WordDocument-потока в .doc");
|
||||
}
|
||||
int cpara = wordDocument[(int) (pageOff + FKP_PAGE_SIZE - 1)] & 0xFF;
|
||||
if (cpara < 1 || cpara > 0x60) {
|
||||
// §2.9.174: cpara MUST NOT exceed 0x1D (иначе rgfc+rgbx расширяют
|
||||
// PapxFkp за 512 байт)
|
||||
if (cpara < 1 || cpara > 0x1D) {
|
||||
throw new ConversionException("Битый cpara в PapxFkp .doc");
|
||||
}
|
||||
if (4 * (cpara + 1) + 13 * cpara > FKP_PAGE_SIZE) {
|
||||
throw new ConversionException("Битый PapxFkp .doc");
|
||||
}
|
||||
for (int j = 0; j < cpara; j++) {
|
||||
long rgfcStart = CfbReader.u32(wordDocument, (int) pageOff + j * 4);
|
||||
long rgfcEnd = CfbReader.u32(wordDocument, (int) pageOff + (j + 1) * 4);
|
||||
@@ -105,7 +111,8 @@ final class PapxIndex {
|
||||
int[] count = {0};
|
||||
for (Range r : ranges) {
|
||||
Grpprl.scan(r.grpprl(), 0, r.grpprl().length, (sprm, buf, off, len) -> {
|
||||
if (sprm == Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE && Grpprl.toggleOn(buf, off)) {
|
||||
if (sprm == Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE
|
||||
&& Grpprl.toggle(false, buf[off])) {
|
||||
count[0]++;
|
||||
}
|
||||
});
|
||||
|
||||
@@ -25,7 +25,7 @@ final class PieceTable {
|
||||
private static final long F_COMPRESSED = 0x4000_0000L;
|
||||
private static final long FC_MASK = 0x3FFF_FFFFL;
|
||||
|
||||
/** Байты 0x80–0x9F сжатого текста → Unicode (§2.4.1, таблица Pcd.fc). */
|
||||
/** Байты 0x82–0x9F сжатого текста → Unicode (FcCompressed §2.9.73). */
|
||||
private static final char[] COMPRESSED_MAP = new char[32];
|
||||
|
||||
static {
|
||||
@@ -46,8 +46,10 @@ final class PieceTable {
|
||||
private final int[] aCp;
|
||||
private final long[] fc;
|
||||
private final boolean[] compressed;
|
||||
/** Читаемый размер куска в байтах после клампа по cbMac (§2.5.4). */
|
||||
private final long[] readable;
|
||||
|
||||
private PieceTable(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument) {
|
||||
private PieceTable(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument, long cbMac) {
|
||||
this.wordDocument = wordDocument;
|
||||
if (lcbClx <= 0) {
|
||||
throw new ConversionException("В .doc нет piece table");
|
||||
@@ -95,8 +97,13 @@ final class PieceTable {
|
||||
compressed = new boolean[n];
|
||||
for (int i = 0; i <= n; i++) {
|
||||
aCp[i] = (int) CfbReader.u32(tableStream, plcStart + i * 4);
|
||||
if (i > 0 && aCp[i] < aCp[i - 1]) {
|
||||
throw new ConversionException("Невозрастающие aCP в PlcPcd .doc");
|
||||
// §2.8.35 PlcPcd: «All CPs MUST be greater than or equal to
|
||||
// zero», «aCP MUST be sorted in ascending order and MUST NOT
|
||||
// contain duplicate CPs» — дубль/отрицательный CP = битый кусок;
|
||||
// отрицательный aCP[0] сдвигал бы delta и читал бы до начала
|
||||
// WordDocument-потока
|
||||
if (aCp[0] < 0 || (i > 0 && aCp[i] <= aCp[i - 1])) {
|
||||
throw new ConversionException("Битые aCP в PlcPcd .doc");
|
||||
}
|
||||
}
|
||||
int pcdBase = plcStart + (n + 1) * 4;
|
||||
@@ -105,17 +112,25 @@ final class PieceTable {
|
||||
fc[i] = fcw & FC_MASK;
|
||||
compressed[i] = (fcw & F_COMPRESSED) != 0;
|
||||
}
|
||||
// cbMac (§2.5.4): «All bytes in the WordDocument stream at offset
|
||||
// cbMac and greater MUST be ignored» — читаемый span куска клампится
|
||||
// к min(cbMac, длина потока); кусок целиком за cbMac даёт readable=0
|
||||
// (charAt вернёт 0, fcOf не меняется — свойства там всё равно нет).
|
||||
long textLimit = Math.min(Math.max(cbMac, 0), wordDocument.length);
|
||||
readable = new long[n];
|
||||
for (int i = 0; i < n; i++) {
|
||||
long start = compressed[i] ? fc[i] / 2 : fc[i];
|
||||
long span = (long) (aCp[i + 1] - aCp[i]) * (compressed[i] ? 1 : 2);
|
||||
if (start + span > wordDocument.length) {
|
||||
throw new ConversionException("Кусок piece table .doc выходит за WordDocument");
|
||||
}
|
||||
readable[i] = start >= textLimit ? 0 : Math.min(span, textLimit - start);
|
||||
}
|
||||
}
|
||||
|
||||
static PieceTable read(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument) {
|
||||
return new PieceTable(tableStream, fcClx, lcbClx, wordDocument);
|
||||
static PieceTable read(byte[] tableStream, long fcClx, long lcbClx, byte[] wordDocument,
|
||||
long cbMac) {
|
||||
return new PieceTable(tableStream, fcClx, lcbClx, wordDocument, cbMac);
|
||||
}
|
||||
|
||||
/** Символ по CP (§2.4.1); {@code cp} вне [0, ccpText) не запрашивается. */
|
||||
@@ -123,6 +138,9 @@ final class PieceTable {
|
||||
int i = pieceOf(cp);
|
||||
int delta = cp - aCp[i];
|
||||
if (compressed[i]) {
|
||||
if (delta >= readable[i]) {
|
||||
return 0; // за cbMac (§2.5.4) — байты игнорируются
|
||||
}
|
||||
int b = wordDocument[(int) (fc[i] / 2) + delta] & 0xFF;
|
||||
if (b >= 0x80 && b < 0xA0) {
|
||||
char mapped = COMPRESSED_MAP[b - 0x80];
|
||||
@@ -130,6 +148,9 @@ final class PieceTable {
|
||||
}
|
||||
return (char) b;
|
||||
}
|
||||
if (2L * (delta + 1) > readable[i]) {
|
||||
return 0;
|
||||
}
|
||||
int off = (int) fc[i] + 2 * delta;
|
||||
return (char) ((wordDocument[off] & 0xFF) | ((wordDocument[off + 1] & 0xFF) << 8));
|
||||
}
|
||||
|
||||
@@ -13,27 +13,26 @@ import java.io.ByteArrayOutputStream;
|
||||
* при istd=0), а сами свойства — с {@code sprmPFInTable}/{@code sprmPFTtp}/
|
||||
* {@code sprmTDefTable}/бордюрами — лежат в PrcData в Data-потоке. Внутри
|
||||
* PrcData цепочка продолжается через {@code sprmPTableProps (0x646B)}.
|
||||
* Оба указателя разворачиваются <b>на позиции указателя без обрыва</b>
|
||||
* текущего массива; цепочка обязана завершиться PrcData без обоих
|
||||
* спец-спрмов (§2.6.2).</p>
|
||||
*
|
||||
* <p>Отступление от spec: §2.6.2 велит массив, содержащий PTableProps,
|
||||
* «не читать дальше» — Word так и делает, потому что потребляет из PrcData
|
||||
* полный TAP (включая {@code sprmTInsert}), а хвост массива — легаси-зеркало
|
||||
* для Word 97/2000 (Appendix A <9>). Конвертер {@code sprmTInsert}
|
||||
* не читает и живёт на этом зеркале: в {@code samples/ru-table-image.doc}
|
||||
* единственный {@code sprmTDefTable} (сетка) стоит именно ПОСЛЕ
|
||||
* {@code sprmPTableProps} в PAPX-массиве, а в PrcData его нет вовсе.
|
||||
* Поэтому свойства объединяются (union), а не замещаются: без цепочки
|
||||
* теряются её sprm'ы, без зеркал — сетка.</p>
|
||||
* {@code sprmPHugePapx} не первым в массиве игнорируется (§2.6.2); после
|
||||
* разворачивания PrcData по любому указателю дальнейшие Prl содержащего
|
||||
* массива <b>не обрабатываются</b> (§2.6.2: «MUST NOT process any more
|
||||
* Prl elements in the array» — одинаково для HugePapx и PTableProps);
|
||||
* цепочка обязана завершиться PrcData без обоих спец-спрмов (§2.6.2).
|
||||
* Хвост исходного массива за указателем — легаси-зеркало для Word
|
||||
* 97/2000, не читающих sprmPTableProps (Appendix A <9>); по общему
|
||||
* правилу оно не потребляется, кроме единственного исключения
|
||||
* {@code sprmTDefTable}: конвертер строит сетку ячеек именно из
|
||||
* TDefTable (§2.4.3: «SHOULD use sprmTDefTable to define table cells for
|
||||
* applications that do not process sprmPTableProps»), а из PrcData
|
||||
* {@code sprmTInsert} не читает — без зеркала {@code
|
||||
* samples/ru-table-image.doc} терял бы таблицу целиком (Регрессия —
|
||||
* DocToDocxTest#tableFixture_becomesTblWithImage).</p>
|
||||
*
|
||||
* <p>Снисходительность — по образцу {@link Styles}/{@link Lists}: любой
|
||||
* брак (ptr за Data, битый cbGrpprl, цикл A→B→A) останавливает цепочку,
|
||||
* накопленное возвращается — без {@code ConversionException}. Спец-спрмы
|
||||
* из результата всегда вырезаются (потребители {@code Grpprl.scan} их всё
|
||||
* равно не понимают); прочие Prl исходного массива сохраняются в исходном
|
||||
* порядке (при многосprl-массиве с HugePapx — сверхспецификацией: валидный
|
||||
* Word пишет HugePapx единственным Prl).</p>
|
||||
* равно не понимают); не-первый HugePapx — игнор по §2.6.2.</p>
|
||||
*/
|
||||
final class PrcData {
|
||||
|
||||
@@ -41,24 +40,49 @@ final class PrcData {
|
||||
private static final int MAX_CB_GRPPRL = 0x3FA2;
|
||||
/** Максимум разобранных PrcData на абзац — защита от цикла A→B→A. */
|
||||
private static final int MAX_HOPS = 32;
|
||||
/**
|
||||
* Суммарный бюджет развёрнутых PrcData на документ (байт): все абзацы
|
||||
* могут указывать указателями в одну и ту же цепочку Data, и пер-абзац
|
||||
* ({@value #MAX_HOPS} × {@value #MAX_CB_GRPPRL}) не ограничивает итог —
|
||||
* без бюджета враждебный файл получает CPU/alloc-шторм на весь разбор.
|
||||
*/
|
||||
static final long MAX_BYTES_PER_DOCUMENT = 32L * 1024 * 1024;
|
||||
|
||||
private PrcData() {
|
||||
}
|
||||
|
||||
/**
|
||||
* Grpprl абзаца с развёрнутой цепочкой PrcData (бюджет на документ не
|
||||
* учитывается — юнит-тесты; продакшен зовёт {@link #resolve(byte[], byte[], long[])}).
|
||||
*/
|
||||
static byte[] resolve(byte[] dataStream, byte[] grpprl) {
|
||||
return resolve(dataStream, grpprl, new long[] {Long.MAX_VALUE});
|
||||
}
|
||||
|
||||
/**
|
||||
* Grpprl абзаца с развёрнутой цепочкой PrcData. Без указателей
|
||||
* (0x6646/0x646B нет) возвращается <em>тот же массив</em>; иначе —
|
||||
* новый: не-спец-спрмы исходника дословно, спец-спрмы заменены
|
||||
* содержимым цепочки по их указателям.
|
||||
*
|
||||
* <p>{@code budget[0]} — остаток бюджета документа ({@link #MAX_BYTES_PER_DOCUMENT}):
|
||||
* списывается размер результата; при исчерпании цепочка не разворачивается
|
||||
* (деградация форматирования, а не отказ — та же «снисходительность», что
|
||||
* для брака ниже). Мутатор — вызывающий на весь документ.</p>
|
||||
*/
|
||||
static byte[] resolve(byte[] dataStream, byte[] grpprl) {
|
||||
static byte[] resolve(byte[] dataStream, byte[] grpprl, long[] budget) {
|
||||
if (!hasPointer(grpprl)) {
|
||||
return grpprl;
|
||||
}
|
||||
if (budget[0] <= 0) {
|
||||
return grpprl;
|
||||
}
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream(grpprl.length + 64);
|
||||
int[] hops = new int[1];
|
||||
copyPrls(grpprl, 0, grpprl.length, dataStream, out, hops);
|
||||
return out.toByteArray();
|
||||
byte[] result = out.toByteArray();
|
||||
budget[0] -= result.length;
|
||||
return result;
|
||||
}
|
||||
|
||||
/** Есть ли в массиве указатель на PrcData. */
|
||||
@@ -74,18 +98,39 @@ final class PrcData {
|
||||
|
||||
/**
|
||||
* Копирует Prl массива {@code buf[off..off+len)} в {@code out}:
|
||||
* обычные — дословно (sprm + операнд), оба указательных — разворачивают
|
||||
* целевой PrcData на позиции указателя, разбор массива продолжается
|
||||
* (union зеркала и цепочки — см. javadoc класса).
|
||||
* обычные — дословно (sprm + операнд). По §2.6.2 после разворачивания
|
||||
* PrcData по указателю дальнейшие Prl <b>этого</b> массива
|
||||
* не обрабатываются («MUST NOT process any more Prl elements in the
|
||||
* array», sprmPHugePapx и sprmPTableProps), поэтому развёрнутое
|
||||
* содержимое — последнее, что попало в выход из этого массива.
|
||||
* {@code sprmPHugePapx} не первым в массиве — игнорируется целиком
|
||||
* (§2.6.2: «if … not the first element … MUST be ignored»), массив
|
||||
* читается дальше; {@code sprmPTableProps} правила первой позиции не
|
||||
* имеет. Единственное исключение из стопа — {@code sprmTDefTable}
|
||||
* (легаси-зеркало сетки, Appendix A <9>, см. javadoc класса):
|
||||
* он переносится и после указателя.
|
||||
*/
|
||||
private static void copyPrls(byte[] buf, int off, int len, byte[] data,
|
||||
ByteArrayOutputStream out, int[] hops) {
|
||||
int[] index = new int[1];
|
||||
boolean[] stop = new boolean[1];
|
||||
Grpprl.scan(buf, off, len, (sprm, b, operandOff, operandLen) -> {
|
||||
if (sprm == Grpprl.SPRM_P_HUGE_PAPX || sprm == Grpprl.SPRM_P_TABLE_PROPS) {
|
||||
follow(Grpprl.operandInt(b, operandOff, operandLen), data, out, hops);
|
||||
return;
|
||||
if (stop[0] && sprm != Grpprl.SPRM_T_DEF_TABLE) {
|
||||
return; // хвост после указателя — вне области обработки
|
||||
}
|
||||
if (sprm == Grpprl.SPRM_P_HUGE_PAPX) {
|
||||
if (index[0] == 0) {
|
||||
follow(Grpprl.operandInt(b, operandOff, operandLen),
|
||||
data, out, hops);
|
||||
stop[0] = true;
|
||||
}
|
||||
} else if (sprm == Grpprl.SPRM_P_TABLE_PROPS) {
|
||||
follow(Grpprl.operandInt(b, operandOff, operandLen), data, out, hops);
|
||||
stop[0] = true;
|
||||
} else {
|
||||
out.write(b, operandOff - 2, operandLen + 2);
|
||||
}
|
||||
index[0]++;
|
||||
});
|
||||
}
|
||||
|
||||
|
||||
@@ -20,10 +20,10 @@ import ru.pjandro.wordpdf.ConversionException;
|
||||
* покрывает весь текстовый поток), поэтому конец последней секции
|
||||
* клампится к ccpText. Свойств в Sepx нет (или Sepx битый) — дефолты
|
||||
* Word 97: Letter 12240×15840, поля 1440, колонтитуки
|
||||
* 720 (значения §2.6.3 «By default» для sprmSXaPage/sprmSYaPage).</p>
|
||||
* 720 (значения §2.6.4 «By default» для sprmSXaPage/sprmSYaPage).</p>
|
||||
*
|
||||
* <p>{@link Section#continuous()} — sprmSBkc секции со значением
|
||||
* bkcContinuous/bkcNewColumn (§2.6.3, SBkcOperand: «the type of the section
|
||||
* bkcContinuous/bkcNewColumn (§2.6.4, SBkcOperand §2.9.235: «the type of the section
|
||||
* break that terminates the section»), т.е. разрыв, ЗАКАНЧИВАЮЩИЙ эту
|
||||
* секцию. В OOXML {@code w:type} описывает разрыв ПЕРЕД секцией (§17.6.22),
|
||||
* поэтому {@code w:type} секции i берётся из {@code continuous()} секции
|
||||
@@ -40,16 +40,34 @@ final class Sections {
|
||||
* финальный символ — 0x0C, §2.8.26) + геометрия из её Sepx + признак
|
||||
* «разрыв, заканчивающий секцию, не начинает новую страницу» +
|
||||
* ориентация (sprmSBOrientation), нумерация страниц (sprmSFPgnRestart/
|
||||
* sprmSPgnStart97/sprmSNfcPgn — pgNumStart=0 «не задан», nfcPgn — MSONFC),
|
||||
* колонки (sprmSCcolumns/…; colWidths/colSpacings заполнены только при
|
||||
* evenlySpaced=false, индекс — номер колонки) и титульная страница
|
||||
* (sprmSFTitlePage → w:titlePg, §2.6.4).
|
||||
* sprmSPgnStart97/sprmSPgnStart/sprmSNfcPgn — pgNumStart=0 «не задан»,
|
||||
* nfcPgn — MSONFC),
|
||||
* (sprmSCcolumns/…; colWidths/colSpacings заполнены только при
|
||||
* evenlySpaced=false, индекс — номер колонки), титульная страница
|
||||
* (sprmSFTitlePage → w:titlePg, §2.6.4), gutter-поле (sprmSDzaGutter →
|
||||
* w:gutter) и сырое значение SBkcOperand (§2.9.235 — evenPage/oddPage
|
||||
* для w:type).
|
||||
*/
|
||||
record Section(int cpStart, int cpEnd, int pageWidth, int pageHeight,
|
||||
int marginLeft, int marginRight, int marginTop, int marginBottom,
|
||||
int header, int footer, boolean continuous, boolean landscape,
|
||||
int header, int footer, int gutter, boolean continuous, boolean landscape,
|
||||
int pgNumStart, int nfcPgn, int columnCount, boolean evenlySpaced,
|
||||
int dxaColumns, int[] colWidths, int[] colSpacings, boolean titlePage) {
|
||||
int dxaColumns, int[] colWidths, int[] colSpacings, boolean titlePage,
|
||||
int bkc) {
|
||||
|
||||
/**
|
||||
* ST_SectType (§17.6.22) для разрыва, ЗАКАНЧИВАЮЩЕГО эту секцию:
|
||||
* bkcContinuous/bkcNewColumn → continuous, bkcEvenPage/bkcOddPage →
|
||||
* evenPage/oddPage; bkcNewPage (дефолт) — атрибут не эмитится.
|
||||
*/
|
||||
String wTypeName() {
|
||||
return switch (bkc) {
|
||||
case 0, 1 -> "continuous";
|
||||
case 3 -> "evenPage";
|
||||
case 4 -> "oddPage";
|
||||
default -> null;
|
||||
};
|
||||
}
|
||||
}
|
||||
|
||||
/** Дефолты Word 97 (§2.6.3, twips). */
|
||||
@@ -77,12 +95,17 @@ final class Sections {
|
||||
private int marginBottom = DEFAULT_MARGIN;
|
||||
private int header = DEFAULT_HEADER_FOOTER;
|
||||
private int footer = DEFAULT_HEADER_FOOTER;
|
||||
private int gutter;
|
||||
private boolean continuous;
|
||||
private boolean landscape;
|
||||
private boolean titlePage;
|
||||
private boolean pgnRestart;
|
||||
private int pgnStart97;
|
||||
private int pgnStart;
|
||||
private int nfcPgn;
|
||||
/** SBkcOperand (§2.9.235): 0 continuous, 1 newColumn, 2 newPage
|
||||
* (дефолт), 3 evenPage, 4 oddPage. */
|
||||
private int bkc = 2;
|
||||
private int columnCount = 1;
|
||||
private boolean evenlySpaced = true;
|
||||
private int dxaColumns = -1;
|
||||
@@ -91,21 +114,26 @@ final class Sections {
|
||||
|
||||
private void apply(int sprm, int value) {
|
||||
if (sprm == Grpprl.SPRM_S_XA_PAGE) {
|
||||
pageWidth = value;
|
||||
pageWidth = value; // U16 [144, 31680] (§2.6.3)
|
||||
} else if (sprm == Grpprl.SPRM_S_YA_PAGE) {
|
||||
pageHeight = value;
|
||||
pageHeight = value; // U16 (§2.6.3)
|
||||
} else if (sprm == Grpprl.SPRM_S_DXA_LEFT) {
|
||||
marginLeft = value;
|
||||
marginLeft = value; // XAS_nonNeg (§2.6.3)
|
||||
} else if (sprm == Grpprl.SPRM_S_DXA_RIGHT) {
|
||||
marginRight = value;
|
||||
marginRight = value; // XAS_nonNeg (§2.6.3)
|
||||
} else if (sprm == Grpprl.SPRM_S_DYA_TOP) {
|
||||
marginTop = value;
|
||||
// YAS знаковый (§2.9.355): плюс — минимальное поле, минус —
|
||||
// фиксированное («MUST be the absolute value») — знак в OOXML
|
||||
// не выражается, величина берётся по модулю
|
||||
marginTop = Math.abs((short) value);
|
||||
} else if (sprm == Grpprl.SPRM_S_DYA_BOTTOM) {
|
||||
marginBottom = value;
|
||||
marginBottom = Math.abs((short) value);
|
||||
} else if (sprm == Grpprl.SPRM_S_DYA_HDR_TOP) {
|
||||
header = value;
|
||||
header = value; // YAS_nonNeg (§2.6.3)
|
||||
} else if (sprm == Grpprl.SPRM_S_DYA_HDR_BOTTOM) {
|
||||
footer = value;
|
||||
footer = value; // YAS_nonNeg (§2.6.3)
|
||||
} else if (sprm == Grpprl.SPRM_S_DZA_GUTTER) {
|
||||
gutter = value; // U16 twips (§2.6.4), беззнаковый
|
||||
} else if (sprm == Grpprl.SPRM_S_B_ORIENTATION) {
|
||||
// SBOrientationOperand (§2.9.236): 0x01 portrait, 0x02 landscape
|
||||
landscape = value == 2;
|
||||
@@ -113,6 +141,8 @@ final class Sections {
|
||||
pgnRestart = value != 0; // Bool8
|
||||
} else if (sprm == Grpprl.SPRM_S_PGN_START97) {
|
||||
pgnStart97 = value;
|
||||
} else if (sprm == Grpprl.SPRM_S_PGN_START) {
|
||||
pgnStart = value; // U32 (§2.6.4), pre-97-вариант того же
|
||||
} else if (sprm == Grpprl.SPRM_S_NFC_PGN) {
|
||||
nfcPgn = value; // MSONFC ([MS-OSHARED] §2.2.1.3)
|
||||
} else if (sprm == Grpprl.SPRM_S_F_EVENLY_SPACED) {
|
||||
@@ -130,7 +160,7 @@ final class Sections {
|
||||
/** iCol(1) + dxaCol(2) — минимальная длина SDxaColWidth/Spacing-операнда. */
|
||||
private static final int COL_OPERAND_LEN = 3;
|
||||
|
||||
/** SDxaColWidthOperand/SDxaColSpacingOperand: iCol(1)+dxaCol(2), §2.9.241/.242. */
|
||||
/** SDxaColSpacingOperand/SDxaColWidthOperand: iCol(1)+dxaCol(2), §2.9.241/.242. */
|
||||
private void applyCol(int sprm, byte[] buf, int off, int len) {
|
||||
if (len < COL_OPERAND_LEN) {
|
||||
return;
|
||||
@@ -191,10 +221,12 @@ final class Sections {
|
||||
}
|
||||
int v = Grpprl.operandInt(buf, off, len);
|
||||
g.apply(sprm, v);
|
||||
// bkcContinuous=0 / bkcNewColumn=1 (§2.6.3 SBkcOperand):
|
||||
// разрыв, заканчивающий секцию, не начинает страницу
|
||||
if (sprm == Grpprl.SPRM_S_BKC && v <= 1) {
|
||||
g.continuous = true;
|
||||
// SBkcOperand (§2.9.235): 0 continuous / 1 newColumn —
|
||||
// разрыв, заканчивающий секцию, не начинает страницу;
|
||||
// сырое значение нужно и для w:type=evenPage/oddPage
|
||||
if (sprm == Grpprl.SPRM_S_BKC) {
|
||||
g.bkc = v;
|
||||
g.continuous = v <= 1;
|
||||
}
|
||||
});
|
||||
}
|
||||
@@ -208,11 +240,13 @@ final class Sections {
|
||||
int cpEnd = i == n - 1 ? Math.min(aCp[i + 1], ccpText) : aCp[i + 1];
|
||||
list.add(new Section(aCp[i], cpEnd, g.pageWidth, g.pageHeight,
|
||||
g.marginLeft, g.marginRight, g.marginTop, g.marginBottom,
|
||||
g.header, g.footer, g.continuous, g.landscape,
|
||||
g.pgnRestart ? Math.max(1, g.pgnStart97) : 0,
|
||||
g.header, g.footer, g.gutter, g.continuous, g.landscape,
|
||||
g.pgnRestart
|
||||
? Math.max(1, g.pgnStart97 != 0 ? g.pgnStart97 : g.pgnStart)
|
||||
: 0,
|
||||
g.nfcPgn, g.columnCount, g.evenlySpaced, g.dxaColumns,
|
||||
Arrays.copyOf(g.colWidths, g.columnCount),
|
||||
Arrays.copyOf(g.colSpacings, g.columnCount), g.titlePage));
|
||||
Arrays.copyOf(g.colSpacings, g.columnCount), g.titlePage, g.bkc));
|
||||
}
|
||||
sections = List.copyOf(list);
|
||||
continuousEnds = cont;
|
||||
@@ -221,8 +255,8 @@ final class Sections {
|
||||
private static Section defaultSection(int cpStart, int cpEnd) {
|
||||
return new Section(cpStart, cpEnd, DEFAULT_PAGE_WIDTH, DEFAULT_PAGE_HEIGHT,
|
||||
DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN,
|
||||
DEFAULT_HEADER_FOOTER, DEFAULT_HEADER_FOOTER, false,
|
||||
false, 0, 0, 1, true, -1, new int[0], new int[0], false);
|
||||
DEFAULT_HEADER_FOOTER, DEFAULT_HEADER_FOOTER, 0, false,
|
||||
false, 0, 0, 1, true, -1, new int[0], new int[0], false, 2);
|
||||
}
|
||||
|
||||
static Sections read(byte[] tableStream, long fcSed, long lcbSed, byte[] wordDocument,
|
||||
|
||||
@@ -6,15 +6,16 @@ package ru.pjandro.wordpdf.internal.doc;
|
||||
*
|
||||
* <p>Разбор: LPStshi (cbStshi(2) + STSHI: cstd(2) + cbSTDBaseInFile(2),
|
||||
* §2.9.272/.274) → rglpstd со смещения {@code fc + 2 + cbStshi} (LPStd
|
||||
* хранятся на чётных границах, §2.9.207). Каждая LPStd: cbStd(2) + Std
|
||||
* хранятся на чётных границах, §2.9.135). Каждая LPStd: cbStd(2) + Std
|
||||
* (cbStd байт): stdf (cbSTDBaseInFile байт: StdfBase §2.9.260 — в первых
|
||||
* 4 байтах sti(12)|A–D(4)|stk(4)|istdBase(12), cupx — младший нибл байта 4)
|
||||
* + xstzName (cch(2)+2·cch+терминатор(2), §2.9.348) + cupx × LPUpx
|
||||
* + xstzName (cch(2)+2·cch+терминатор(2), §2.9.354) + cupx × LPUpx
|
||||
* (cbUpx(2) + данные, шаг 2+cbUpx с выравниванием на чёт). Для stk=1
|
||||
* (абзацный стиль) UPX[0] = UpxPapx (istd(2) + grpprlPapx), UPX[1] =
|
||||
* UpxChpx (grpprlChpx целиком), §2.9.267/.308/.309; для stk=3 (символьный
|
||||
* стиль) единственный UPX = UpxChpx целиком (§2.9.267) — читается в
|
||||
* {@link #charChain} для sprmCIstd.</p>
|
||||
* UpxChpx (grpprlChpx целиком), §2.9.338/.336; для stk=2 (символьный
|
||||
* стиль) единственный UPX = UpxChpx целиком (§2.9.263 StkCharGRLPUPX) —
|
||||
* читается в {@link #charChain} для sprmCIstd; stk=3 (табличный) не
|
||||
* читается.</p>
|
||||
*
|
||||
* <p>Цепочка свойств стиля — base-first: сначала grpprl предка по
|
||||
* istdBase (0x0FFF — без предка), затем собственный grpprl (шаг 8
|
||||
@@ -31,11 +32,11 @@ final class Styles {
|
||||
|
||||
/** stk абзацного стиля (§2.9.260). */
|
||||
private static final int STK_PARAGRAPH = 1;
|
||||
/** stk символьного стиля (§2.9.260): UPX[0] = UpxChpx целиком. */
|
||||
private static final int STK_CHARACTER = 3;
|
||||
/** Индекс UpxPapx в Std абзацного стиля (§2.9.308). */
|
||||
/** stk символьного стиля (§2.9.260, stk=2): UPX[0] = UpxChpx целиком. */
|
||||
private static final int STK_CHARACTER = 2;
|
||||
/** Индекс UpxPapx в Std абзацного стиля (§2.9.338). */
|
||||
private static final int UPX_PAPX = 0;
|
||||
/** Индекс UpxChpx в Std абзацного стиля (§2.9.309). */
|
||||
/** Индекс UpxChpx в Std абзацного стиля (§2.9.336). */
|
||||
private static final int UPX_CHPX = 1;
|
||||
/** istdBase без предка (§2.9.260). */
|
||||
private static final int NO_BASE = 0x0FFF;
|
||||
@@ -107,7 +108,7 @@ final class Styles {
|
||||
return new Style(NO_BASE, stk, new byte[0], new byte[0]);
|
||||
}
|
||||
int cch = CfbReader.u16(table, p);
|
||||
p += 2 + 2 * cch + 2; // xstzName: cch + строка + chTerm (§2.9.348)
|
||||
p += 2 + 2 * cch + 2; // xstzName: cch + строка + chTerm (§2.9.354)
|
||||
byte[] papx = new byte[0];
|
||||
byte[] chpx = new byte[0];
|
||||
for (int i = 0; i < cupx && p + 2 <= stdEnd; i++) {
|
||||
@@ -118,13 +119,13 @@ final class Styles {
|
||||
}
|
||||
if (stk == STK_PARAGRAPH) {
|
||||
if (i == UPX_PAPX && cbUpx >= 2) {
|
||||
// UpxPapx: istd(2) + grpprlPapx (§2.9.345)
|
||||
// UpxPapx: istd(2) + grpprlPapx (§2.9.338)
|
||||
papx = slice(table, p + 2, cbUpx - 2);
|
||||
} else if (i == UPX_CHPX) {
|
||||
chpx = slice(table, p, cbUpx); // UpxChpx (§2.9.343)
|
||||
chpx = slice(table, p, cbUpx); // UpxChpx (§2.9.336)
|
||||
}
|
||||
} else if (stk == STK_CHARACTER && i == UPX_PAPX && cbUpx > 0) {
|
||||
// Символьный стиль: единственный UPX = UpxChpx целиком (§2.9.267)
|
||||
// Символьный стиль: единственный UPX = UpxChpx целиком (§2.9.263)
|
||||
chpx = slice(table, p, cbUpx);
|
||||
}
|
||||
p += cbUpx;
|
||||
@@ -163,7 +164,7 @@ final class Styles {
|
||||
|
||||
/**
|
||||
* Цепочка chpx символьного стиля для sprmCIstd (§2.6.1): только стили
|
||||
* stk=3, иначе пусто (§2.4.6.5 — символьный стиль применяется к рану,
|
||||
* stk=2, иначе пусто (§2.4.6.5 — символьный стиль применяется к рану,
|
||||
* стиль другого типа игнорируется снисходительно).
|
||||
*/
|
||||
byte[] charChain(int istd) {
|
||||
|
||||
@@ -7,17 +7,17 @@ package ru.pjandro.wordpdf.internal.doc;
|
||||
* SystemIdentifier(4) CLSID(16) NumPropertySets(4) FMTID0(16) Offset0(4);
|
||||
* PropertySet по Offset0 (§2.20): cbPropertySet(4) NumProperties(4) + массив
|
||||
* (pid, offset), где offset свойства — <b>относительно начала PropertySet</b>
|
||||
* (§2.2: «relative to the starting position of the PropertySet»), т.е. читать
|
||||
* (§2.19 PropertyIdentifierAndOffset: «relative to the starting position of the PropertySet»), т.е. читать
|
||||
* по {@code Offset0 + offset}; свойство по offset — VT(4) + значение. Ищем PIDSI_PAGECOUNT
|
||||
* (0x0000000E, VT_I4=3) — аналог {@code <Pages>} из docProps/app.xml у .docx.
|
||||
* Потока/свойства нет или оно не VT_I4 → 0 (оценка нижняя, как у docx).</p>
|
||||
*/
|
||||
final class SummaryInfo {
|
||||
|
||||
/** PIDSI_PAGECOUNT (MS-OLEPS §2.4.2). */
|
||||
/** PIDSI_PAGECOUNT (MS-OLEPS §3.1.15). */
|
||||
private static final int PID_PAGE_COUNT = 0x0000000E;
|
||||
|
||||
/** VT_I4 (MS-OLEPS §2.3.2). */
|
||||
/** VT_I4 (MS-OLEPS §2.2). */
|
||||
private static final int VT_I4 = 0x00000003;
|
||||
|
||||
/** Смещения заголовка PropertySetStream (§2.21). */
|
||||
|
||||
@@ -16,20 +16,20 @@ import java.util.List;
|
||||
* TableBordersOperand80 (§2.9.303, cb=0x18, 6 × Brc80 по 4 байта:
|
||||
* dptLineWidth + brcType + ico + флаги). Порядок Brc: top, left, bottom,
|
||||
* right, horizontalInside, verticalInside → w:top/w:left/w:bottom/w:right/
|
||||
* w:insideH/w:insideV (CT_TblBorders, ECMA-376 §17.4.40).</p>
|
||||
* w:insideH/w:insideV (CT_TblBorders, ECMA-376 §17.4.38).</p>
|
||||
*
|
||||
* <p>brcType → ST_Border (§17.18.2) по таблице BrcType ([MS-DOC] §2.9.39,
|
||||
* <p>brcType → ST_Border (§17.18.2) по таблице BrcType ([MS-DOC] §2.9.22,
|
||||
* колонка Reference); 0x00 — элемент не эмитится, нераспознанный — single.
|
||||
* w:sz = dptLineWidth (1/8 пункта, ECMA-376 §17.18.15; минимум 2; при
|
||||
* w:sz = dptLineWidth (1/8 пункта, ECMA-376 §17.18.23; минимум 2; при
|
||||
* brcType ≥ 0x40 ширина в целых пунктах → ×8). Цвет: Brc.cv fAuto
|
||||
* (байт 3 = 0xFF) не эмитится, иначе RRGGBB; Brc80.ico — по таблице Ico
|
||||
* (§2.9.171); 0 = auto, > 0x10 — не эмитится.</p>
|
||||
* (§2.9.119); 0 = auto, > 0x10 — не эмитится.</p>
|
||||
*
|
||||
* <p>Горизонтальное объединение ячеек переносится сеткой <b>самой строки</b>:
|
||||
* у TTP-абзаца каждой строки свой {@code sprmTDefTable} (§2.9.321), и
|
||||
* автомат {@code DocxBody} по нему выдаёт {@code w:gridSpan}+{@code w:tcW}
|
||||
* (сетка первой строки остаётся tblGrid). Явные поля ячеек
|
||||
* ({@code sprmTCellPadding}/{@code sprmTCellPaddingDefault}, CSSA §2.9.209)
|
||||
* ({@code sprmTCellPadding}/{@code sprmTCellPaddingDefault}, CSSA §2.9.45)
|
||||
* переносятся {@code w:tcMar}; при их отсутствии конвейер даёт дефолт
|
||||
* 108/0 — он же дефолт Word (замер). {@code sprmTDxaGapHalf} не переносится
|
||||
* как поле: §2.6.3 — «not used to layout cell contents», это поправка
|
||||
@@ -44,9 +44,9 @@ import java.util.List;
|
||||
*/
|
||||
final class Tables {
|
||||
|
||||
/** brcType ≥ этого порога: dptLineWidth задан в целых пунктах (§2.9.38). */
|
||||
/** brcType ≥ этого порога: dptLineWidth задан в целых пунктах (§2.9.22). */
|
||||
private static final int BRC_TYPE_POINT_UNITS = 0x40;
|
||||
/** Минимальный w:sz границы; значения Brc80 меньше эквивалентны 2 (§2.9.37). */
|
||||
/** Минимальный w:sz границы; значения Brc80 меньше эквивалентны 2 (§2.9.17). */
|
||||
private static final int MIN_BORDER_SZ = 2;
|
||||
|
||||
/** Минимум центров в TDefTable: ncols≥1 → centers[ncols+1]≥2 (§2.9.321). */
|
||||
@@ -58,7 +58,7 @@ final class Tables {
|
||||
private static final int MAX_CELL_MARGIN = 31680;
|
||||
|
||||
/**
|
||||
* Поля ячеек из одного CSSAOperand (§2.9.209): стороны grfbrc (биты
|
||||
* Поля ячеек из одного CSSAOperand (§2.9.46): стороны grfbrc (биты
|
||||
* top|left|bottom|right = 1|2|4|8) с шириной wWidth (dxa, ≥0) для ячеек
|
||||
* ряда с индексами [itcFirst, itcLim). Default-operand (0xD634) — весь
|
||||
* ряд (itcLim = {@link Integer#MAX_VALUE}).
|
||||
@@ -86,15 +86,19 @@ final class Tables {
|
||||
int[] centers() {
|
||||
int[] c = new int[colWidths.length + 1];
|
||||
c[0] = indent;
|
||||
for (int i = 0; i < colWidths.length; i++) {
|
||||
c[i + 1] = c[i] + colWidths[i];
|
||||
int i = 1;
|
||||
// foreach: индексный for по компоненту рекорда валит ForLoopCanBeForeach
|
||||
// на PMD 6.55.0 (ClassCastException в VariableNameDeclaration.isArray)
|
||||
for (int w : colWidths) {
|
||||
c[i] = c[i - 1] + w;
|
||||
i++;
|
||||
}
|
||||
return c;
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Ico → RRGGBB ([MS-DOC] §2.9.171). Индекс = ico. 0 — auto (не эмитится).
|
||||
* Ico → RRGGBB ([MS-DOC] §2.9.119). Индекс = ico. 0 — auto (не эмитится).
|
||||
* В таблице спецификации строка 0x0D дублирует 0x0C (800080) — очевидная
|
||||
* опечатка документа: icoRedDark в палитре Word = 800000, взято значение
|
||||
* Word (иначе 0x0C и 0x0D неразличимы).
|
||||
@@ -120,7 +124,7 @@ final class Tables {
|
||||
};
|
||||
|
||||
/**
|
||||
* Ico (§2.9.171) → RRGGBB; 0/auto и вне таблицы (в т.ч. 0x1F = nil у
|
||||
* Ico (§2.9.119) → RRGGBB; 0/auto и вне таблицы (в т.ч. 0x1F = nil у
|
||||
* Shd80) — {@code null}. Пользуется {@code DocxBody} для Shd80/
|
||||
* затенений.
|
||||
*/
|
||||
@@ -129,7 +133,7 @@ final class Tables {
|
||||
}
|
||||
|
||||
/**
|
||||
* Имена ST_Border по brcType (§2.9.39, колонка Reference); 0 — none.
|
||||
* Имена ST_Border по brcType (§2.9.22, колонка Reference); 0 — none.
|
||||
* package-private хук для юнита полного покрытия таблицы.
|
||||
*/
|
||||
static String borderVal(int brcType) {
|
||||
@@ -156,7 +160,8 @@ final class Tables {
|
||||
case 0x17 -> "dashDotStroked";
|
||||
case 0x18 -> "threeDEmboss";
|
||||
case 0x19 -> "threeDEngrave";
|
||||
case 0x1A, 0x1B -> "outset";
|
||||
case 0x1A -> "outset";
|
||||
case 0x1B -> "inset";
|
||||
default -> "single";
|
||||
};
|
||||
}
|
||||
@@ -230,7 +235,7 @@ final class Tables {
|
||||
}
|
||||
|
||||
/**
|
||||
* CSSAOperand (§2.9.209) полей ячеек: cb(1)=6 + itc(2, ItcFirstLim) +
|
||||
* CSSAOperand (§2.9.46) полей ячеек: cb(1)=6 + itc(2, ItcFirstLim) +
|
||||
* grfbrc(1, маска сторон) + ftsWidth(1) + wWidth(2 XAS_nonNeg).
|
||||
* Переносится только ftsDxa (0x03) — ftsNil/percent/auto сторона не
|
||||
* задают (§2.6.3: wWidth ≤ 31680); битый операнд/пустая маска — null.
|
||||
@@ -283,7 +288,12 @@ final class Tables {
|
||||
String[] names = {"top", "left", "bottom", "right", "insideH", "insideV"};
|
||||
for (int i = 0; i < 6; i++) {
|
||||
int b = off + 1 + i * 8;
|
||||
// Brc (§2.9.36): cv(4: R,G,B,fAuto) + dptLineWidth(1) + brcType(1) + флаги(2)
|
||||
// Brc (§2.9.16): cv(4: R,G,B,fAuto) + dptLineWidth(1) + brcType(1) + флаги(2);
|
||||
// BrcMayBeNil (§2.9.20): последние 4 байта 0xFF…FF — NilBrc, границы нет
|
||||
if ((buf[b + 4] & 0xFF) == 0xFF && (buf[b + 5] & 0xFF) == 0xFF
|
||||
&& (buf[b + 6] & 0xFF) == 0xFF && (buf[b + 7] & 0xFF) == 0xFF) {
|
||||
continue;
|
||||
}
|
||||
int type = buf[b + 5] & 0xFF;
|
||||
if (type == 0) {
|
||||
continue;
|
||||
@@ -303,6 +313,11 @@ final class Tables {
|
||||
String[] names = {"top", "left", "bottom", "right", "insideH", "insideV"};
|
||||
for (int i = 0; i < 6; i++) {
|
||||
int b = off + 1 + i * 4;
|
||||
// Brc80MayBeNil (§2.9.18): все 4 байта 0xFF…FF — границы нет
|
||||
if ((buf[b] & 0xFF) == 0xFF && (buf[b + 1] & 0xFF) == 0xFF
|
||||
&& (buf[b + 2] & 0xFF) == 0xFF && (buf[b + 3] & 0xFF) == 0xFF) {
|
||||
continue;
|
||||
}
|
||||
int type = buf[b + 1] & 0xFF;
|
||||
if (type == 0) {
|
||||
continue;
|
||||
@@ -318,10 +333,10 @@ final class Tables {
|
||||
int dptLineWidth, String color) {
|
||||
int sz = dptLineWidth;
|
||||
if (type >= BRC_TYPE_POINT_UNITS) {
|
||||
sz *= 8; // ширина в целых пунктах (§2.9.38, таблица dptLineWidth)
|
||||
sz *= 8; // ширина в целых пунктах (§2.9.22, таблица dptLineWidth)
|
||||
}
|
||||
if (sz < MIN_BORDER_SZ) {
|
||||
sz = MIN_BORDER_SZ; // Brc80: значения < 2 эквивалентны 2 (§2.9.37)
|
||||
sz = MIN_BORDER_SZ; // Brc80: значения < 2 эквивалентны 2 (§2.9.17)
|
||||
}
|
||||
xml.append("<w:").append(name).append(" w:val=\"").append(borderVal(type))
|
||||
.append("\" w:sz=\"").append(sz).append('"');
|
||||
|
||||
@@ -1161,7 +1161,7 @@
|
||||
Патч: перемещаемый текст печатается (plain-text passthrough, move-правки не
|
||||
раскрашиваются: их «принятое» состояние и есть перемещённый текст);
|
||||
bidi-направление — принятая деградация (complex-script в FOP-форке нет).
|
||||
Руби (w:rubyBase/w:rt, §17.3.3.19/.20/.21) тут не чинится: схема docx4j
|
||||
Руби (w:rubyBase/w:rt, §17.3.3.27/.24) тут не чинится: схема docx4j
|
||||
не биндит эти элементы, unmarshaller выбрасывает их до XSLT — разбор
|
||||
делает RubyNormalizer (правило 10) в байтах.
|
||||
Регрессии — WordPdfConverterTest#movedRevision_textPrinted, #bdoDir_textPrinted. -->
|
||||
|
||||
@@ -7,6 +7,7 @@ import java.nio.file.Files;
|
||||
import java.nio.file.Path;
|
||||
import java.util.ArrayList;
|
||||
import java.util.List;
|
||||
import java.util.logging.Logger;
|
||||
import java.util.zip.ZipEntry;
|
||||
import java.util.zip.ZipOutputStream;
|
||||
|
||||
@@ -34,6 +35,8 @@ public final class ChartTypesDocxGenerator {
|
||||
private static final String A = "http://schemas.openxmlformats.org/drawingml/2006/main";
|
||||
private static final String R = "http://schemas.openxmlformats.org/officeDocument/2006/relationships";
|
||||
|
||||
private static final Logger LOG = Logger.getLogger(ChartTypesDocxGenerator.class.getName());
|
||||
|
||||
public static void main(String[] args) throws IOException {
|
||||
Path out = Path.of(args[0]);
|
||||
List<String> titles = List.of(
|
||||
@@ -109,7 +112,7 @@ public final class ChartTypesDocxGenerator {
|
||||
}
|
||||
}
|
||||
Files.write(out, out2.toByteArray());
|
||||
System.out.println("written " + out + " " + out2.size() + " bytes");
|
||||
LOG.info("written " + out + " " + out2.size() + " bytes");
|
||||
}
|
||||
|
||||
private static String space(String title, String groupWithAxes) {
|
||||
|
||||
@@ -0,0 +1,191 @@
|
||||
package ru.pjandro.wordpdf;
|
||||
|
||||
import org.apache.pdfbox.Loader;
|
||||
import org.apache.pdfbox.pdmodel.PDDocument;
|
||||
import org.apache.pdfbox.pdmodel.PDResources;
|
||||
import org.apache.pdfbox.pdmodel.font.PDFont;
|
||||
import org.apache.pdfbox.cos.COSName;
|
||||
import org.junit.jupiter.api.Test;
|
||||
|
||||
import java.io.IOException;
|
||||
import java.io.ByteArrayOutputStream;
|
||||
import java.nio.charset.StandardCharsets;
|
||||
import java.nio.file.Files;
|
||||
import java.nio.file.Path;
|
||||
import java.util.HashSet;
|
||||
import java.util.Set;
|
||||
import java.util.zip.ZipEntry;
|
||||
import java.util.zip.ZipOutputStream;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.assertThrows;
|
||||
import static org.junit.jupiter.api.Assertions.assertTrue;
|
||||
|
||||
/**
|
||||
* Инвариант «шрифты только бандла» после выноса JEuclid из класса путей:
|
||||
* MathML-рендер FOP (jeuclid-fop) обращался к AWT-менеджеру шрифтов и
|
||||
* тащил в вывод системные гарнитуры; формулы теперь рисуются собственным
|
||||
* растером из jar-шрифтов (fontbox), поэтому JEuclid в classpath и
|
||||
* протёкших системных имён в PDF быть не должно ни на одном хосте (в т.ч. без
|
||||
* fontconfig — CI-образ). Регрессия — удаление jeuclid, 2026-11.
|
||||
*/
|
||||
class FontsBundledOnlyInvariantTest {
|
||||
|
||||
private static final String M_NS =
|
||||
"http://schemas.openxmlformats.org/officeDocument/2006/math";
|
||||
private static final String W_NS =
|
||||
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
|
||||
|
||||
/**
|
||||
* JEuclid обязан отсутствовать в классе путей (exclusion в pom):
|
||||
* реальные FQCN обоих артефактов форка de.rototor (сверены по jar'ам
|
||||
* 3.1.14) — вымышленное имя дало бы зелёный тест и без exclusion.
|
||||
*/
|
||||
@Test
|
||||
void jeuclidAbsentFromClasspath() {
|
||||
assertThrows(ClassNotFoundException.class,
|
||||
() -> Class.forName("net.sourceforge.jeuclid.MathMLParserSupport"));
|
||||
assertThrows(ClassNotFoundException.class,
|
||||
() -> Class.forName("net.sourceforge.jeuclid.fop.JEuclidElementMapping"));
|
||||
}
|
||||
|
||||
/**
|
||||
* Исходники main не обращаются к AWT-шрифтам: ни {@code java.awt.Font},
|
||||
* ни {@code GraphicsEnvironment}, ни {@code createFont(} вне комментариев
|
||||
* и строк. Любое такое обращение инициализирует AWT-менеджер шрифтов
|
||||
* (fontconfig на хосте) и рвёт инвариант «только бандл» — детект по
|
||||
* тексту исходников работает и на хосте с шрифтами, и в CI-контейнере
|
||||
* без fontconfig.
|
||||
*/
|
||||
@Test
|
||||
void sourcesFreeOfAwtFonts() throws IOException {
|
||||
Path root = Files.isDirectory(Path.of("src/main/java"))
|
||||
? Path.of("src/main/java")
|
||||
: Path.of("wordpdf-core/src/main/java");
|
||||
assertTrue(Files.isDirectory(root), "нет каталога исходников: " + root.toAbsolutePath());
|
||||
java.util.regex.Pattern createFont =
|
||||
java.util.regex.Pattern.compile("\\bcreateFont\\s*\\(");
|
||||
Set<String> hits = new HashSet<>();
|
||||
try (var walk = Files.walk(root)) {
|
||||
for (Path p : (Iterable<Path>) walk.filter(f -> f.toString().endsWith(".java"))::iterator) {
|
||||
String effective = stripCommentsAndStrings(
|
||||
new String(Files.readAllBytes(p), StandardCharsets.UTF_8));
|
||||
if (effective.contains("java.awt.Font")
|
||||
|| effective.contains("java.awt.GraphicsEnvironment")
|
||||
|| createFont.matcher(effective).find()) {
|
||||
hits.add(root.relativize(p).toString());
|
||||
}
|
||||
}
|
||||
}
|
||||
assertTrue(hits.isEmpty(), "AWT-шрифты в исходниках: " + hits);
|
||||
}
|
||||
|
||||
/** Выкидывает комментарии и строковые/символьные литералы — остаётся код. */
|
||||
private static String stripCommentsAndStrings(String src) {
|
||||
StringBuilder out = new StringBuilder(src.length());
|
||||
int i = 0;
|
||||
int n = src.length();
|
||||
while (i < n) {
|
||||
char c = src.charAt(i);
|
||||
if (c == '/' && i + 1 < n && src.charAt(i + 1) == '/') {
|
||||
while (i < n && src.charAt(i) != '\n') {
|
||||
i++;
|
||||
}
|
||||
} else if (c == '/' && i + 1 < n && src.charAt(i + 1) == '*') {
|
||||
i += 2;
|
||||
while (i + 1 < n && !(src.charAt(i) == '*' && src.charAt(i + 1) == '/')) {
|
||||
i++;
|
||||
}
|
||||
i += 2;
|
||||
} else if (c == '"' || c == '\'') {
|
||||
char q = c;
|
||||
i++;
|
||||
while (i < n && src.charAt(i) != q) {
|
||||
i += src.charAt(i) == '\\' ? 2 : 1;
|
||||
}
|
||||
i++;
|
||||
out.append(' ');
|
||||
} else {
|
||||
out.append(c);
|
||||
i++;
|
||||
}
|
||||
}
|
||||
return out.toString();
|
||||
}
|
||||
|
||||
/**
|
||||
* Формула Word-кегля с {@code w:rFonts w:ascii="Cambria Math"}: растр
|
||||
* рисуется бандлом, в PDF нет ни «Cambria Math», ни иного имени с
|
||||
* Math-маркером (AWT-цепочка недоступна на без-fontconfig хостах в
|
||||
* CI — тест одинаков на любом хосте).
|
||||
*/
|
||||
@Test
|
||||
void mathEmbeddedFonts_bundledOnly() throws IOException {
|
||||
String body = "<w:p><w:r><w:t>ТЕКСТ</w:t></w:r>"
|
||||
+ "<m:oMath xmlns:m=\"" + M_NS + "\">"
|
||||
+ "<m:r><w:rPr><w:rFonts w:ascii=\"Cambria Math\"/></w:rPr>"
|
||||
+ "<m:t>∑x²</m:t></m:r></m:oMath></w:p>";
|
||||
byte[] pdf = WordPdfConverter.convert(mathDocx(body), "тест",
|
||||
new ConvertOptions(false, false, false, 5, 100));
|
||||
Path out = Files.createTempFile("fonts-invariant-", ".pdf");
|
||||
try {
|
||||
Files.write(out, pdf);
|
||||
Set<String> names = embeddedFontNames(out);
|
||||
for (String n : names) {
|
||||
assertTrue(!n.contains("Cambria") && !n.contains("Math"),
|
||||
"системный math-шрифт встроился в PDF: " + n + " ⊆ " + names);
|
||||
}
|
||||
} finally {
|
||||
Files.deleteIfExists(out);
|
||||
}
|
||||
}
|
||||
|
||||
/** Минимальный docx с формулой (идеома модуля: ZipOutputStream из литералов). */
|
||||
private static byte[] mathDocx(String bodyXml) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
putZip(zos, "[Content_Types].xml",
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
|
||||
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
|
||||
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
|
||||
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
|
||||
+ "<Override PartName=\"/word/document.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml\"/>"
|
||||
+ "</Types>");
|
||||
putZip(zos, "_rels/.rels",
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
|
||||
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
|
||||
+ "<Relationship Id=\"rId1\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/officeDocument\" Target=\"word/document.xml\"/>"
|
||||
+ "</Relationships>");
|
||||
putZip(zos, "word/document.xml",
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
|
||||
+ "<w:document xmlns:w=\"" + W_NS + "\"><w:body>"
|
||||
+ bodyXml
|
||||
+ "<w:sectPr><w:pgSz w:w=\"11906\" w:h=\"16838\"/></w:sectPr>"
|
||||
+ "</w:body></w:document>");
|
||||
}
|
||||
return out.toByteArray();
|
||||
}
|
||||
|
||||
private static void putZip(ZipOutputStream zos, String name, String xml)
|
||||
throws IOException {
|
||||
zos.putNextEntry(new ZipEntry(name));
|
||||
zos.write(xml.getBytes(StandardCharsets.UTF_8));
|
||||
zos.closeEntry();
|
||||
}
|
||||
|
||||
/** Имена встроенных шрифтов PDF (дублируется намеренно: утилит нет). */
|
||||
private static Set<String> embeddedFontNames(Path pdf) throws IOException {
|
||||
Set<String> names = new HashSet<>();
|
||||
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
||||
for (org.apache.pdfbox.pdmodel.PDPage page : doc.getPages()) {
|
||||
PDResources res = page.getResources();
|
||||
for (COSName name : res.getFontNames()) {
|
||||
PDFont font = res.getFont(name);
|
||||
if (font != null) {
|
||||
names.add(font.getName());
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
return names;
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,288 @@
|
||||
package ru.pjandro.wordpdf;
|
||||
|
||||
import java.io.ByteArrayInputStream;
|
||||
import java.io.ByteArrayOutputStream;
|
||||
import java.io.FileDescriptor;
|
||||
import java.io.FileOutputStream;
|
||||
import java.io.IOException;
|
||||
import java.io.InputStream;
|
||||
import java.io.PrintStream;
|
||||
import java.lang.management.ManagementFactory;
|
||||
import java.lang.management.MemoryPoolMXBean;
|
||||
import java.lang.management.MemoryType;
|
||||
import java.net.URISyntaxException;
|
||||
import java.net.URL;
|
||||
import java.nio.charset.StandardCharsets;
|
||||
import java.nio.file.Files;
|
||||
import java.nio.file.Path;
|
||||
import java.nio.file.Paths;
|
||||
import java.util.LinkedHashMap;
|
||||
import java.util.Locale;
|
||||
import java.util.Map;
|
||||
import java.util.TreeMap;
|
||||
import java.util.stream.Stream;
|
||||
import java.util.zip.ZipEntry;
|
||||
import java.util.zip.ZipInputStream;
|
||||
import java.util.zip.ZipOutputStream;
|
||||
|
||||
/**
|
||||
* Замер памяти конвейера (НЕ тест: имя не матчается surefire-includes; запускается
|
||||
* {@code ./mise.sh run mem-bench} — см. {@code membench.sh} и
|
||||
* {@code docs/MEM_USAGE_UPGRADE.md}).
|
||||
*
|
||||
* <p>Для каждой конвертации печатает строку TSV {@code label scenario name iteration
|
||||
* peakBytes usedAfterBytes}: peakBytes — сумма пиков used всех heap-пулов
|
||||
* ({@link MemoryPoolMXBean}, пики сбрасываются перед конвертацией), usedAfterBytes —
|
||||
* used кучи сразу после конвертации без принудительного GC (тренд накопления;
|
||||
* {@code System.gc()} намеренно не вызывается). Суммарные аллокации и RSS не здесь:
|
||||
* JFR-{@code jdk.ObjectAllocationSample} пишет скрипт, VmHWM/VmRSS читаются из
|
||||
* {@code /proc/self/status} в конце сценария.</p>
|
||||
*
|
||||
* <p>Артефакт замера «до/после»: сравнение делает человек по выводам прогонов
|
||||
* с разными {@code MB_LABEL}; порогов внутри харнеса нет.</p>
|
||||
*/
|
||||
final class MemoryBench {
|
||||
|
||||
/**
|
||||
* Вывод харнеса в stdout напрямую через {@link FileDescriptor#out}: TSV-строки
|
||||
* парсит человек/скрипт из stdout; {@code System.out} не используется (PMD
|
||||
* SystemPrintln для кода репозитория запрещён, а подавления запрещены политикой).
|
||||
*/
|
||||
private static final PrintStream OUT = new PrintStream(
|
||||
new FileOutputStream(FileDescriptor.out), true, StandardCharsets.UTF_8);
|
||||
|
||||
/** Лимиты входа завышены: валидатор не должен отсекать big-сценарий. */
|
||||
private static final ConvertOptions OPTIONS =
|
||||
new ConvertOptions(false, false, false, 1024L, 1_000_000);
|
||||
|
||||
/** Минимально допустимое значение циклов/повторов из аргументов. */
|
||||
private static final int MIN_POSITIVE = 1;
|
||||
/** Повторов body в синтетическом big-docx (детерминированный размер входа). */
|
||||
private static final int BODY_REPEATS = 400;
|
||||
|
||||
private MemoryBench() {
|
||||
}
|
||||
|
||||
public static void main(String[] args) throws Exception {
|
||||
String label = env("MB_LABEL", "run");
|
||||
int loops = 10;
|
||||
int bigLoops = 5;
|
||||
String scenario = "all";
|
||||
String dir = null;
|
||||
int i = 0;
|
||||
while (i < args.length) {
|
||||
String a = args[i];
|
||||
if ("--loops".equals(a)) {
|
||||
loops = parsePositive(args, i);
|
||||
i += 2;
|
||||
} else if ("--big-loops".equals(a)) {
|
||||
bigLoops = parsePositive(args, i);
|
||||
i += 2;
|
||||
} else if ("--scenario".equals(a)) {
|
||||
scenario = args[i + 1];
|
||||
i += 2;
|
||||
} else if ("--dir".equals(a)) {
|
||||
dir = args[i + 1];
|
||||
i += 2;
|
||||
} else {
|
||||
OUT.printf(Locale.ROOT, "# unknown arg: %s%n", a);
|
||||
System.exit(2);
|
||||
}
|
||||
}
|
||||
|
||||
OUT.printf(Locale.ROOT, "# java.version %s%n",
|
||||
System.getProperty("java.version"));
|
||||
|
||||
boolean wantSuite = "suite".equals(scenario) || "all".equals(scenario);
|
||||
boolean wantBig = "big".equals(scenario) || "all".equals(scenario);
|
||||
if (wantSuite) {
|
||||
runConversions(label, "suite", fixtures(), loops);
|
||||
}
|
||||
if (wantBig) {
|
||||
byte[] base = readResource("samples/ru-plain.docx");
|
||||
byte[] big = bigDocx(base);
|
||||
OUT.printf(Locale.ROOT, "# big size %d%n", big.length);
|
||||
Map<String, byte[]> docs = new TreeMap<>();
|
||||
docs.put("big", big);
|
||||
runConversions(label, "big", docs, bigLoops);
|
||||
}
|
||||
if (dir != null) {
|
||||
runConversions(label, "dir", dirDocs(Paths.get(dir)), loops);
|
||||
}
|
||||
}
|
||||
|
||||
/** Прогон {@code loops} проходов по всем документам, TSV-строка на конвертацию. */
|
||||
private static void runConversions(String label, String scenario,
|
||||
Map<String, byte[]> docs, int loops) {
|
||||
long checksum = 0;
|
||||
for (int loop = 0; loop < loops; loop++) {
|
||||
for (Map.Entry<String, byte[]> doc : docs.entrySet()) {
|
||||
resetPeaks();
|
||||
try {
|
||||
byte[] pdf = WordPdfConverter.convert(doc.getValue(), "membench", OPTIONS);
|
||||
checksum += pdf.length;
|
||||
} catch (ConversionException e) {
|
||||
// отказ конвертации не обрывает замер — строка-комментарий в вывод
|
||||
OUT.printf(Locale.ROOT, "# error %s %s: %s%n",
|
||||
scenario, doc.getKey(), e.getMessage());
|
||||
}
|
||||
OUT.printf(Locale.ROOT, "%s\t%s\t%s\t%d\t%d\t%d%n",
|
||||
label, scenario, doc.getKey(), loop, sumPeakBytes(), heapUsedBytes());
|
||||
}
|
||||
}
|
||||
OUT.printf(Locale.ROOT, "# %s checksum-total %d%n", scenario, checksum);
|
||||
printProcMem();
|
||||
}
|
||||
|
||||
/** Фикстуры из classpath {@code ru/pjandro/wordpdf/samples} (25 файлов), по имени. */
|
||||
private static TreeMap<String, byte[]> fixtures() throws IOException, URISyntaxException {
|
||||
URL dir = MemoryBench.class.getClassLoader().getResource("samples");
|
||||
if (dir == null) {
|
||||
throw new IllegalStateException("samples/ не найден в classpath");
|
||||
}
|
||||
TreeMap<String, byte[]> out = new TreeMap<>();
|
||||
try (Stream<Path> files = Files.list(Paths.get(dir.toURI()))) {
|
||||
for (Path p : (Iterable<Path>) files.filter(MemoryBench::isDoc)::iterator) {
|
||||
out.put(p.getFileName().toString(), Files.readAllBytes(p));
|
||||
}
|
||||
}
|
||||
return out;
|
||||
}
|
||||
|
||||
/** Все {@code *.doc}/{@code *.docx} каталога PATH (реальные документы из develop/). */
|
||||
private static TreeMap<String, byte[]> dirDocs(Path dir) throws IOException {
|
||||
TreeMap<String, byte[]> out = new TreeMap<>();
|
||||
if (!Files.isDirectory(dir)) {
|
||||
OUT.printf(Locale.ROOT, "# dir %s отсутствует — пропущен%n", dir);
|
||||
return out;
|
||||
}
|
||||
try (Stream<Path> files = Files.list(dir)) {
|
||||
for (Path p : (Iterable<Path>) files.filter(MemoryBench::isDoc)::iterator) {
|
||||
out.put(p.getFileName().toString(), Files.readAllBytes(p));
|
||||
}
|
||||
}
|
||||
return out;
|
||||
}
|
||||
|
||||
private static boolean isDoc(Path p) {
|
||||
String n = p.getFileName().toString().toLowerCase(Locale.ROOT);
|
||||
return n.endsWith(".doc") || n.endsWith(".docx");
|
||||
}
|
||||
|
||||
/**
|
||||
* Синтетический большой docx: body фикстуры ru-plain.docx (между {@code <w:body>}
|
||||
* и финальным {@code <w:sectPr>}) повторён {@link #BODY_REPEATS} раз, zip пересобран
|
||||
* DEFLATED в том же порядке записей. Детерминированно: тот же вход — тот же размер.
|
||||
*/
|
||||
private static byte[] bigDocx(byte[] base) throws IOException {
|
||||
Map<String, byte[]> entries = unzip(base);
|
||||
String xml = new String(entries.get("word/document.xml"), StandardCharsets.UTF_8);
|
||||
int bodyStart = xml.indexOf("<w:body>");
|
||||
int sectIdx = xml.lastIndexOf("<w:sectPr");
|
||||
if (sectIdx <= bodyStart) {
|
||||
// фикстура без секции (ru-plain.docx генератором) — якорь на закрытие body
|
||||
sectIdx = xml.lastIndexOf("</w:body>");
|
||||
}
|
||||
if (bodyStart < 0 || sectIdx <= bodyStart) {
|
||||
throw new IllegalStateException("в фикстуре не найден <w:body>...<w:sectPr>");
|
||||
}
|
||||
String inner = xml.substring(bodyStart + "<w:body>".length(), sectIdx);
|
||||
String grown = xml.substring(0, bodyStart + "<w:body>".length())
|
||||
+ inner.repeat(BODY_REPEATS)
|
||||
+ xml.substring(sectIdx);
|
||||
entries.put("word/document.xml", grown.getBytes(StandardCharsets.UTF_8));
|
||||
return rezip(entries);
|
||||
}
|
||||
|
||||
private static Map<String, byte[]> unzip(byte[] zip) throws IOException {
|
||||
Map<String, byte[]> entries = new LinkedHashMap<>();
|
||||
try (ZipInputStream zin = new ZipInputStream(new ByteArrayInputStream(zip))) {
|
||||
ZipEntry e;
|
||||
while ((e = zin.getNextEntry()) != null) {
|
||||
ByteArrayOutputStream part = new ByteArrayOutputStream();
|
||||
zin.transferTo(part);
|
||||
entries.put(e.getName(), part.toByteArray());
|
||||
}
|
||||
}
|
||||
return entries;
|
||||
}
|
||||
|
||||
private static byte[] rezip(Map<String, byte[]> entries) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
for (Map.Entry<String, byte[]> e : entries.entrySet()) {
|
||||
zos.putNextEntry(new ZipEntry(e.getKey()));
|
||||
zos.write(e.getValue());
|
||||
zos.closeEntry();
|
||||
}
|
||||
}
|
||||
return out.toByteArray();
|
||||
}
|
||||
|
||||
private static byte[] readResource(String name) throws IOException {
|
||||
try (InputStream in = MemoryBench.class.getClassLoader().getResourceAsStream(name)) {
|
||||
if (in == null) {
|
||||
throw new IllegalStateException("ресурс не найден: " + name);
|
||||
}
|
||||
return in.readAllBytes();
|
||||
}
|
||||
}
|
||||
|
||||
private static void resetPeaks() {
|
||||
for (MemoryPoolMXBean pool : ManagementFactory.getMemoryPoolMXBeans()) {
|
||||
if (pool.getType() == MemoryType.HEAP) {
|
||||
try {
|
||||
pool.resetPeakUsage();
|
||||
} catch (UnsupportedOperationException e) {
|
||||
// пул без поддержки пиков (например «Tenured» в некоторых GC) — пропускаем
|
||||
continue;
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
private static long sumPeakBytes() {
|
||||
long sum = 0;
|
||||
for (MemoryPoolMXBean pool : ManagementFactory.getMemoryPoolMXBeans()) {
|
||||
if (pool.getType() == MemoryType.HEAP) {
|
||||
try {
|
||||
sum += pool.getPeakUsage().getUsed();
|
||||
} catch (UnsupportedOperationException e) {
|
||||
continue;
|
||||
}
|
||||
}
|
||||
}
|
||||
return sum;
|
||||
}
|
||||
|
||||
private static long heapUsedBytes() {
|
||||
return ManagementFactory.getMemoryMXBean().getHeapMemoryUsage().getUsed();
|
||||
}
|
||||
|
||||
/** Память ОС: высокий water mark RSS процесса; на не-Linux — n/a. */
|
||||
private static void printProcMem() {
|
||||
try {
|
||||
for (String line : Files.readAllLines(Paths.get("/proc/self/status"))) {
|
||||
if (line.startsWith("VmHWM:") || line.startsWith("VmRSS:")) {
|
||||
OUT.printf(Locale.ROOT, "# %s%n", line.trim());
|
||||
}
|
||||
}
|
||||
} catch (IOException e) {
|
||||
OUT.printf(Locale.ROOT, "# VmHWM n/a%n");
|
||||
}
|
||||
}
|
||||
|
||||
private static int parsePositive(String[] args, int i) {
|
||||
int value = Integer.parseInt(args[i + 1]);
|
||||
if (value < MIN_POSITIVE) {
|
||||
OUT.printf(Locale.ROOT, "# %s должен быть >= %d%n", args[i], MIN_POSITIVE);
|
||||
System.exit(2);
|
||||
}
|
||||
return value;
|
||||
}
|
||||
|
||||
private static String env(String name, String def) {
|
||||
String value = System.getenv(name);
|
||||
return value == null || value.isEmpty() ? def : value;
|
||||
}
|
||||
}
|
||||
@@ -35,6 +35,7 @@ import java.math.BigInteger;
|
||||
import java.nio.file.Path;
|
||||
import java.nio.file.Paths;
|
||||
import java.util.List;
|
||||
import java.util.logging.Logger;
|
||||
|
||||
/**
|
||||
* ОДНОРАЗОВАЯ утилита: генерация готовых .docx для тестов (Apache POI).
|
||||
@@ -59,6 +60,8 @@ public final class SampleDocxGenerator {
|
||||
/** Путь основной части документа в zip. */
|
||||
private static final String DOCUMENT_PART = "word/document.xml";
|
||||
|
||||
private static final Logger LOG = Logger.getLogger(SampleDocxGenerator.class.getName());
|
||||
|
||||
private SampleDocxGenerator() {
|
||||
}
|
||||
|
||||
@@ -77,7 +80,7 @@ public final class SampleDocxGenerator {
|
||||
tooManyPages(dir.resolve("too-many-pages.docx"));
|
||||
staleCache(dir.resolve("stale-cache.docx"));
|
||||
|
||||
System.out.println("Готово: " + dir.toAbsolutePath());
|
||||
LOG.info("Готово: " + dir.toAbsolutePath());
|
||||
}
|
||||
|
||||
/** Русский текст, Calibri, заголовок + полужирный и курсивный run'ы. */
|
||||
@@ -498,7 +501,7 @@ public final class SampleDocxGenerator {
|
||||
try (FileOutputStream fos = new FileOutputStream(out.toFile())) {
|
||||
doc.write(fos);
|
||||
}
|
||||
System.out.println(" создан: " + out.getFileName()
|
||||
LOG.info(" создан: " + out.getFileName()
|
||||
+ " (" + new File(out.toString()).length() + " байт)");
|
||||
}
|
||||
}
|
||||
|
||||
@@ -1,5 +1,6 @@
|
||||
package ru.pjandro.wordpdf;
|
||||
|
||||
import org.apache.fop.apps.FopFactory;
|
||||
import org.apache.pdfbox.Loader;
|
||||
import org.apache.pdfbox.cos.COSBase;
|
||||
import org.apache.pdfbox.cos.COSName;
|
||||
@@ -16,6 +17,7 @@ import org.apache.pdfbox.text.PDFTextStripper;
|
||||
import org.apache.poi.poifs.filesystem.POIFSFileSystem;
|
||||
import org.docx4j.Docx4jProperties;
|
||||
import org.junit.jupiter.api.Test;
|
||||
import ru.pjandro.wordpdf.fonts.BundledFonts;
|
||||
|
||||
import java.io.ByteArrayInputStream;
|
||||
import java.io.ByteArrayOutputStream;
|
||||
@@ -44,6 +46,11 @@ import static org.junit.jupiter.api.Assertions.*;
|
||||
*/
|
||||
class WordPdfConverterTest {
|
||||
|
||||
/** Эквивалент прежних дефолтов ядра: без error-флагов, лимиты 5 МБ / 100 страниц. */
|
||||
private static ConvertOptions opts() {
|
||||
return new ConvertOptions(false, false, false, 5, 100);
|
||||
}
|
||||
|
||||
/** Готовый тестовый документ (коммитится, создан SampleDocxGenerator). */
|
||||
private static byte[] sampleBytes(String name) throws IOException {
|
||||
try (InputStream in = WordPdfConverterTest.class.getClassLoader()
|
||||
@@ -96,7 +103,7 @@ class WordPdfConverterTest {
|
||||
/** Конвертирует байты docx и пишет PDF во временный файл (PDFBox читает по пути). */
|
||||
private static Path convertPdf(byte[] docxBytes, String title) throws IOException {
|
||||
Path out = Files.createTempFile("converted-", ".pdf");
|
||||
Files.write(out, WordPdfConverter.convert(docxBytes, title));
|
||||
Files.write(out, WordPdfConverter.convert(docxBytes, title, opts()));
|
||||
return out;
|
||||
}
|
||||
|
||||
@@ -270,38 +277,32 @@ class WordPdfConverterTest {
|
||||
}
|
||||
|
||||
/**
|
||||
* errorOnCharts=true: находка диаграмм — {@link DrawingFoundException}
|
||||
* с {@code Kind.CHARTS}, документ отвергается целиком. Error-флаг SmartArt
|
||||
* errorOnCharts=true: находка диаграмм — {@link ChartsFoundException},
|
||||
* документ отвергается целиком. Error-флаг SmartArt
|
||||
* выключен — он конвертируется как обычно, бросок происходит на графике.
|
||||
*/
|
||||
@Test
|
||||
void drawingErrors_errorFlagRejectsCharts() throws Exception {
|
||||
ConversionException ex = assertThrows(ConversionException.class, () ->
|
||||
ChartsFoundException ex = assertThrows(ChartsFoundException.class, () ->
|
||||
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
|
||||
new ConvertOptions(true, false, false,
|
||||
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
|
||||
5, 100)));
|
||||
|
||||
assertTrue(ex instanceof DrawingFoundException dfe
|
||||
&& dfe.kind() == DrawingFoundException.Kind.CHARTS,
|
||||
"ожидался DrawingFoundException(CHARTS), получено: " + ex);
|
||||
assertTrue(ex.getMessage().contains("диаграмм"),
|
||||
"сообщение должно упоминать диаграммы: " + ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
* Зеркальный случай: errorOnSmartArt=true — {@code Kind.SMARTART};
|
||||
* Зеркальный случай: errorOnSmartArt=true — {@link SmartArtFoundException};
|
||||
* диаграммы конвертируются (их error-флаг выключен).
|
||||
*/
|
||||
@Test
|
||||
void drawingErrors_errorFlagRejectsSmartArt() throws Exception {
|
||||
ConversionException ex = assertThrows(ConversionException.class, () ->
|
||||
SmartArtFoundException ex = assertThrows(SmartArtFoundException.class, () ->
|
||||
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
|
||||
new ConvertOptions(false, true, false,
|
||||
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
|
||||
5, 100)));
|
||||
|
||||
assertTrue(ex instanceof DrawingFoundException dfe
|
||||
&& dfe.kind() == DrawingFoundException.Kind.SMARTART,
|
||||
"ожидался DrawingFoundException(SMARTART), получено: " + ex);
|
||||
assertTrue(ex.getMessage().contains("SmartArt"),
|
||||
"сообщение должно упоминать SmartArt: " + ex.getMessage());
|
||||
}
|
||||
@@ -342,7 +343,7 @@ class WordPdfConverterTest {
|
||||
}
|
||||
|
||||
/**
|
||||
* errorOnOle=true — {@link DrawingFoundException} с {@code Kind.OLE},
|
||||
* errorOnOle=true — {@link OleFoundException},
|
||||
* документ отвергается. Фикстура samples/ole-embedded.docx.
|
||||
*
|
||||
* <p>Флаг действует только на .docx: в бинарном .doc OLE-объект —
|
||||
@@ -351,14 +352,11 @@ class WordPdfConverterTest {
|
||||
*/
|
||||
@Test
|
||||
void drawingErrors_errorFlagRejectsOle() throws Exception {
|
||||
ConversionException ex = assertThrows(ConversionException.class, () ->
|
||||
OleFoundException ex = assertThrows(OleFoundException.class, () ->
|
||||
convertPdf(sampleBytes("ole-embedded.docx"), "ole-embedded",
|
||||
new ConvertOptions(false, false, true,
|
||||
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
|
||||
5, 100)));
|
||||
|
||||
assertTrue(ex instanceof DrawingFoundException dfe
|
||||
&& dfe.kind() == DrawingFoundException.Kind.OLE,
|
||||
"ожидался DrawingFoundException(OLE), получено: " + ex);
|
||||
assertTrue(ex.getMessage().contains("OLE-объект"),
|
||||
"сообщение должно упоминать OLE-объекты: " + ex.getMessage());
|
||||
}
|
||||
@@ -493,6 +491,62 @@ class WordPdfConverterTest {
|
||||
"Carlito-BoldItalic не встроен (ран с w:b+w:i должен быть): " + fonts);
|
||||
}
|
||||
|
||||
/**
|
||||
* Общая FopFactory строится из fopconf первого документа JVM, а docx4j
|
||||
* декларирует в него только использованные начертания (частично или
|
||||
* simulate-style) — FopFallbackFonts обязан дополнять семейства реальными
|
||||
* начертаниями при каждом declare. Регрессия —
|
||||
* FopFallbackFonts.declareFamily/hasRealFace (macOS-падения
|
||||
* ruPlain_regularRunsUseRegularFont и strictOoxml_convertsNotRejected
|
||||
* зависели от порядка документов в JVM). Здесь порядок задаётся явно:
|
||||
* «ядовитый» doc (один regular-ран Carlito) замороживает фабрику с
|
||||
* частичной декларацией семейства, четырёхначертательный Calibri-doc
|
||||
* обязан получить все четыре Carlito-*; финальный doc без rFonts —
|
||||
* кириллицу вшитым бандл-шрифтом, а не base-14 (симптом «СТРО*ИЙ» на
|
||||
* macOS). Какое семейство выберет док без rFonts — решает docx4j
|
||||
* (дефолт Aptos → Carlito), поэтому ассерт — «вшитый, не Helvetica»,
|
||||
* а не конкретное имя. На Linux ни одна ядовитая комбинация (bold-only
|
||||
* Calibri, regular-only Carlito, italic-only Calibri) этот тест не
|
||||
* краснит: docx4j 17.3.2 здесь декларирует в fopconf полное семейство;
|
||||
* на macOS та же последовательность была красной. Авторитетная
|
||||
* регрессия полноты — FopFallbackFontsTest#declareWhenDocx4jDeclared*,
|
||||
* здесь — smoke независимости вывода от порядка документов в JVM.
|
||||
*/
|
||||
@Test
|
||||
void fopFactoryFrozenFromFirstDoc_fontsComplete() throws Exception {
|
||||
resetSharedFopFactory();
|
||||
String rPoison = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:i/></w:rPr>";
|
||||
convertPdf(minimalDocx("<w:p><w:r>" + rPoison
|
||||
+ "<w:t>ЯДОВИТЫЙКУРСИВ</w:t></w:r></w:p>"), "poison");
|
||||
|
||||
String rBold = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:b/></w:rPr>";
|
||||
String rPlain = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/></w:rPr>";
|
||||
String rItal = "<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:i/></w:rPr>";
|
||||
String rBoldItal =
|
||||
"<w:rPr><w:rFonts w:ascii=\"Calibri\" w:hAnsi=\"Calibri\"/><w:b/><w:i/></w:rPr>";
|
||||
Set<String> fonts = embeddedFontNames(convertPdf(minimalDocx("<w:p>"
|
||||
+ "<w:r>" + rPlain + "<w:t>ОбычныйКАЛ</w:t></w:r>"
|
||||
+ "<w:r>" + rBold + "<w:t>ЖирныйКАЛ</w:t></w:r>"
|
||||
+ "<w:r>" + rItal + "<w:t>КурсивКАЛ</w:t></w:r>"
|
||||
+ "<w:r>" + rBoldItal + "<w:t>ЖирКурсивКАЛ</w:t></w:r></w:p>"),
|
||||
"four-faces"));
|
||||
for (String face : List.of("Carlito-Regular", "Carlito-Bold",
|
||||
"Carlito-Italic", "Carlito-BoldItalic")) {
|
||||
assertTrue(fonts.stream().anyMatch(n -> n.endsWith("+" + face)),
|
||||
face + " не встроен (фабрика заморожена неполным конфигом): " + fonts);
|
||||
}
|
||||
|
||||
Path strict = convertPdf(minimalDocx(
|
||||
"<w:p><w:r><w:t>СТРОГИЙМАРКЕР таблица</w:t></w:r></w:p>"), "strict-like");
|
||||
String t = norm(pdfText(strict));
|
||||
assertTrue(t.contains("СТРОГИЙМАРКЕР таблица"), "артефакты в тексте: " + t);
|
||||
String cyrFont = fontNameOf(strict, 'Г');
|
||||
assertFalse(cyrFont.startsWith("Helvetica"),
|
||||
"кириллица упала на base-14 (неполный конфиг фабрики): " + cyrFont);
|
||||
assertTrue(embeddedFontNames(strict).contains(cyrFont),
|
||||
"кириллица нарисована не вшитым шрифтом: " + cyrFont);
|
||||
}
|
||||
|
||||
/**
|
||||
* Regression: символы U+2000–U+2EFF (em-dash «—») docx4j
|
||||
* {@code RunFontSelector} мапит на "Segoe UI Symbol", которого нет ни в
|
||||
@@ -627,7 +681,7 @@ class WordPdfConverterTest {
|
||||
@Test
|
||||
void invalidInputRejected() {
|
||||
assertThrows(ValidationException.class, () ->
|
||||
WordPdfConverter.convert(null, "x"));
|
||||
WordPdfConverter.convert(null, "x", opts()));
|
||||
}
|
||||
|
||||
/**
|
||||
@@ -635,9 +689,9 @@ class WordPdfConverterTest {
|
||||
*/
|
||||
@Test
|
||||
void inputTooLarge() {
|
||||
byte[] tooBig = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1];
|
||||
byte[] tooBig = new byte[5 * 1024 * 1024 + 1];
|
||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||
WordPdfConverter.convert(tooBig, "too-big"));
|
||||
WordPdfConverter.convert(tooBig, "too-big", opts()));
|
||||
assertTrue(ex.getMessage().contains("5 МБ"),
|
||||
"сообщение должно упоминать лимит: " + ex.getMessage());
|
||||
}
|
||||
@@ -652,7 +706,7 @@ class WordPdfConverterTest {
|
||||
void inputNotAZip_rejectedBeforeRender() {
|
||||
byte[] junk = {1, 2, 3, 4, 5, 6, 7, 8};
|
||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||
WordPdfConverter.convert(junk, "junk"));
|
||||
WordPdfConverter.convert(junk, "junk", opts()));
|
||||
assertTrue(ex.getMessage().contains("не похоже на .docx или .doc"),
|
||||
"сообщение должно перечислять форматы: " + ex.getMessage());
|
||||
}
|
||||
@@ -671,7 +725,7 @@ class WordPdfConverterTest {
|
||||
zos.closeEntry();
|
||||
}
|
||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||
WordPdfConverter.convert(out.toByteArray(), "x"));
|
||||
WordPdfConverter.convert(out.toByteArray(), "x", opts()));
|
||||
assertTrue(ex.getMessage().contains("не является .docx"),
|
||||
"сообщение должно указывать на не-.docx-контейнер: " + ex.getMessage());
|
||||
}
|
||||
@@ -686,7 +740,7 @@ class WordPdfConverterTest {
|
||||
byte[] big = new byte[1024 * 1024 + 1];
|
||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||
WordPdfConverter.convert(big, "x",
|
||||
new ConvertOptions(false, false, false, 1, WordPdfSettings.MAX_PAGES)));
|
||||
new ConvertOptions(false, false, false, 1, 100)));
|
||||
assertTrue(ex.getMessage().contains("1 МБ"),
|
||||
"сообщение должно упоминать переданный лимит: " + ex.getMessage());
|
||||
assertTrue(ex.getMessage().contains("1048576 байт"),
|
||||
@@ -709,7 +763,7 @@ class WordPdfConverterTest {
|
||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||
WordPdfConverter.convert(
|
||||
sampleBytes(fixture), baseName(fixture),
|
||||
new ConvertOptions(false, false, false, WordPdfSettings.MAX_INPUT_MB, 100)));
|
||||
new ConvertOptions(false, false, false, 5, 100)));
|
||||
assertTrue(ex.getMessage().contains("100"),
|
||||
fixture + ": сообщение должно упоминать лимит: " + ex.getMessage());
|
||||
}
|
||||
@@ -725,7 +779,7 @@ class WordPdfConverterTest {
|
||||
void staleCachePageCountRejectedBeforeRender() {
|
||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||
WordPdfConverter.convert(sampleBytes("stale-cache.docx"), "stale-cache",
|
||||
new ConvertOptions(false, false, false, WordPdfSettings.MAX_INPUT_MB, 100)));
|
||||
new ConvertOptions(false, false, false, 5, 100)));
|
||||
assertTrue(ex.getMessage().contains("100"),
|
||||
"сообщение должно упоминать лимит: " + ex.getMessage());
|
||||
}
|
||||
@@ -741,7 +795,7 @@ class WordPdfConverterTest {
|
||||
@Test
|
||||
void staleCache_docConvertsByCacheOnly() throws Exception {
|
||||
Path pdf = convertPdf(sampleBytes("stale-cache.doc"), "stale-cache",
|
||||
new ConvertOptions(false, false, false, WordPdfSettings.MAX_INPUT_MB, 100));
|
||||
new ConvertOptions(false, false, false, 5, 100));
|
||||
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
||||
assertTrue(doc.getNumberOfPages() >= 1, "PDF не отрендерился");
|
||||
}
|
||||
@@ -1025,7 +1079,7 @@ class WordPdfConverterTest {
|
||||
|
||||
/**
|
||||
* w:suff="space": Word пишет после номера обычный пробел (Part 1
|
||||
* §17.3.1.28), docx4j разделитель не эмитит вовсе (дамп n4.fo).
|
||||
* §17.9.28), docx4j разделитель не эмитит вовсе (дамп n4.fo).
|
||||
* NumberingSuffixNormalizer дописывает пробел в lvlText; FOP отдаёт
|
||||
* лейбл отдельными TextPosition («1», «.», « »), поэтому проверка — по
|
||||
* склеенной последовательности TP (без нормализатора было бы «1.ITEM»:
|
||||
@@ -1361,19 +1415,16 @@ class WordPdfConverterTest {
|
||||
|
||||
/**
|
||||
* Error-флаг обязан сработать и для drawing без wp:extent: детект payload
|
||||
* идёт до extent-guard'а (иначе обход — DrawingFoundException(CHARTS)).
|
||||
* идёт до extent-guard'а (иначе обход — ChartsFoundException).
|
||||
* Регрессия — DrawingPreRenderer#replaceDrawing.
|
||||
*/
|
||||
@Test
|
||||
void chartWithoutExtent_errorFlagRejects() throws Exception {
|
||||
byte[] docx = chartDocx(0, 0, PLAIN_VALAX);
|
||||
ConversionException ex = assertThrows(ConversionException.class, () ->
|
||||
assertThrows(ChartsFoundException.class, () ->
|
||||
convertPdf(docx, "no-extent",
|
||||
new ConvertOptions(true, false, false,
|
||||
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)));
|
||||
assertTrue(ex instanceof DrawingFoundException dfe
|
||||
&& dfe.kind() == DrawingFoundException.Kind.CHARTS,
|
||||
"ожидался DrawingFoundException(CHARTS), получено: " + ex);
|
||||
5, 100)));
|
||||
}
|
||||
|
||||
/**
|
||||
@@ -1410,7 +1461,7 @@ class WordPdfConverterTest {
|
||||
"второй страницы нет");
|
||||
assertThrows(ValidationException.class, () -> convertPdf(sampleBytes("doc-formats.doc"),
|
||||
"doc-formats", new ConvertOptions(false, false, false,
|
||||
WordPdfSettings.MAX_INPUT_MB, 1)),
|
||||
5, 1)),
|
||||
"лимит 1 страница не удержал двухстраничный .doc");
|
||||
}
|
||||
|
||||
@@ -1552,7 +1603,8 @@ class WordPdfConverterTest {
|
||||
put16(wd, 0, 0xA5EC);
|
||||
put16(wd, 2, 0x00C1);
|
||||
put16(wd, 10, 1 << 9);
|
||||
put16(wd, 62, 4);
|
||||
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
|
||||
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
|
||||
put32(wd, 64, wd.length);
|
||||
put32(wd, 76, 14); // ccpText
|
||||
put32(wd, 80, 0); // ccpFtn
|
||||
@@ -1606,7 +1658,8 @@ class WordPdfConverterTest {
|
||||
put16(wd, 0, 0xA5EC);
|
||||
put16(wd, 2, 0x00C1);
|
||||
put16(wd, 10, 1 << 9);
|
||||
put16(wd, 62, 4);
|
||||
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
|
||||
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
|
||||
put32(wd, 64, wd.length);
|
||||
put32(wd, 76, 2); // ccpText
|
||||
put32(wd, 80, 0); // ccpFtn
|
||||
@@ -1703,7 +1756,8 @@ class WordPdfConverterTest {
|
||||
put16(wd, 0, 0xA5EC);
|
||||
put16(wd, 2, 0x00C1);
|
||||
put16(wd, 10, 1 << 9);
|
||||
put16(wd, 62, 4);
|
||||
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
|
||||
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
|
||||
put32(wd, 64, wd.length);
|
||||
put32(wd, 76, text.length());
|
||||
put16(wd, 152, 98);
|
||||
@@ -1806,7 +1860,8 @@ class WordPdfConverterTest {
|
||||
put16(wd, 0, 0xA5EC);
|
||||
put16(wd, 2, 0x00C1);
|
||||
put16(wd, 10, 1 << 9);
|
||||
put16(wd, 62, 4);
|
||||
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
|
||||
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
|
||||
put32(wd, 64, wd.length);
|
||||
put32(wd, 76, text.length());
|
||||
put16(wd, 152, 98);
|
||||
@@ -1858,7 +1913,8 @@ class WordPdfConverterTest {
|
||||
put16(wd, 0, 0xA5EC);
|
||||
put16(wd, 2, 0x00C1);
|
||||
put16(wd, 10, 1 << 9);
|
||||
put16(wd, 62, 4);
|
||||
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
|
||||
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
|
||||
put32(wd, 64, wd.length);
|
||||
put32(wd, 76, text.length());
|
||||
put16(wd, 152, 98);
|
||||
@@ -1930,7 +1986,7 @@ class WordPdfConverterTest {
|
||||
System.arraycopy(grpprl, 0, wd, at + 3, grpprl.length);
|
||||
}
|
||||
|
||||
/** SttbfFfn (§2.9.147): одно семейство на ftc0=0. */
|
||||
/** SttbfFfn (§2.9.286): одно семейство на ftc0=0. */
|
||||
private static byte[] sttbfFfn(String family) {
|
||||
byte[] fam = (family + "\0").getBytes(StandardCharsets.UTF_16LE);
|
||||
byte[] t = new byte[4 + 1 + 39 + fam.length];
|
||||
@@ -2114,7 +2170,8 @@ class WordPdfConverterTest {
|
||||
put16(wd, 0, 0xA5EC);
|
||||
put16(wd, 2, 0x00C1);
|
||||
put16(wd, 10, 1 << 9);
|
||||
put16(wd, 62, 4);
|
||||
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
|
||||
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
|
||||
put32(wd, 64, wd.length);
|
||||
put32(wd, 76, text.length());
|
||||
put16(wd, 152, 98);
|
||||
@@ -2184,7 +2241,8 @@ class WordPdfConverterTest {
|
||||
put16(wd, 0, 0xA5EC);
|
||||
put16(wd, 2, 0x00C1);
|
||||
put16(wd, 10, 1 << 9);
|
||||
put16(wd, 62, 4);
|
||||
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
|
||||
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
|
||||
put32(wd, 64, wd.length);
|
||||
put32(wd, 76, 2); // ccpText
|
||||
put32(wd, 80, 0); // ccpFtn
|
||||
@@ -2315,7 +2373,7 @@ class WordPdfConverterTest {
|
||||
|
||||
/** Черный (ink) / желтый пиксели первой страницы при 150 dpi (замеры аудита). */
|
||||
private static int countPixels(byte[] docx, boolean yellow) throws IOException {
|
||||
byte[] pdf = WordPdfConverter.convert(docx, "тест");
|
||||
byte[] pdf = WordPdfConverter.convert(docx, "тест", opts());
|
||||
try (PDDocument d = Loader.loadPDF(pdf)) {
|
||||
java.awt.image.BufferedImage img = new PDFRenderer(d).renderImageWithDPI(0, 150);
|
||||
int n = 0;
|
||||
@@ -2340,7 +2398,7 @@ class WordPdfConverterTest {
|
||||
* Скрытый текст не выводится: правило 9 (HiddenTextNormalizer) вырезает
|
||||
* раны с прямым truthy vanish и с rStyle на vanish-стиль; falsy vanish
|
||||
* остаётся. Word при печати/PDF-export скрытое не печатает.
|
||||
* Регрессия — аудит ECMA-376 2026-11 (Part 1 §17.3.2.30).
|
||||
* Регрессия — аудит ECMA-376 2026-11 (Part 1 §17.3.2.41).
|
||||
*/
|
||||
@Test
|
||||
void hiddenText_notPrinted() throws IOException {
|
||||
@@ -2361,17 +2419,40 @@ class WordPdfConverterTest {
|
||||
assertTrue(t.contains("НЕТАЙНОЕ"), t);
|
||||
}
|
||||
|
||||
/**
|
||||
* Явный {@code w:vanish w:val="false"} перекрывает стилевой vanish
|
||||
* (§17.7.3, §22.9.2.7): ран с перекрытием печатается, ран без — нет.
|
||||
*/
|
||||
@Test
|
||||
void hiddenText_directVanishFalseOverridesStyle() throws IOException {
|
||||
String body = "<w:p>"
|
||||
+ "<w:r><w:rPr><w:rStyle w:val=\"Hidden\"/></w:rPr><w:t>СКРЫТОСТИЛЬМ</w:t></w:r>"
|
||||
+ "<w:r><w:rPr><w:rStyle w:val=\"Hidden\"/><w:vanish w:val=\"false\"/></w:rPr>"
|
||||
+ "<w:t>ПЕРЕКРЫТОМ</w:t></w:r></w:p>";
|
||||
String styles = XML_PROLOG + "<w:styles xmlns:w=\"" + W_NS + "\">"
|
||||
+ "<w:style w:type=\"character\" w:styleId=\"Hidden\"><w:name w:val=\"Hidden\"/>"
|
||||
+ "<w:rPr><w:vanish/></w:rPr></w:style></w:styles>";
|
||||
byte[] doc = docx("xmlns:w=\"" + W_NS + "\"", body, A4_SECT,
|
||||
rels("<Relationship Id=\"rId2\" Type=\"" + REL_NS + "styles\" Target=\"styles.xml\"/>"),
|
||||
"<Override PartName=\"/word/styles.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.styles+xml\"/>",
|
||||
Map.of("word/styles.xml", styles));
|
||||
String t = norm(pdfText(convertPdf(doc, "тест")));
|
||||
assertFalse(t.contains("СКРЫТОСТИЛЬМ"), t);
|
||||
assertTrue(t.contains("ПЕРЕКРЫТОМ"), t);
|
||||
}
|
||||
|
||||
/**
|
||||
* База руби печатается (правило 10, RubyNormalizer): схема docx4j не
|
||||
* биндит {@code w:rubyBase}/{@code w:rt} — unmarshaller терял их до
|
||||
* XSLT. Надстрочница удаляется (принятая деградация, §17.3.3.19/.20 —
|
||||
* XSLT. Надстрочница удаляется (принятая деградация, §17.3.3.24/.27 —
|
||||
* ruby-разметки в FOP нет) и пинится негативом.
|
||||
*/
|
||||
@Test
|
||||
void rubyBase_textPrinted() throws IOException {
|
||||
String body = "<w:p><w:r><w:t>ДО</w:t></w:r>"
|
||||
+ "<w:r><w:rubyPr/><w:rubyBase><w:r><w:t>РУБИБАЗА</w:t></w:r></w:rubyBase>"
|
||||
+ "<w:rt><w:r><w:t>РУБИБАШКА</w:t></w:r></w:rt></w:r>"
|
||||
+ "<w:r><w:ruby><w:rubyPr/>"
|
||||
+ "<w:rubyBase><w:r><w:t>РУБИБАЗА</w:t></w:r></w:rubyBase>"
|
||||
+ "<w:rt><w:r><w:t>РУБИБАШКА</w:t></w:r></w:rt></w:ruby></w:r>"
|
||||
+ "<w:r><w:t>ПОСЛЕ</w:t></w:r></w:p>";
|
||||
String t = norm(pdfText(convertPdf(minimalDocx(body), "тест")));
|
||||
assertTrue(t.contains("РУБИБАЗА"), t);
|
||||
@@ -2380,7 +2461,7 @@ class WordPdfConverterTest {
|
||||
}
|
||||
|
||||
/**
|
||||
* {@code w:bdo}/{@code w:dir} (§17.3.2.4/.7): текст печатается
|
||||
* {@code w:bdo}/{@code w:dir} (§17.3.2.3/§17.3.2.8): текст печатается
|
||||
* (AUDIT-FIX-2 в вендорном XSLT, до патча ловил catch-all);
|
||||
* bidi-направление — принятая деградация.
|
||||
*/
|
||||
@@ -2395,7 +2476,8 @@ class WordPdfConverterTest {
|
||||
|
||||
/**
|
||||
* Текст перемещённых правок ({@code w:moveFrom}/{@code w:moveTo},
|
||||
* §17.13.5.15/.17) печатается (AUDIT-FIX-2): до патча терялся целиком.
|
||||
* §17.13.5.21–.22/§17.13.5.25–.26) печатается (AUDIT-FIX-2): до патча
|
||||
* терялся целиком.
|
||||
*/
|
||||
@Test
|
||||
void movedRevision_textPrinted() throws IOException {
|
||||
@@ -2600,20 +2682,147 @@ class WordPdfConverterTest {
|
||||
}
|
||||
|
||||
/**
|
||||
* OMML-формула (§22.1) рисуется вектором (jeuclid-fop): чернила страницы
|
||||
* с дробью a/b заметно плотнее чернил того же текста без формулы
|
||||
* (замер аудита: +150 px при 150 dpi; текст формулы из PDF не извлекается).
|
||||
* Формула внутри текстового бокса ({@code w:txbxContent}): обход
|
||||
* {@code DrawingPreRenderer} в drawing-нагрузку не спускается, формула
|
||||
* доходит до FO, а там docx4j без JEuclid штатно фолбэкает
|
||||
* {@code XsltFOFunctions.mathText} — конвертация обязана пройти, текст
|
||||
* бокса напечатан, падения FOP (нет MathML-рендера) нет. Регрессия —
|
||||
* удаление jeuclid без sweep'а, 2026-11.
|
||||
*/
|
||||
@Test
|
||||
void ommlMath_drawnAsVectors() throws IOException {
|
||||
String marker = "<w:p><w:r><w:t>МАТЕМАРКЕР</w:t></w:r></w:p>";
|
||||
String math = marker + "<w:p><m:oMath"
|
||||
+ " xmlns:m=\"http://schemas.openxmlformats.org/officeDocument/2006/math\">"
|
||||
void drawingTextBoxMath_convertsViaDocx4jTextFallback() throws IOException {
|
||||
String body = "<w:p><w:r><w:drawing><wp:inline distT=\"0\" distB=\"0\" distL=\"0\" distR=\"0\">"
|
||||
+ "<wp:extent cx=\"1000000\" cy=\"600000\"/><wp:docPr id=\"1\" name=\"b1\"/>"
|
||||
+ "<a:graphic xmlns:a=\"http://schemas.openxmlformats.org/drawingml/2006/main\">"
|
||||
+ "<a:graphicData uri=\"http://schemas.openxmlformats.org/drawingml/2006/wordprocessingShape\">"
|
||||
+ "<wps:wsp xmlns:wps=\"http://schemas.microsoft.com/office/word/2010/wordprocessingShape\">"
|
||||
+ "<wps:spPr><a:xfrm><a:off x=\"0\" y=\"0\"/>"
|
||||
+ "<a:ext cx=\"1000000\" cy=\"600000\"/></a:xfrm>"
|
||||
+ "<a:prstGeom prst=\"rect\"><a:avLst/></a:prstGeom></wps:spPr>"
|
||||
+ "<wps:txbx><w:txbxContent><w:p><w:r><w:t>БОКС</w:t></w:r>"
|
||||
+ "<m:oMath xmlns:m=\"http://schemas.openxmlformats.org/officeDocument/2006/math\">"
|
||||
+ "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
|
||||
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:oMath></w:p>";
|
||||
int plainPx = countPixels(minimalDocx(marker), false);
|
||||
int mathPx = countPixels(minimalDocx(math), false);
|
||||
assertTrue(mathPx - plainPx >= 100, "math=" + mathPx + " plain=" + plainPx);
|
||||
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:oMath></w:p>"
|
||||
+ "</w:txbxContent></wps:txbx></wps:wsp></a:graphicData></a:graphic></wp:inline>"
|
||||
+ "</w:drawing></w:r></w:p>";
|
||||
byte[] doc = docx("xmlns:w=\"" + W_NS + "\""
|
||||
+ " xmlns:wp=\"http://schemas.openxmlformats.org/drawingml/2006/wordprocessingDrawing\"",
|
||||
body, A4_SECT, null, null, null);
|
||||
String t = norm(pdfText(convertPdf(doc, "тест")));
|
||||
assertTrue(t.contains("БОКС"), t);
|
||||
assertTrue(t.contains("ab"),
|
||||
"docx4j-фолбэк обязан напечатать конкатенацию m:t формулы: " + t);
|
||||
}
|
||||
|
||||
/**
|
||||
* OMML-формула (§22.1) рисуется собственным растером (MathModel →
|
||||
* MathRenderer в DrawingPreRenderer) и заменяется картинкой: inline
|
||||
* {@code m:oMath} — на месте в абзаце, блок {@code m:oMathPara} —
|
||||
* центрированным абзацем. Чернила формул — растровые XObject, символа
|
||||
* формул в текстовом слое нет; поведение не зависит от fontconfig
|
||||
* (jeuclid/AWT-шрифты в конвейере не участвуют). Регрессия —
|
||||
* замена jeuclid-ветки на собственный рендер, 2026-11.
|
||||
*/
|
||||
@Test
|
||||
void ommlMath_drawnAsRaster() throws IOException {
|
||||
String mathNs = " xmlns:m=\"http://schemas.openxmlformats.org"
|
||||
+ "/officeDocument/2006/math\"";
|
||||
String frac = "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
|
||||
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f>";
|
||||
String body = "<w:p><w:r><w:t>МАТЕМАРКЕР</w:t></w:r>"
|
||||
+ "<m:oMath" + mathNs + ">" + frac + "</m:oMath></w:p>"
|
||||
+ "<m:oMathPara" + mathNs + "><m:oMath>" + frac
|
||||
+ "</m:oMath></m:oMathPara>";
|
||||
Path pdf = convertPdf(minimalDocx(body), "тест");
|
||||
assertEquals(2, distinctImageCount(pdf),
|
||||
"обе формулы (inline и display) обязаны стать растрами");
|
||||
String t = norm(pdfText(pdf));
|
||||
assertTrue(t.contains("МАТЕМАРКЕР"), t);
|
||||
assertFalse(t.contains("a b") || t.contains("ab"),
|
||||
"формула протекла в текстовый слой: " + t);
|
||||
}
|
||||
|
||||
/**
|
||||
* Inline-формула стоит на базовой линии строки, как в Word: FOP
|
||||
* роняет нижний край инлайн-картинки на базовую линию, поэтому
|
||||
* {@code DrawingPreRenderer} опускает ран с картинкой через
|
||||
* {@code w:rPr/w:position} на её нижний запас (descent+PAD). Замер —
|
||||
* попиксельно (144 dpi): чернила знаменателя без спуска (цифры)
|
||||
* обязаны кончаться на строке базовой линии текста (±2 px). Без
|
||||
* компенсации формула висела на ~3 pt выше базы. Регрессия —
|
||||
* собственный рендер OMML, 2026-11.
|
||||
*/
|
||||
@Test
|
||||
void ommlMathInline_sitsOnTextBaseline() throws IOException {
|
||||
String body = "<w:p><w:r><w:t>ZZZ</w:t></w:r>"
|
||||
+ "<m:oMath xmlns:m=\"http://schemas.openxmlformats.org"
|
||||
+ "/officeDocument/2006/math\">"
|
||||
+ "<m:f><m:num><m:r><m:t>7</m:t></m:r></m:num>"
|
||||
+ "<m:den><m:r><m:t>1</m:t></m:r></m:den></m:f></m:oMath>"
|
||||
+ "<w:r><w:t>YYY</w:t></w:r></w:p>";
|
||||
Path pdf = convertPdf(minimalDocx(body), "тест");
|
||||
final double[] baseY = {Double.NaN};
|
||||
final double[] zEnd = {0};
|
||||
final double[] yStart = {99999};
|
||||
PDFTextStripper stripper = new PDFTextStripper() {
|
||||
@Override
|
||||
protected void writeString(String s,
|
||||
List<org.apache.pdfbox.text.TextPosition> positions) {
|
||||
for (org.apache.pdfbox.text.TextPosition tp : positions) {
|
||||
if ("Z".equals(tp.getUnicode())) {
|
||||
baseY[0] = tp.getYDirAdj();
|
||||
zEnd[0] = Math.max(zEnd[0], tp.getXDirAdj() + tp.getWidth());
|
||||
} else if ("Y".equals(tp.getUnicode())) {
|
||||
yStart[0] = Math.min(yStart[0], tp.getXDirAdj());
|
||||
}
|
||||
}
|
||||
}
|
||||
};
|
||||
float scale = 2f;
|
||||
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
||||
stripper.setStartPage(1);
|
||||
stripper.setEndPage(1);
|
||||
stripper.getText(doc);
|
||||
java.awt.image.BufferedImage raster =
|
||||
new PDFRenderer(doc).renderImage(0, scale);
|
||||
int x0 = (int) (zEnd[0] * scale) + 2;
|
||||
int x1 = (int) (yStart[0] * scale) - 2;
|
||||
int baselineRow = (int) Math.round(baseY[0] * scale);
|
||||
int inkBottom = -1;
|
||||
final int inkMask = 0xFFFFFF;
|
||||
final int inkMax = 0x808080;
|
||||
for (int y = 0; y < raster.getHeight(); y++) {
|
||||
for (int x = x0; x < x1; x++) {
|
||||
if ((raster.getRGB(x, y) & inkMask) < inkMax) {
|
||||
inkBottom = y;
|
||||
break;
|
||||
}
|
||||
}
|
||||
}
|
||||
assertTrue(inkBottom > 0, "чернил формулы между ZZZ и YYY нет");
|
||||
assertTrue(Math.abs(inkBottom - baselineRow) <= 2,
|
||||
"низ чернил формулы row=" + inkBottom
|
||||
+ " против базовой строки row=" + baselineRow);
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Неизвестная math-конструкция (вне {@code MathModel.SUPPORTED}):
|
||||
* MathFallbackNormalizer (правило 6) срезает блок в конкатенацию
|
||||
* {@code m:t} ещё до загрузки docx4j — текст выводится (кириллица —
|
||||
* бандлом, GlyphCoverage видит уже расплющенный ран), растра нет.
|
||||
*/
|
||||
@Test
|
||||
void ommlUnsupported_degradesToText() throws IOException {
|
||||
String body = "<w:p><m:oMath"
|
||||
+ " xmlns:m=\"http://schemas.openxmlformats.org/officeDocument/2006/math\">"
|
||||
+ "<m:fooBar><m:r><m:t>ФОРМУЛАДЕГРАД</m:t></m:r></m:fooBar>"
|
||||
+ "</m:oMath></w:p>";
|
||||
Path pdf = convertPdf(minimalDocx(body), "тест");
|
||||
String t = norm(pdfText(pdf));
|
||||
assertTrue(t.contains("ФОРМУЛАДЕГРАД"), t);
|
||||
assertEquals(0, distinctImageCount(pdf),
|
||||
"unsupported-формула не обязана давать растр");
|
||||
}
|
||||
|
||||
/**
|
||||
@@ -2705,7 +2914,8 @@ class WordPdfConverterTest {
|
||||
put16(wd, 0, 0xA5EC);
|
||||
put16(wd, 2, 0x00C1);
|
||||
put16(wd, 10, 1 << 9);
|
||||
put16(wd, 62, 4);
|
||||
put16(wd, 32, 14); // csw (MUST 0x000E, §2.5.1)
|
||||
put16(wd, 62, 22); // cslw (MUST 0x0016, §2.5.1)
|
||||
put32(wd, 64, wd.length);
|
||||
put32(wd, 76, 14); // ccpText
|
||||
put32(wd, 80, 0); // ccpFtn
|
||||
@@ -2746,4 +2956,188 @@ class WordPdfConverterTest {
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Повторная конвертация обязана переиспользовать ту же FopFactory: разбор
|
||||
* шрифтов форка дорог (GPOS-таблицы, ~140k объектов) и на общей фабрике
|
||||
* выполняется один раз на JVM.
|
||||
*/
|
||||
@Test
|
||||
void fopFactorySharedAcrossConversions() throws Exception {
|
||||
WordPdfConverter.convert(sampleBytes("ru-plain.docx"), "ru-plain", opts());
|
||||
FopFactory first = sharedFopFactoryRef();
|
||||
WordPdfConverter.convert(sampleBytes("en-plain.docx"), "en-plain", opts());
|
||||
assertSame(first, sharedFopFactoryRef(),
|
||||
"повторная конвертация обязана переиспользовать ту же FopFactory");
|
||||
}
|
||||
|
||||
/**
|
||||
* После конвертации фабричные image-кеши FOP обязаны быть пусты: ключи
|
||||
* записей ({@code file:/tmp/<uuid>…}) уникальны на каждую конвертацию,
|
||||
* попаданий не бывает никогда, а непустой кеш — утечка декодированного
|
||||
* растра до конца жизни JVM (замер 2026-11: ~1,5 ГБ живых byte[] после
|
||||
* 30 конвертаций). Регрессия — этот тест, фикстура samples/chart-types.docx.
|
||||
*/
|
||||
@Test
|
||||
void sharedImageCaches_clearedAfterConversion() throws Exception {
|
||||
WordPdfConverter.convert(sampleBytes("chart-types.docx"), "chart-types", opts());
|
||||
|
||||
FopFactory factory = sharedFopFactoryRef();
|
||||
Object imageCache = factory.getImageManager().getCache();
|
||||
assertEquals(0, softMapSize(imageCache, "imageInfos"),
|
||||
"ImageCache.imageInfos обязан быть пуст после конвертации");
|
||||
assertEquals(0, softMapSize(imageCache, "images"),
|
||||
"ImageCache.images обязан быть пуст после конвертации");
|
||||
assertEquals(0, softMapSize(factory.getImageObjectCache(), "cache"),
|
||||
"ImageObjectCacheImpl обязан быть пуст после конвертации");
|
||||
}
|
||||
|
||||
/** Зеркало private-поля {@code WordPdfConverter.sharedFopFactory} (шов для теста). */
|
||||
private static FopFactory sharedFopFactoryRef() throws Exception {
|
||||
java.lang.reflect.Field f = WordPdfConverter.class.getDeclaredField("sharedFopFactory");
|
||||
f.setAccessible(true);
|
||||
return (FopFactory) f.get(null);
|
||||
}
|
||||
|
||||
/** Обнуление общей FopFactory: следующий документ строит её заново (шов теста). */
|
||||
private static void resetSharedFopFactory() throws Exception {
|
||||
java.lang.reflect.Field f = WordPdfConverter.class.getDeclaredField("sharedFopFactory");
|
||||
f.setAccessible(true);
|
||||
f.set(null, null);
|
||||
}
|
||||
|
||||
/** Размер внутренней {@code map} SoftMapCache (package-private поле). */
|
||||
private static int softMapSize(Object cacheHolder, String field) throws Exception {
|
||||
java.lang.reflect.Field f = cacheHolder.getClass().getDeclaredField(field);
|
||||
f.setAccessible(true);
|
||||
Object softCache = f.get(cacheHolder);
|
||||
java.lang.reflect.Field m = softCache.getClass().getDeclaredField("map");
|
||||
m.setAccessible(true);
|
||||
return ((Map<?, ?>) m.get(softCache)).size();
|
||||
}
|
||||
|
||||
/**
|
||||
* Две конвертации из разных потоков обязаны обе отработать корректно:
|
||||
* ядро сериализует их монитором класса (PhysicalFonts, общая FopFactory,
|
||||
* сброс image-кешей в finally). Регрессия — этот тест,
|
||||
* фикстуры samples/ru-plain.docx и samples/chart-types.docx.
|
||||
*/
|
||||
@Test
|
||||
void concurrentConversions_twoThreadsBothSucceed() throws Exception {
|
||||
byte[] plain = sampleBytes("ru-plain.docx");
|
||||
byte[] chart = sampleBytes("chart-types.docx");
|
||||
byte[][] out = new byte[2][];
|
||||
Runnable[] jobs = {
|
||||
() -> out[0] = WordPdfConverter.convert(plain, "ru-plain", opts()),
|
||||
() -> out[1] = WordPdfConverter.convert(chart, "chart-types", opts()),
|
||||
};
|
||||
Thread[] ts = new Thread[2];
|
||||
for (int i = 0; i < 2; i++) {
|
||||
ts[i] = new Thread(jobs[i]);
|
||||
ts[i].start();
|
||||
}
|
||||
for (Thread t : ts) {
|
||||
t.join();
|
||||
}
|
||||
assertTrue(out[0] != null && "%PDF".equals(new String(out[0], 0, 4, StandardCharsets.US_ASCII)),
|
||||
"поток 1 не вернул PDF");
|
||||
assertTrue(out[1] != null && "%PDF".equals(new String(out[1], 0, 4, StandardCharsets.US_ASCII)),
|
||||
"поток 2 не вернул PDF");
|
||||
assertTrue(norm(pdfTextBytes(out[0])).contains("Привет, мир!"), "поток 1: текст потерян");
|
||||
assertTrue(norm(pdfTextBytes(out[1])).contains("Типы диаграмм"), "поток 2: текст потерян");
|
||||
}
|
||||
|
||||
/**
|
||||
* Внешние мутаторы шрифтового реестра ({@code BundledFonts.init()},
|
||||
* {@code restrictToBundled()}) рядом с идущими конвертациями не должны
|
||||
* влиять на их вывод: все синхронизированные операции BundledFonts и
|
||||
* сериализация конвертаций держат один монитор ({@code WordPdfConverter.class}),
|
||||
* поэтому чистка реестра не может вырезать шрифт из-под идущего рендера.
|
||||
* Регрессия — этот тест, фикстуры samples/ru-plain.docx и samples/chart-types.docx.
|
||||
*/
|
||||
@Test
|
||||
void concurrentFontMutators_conversionsUnharmed() throws Exception {
|
||||
byte[] plain = sampleBytes("ru-plain.docx");
|
||||
byte[] chart = sampleBytes("chart-types.docx");
|
||||
byte[][] out = new byte[2][];
|
||||
Runnable[] jobs = {
|
||||
() -> out[0] = WordPdfConverter.convert(plain, "ru-plain", opts()),
|
||||
() -> out[1] = WordPdfConverter.convert(chart, "chart-types", opts()),
|
||||
};
|
||||
Thread[] ts = new Thread[3];
|
||||
ts[0] = new Thread(jobs[0]);
|
||||
ts[1] = new Thread(jobs[1]);
|
||||
ts[2] = new Thread(() -> {
|
||||
for (int i = 0; i < 50; i++) {
|
||||
BundledFonts.init();
|
||||
BundledFonts.restrictToBundled();
|
||||
}
|
||||
});
|
||||
for (Thread t : ts) {
|
||||
t.start();
|
||||
}
|
||||
for (Thread t : ts) {
|
||||
t.join();
|
||||
}
|
||||
assertTrue(out[0] != null && "%PDF".equals(new String(out[0], 0, 4, StandardCharsets.US_ASCII)),
|
||||
"поток 1 не вернул PDF");
|
||||
assertTrue(out[1] != null && "%PDF".equals(new String(out[1], 0, 4, StandardCharsets.US_ASCII)),
|
||||
"поток 2 не вернул PDF");
|
||||
String t0 = norm(pdfTextBytes(out[0]));
|
||||
String t1 = norm(pdfTextBytes(out[1]));
|
||||
assertTrue(t0.contains("Привет, мир!"), "поток 1: текст потерян");
|
||||
assertTrue(t1.contains("Типы диаграмм"), "поток 2: текст потерян");
|
||||
}
|
||||
|
||||
/**
|
||||
* XXE-pin: {@code word/document.xml} с DOCTYPE и внешней сущностью
|
||||
* ({@code file://}) обязан быть отвергнут до разбора — StAX валидатора
|
||||
* работает с {@code SUPPORT_DTD=false}, JAXB docx4j — с
|
||||
* {@code disallow-doctype-decl}. Цель сущности не читается, секрет не
|
||||
* попадает ни в PDF, ни в сообщение ошибки.
|
||||
*/
|
||||
@Test
|
||||
void xxeExternalEntity_rejectedNotRead() throws Exception {
|
||||
Path secret = Files.createTempFile("wordpdf-xxe-", ".txt");
|
||||
Files.writeString(secret, "XXE-SECRET-42");
|
||||
try {
|
||||
String w = "http://schemas.openxmlformats.org/wordprocessingml/2006/main";
|
||||
String doc = "<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
|
||||
+ "<!DOCTYPE w:document [ <!ENTITY xxe SYSTEM \"file://"
|
||||
+ secret.toAbsolutePath() + "\"> ]>"
|
||||
+ "<w:document xmlns:w=\"" + w + "\"><w:body>"
|
||||
+ "<w:p><w:r><w:t>&xxe;</w:t></w:r></w:p>"
|
||||
+ "<w:sectPr><w:pgSz w:w=\"11906\" w:h=\"16838\"/></w:sectPr>"
|
||||
+ "</w:body></w:document>";
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
putZip(zos, "[Content_Types].xml",
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
|
||||
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
|
||||
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
|
||||
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
|
||||
+ "<Override PartName=\"/word/document.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml\"/>"
|
||||
+ "</Types>");
|
||||
putZip(zos, "_rels/.rels",
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
|
||||
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
|
||||
+ "<Relationship Id=\"rId1\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/officeDocument\" Target=\"word/document.xml\"/>"
|
||||
+ "</Relationships>");
|
||||
putZip(zos, "word/document.xml", doc);
|
||||
}
|
||||
ConversionException e = assertThrows(ConversionException.class,
|
||||
() -> WordPdfConverter.convert(out.toByteArray(), "xxe", opts()));
|
||||
assertFalse(e.getMessage() != null && e.getMessage().contains("XXE-SECRET-42"),
|
||||
"содержимое внешнего файла не должно попадать в сообщение ошибки");
|
||||
} finally {
|
||||
Files.deleteIfExists(secret);
|
||||
}
|
||||
}
|
||||
|
||||
/** Текст PDF из байтов (PDFBox) — для результатов прямого convert(). */
|
||||
private static String pdfTextBytes(byte[] pdf) throws IOException {
|
||||
try (PDDocument doc = Loader.loadPDF(pdf)) {
|
||||
return new PDFTextStripper().getText(doc);
|
||||
}
|
||||
}
|
||||
|
||||
}
|
||||
|
||||
@@ -22,6 +22,8 @@ class WordPdfValidatorTest {
|
||||
|
||||
/** Лимит страниц в тесте точной границы (99 разрывов проходят, 100 — нет). */
|
||||
private static final int PAGE_LIMIT = 100;
|
||||
/** Эквивалент прежних дефолтов ядра: лимиты входа 5 МБ / 100 страниц. */
|
||||
private static final ConvertOptions DEF_OPTS = new ConvertOptions(false, false, false, 5, 100);
|
||||
/** Путь основной части документа в zip. */
|
||||
private static final String DOCUMENT_PART = "word/document.xml";
|
||||
|
||||
@@ -41,14 +43,14 @@ class WordPdfValidatorTest {
|
||||
@Test
|
||||
void checkInput_bytesWithinLimit() {
|
||||
assertDoesNotThrow(() ->
|
||||
WordPdfValidator.checkInput(new byte[1024]));
|
||||
WordPdfValidator.checkInput(new byte[1024], 5));
|
||||
}
|
||||
|
||||
@Test
|
||||
void checkInput_bytesOverLimit() {
|
||||
byte[] big = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1];
|
||||
byte[] big = new byte[5 * 1024 * 1024 + 1];
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.checkInput(big));
|
||||
() -> WordPdfValidator.checkInput(big, 5));
|
||||
assertTrue(ex.getMessage().contains("5 МБ"),
|
||||
"сообщение должно упоминать лимит: " + ex.getMessage());
|
||||
}
|
||||
@@ -56,7 +58,7 @@ class WordPdfValidatorTest {
|
||||
@Test
|
||||
void checkInput_bytesNull() {
|
||||
assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.checkInput((byte[]) null));
|
||||
() -> WordPdfValidator.checkInput((byte[]) null, 5));
|
||||
}
|
||||
|
||||
/**
|
||||
@@ -77,7 +79,7 @@ class WordPdfValidatorTest {
|
||||
@Test
|
||||
void checkPageCount_bytesWithinLimit() throws Exception {
|
||||
byte[] bytes = docxWithPageBreaks(5);
|
||||
assertDoesNotThrow(() -> WordPdfValidator.checkPageCount(bytes));
|
||||
assertDoesNotThrow(() -> WordPdfValidator.checkPageCount(bytes, PAGE_LIMIT));
|
||||
}
|
||||
|
||||
@Test
|
||||
@@ -257,7 +259,7 @@ class WordPdfValidatorTest {
|
||||
@Test
|
||||
void checkPageCount_bytesNull() {
|
||||
assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.checkPageCount((byte[]) null));
|
||||
() -> WordPdfValidator.checkPageCount((byte[]) null, PAGE_LIMIT));
|
||||
}
|
||||
|
||||
// ===== validate(byte[], ConvertOptions) =====
|
||||
@@ -269,14 +271,14 @@ class WordPdfValidatorTest {
|
||||
@Test
|
||||
void validate_withinLimits() throws Exception {
|
||||
assertDoesNotThrow(() -> WordPdfValidator.validate(
|
||||
docxWithPageBreaks(5), ConvertOptions.defaults()));
|
||||
docxWithPageBreaks(5), DEF_OPTS));
|
||||
}
|
||||
|
||||
@Test
|
||||
void validate_bytesOverLimit() {
|
||||
byte[] big = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1];
|
||||
byte[] big = new byte[5 * 1024 * 1024 + 1];
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(big, ConvertOptions.defaults()));
|
||||
() -> WordPdfValidator.validate(big, DEF_OPTS));
|
||||
assertTrue(ex.getMessage().contains("5 МБ"),
|
||||
"размер проверяется первым: " + ex.getMessage());
|
||||
}
|
||||
@@ -285,7 +287,7 @@ class WordPdfValidatorTest {
|
||||
void validate_notAZip() {
|
||||
byte[] junk = {1, 2, 3, 4, 5};
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(junk, ConvertOptions.defaults()));
|
||||
() -> WordPdfValidator.validate(junk, DEF_OPTS));
|
||||
assertTrue(ex.getMessage().contains("не zip-архив"),
|
||||
"сообщение должно упоминать zip-подпись: " + ex.getMessage());
|
||||
}
|
||||
@@ -306,7 +308,7 @@ class WordPdfValidatorTest {
|
||||
}
|
||||
byte[] zip = out.toByteArray();
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
|
||||
() -> WordPdfValidator.validate(zip, DEF_OPTS));
|
||||
assertTrue(ex.getMessage().contains("не является .docx"),
|
||||
"zip без манифеста wordprocessingml — не .docx: " + ex.getMessage());
|
||||
}
|
||||
@@ -325,14 +327,15 @@ class WordPdfValidatorTest {
|
||||
}
|
||||
byte[] xlsx = out.toByteArray();
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(xlsx, ConvertOptions.defaults()));
|
||||
() -> WordPdfValidator.validate(xlsx, DEF_OPTS));
|
||||
assertTrue(ex.getMessage().contains("не является .docx"),
|
||||
"манифест xlsx — spreadsheetml: " + ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
* Zip-бомба: распакованный суммарный размер больше
|
||||
* {@link WordPdfSettings#MAX_DECOMPRESSED_MB} отсекается потоково — до
|
||||
* Zip-бомба: распакованный суммарный размер больше бюджета распаковки
|
||||
* (из лимитов входа, см. {@link WordPdfValidator#maxDecompressedBytes})
|
||||
* отсекается потоково — до
|
||||
* {@code readAllBytes} в {@code checkPageCount} (без проверки валидатор
|
||||
* прочитал бы 200+ МБ в память). Регрессия — WordPdfValidator#checkDocxContainer.
|
||||
*/
|
||||
@@ -344,27 +347,30 @@ class WordPdfValidatorTest {
|
||||
zos.write(new byte[1024]);
|
||||
zos.closeEntry();
|
||||
zos.putNextEntry(new ZipEntry("bomb.bin"));
|
||||
zos.write(new byte[(int) (WordPdfSettings.MAX_DECOMPRESSED_MB * 1024 * 1024) + 1]);
|
||||
zos.write(new byte[(int) (WordPdfValidator.maxDecompressedBytes(5, 100) + 1)]);
|
||||
zos.closeEntry();
|
||||
}
|
||||
byte[] zip = out.toByteArray();
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
|
||||
() -> WordPdfValidator.validate(zip, DEF_OPTS));
|
||||
assertTrue(ex.getMessage().contains("zip-бомбы"), ex.getMessage());
|
||||
assertTrue(ex.getMessage().contains(String.valueOf(WordPdfSettings.MAX_DECOMPRESSED_MB)),
|
||||
"сообщение должно упоминать лимит: " + ex.getMessage());
|
||||
assertTrue(ex.getMessage().contains(String.valueOf(
|
||||
WordPdfValidator.maxDecompressedBytes(5,
|
||||
100) / 1048576)),
|
||||
"сообщение должно упоминать вычисленный бюджет: " + ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
* Бомба «много записей»: больше {@link WordPdfSettings#MAX_ZIP_ENTRIES}
|
||||
* записей отвергаются до разбора содержимого.
|
||||
* Бомба «много записей»: больше {@link WordPdfValidator#maxZipEntries}
|
||||
* (при лимитах 5/100 — 5760) записей отвергаются до разбора содержимого.
|
||||
* Регрессия — WordPdfValidator#checkDocxContainer.
|
||||
*/
|
||||
@Test
|
||||
void validate_tooManyEntriesRejected() throws Exception {
|
||||
int limit = (int) WordPdfValidator.maxZipEntries(5, 100);
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
for (int i = 0; i <= WordPdfSettings.MAX_ZIP_ENTRIES; i++) {
|
||||
for (int i = 0; i <= limit; i++) {
|
||||
zos.putNextEntry(new ZipEntry("e" + i + ".txt"));
|
||||
zos.write(new byte[] {1});
|
||||
zos.closeEntry();
|
||||
@@ -372,16 +378,295 @@ class WordPdfValidatorTest {
|
||||
}
|
||||
byte[] zip = out.toByteArray();
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
|
||||
() -> WordPdfValidator.validate(zip, DEF_OPTS));
|
||||
assertTrue(ex.getMessage().contains("записей"), ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
* XML-бомба: распакованные XML-части больше
|
||||
* {@link WordPdfValidator#maxDecompressedXmlBytes} — отказ по байтовому
|
||||
* гейту XML (байтовый лимит архива ещё не исчерпан).
|
||||
* Регрессия — WordPdfValidator#checkDocxContainer (xmlTotal).
|
||||
*/
|
||||
@Test
|
||||
void validate_xmlPartsBombRejected() throws Exception {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
zos.putNextEntry(new ZipEntry("[Content_Types].xml"));
|
||||
zos.write(CONTENT_TYPES.getBytes(StandardCharsets.UTF_8));
|
||||
zos.closeEntry();
|
||||
zos.putNextEntry(new ZipEntry("word/document.xml"));
|
||||
zos.write(new byte[(int) (WordPdfValidator.maxDecompressedXmlBytes(5, 100) + 1)]);
|
||||
zos.closeEntry();
|
||||
}
|
||||
byte[] zip = out.toByteArray();
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(zip, DEF_OPTS));
|
||||
assertTrue(ex.getMessage().contains("XML-частей"), ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
* Мелким лимитам входа — пол бюджета: maxMb=1/maxPages=10 дают 11 МБ,
|
||||
* поднимается до пола 16 МБ; 17 МБ распаковки отвергаются с числом «16».
|
||||
* Бросок случается в цикле до проверки манифеста — архив без
|
||||
* [Content_Types].xml доходит до throw'а бюджета. Регрессия —
|
||||
* WordPdfValidator#maxDecompressedBytes.
|
||||
*/
|
||||
@Test
|
||||
void validate_smallLimitsBudgetFloor() throws Exception {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
zos.putNextEntry(new ZipEntry("word/bomb.bin"));
|
||||
zos.write(new byte[17 * 1024 * 1024]);
|
||||
zos.closeEntry();
|
||||
}
|
||||
byte[] zip = out.toByteArray();
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(zip, options(1, 10)));
|
||||
assertTrue(ex.getMessage().contains("16 МБ"),
|
||||
"бюджет мелких лимитов — пол 16 МБ: " + ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
* Бюджет растёт с лимитами входа: maxMb=2/maxPages=20 дают ~21 МБ — 20 МБ
|
||||
* non-XML-распаковки проходят; те же байты при maxMb=1/maxPages=10 (пол
|
||||
* 16 МБ) отвергаются. Верхних крышек нет: при maxMb=10/maxPages=100 бюджет
|
||||
* ~106 МБ — 65 МБ проходят (защита масштабируется вместе с лимитами).
|
||||
* Регрессия — WordPdfValidator#maxDecompressedBytes.
|
||||
*/
|
||||
@Test
|
||||
void validate_budgetScalesWithInputLimits() throws Exception {
|
||||
byte[] zip = zipOf("word/bomb.bin", new byte[20 * 1024 * 1024]);
|
||||
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, options(2, 20)));
|
||||
ValidationException floor = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(zip, options(1, 10)));
|
||||
assertTrue(floor.getMessage().contains("16 МБ"), floor.getMessage());
|
||||
byte[] big = zipOf("word/bomb.bin", new byte[65 * 1024 * 1024]);
|
||||
assertDoesNotThrow(() -> WordPdfValidator.validate(big, options(10, 100)),
|
||||
"крышек нет — бюджет догоняет лимиты входа");
|
||||
}
|
||||
|
||||
/**
|
||||
* Дубликаты имён записей — отказ: OPC требует уникальных имён, а партии
|
||||
* с одним именем по-разному трактуются валидатором (первая) и парсером.
|
||||
* {@code ZipOutputStream} дубли не пишет — контейнер собирается вручную
|
||||
* (STORED, локальные заголовки + central directory + EOCD).
|
||||
* Регрессия — WordPdfValidator#checkDocxContainer (Set names).
|
||||
*/
|
||||
@Test
|
||||
void validate_duplicateEntriesRejected() throws Exception {
|
||||
byte[] ct = CONTENT_TYPES.getBytes(StandardCharsets.UTF_8);
|
||||
byte[] doc = MINIMAL_DOCUMENT.getBytes(StandardCharsets.UTF_8);
|
||||
byte[] zip = rawZip(new String[] {"[Content_Types].xml", "word/document.xml",
|
||||
"word/document.xml"},
|
||||
new byte[][] {ct, doc, doc});
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(zip, DEF_OPTS));
|
||||
assertTrue(ex.getMessage().contains("Дубликаты записей"), ex.getMessage());
|
||||
}
|
||||
|
||||
/** Минимальный zip: STORED-записи, central directory, EOCD. */
|
||||
private static byte[] rawZip(String[] names, byte[][] data) {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
long[] offsets = new long[names.length];
|
||||
java.util.zip.CRC32 crc = new java.util.zip.CRC32();
|
||||
for (int i = 0; i < names.length; i++) {
|
||||
byte[] name = names[i].getBytes(StandardCharsets.UTF_8);
|
||||
crc.reset();
|
||||
crc.update(data[i]);
|
||||
offsets[i] = out.size();
|
||||
le32(out, 0x04034b50);
|
||||
le16(out, 20);
|
||||
le16(out, 0);
|
||||
le16(out, 0);
|
||||
le16(out, 0);
|
||||
le16(out, 0);
|
||||
le32(out, (int) crc.getValue());
|
||||
le32(out, data[i].length);
|
||||
le32(out, data[i].length);
|
||||
le16(out, name.length);
|
||||
le16(out, 0);
|
||||
out.writeBytes(name);
|
||||
out.writeBytes(data[i]);
|
||||
}
|
||||
long cdStart = out.size();
|
||||
for (int i = 0; i < names.length; i++) {
|
||||
byte[] name = names[i].getBytes(StandardCharsets.UTF_8);
|
||||
crc.reset();
|
||||
crc.update(data[i]);
|
||||
le32(out, 0x02014b50);
|
||||
le16(out, 20);
|
||||
le16(out, 20);
|
||||
le16(out, 0);
|
||||
le16(out, 0);
|
||||
le16(out, 0);
|
||||
le16(out, 0);
|
||||
le32(out, (int) crc.getValue());
|
||||
le32(out, data[i].length);
|
||||
le32(out, data[i].length);
|
||||
le16(out, name.length);
|
||||
le16(out, 0);
|
||||
le16(out, 0);
|
||||
le16(out, 0);
|
||||
le16(out, 0);
|
||||
le32(out, 0);
|
||||
le32(out, (int) offsets[i]);
|
||||
out.writeBytes(name);
|
||||
}
|
||||
long cdLen = out.size() - cdStart;
|
||||
le32(out, 0x06054b50);
|
||||
le16(out, 0);
|
||||
le16(out, 0);
|
||||
le16(out, names.length);
|
||||
le16(out, names.length);
|
||||
le32(out, (int) cdLen);
|
||||
le32(out, (int) cdStart);
|
||||
le16(out, 0);
|
||||
return out.toByteArray();
|
||||
}
|
||||
|
||||
private static void le16(ByteArrayOutputStream out, int v) {
|
||||
out.write(v & 0xFF);
|
||||
out.write((v >>> 8) & 0xFF);
|
||||
}
|
||||
|
||||
private static void le32(ByteArrayOutputStream out, int v) {
|
||||
le16(out, v & 0xFFFF);
|
||||
le16(out, (v >>> 16) & 0xFFFF);
|
||||
}
|
||||
|
||||
/** Заготовки заголовков растров с площадью выше MAX_IMAGE_PIXELS. */
|
||||
private static byte[][] rasterBombs() {
|
||||
byte[] png = new byte[33];
|
||||
System.arraycopy(new byte[] {(byte) 0x89, 'P', 'N', 'G', 0x0D, 0x0A, 0x1A, 0x0A}, 0, png, 0, 8);
|
||||
png[12] = 'I';
|
||||
png[13] = 'H';
|
||||
png[14] = 'D';
|
||||
png[15] = 'R';
|
||||
putBe32(png, 16, 50000);
|
||||
putBe32(png, 20, 50000);
|
||||
byte[] gif = {'G', 'I', 'F', '8', '9', 'a',
|
||||
(byte) 0xFF, (byte) 0xFF, (byte) 0xFF, (byte) 0xFF, 0, 0};
|
||||
byte[] bmp = new byte[26];
|
||||
bmp[0] = 'B';
|
||||
bmp[1] = 'M';
|
||||
putLe32(bmp, 18, 50000);
|
||||
putLe32(bmp, 22, -50000); // top-down DIB — берётся abs высоты
|
||||
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xC0,
|
||||
0x00, 0x11, 0x08, (byte) 0xC3, 0x50, (byte) 0xC3, 0x50};
|
||||
return new byte[][] {png, gif, bmp, jpeg};
|
||||
}
|
||||
|
||||
private static void putBe32(byte[] b, int off, int v) {
|
||||
b[off] = (byte) (v >>> 24);
|
||||
b[off + 1] = (byte) (v >>> 16);
|
||||
b[off + 2] = (byte) (v >>> 8);
|
||||
b[off + 3] = (byte) v;
|
||||
}
|
||||
|
||||
private static void putLe32(byte[] b, int off, int v) {
|
||||
b[off] = (byte) v;
|
||||
b[off + 1] = (byte) (v >>> 8);
|
||||
b[off + 2] = (byte) (v >>> 16);
|
||||
b[off + 3] = (byte) (v >>> 24);
|
||||
}
|
||||
|
||||
private static byte[] zipOf(String name, byte[] media) throws Exception {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
zos.putNextEntry(new ZipEntry("[Content_Types].xml"));
|
||||
zos.write(CONTENT_TYPES.getBytes(StandardCharsets.UTF_8));
|
||||
zos.closeEntry();
|
||||
zos.putNextEntry(new ZipEntry("word/document.xml"));
|
||||
zos.write(MINIMAL_DOCUMENT.getBytes(StandardCharsets.UTF_8));
|
||||
zos.closeEntry();
|
||||
zos.putNextEntry(new ZipEntry(name));
|
||||
zos.write(media);
|
||||
zos.closeEntry();
|
||||
}
|
||||
return out.toByteArray();
|
||||
}
|
||||
|
||||
/**
|
||||
* Raster-bomb: заголовок растра (PNG/GIF/BMP/JPEG — каждый свой формат)
|
||||
* объявляет площадь выше {@link WordPdfValidator#maxImagePixels(long)}
|
||||
* (при лимите 5 МБ — 25 Мпикс) — отказ
|
||||
* до любого декодирования. Регрессия — WordPdfValidator#rasterArea.
|
||||
*/
|
||||
@Test
|
||||
void validate_rasterBombRejected() throws Exception {
|
||||
String[] exts = {"word/media/b.png", "word/media/b.gif", "word/media/b.bmp",
|
||||
"word/media/b.jpg"};
|
||||
byte[][] bombs = rasterBombs();
|
||||
for (int i = 0; i < bombs.length; i++) {
|
||||
byte[] zip = zipOf(exts[i], bombs[i]);
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(zip, DEF_OPTS),
|
||||
"должно отклоняться: " + exts[i]);
|
||||
assertTrue(ex.getMessage().contains("Изображение слишком большое"), ex.getMessage());
|
||||
}
|
||||
}
|
||||
|
||||
/** Легитимные растры малых размеров проходят валидацию. */
|
||||
@Test
|
||||
void validate_smallRastersAccepted() throws Exception {
|
||||
byte[] png = new byte[33];
|
||||
System.arraycopy(new byte[] {(byte) 0x89, 'P', 'N', 'G', 0x0D, 0x0A, 0x1A, 0x0A}, 0, png, 0, 8);
|
||||
png[12] = 'I';
|
||||
png[13] = 'H';
|
||||
png[14] = 'D';
|
||||
png[15] = 'R';
|
||||
putBe32(png, 16, 10);
|
||||
putBe32(png, 20, 10);
|
||||
byte[] gif = {'G', 'I', 'F', '8', '9', 'a', 10, 0, 10, 0, 0, 0};
|
||||
byte[] bmp = new byte[26];
|
||||
bmp[0] = 'B';
|
||||
bmp[1] = 'M';
|
||||
putLe32(bmp, 18, 10);
|
||||
putLe32(bmp, 22, -10);
|
||||
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xC0,
|
||||
0x00, 0x11, 0x08, 0x00, 0x0A, 0x00, 0x0A};
|
||||
byte[][] ok = {png, gif, bmp, jpeg};
|
||||
String[] exts = {"word/media/a.png", "word/media/a.gif", "word/media/a.bmp",
|
||||
"word/media/a.jpeg"};
|
||||
for (int i = 0; i < ok.length; i++) {
|
||||
byte[] zip = zipOf(exts[i], ok[i]);
|
||||
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, DEF_OPTS),
|
||||
exts[i]);
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Нераспознанный/неполный заголовок растра (подписи нет или dimensions
|
||||
* не влезают) — не отклонять: площадь не объявлена, а реальный decode
|
||||
* ограничен бюджетом распаковки из лимитов входа (крышка
|
||||
* {@code MAX_DECOMPRESSED_MB}). Регрессия —
|
||||
* WordPdfValidator#rasterArea (ветки «-1» каждого формата).
|
||||
*/
|
||||
@Test
|
||||
void validate_rasterUnknownHeadsAccepted() throws Exception {
|
||||
byte[] png = new byte[20];
|
||||
System.arraycopy(new byte[] {(byte) 0x89, 'P', 'N', 'G', 0x0D, 0x0A, 0x1A, 0x0A},
|
||||
0, png, 0, 8); // сигнатура есть, IHDR (offset 16..24) не прочитан
|
||||
byte[] gif = {'G', 'I', 'F', '8', '9', 'a'}; // сигнатура есть, размеров нет
|
||||
byte[] bmp = new byte[26]; // длина достаточна, подписи 'BM' нет
|
||||
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, 0x00, 0x00}; // FFD8, следующий маркер не FF
|
||||
String[] exts = {"word/media/u.png", "word/media/u.gif", "word/media/u.bmp",
|
||||
"word/media/u.jpg"};
|
||||
byte[][] heads = {png, gif, bmp, jpeg};
|
||||
for (int i = 0; i < heads.length; i++) {
|
||||
byte[] zip = zipOf(exts[i], heads[i]);
|
||||
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, DEF_OPTS),
|
||||
exts[i]);
|
||||
}
|
||||
}
|
||||
|
||||
@Test
|
||||
void validate_tooManyPages() throws Exception {
|
||||
byte[] bytes = docxWithPageBreaks(120);
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(bytes,
|
||||
options(WordPdfSettings.MAX_INPUT_MB, 100)));
|
||||
options(5, 100)));
|
||||
assertTrue(ex.getMessage().contains("не менее 121"),
|
||||
"оценка = 1 + 120 разрывов: " + ex.getMessage());
|
||||
}
|
||||
@@ -389,7 +674,7 @@ class WordPdfValidatorTest {
|
||||
@Test
|
||||
void validate_nullBytes() {
|
||||
assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(null, ConvertOptions.defaults()));
|
||||
() -> WordPdfValidator.validate(null, DEF_OPTS));
|
||||
}
|
||||
|
||||
/**
|
||||
@@ -426,6 +711,19 @@ class WordPdfValidatorTest {
|
||||
}
|
||||
// ---- ветви lightweight-сканера и контейнера ----
|
||||
|
||||
/** Манифест с маркером документа wordprocessingml (минимум для checkDocxContainer). */
|
||||
private static final String CONTENT_TYPES =
|
||||
"<?xml version=\"1.0\"?><Types xmlns=\"http://schemas.openxmlformats.org"
|
||||
+ "/package/2006/content-types\"><Override PartName=\"/word/document.xml\""
|
||||
+ " ContentType=\"application/vnd.openxmlformats-officedocument"
|
||||
+ ".wordprocessingml.document.main+xml\"/></Types>";
|
||||
|
||||
/** Пустое transitional-тело: 1 страница, ни одного разрыва. */
|
||||
private static final String MINIMAL_DOCUMENT =
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
|
||||
+ "<w:document xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\">"
|
||||
+ "<w:body></w:body></w:document>";
|
||||
|
||||
private static final String TRANSITIONAL_W =
|
||||
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
|
||||
|
||||
@@ -553,7 +851,7 @@ class WordPdfValidatorTest {
|
||||
DOCUMENT_PART, docPart("")));
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(docx,
|
||||
options(WordPdfSettings.MAX_INPUT_MB, PAGE_LIMIT)));
|
||||
options(5, PAGE_LIMIT)));
|
||||
assertTrue(ex.getMessage().contains("8 МБ"), ex.getMessage());
|
||||
}
|
||||
|
||||
@@ -562,14 +860,14 @@ class WordPdfValidatorTest {
|
||||
void validate_shortAndBrokenPkPrefixRejected() {
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(new byte[]{'P', 'K'},
|
||||
ConvertOptions.defaults()));
|
||||
DEF_OPTS));
|
||||
assertTrue(ex.getMessage().contains("не zip"), ex.getMessage());
|
||||
assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(new byte[]{'P', 'K', 3, 9},
|
||||
ConvertOptions.defaults()));
|
||||
DEF_OPTS));
|
||||
assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(new byte[]{'P', 'K', 0, 4},
|
||||
ConvertOptions.defaults()));
|
||||
DEF_OPTS));
|
||||
}
|
||||
|
||||
/** Фикстура samples/*.doc (бинарный .doc заказчика). */
|
||||
@@ -610,8 +908,8 @@ class WordPdfValidatorTest {
|
||||
* ({@code internal.doc}) бросает {@code ConversionException}, вердикт
|
||||
* «вход некорректен» выносит только валидатор, оборачивая отказ в
|
||||
* {@link WordPdfValidator#checkPageCountDoc(byte[], int)}. Синтетика:
|
||||
* CFB-подпись + нули — sectorShift = 0, {@code CfbReader} отказывает
|
||||
* до всякого разбора WordDocument-потока.
|
||||
* CFB-подпись + нули — ByteOrder = 0x0000 ≠ 0xFFFE ([MS-CFB] §2.2),
|
||||
* {@code CfbReader} отказывает до всякого разбора WordDocument-потока.
|
||||
*/
|
||||
@Test
|
||||
void checkPageCountDoc_brokenBridge_wrappedAsValidation() {
|
||||
@@ -621,7 +919,7 @@ class WordPdfValidatorTest {
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.checkPageCountDoc(bytes, 100));
|
||||
assertSame(ValidationException.class, ex.getClass());
|
||||
assertTrue(ex.getMessage().contains("Неподдерживаемый размер сектора CFB"),
|
||||
assertTrue(ex.getMessage().contains("Неизвестный Byte Order контейнера .doc"),
|
||||
ex.getMessage());
|
||||
}
|
||||
|
||||
@@ -631,7 +929,7 @@ class WordPdfValidatorTest {
|
||||
byte[] doc = sample("too-many-pages.doc");
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(doc,
|
||||
options(WordPdfSettings.MAX_INPUT_MB, PAGE_LIMIT)));
|
||||
options(5, PAGE_LIMIT)));
|
||||
assertTrue(ex.getMessage().contains("не менее 151"), ex.getMessage());
|
||||
}
|
||||
}
|
||||
|
||||
@@ -0,0 +1,71 @@
|
||||
package ru.pjandro.wordpdf.fonts;
|
||||
|
||||
import org.docx4j.fonts.PhysicalFont;
|
||||
import org.junit.jupiter.api.Test;
|
||||
|
||||
import java.lang.reflect.Field;
|
||||
import java.util.HashMap;
|
||||
import java.util.Map;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.*;
|
||||
|
||||
/**
|
||||
* Таблица алиасов шрифтов (BundledFontAliases): прямое и обратное
|
||||
* имя, fallback. Состояние «бандл не инициализирован» моделируется
|
||||
* сохранением и восстановлением статического реестра BundledFonts.
|
||||
*
|
||||
* Класс намеренно не наследует BestMatchingMapper: обращение к его
|
||||
* статикам не должно сканировать реестр шрифтов (см. javadoc класса).
|
||||
*/
|
||||
class BundledFontAliasesTest {
|
||||
|
||||
/** Выполнить body в состоянии «шрифты бандла не зарегистрированы», затем восстановить. */
|
||||
private static void withoutBundledInit(Runnable body) throws Exception {
|
||||
Field initedField = BundledFonts.class.getDeclaredField("inited");
|
||||
initedField.setAccessible(true);
|
||||
// VARIANTS package-private (тот же пакет) — снимок/очистка напрямую,
|
||||
// типизированно, без reflection-каста.
|
||||
Map<String, Map<String, PhysicalFont>> savedVariants = new HashMap<>(BundledFonts.VARIANTS);
|
||||
boolean savedInited = initedField.getBoolean(null);
|
||||
BundledFonts.VARIANTS.clear();
|
||||
initedField.setBoolean(null, false);
|
||||
try {
|
||||
body.run();
|
||||
} finally {
|
||||
BundledFonts.VARIANTS.clear();
|
||||
BundledFonts.VARIANTS.putAll(savedVariants);
|
||||
initedField.setBoolean(null, savedInited);
|
||||
}
|
||||
}
|
||||
|
||||
/** Алиас + зарегистрированное семейство -> бандл-семейство (имя в любом регистре). */
|
||||
@Test
|
||||
void bundledFamilyKnownAliasMapsToBundle() {
|
||||
BundledFonts.init();
|
||||
assertEquals("carlito", BundledFontAliases.bundledFamily("Calibri"));
|
||||
assertEquals("tinos", BundledFontAliases.bundledFamily("Times New Roman"));
|
||||
assertEquals("dejavu sans", BundledFontAliases.bundledFamily("DejaVu Sans"));
|
||||
}
|
||||
|
||||
/** Имени нет в таблице алиасов -> финальный fallback. */
|
||||
@Test
|
||||
void bundledFamilyUnknownFallsBack() {
|
||||
BundledFonts.init();
|
||||
assertEquals("dejavu sans", BundledFontAliases.bundledFamily("Zzz Not A Font"));
|
||||
}
|
||||
|
||||
/** Алиас есть, но бандл не зарегистрирован (init() не вызван) -> fallback. */
|
||||
@Test
|
||||
void bundledFamilyWithoutInitFallsBack() throws Exception {
|
||||
withoutBundledInit(() ->
|
||||
assertEquals("dejavu sans", BundledFontAliases.bundledFamily("Calibri")));
|
||||
}
|
||||
|
||||
/** Имя бандл-семейства для w:rFonts: отображаемое имя или само семейство. */
|
||||
@Test
|
||||
void documentFontNameMapsDisplayNames() {
|
||||
assertEquals("DejaVu Sans", BundledFontAliases.documentFontName("dejavu sans"));
|
||||
assertEquals("carlito", BundledFontAliases.documentFontName("carlito"),
|
||||
"семейство без отображаемого имени возвращается как есть");
|
||||
}
|
||||
}
|
||||
@@ -1,5 +1,6 @@
|
||||
package ru.pjandro.wordpdf.fonts;
|
||||
|
||||
import org.docx4j.Docx4jProperties;
|
||||
import org.docx4j.fonts.PhysicalFont;
|
||||
import org.docx4j.wml.Fonts;
|
||||
import org.junit.jupiter.api.Test;
|
||||
@@ -20,6 +21,22 @@ import static org.junit.jupiter.api.Assertions.*;
|
||||
*/
|
||||
class BundledFontMapperTest {
|
||||
|
||||
/**
|
||||
* Гейт сканов docx4j: тот же, что {@code WordPdfConverter.<clinit>}
|
||||
* (строки 85–86). Тест грузит {@code BundledFontMapper} напрямую, а
|
||||
* инициализация класса-подкласса по JLS тянет {@code <clinit>}
|
||||
* {@code BestMatchingMapper} — без арминга скан прошёл бы ungated.
|
||||
* Package-private: PMD UnusedPrivateField не видит побочных эффектов
|
||||
* инициализации, обращение к полю не нужно ни одному тесту.
|
||||
*/
|
||||
static final boolean ARMED = arm();
|
||||
|
||||
private static boolean arm() {
|
||||
Docx4jProperties.setProperty("docx4j.fonts.discoverPhysicalFonts.enabled", "false");
|
||||
Docx4jProperties.setProperty("docx4j.fonts.discoverJarFonts.enabled", "false");
|
||||
return true;
|
||||
}
|
||||
|
||||
/** Тело теста, кидающее checked-исключение (populateFontMappings throws Exception). */
|
||||
private interface TestBody {
|
||||
void run() throws Exception;
|
||||
@@ -44,29 +61,6 @@ class BundledFontMapperTest {
|
||||
}
|
||||
}
|
||||
|
||||
/** Алиас + зарегистрированное семейство -> бандл-семейство (имя в любом регистре). */
|
||||
@Test
|
||||
void bundledFamilyKnownAliasMapsToBundle() {
|
||||
BundledFonts.init();
|
||||
assertEquals("carlito", BundledFontMapper.bundledFamily("Calibri"));
|
||||
assertEquals("tinos", BundledFontMapper.bundledFamily("Times New Roman"));
|
||||
assertEquals("dejavu sans", BundledFontMapper.bundledFamily("DejaVu Sans"));
|
||||
}
|
||||
|
||||
/** Имени нет в таблице алиасов -> финальный fallback. */
|
||||
@Test
|
||||
void bundledFamilyUnknownFallsBack() {
|
||||
BundledFonts.init();
|
||||
assertEquals("dejavu sans", BundledFontMapper.bundledFamily("Zzz Not A Font"));
|
||||
}
|
||||
|
||||
/** Алиас есть, но бандл не зарегистрирован (init() не вызван) -> fallback. */
|
||||
@Test
|
||||
void bundledFamilyWithoutInitFallsBack() throws Exception {
|
||||
withoutBundledInit(() ->
|
||||
assertEquals("dejavu sans", BundledFontMapper.bundledFamily("Calibri")));
|
||||
}
|
||||
|
||||
/**
|
||||
* Имя документа == SYMBOL_FONT маппится сразу (до родительского поиска),
|
||||
* алиасы — на бандл, нераспознанное — в fallback DejaVu Sans.
|
||||
@@ -106,11 +100,30 @@ class BundledFontMapperTest {
|
||||
});
|
||||
}
|
||||
|
||||
/** Имя бандл-семейства для w:rFonts: отображаемое имя или само семейство. */
|
||||
/**
|
||||
* Варианты начертаний отдаются реальным sibling-файлом бандла, а не
|
||||
* результатом registry-эвристики: на macOS без override
|
||||
* {@code PhysicalFonts.getBoldForm} для «Carlito Regular» уходит в
|
||||
* {@code MicrosoftFontsRegistry} (Mac-имя файла {@code null}) и возвращает
|
||||
* {@code null} — на этой платформе тест красный. На Linux super тоже
|
||||
* находит bold, поэтому сквозная регрессия macOS — конвертерные тесты
|
||||
* {@code WordPdfConverterTest#strictOoxml_convertsNotRejected} и
|
||||
* {@code #ruPlain_regularRunsUseRegularFont}, а этот фиксирует контракт
|
||||
* маппера.
|
||||
*/
|
||||
@Test
|
||||
void documentFontNameMapsDisplayNames() {
|
||||
assertEquals("DejaVu Sans", BundledFontMapper.documentFontName("dejavu sans"));
|
||||
assertEquals("carlito", BundledFontMapper.documentFontName("carlito"),
|
||||
"семейство без отображаемого имени возвращается как есть");
|
||||
void variantForms_resolveBundleSibling() {
|
||||
BundledFonts.init();
|
||||
BundledFontMapper mapper = new BundledFontMapper();
|
||||
PhysicalFont regular = BundledFonts.regular("carlito");
|
||||
|
||||
assertSame(BundledFonts.bold("carlito"),
|
||||
mapper.getBoldForm("Carlito Regular", regular), "bold-вариант");
|
||||
assertSame(BundledFonts.italic("carlito"),
|
||||
mapper.getItalicForm("Carlito Regular", regular), "italic-вариант");
|
||||
assertSame(BundledFonts.boldItalic("carlito"),
|
||||
mapper.getBoldItalicForm("Carlito Regular", regular), "bolditalic-вариант");
|
||||
assertNull(mapper.getBoldForm("Unknown", null),
|
||||
"путь super без physicalFont не должен падать");
|
||||
}
|
||||
}
|
||||
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user