Compare commits

..

2 Commits

20 changed files with 91 additions and 477 deletions
+2 -2
View File
@@ -5,7 +5,7 @@ WORDPDF_API_KEY=
# Лимиты входа (задаёт только сервер; параметрами запроса не переопределяются). # Лимиты входа (задаёт только сервер; параметрами запроса не переопределяются).
# Либо закомментировано (тогда дефолт), либо конкретное число — пустое # Либо закомментировано (тогда дефолт), либо конкретное число — пустое
# значение ломает старт приложения. # значение ломает старт приложения.
# Максимальный размер .docx в МБ (MiB, дефолт 5) # Максимальный размер .docx в байтах (дефолт 5242880 = 5 МБ)
#WORDPDF_MAX_MB=5 #WORDPDF_MAX_BYTES=5242880
# Максимальное число страниц (дефолт 100) # Максимальное число страниц (дефолт 100)
#WORDPDF_MAX_PAGES=100 #WORDPDF_MAX_PAGES=100
-209
View File
@@ -1,209 +0,0 @@
name: "Main: tests, deploy, autotests"
on:
push:
branches: [main]
workflow_dispatch:
jobs:
java:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v5
- name: Setup JDK 21
uses: actions/setup-java@v5
with:
java-version: '21'
distribution: 'temurin'
- name: Cache Maven repository
uses: actions/cache@v4
with:
path: ~/.m2/repository
key: maven-${{ hashFiles('pom.xml', 'wordpdf-core/pom.xml', 'wordpdf-app/pom.xml') }}
restore-keys: maven-
- name: Setup Maven 3.9.16
run: |
curl -fsSL https://dlcdn.apache.org/maven/maven-3/3.9.16/binaries/apache-maven-3.9.16-bin.tar.gz | tar xz -C /opt
echo "/opt/apache-maven-3.9.16/bin" >> "$GITHUB_PATH"
- name: Build and test (PMD gate included)
run: mvn -B clean verify
web:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v5
- name: Cache npm
uses: actions/cache@v4
with:
path: ~/.npm
key: npm-${{ hashFiles('wordpdf-web/package-lock.json') }}
restore-keys: npm-
- name: Install dependencies
working-directory: wordpdf-web
run: npm ci
- name: Build SPA
working-directory: wordpdf-web
run: npm run build
- name: Lint SPA
working-directory: wordpdf-web
run: npm run lint
images:
runs-on: ubuntu-latest
needs: [java, web]
steps:
- uses: actions/checkout@v5
- name: Check registry vars and secret
env:
REGISTRY: ${{ vars.REGISTRY }}
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
run: |
[ -n "$REGISTRY" ] && [ -n "$REGISTRY_USER" ] && [ -n "$REGISTRY_PASSWORD" ] || {
echo "Задайте Actions Variable REGISTRY и Secrets REGISTRY_USER/REGISTRY_PASSWORD — см. GITEA-vars.md" >&2
exit 1
}
- name: Docker auth
env:
REGISTRY: ${{ vars.REGISTRY }}
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
run: |
mkdir -p ~/.docker
printf '{"auths":{"%s":{"auth":"%s"}}}' "$REGISTRY" \
"$(printf '%s:%s' "$REGISTRY_USER" "$REGISTRY_PASSWORD" | base64 -w0)" > ~/.docker/config.json
- name: Build and push app image
env:
REGISTRY: ${{ vars.REGISTRY }}
run: |
sha="${GITHUB_SHA:0:7}"
# DOCKER_BUILDKIT=0: daemon за раннером — podman, BuildKit-сессий нет,
# только classic /build (buildah).
DOCKER_BUILDKIT=0 docker build -f Containerfile \
-t "$REGISTRY/wordpdf-app:prod" -t "$REGISTRY/wordpdf-app:sha-$sha" .
docker push "$REGISTRY/wordpdf-app:prod"
docker push "$REGISTRY/wordpdf-app:sha-$sha"
- name: Build and push web image
env:
REGISTRY: ${{ vars.REGISTRY }}
run: |
sha="${GITHUB_SHA:0:7}"
# VITE_BASE прод-префикса пёкся раньше build-аргом в прод-compose;
# теперь он здесь — образ из реестра едет на прод как есть.
DOCKER_BUILDKIT=0 docker build -f wordpdf-web/Containerfile \
--build-arg VITE_BASE=/pdf-converter/ \
-t "$REGISTRY/wordpdf-web:prod" -t "$REGISTRY/wordpdf-web:sha-$sha" wordpdf-web
docker push "$REGISTRY/wordpdf-web:prod"
docker push "$REGISTRY/wordpdf-web:sha-$sha"
deploy:
runs-on: ubuntu-latest
needs: images
steps:
- name: Check deploy vars and secret
env:
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }}
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
REGISTRY: ${{ vars.REGISTRY }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
run: |
[ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$REGISTRY" ] && [ -n "$WORDPDF_MAX_MB" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$DEPLOY_SSH_KEY" ] || {
echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR/REGISTRY/WORDPDF_MAX_MB/WORDPDF_MAX_PAGES и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2
exit 1
}
- name: Save rollback state and deploy
uses: appleboy/ssh-action@v1.0.3
with:
host: ${{ vars.DEPLOY_HOST }}
username: ${{ vars.DEPLOY_USER }}
key: ${{ secrets.DEPLOY_SSH_KEY }}
script_stop: true
script: |
set -euo pipefail
cd "${{ vars.DEPLOY_DIR }}"
export WORDPDF_MAX_MB="${{ vars.WORDPDF_MAX_MB }}" WORDPDF_MAX_PAGES="${{ vars.WORDPDF_MAX_PAGES }}"
umask 077
{
echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)"
echo "PREV_WEB=$(podman inspect -f '{{.Image}}' wordpdf-prod-web-1)"
} > .rollback.env
./restart.sh --deploy
autotests:
runs-on: ubuntu-latest
needs: deploy
steps:
- uses: actions/checkout@v5
- name: Setup venv
run: |
python3 -m venv .venv
.venv/bin/pip install -q -r prod-autotests/requirements.txt
- name: Check autotest vars and secret
env:
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
run: |
[ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_MAX_MB" ] && [ -n "$WORDPDF_API_KEY" ] || {
echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES/WORDPDF_MAX_MB и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2
exit 1
}
- name: Run prod autotests
env:
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
run: cd prod-autotests && ../.venv/bin/python -m pytest -q .
rollback:
runs-on: ubuntu-latest
needs: [deploy, autotests]
if: failure()
steps:
- name: Roll back prod to previous images
uses: appleboy/ssh-action@v1.0.3
with:
host: ${{ vars.DEPLOY_HOST }}
username: ${{ vars.DEPLOY_USER }}
key: ${{ secrets.DEPLOY_SSH_KEY }}
script_stop: true
script: |
set -euo pipefail
cd "${{ vars.DEPLOY_DIR }}"
export WORDPDF_MAX_MB="${{ vars.WORDPDF_MAX_MB }}" WORDPDF_MAX_PAGES="${{ vars.WORDPDF_MAX_PAGES }}"
if [ ! -f .rollback.env ]; then
echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2
exit 1
fi
. ./.rollback.env
podman tag "$PREV_APP" "${{ vars.REGISTRY }}/wordpdf-app:prod"
podman tag "$PREV_WEB" "${{ vars.REGISTRY }}/wordpdf-web:prod"
podman-compose up -d --force-recreate app web
for _ in $(seq 1 60); do
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
sleep 2
done
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] || { echo "app НЕ healthy после отката" >&2; exit 1; }
podman-compose restart gateway
curl -fsS http://127.0.0.1:9010/actuator/health
-56
View File
@@ -1,56 +0,0 @@
name: PR checks
on:
pull_request:
workflow_dispatch:
jobs:
java:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v5
- name: Setup JDK 21
uses: actions/setup-java@v5
with:
java-version: '21'
distribution: 'temurin'
- name: Cache Maven repository
uses: actions/cache@v4
with:
path: ~/.m2/repository
key: maven-${{ hashFiles('pom.xml', 'wordpdf-core/pom.xml', 'wordpdf-app/pom.xml') }}
restore-keys: maven-
- name: Setup Maven 3.9.16
run: |
curl -fsSL https://dlcdn.apache.org/maven/maven-3/3.9.16/binaries/apache-maven-3.9.16-bin.tar.gz | tar xz -C /opt
echo "/opt/apache-maven-3.9.16/bin" >> "$GITHUB_PATH"
- name: Build and test (PMD gate included)
run: mvn -B clean verify
web:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v5
- name: Cache npm
uses: actions/cache@v4
with:
path: ~/.npm
key: npm-${{ hashFiles('wordpdf-web/package-lock.json') }}
restore-keys: npm-
- name: Install dependencies
working-directory: wordpdf-web
run: npm ci
- name: Build SPA
working-directory: wordpdf-web
run: npm run build
- name: Lint SPA
working-directory: wordpdf-web
run: npm run lint
+8 -38
View File
@@ -29,7 +29,7 @@ POI `WordToFoConverter` (HWPF→XSL-FO) → тот же FOP-форк. Поряд
- Конвертации **сериализованы** однопоточным `ThreadPoolExecutor` (`ConversionService.QUEUE_CAPACITY = 16`, переполнение → 503): ядро мутирует глобальный реестр `PhysicalFonts`. `future.cancel(true)` при таймауте не останавливает FOP мгновенно — осознанный компромисс. - Конвертации **сериализованы** однопоточным `ThreadPoolExecutor` (`ConversionService.QUEUE_CAPACITY = 16`, переполнение → 503): ядро мутирует глобальный реестр `PhysicalFonts`. `future.cancel(true)` при таймауте не останавливает FOP мгновенно — осознанный компромисс.
- Ошибки (`ApiExceptionHandler`, тело `{"error": …}`): `ValidationException` → 400; `ConversionFailedException` → 500; `ConversionRejectedException` → 503; `ConversionTimeoutException` (`wordpdf.convert-timeout`, 2m) → 504; `MaxUploadSizeExceededException` → 413; `MissingServletRequestPartException`/`MissingServletRequestParameterException` → 400; `NoResourceFoundException` (неизвестный путь) → 404; catch-all → 500 (подробности только в лог). `ValidationException` — тип ядра `ru.pjandro.wordpdf.ValidationException extends ConversionException` (публичный), валидатор бросает его сам, app-дубликата нет; три app-исключения (`ConversionFailedException`, `ConversionRejectedException`, `ConversionTimeoutException`) — package-private, несут семантику 500/503/504. `doConvert` перехватывает `ValidationException` раньше `ConversionException` — отказ страницы-лимита из конвейера ядра даёт 400, а не 500. Граница: сломанный контейнер (не zip / не OLE2 / размер / страницы) → 400, валидный контейнер с мусором внутри → 500. Валидация до очереди: `WordPdfValidator.validate(docxBytes, options)` (внутри порядок значим: `checkInput` → подпись контейнера (zip `PK\x03\x04` **или** OLE2 `D0 CF 11 E0`) → страницы); тот же метод — вход ядра. - Ошибки (`ApiExceptionHandler`, тело `{"error": …}`): `ValidationException` → 400; `ConversionFailedException` → 500; `ConversionRejectedException` → 503; `ConversionTimeoutException` (`wordpdf.convert-timeout`, 2m) → 504; `MaxUploadSizeExceededException` → 413; `MissingServletRequestPartException`/`MissingServletRequestParameterException` → 400; `NoResourceFoundException` (неизвестный путь) → 404; catch-all → 500 (подробности только в лог). `ValidationException` — тип ядра `ru.pjandro.wordpdf.ValidationException extends ConversionException` (публичный), валидатор бросает его сам, app-дубликата нет; три app-исключения (`ConversionFailedException`, `ConversionRejectedException`, `ConversionTimeoutException`) — package-private, несут семантику 500/503/504. `doConvert` перехватывает `ValidationException` раньше `ConversionException` — отказ страницы-лимита из конвейера ядра даёт 400, а не 500. Граница: сломанный контейнер (не zip / не OLE2 / размер / страницы) → 400, валидный контейнер с мусором внутри → 500. Валидация до очереди: `WordPdfValidator.validate(docxBytes, options)` (внутри порядок значим: `checkInput` → подпись контейнера (zip `PK\x03\x04` **или** OLE2 `D0 CF 11 E0`) → страницы); тот же метод — вход ядра.
- **Ключ доступа**: `ApiKeyFilter` сверяет заголовок `X-API-Key` (`ApiKeyFilter.HEADER`) со свойством `wordpdf.api-key` (env `WORDPDF_API_KEY`, сравнение `MessageDigest.isEqual`). Пустое свойство = аутентификация выключена (dev `java -jar`, тесты). Без ключа открыты `/actuator/**` (HEALTHCHECK) и документация springdoc (`/swagger-ui*`, `/v3/api-docs*`) — матч по пути **без forwarded-contextPath** (`getRequestURI()` минус `getContextPath()`; иначе под `X-Forwarded-Prefix` HEALTHCHECK получил бы 401). 401 пишет сам фильтр (`ApiExceptionHandler` ошибок фильтров не видит). Springdoc в проде **включён**, документация открыта без ключа под `https://pjandro.ru/pdf-converter/swagger-ui.html` (server-URL/swagger-config собираются из `X-Forwarded-*`, `server.forward-headers-strategy=framework` — `native`-клапан Tomcat `X-Forwarded-Prefix` не понимает). Регрессии — `ApiKeyFilterTest#forwardedPrefix_healthStaysOpen`, `ApiKeyFilterTest#docsOpenWithoutKey`. - **Ключ доступа**: `ApiKeyFilter` сверяет заголовок `X-API-Key` (`ApiKeyFilter.HEADER`) со свойством `wordpdf.api-key` (env `WORDPDF_API_KEY`, сравнение `MessageDigest.isEqual`). Пустое свойство = аутентификация выключена (dev `java -jar`, тесты). Без ключа открыты `/actuator/**` (HEALTHCHECK) и документация springdoc (`/swagger-ui*`, `/v3/api-docs*`) — матч по пути **без forwarded-contextPath** (`getRequestURI()` минус `getContextPath()`; иначе под `X-Forwarded-Prefix` HEALTHCHECK получил бы 401). 401 пишет сам фильтр (`ApiExceptionHandler` ошибок фильтров не видит). Springdoc в проде **включён**, документация открыта без ключа под `https://pjandro.ru/pdf-converter/swagger-ui.html` (server-URL/swagger-config собираются из `X-Forwarded-*`, `server.forward-headers-strategy=framework` — `native`-клапан Tomcat `X-Forwarded-Prefix` не понимает). Регрессии — `ApiKeyFilterTest#forwardedPrefix_healthStaysOpen`, `ApiKeyFilterTest#docsOpenWithoutKey`.
- Лимиты входа задаёт **только конфигурация сервера**: `wordpdf.max-mb`/`wordpdf.max-pages` (env `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`), `@Value` в `ConvertController` с дефолтом-SpEL из `WordPdfSettings` (5 МБ / 100); значение ≤ 0 → `IllegalStateException` на старте; параметрами запроса не переопределяются. Ключи в `application.properties` **не объявлены** — пустое значение затенит SpEL-дефолт. - Лимиты входа задаёт **только конфигурация сервера**: `wordpdf.max-bytes`/`wordpdf.max-pages` (env `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`), `@Value` в `ConvertController` с дефолтом-SpEL из `WordPdfSettings` (5 MiB / 100); значение ≤ 0 → `IllegalStateException` на старте; параметрами запроса не переопределяются. Ключи в `application.properties` **не объявлены** — пустое значение затенит SpEL-дефолт.
- SPA: вся сеть в `src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), при 401 очищается, экран `ApiKeyGate` (`UnauthorizedError` — наследник `ApiError`, проверяется раньше); гейт показывается только когда `probeApiKey()` (GET /api/v1/convert → 401 от `ApiKeyFilter`) подтвердил требование ключа — в dev без ключа форма открывается сразу; запросы на `${import.meta.env.BASE_URL}api/...` (vite `base` из `VITE_BASE`, дефолт `/`) — CORS не нужен (dev: vite-proxy → :8080; prod: nginx с префиксом `/pdf-converter/`). - SPA: вся сеть в `src/api.ts` (компоненты `fetch` не вызывают); ключ в `localStorage` (`wordpdf.api.key`), при 401 очищается, экран `ApiKeyGate` (`UnauthorizedError` — наследник `ApiError`, проверяется раньше); гейт показывается только когда `probeApiKey()` (GET /api/v1/convert → 401 от `ApiKeyFilter`) подтвердил требование ключа — в dev без ключа форма открывается сразу; запросы на `${import.meta.env.BASE_URL}api/...` (vite `base` из `VITE_BASE`, дефолт `/`) — CORS не нужен (dev: vite-proxy → :8080; prod: nginx с префиксом `/pdf-converter/`).
### Chart-движок (`internal/chart`, package-private кроме `DrawingPreRenderer.run`) ### Chart-движок (`internal/chart`, package-private кроме `DrawingPreRenderer.run`)
@@ -55,7 +55,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|Путь|Назначение| |Путь|Назначение|
|---|---| |---|---|
|`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API: `WordPdfConverter`, `WordPdfValidator` (перегрузки `checkInput`/`checkPageCount` — `byte[]`, с лимитом/без, `checkDocPageCountLightweight` — OLE2-`.doc`, и `validate(byte[], ConvertOptions)` — полная цепочка размер → подпись контейнера (zip/OLE2) → страницы; без зависимости от docx4j — только POI для `.doc`), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `WordPdfSettings` (константы-дефолты), `ConvertOptions` (record: renderCharts, renderSmartArt, maxMb, maxPages)| |`wordpdf-core/src/main/java/ru/pjandro/wordpdf/`|публичный API: `WordPdfConverter`, `WordPdfValidator` (перегрузки `checkInput`/`checkPageCount` — `byte[]`, с лимитом/без, `checkDocPageCountLightweight` — OLE2-`.doc`, и `validate(byte[], ConvertOptions)` — полная цепочка размер → подпись контейнера (zip/OLE2) → страницы; без зависимости от docx4j — только POI для `.doc`), `ConversionException`, `ValidationException` (наследник — «вход некорректен»), `WordPdfSettings` (константы-дефолты), `ConvertOptions` (record: renderCharts, renderSmartArt, maxBytes, maxPages)|
|`…/wordpdf/fonts/`|`BundledFonts` (реестр/выгрузка TTF, `families()`, `FALLBACK_FAMILY`), `BundledFontMapper` (алиасы MS→open-source, self-map, DISPLAY_NAMES, public-хук `bundledFamily`)| |`…/wordpdf/fonts/`|`BundledFonts` (реестр/выгрузка TTF, `families()`, `FALLBACK_FAMILY`), `BundledFontMapper` (алиасы MS→open-source, self-map, DISPLAY_NAMES, public-хук `bundledFamily`)|
|`…/wordpdf/internal/`|5 байтовых нормализатора + `FopFallbackFonts` + `DocToPdfRenderer` (ветка `.doc`; классы `public` — вызываются из родительского пакета; публичные члены только `normalize`/`declare`/`render`)| |`…/wordpdf/internal/`|5 байтовых нормализатора + `FopFallbackFonts` + `DocToPdfRenderer` (ветка `.doc`; классы `public` — вызываются из родительского пакета; публичные члены только `normalize`/`declare`/`render`)|
|`…/wordpdf/internal/chart/`|11 классов Java2D-рендера диаграмм/SmartArt в PNG (public только `DrawingPreRenderer`)| |`…/wordpdf/internal/chart/`|11 классов Java2D-рендера диаграмм/SmartArt в PNG (public только `DrawingPreRenderer`)|
@@ -63,11 +63,9 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|`wordpdf-core/src/test/resources/samples/`|12 закоммиченных фикстур: 11 `.docx` + `legacy-doc.doc` (OLE2, ветка `.doc`)| |`wordpdf-core/src/test/resources/samples/`|12 закоммиченных фикстур: 11 `.docx` + `legacy-doc.doc` (OLE2, ветка `.doc`)|
|`wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/`|REST API (10 классов): `WordPdfApplication` (единственный public), `ConvertController`, `ConversionService` (очередь), `ApiExceptionHandler`, `ApiKeyFilter`, `OpenApiConfig` (`@SecurityScheme` X-API-Key для springdoc) + 4 класса исключений| |`wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/`|REST API (10 классов): `WordPdfApplication` (единственный public), `ConvertController`, `ConversionService` (очередь), `ApiExceptionHandler`, `ApiKeyFilter`, `OpenApiConfig` (`@SecurityScheme` X-API-Key для springdoc) + 4 класса исключений|
|`wordpdf-web/src/`|SPA (React 19 + TS + Vite + Tailwind): `api.ts` (вся сеть), `components/` (App, ApiKeyGate, PdfPreview, StatusMessage, DropZone, Logo)| |`wordpdf-web/src/`|SPA (React 19 + TS + Vite + Tailwind): `api.ts` (вся сеть), `components/` (App, ApiKeyGate, PdfPreview, StatusMessage, DropZone, Logo)|
|корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf`|образ бэкенда (multi-stage maven:3.9-temurin-21 → temurin-21-jre, non-root, HEALTHCHECK actuator); compose app+web+gateway: web-образ со своим HEALTHCHECK (`wget /`), в обоих compose `depends_on web: condition: service_healthy` (без health web gateway не стартует); прод-compose интерполирует `WORDPDF_MAX_MB:-5`/`WORDPDF_MAX_PAGES:-100`; podman-специфика обоих compose: `x-podman.name_separator_compat` (docker-style имена контейнеров), явные `healthcheck` app/web (дубли Containerfile-HEALTHCHECK — OCI-выгрузка его теряет), зафиксированная подсеть `10.113.0.0/24` gw `10.113.0.1` под резолвер aardvark-dns; два repo-стенда одновременно не поднять (общая подсеть)| |корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf`|образ бэкенда (multi-stage maven:3.9-temurin-21 → temurin-21-jre, non-root, HEALTHCHECK actuator); compose app+web+gateway: web-образ со своим HEALTHCHECK (`wget /`), в обоих compose `depends_on web: condition: service_healthy` (без health web gateway не стартует); прод-compose интерполирует `WORDPDF_MAX_BYTES:-5242880`/`WORDPDF_MAX_PAGES:-100`; podman-специфика обоих compose: `x-podman.name_separator_compat` (docker-style имена контейнеров), явные `healthcheck` app/web (дубли Containerfile-HEALTHCHECK — OCI-выгрузка его теряет), зафиксированная подсеть `10.113.0.0/24` gw `10.113.0.1` под резолвер aardvark-dns; два repo-стенда одновременно не поднять (общая подсеть)|
|корневой `.env.example`|шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES`; реальный прод `.env` — на прод-сервере (координаты: `/home/pjandro/prod/java-word-pdf/DEPLOY.md`, вне репо)| |корневой `.env.example`|шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`; реальный прод `.env` — на прод-сервере (координаты: `/home/pjandro/prod/java-word-pdf/DEPLOY.md`, вне репо)|
|`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → `images` (docker build + push в Nexus) → deploy (pull) → autotests → rollback)| |корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 18 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 1000 стр., ключ из соседнего `.env`)|
|корневой `GITEA-vars.md`|инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений|
|корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 19 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_MAX_MB`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 100 стр. (= Gitea Variable `WORDPDF_MAX_PAGES`), ключ из соседнего `.env`)|
|`develop/` (вне git)|рабочие материалы и эталоны Word 365 (`word.docx`+`word.pdf`, `word-export.*`, `convert.pdf`, `1212.pdf`, `diff/`) — **ручное сравнение, не фикстуры**, в тесты/jar не подключать| |`develop/` (вне git)|рабочие материалы и эталоны Word 365 (`word.docx`+`word.pdf`, `word-export.*`, `convert.pdf`, `1212.pdf`, `diff/`) — **ручное сравнение, не фикстуры**, в тесты/jar не подключать|
## Development Commands ## Development Commands
@@ -92,35 +90,7 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \
ru.pjandro.wordpdf.SampleDocxGenerator wordpdf-core/src/test/resources/samples ru.pjandro.wordpdf.SampleDocxGenerator wordpdf-core/src/test/resources/samples
``` ```
Деплой. **Прод** — на пользовательском LAN-сервере (podman 5.8.2 + podman-compose 1.6.0, бинарников `docker`/`docker-compose` на сервере нет); координаты сервера, каталог, restart-секвенция, ключ и гейты успешности — вне репо: `/home/pjandro/prod/java-word-pdf/DEPLOY.md` (обязательно прочитать перед любым деплоем/перезапуском; в том каталоге лежат архивные файлы старого стека 88.14 — `restart.sh.old-88.14`, старый compose/nginx — **не поднимать**). Единая точка входа с dev-машины — `/home/pjandro/prod/java-word-pdf/restart.sh` (пробрасывает флаги удалённому скрипту: `--deploy` — pull образов `wordpdf-{app,web}:prod` из Nexus-реестра (их собирает CI, job `images`) и пересоздание app/web; без флага — restart контейнеров; предупреждает о не запушенном в `main`). В прод попадает только собранное CI из `main` — рабочее дерево на сборку не влияет; прод не собирает код и git-клона на проде нет (insecure-запись реестра в `/etc/containers/registries.conf.d/`, креды `REGISTRY_USER`/`REGISTRY_PASSWORD` в прод `.env`). Прод-compose `/opt/wordpdf/docker-compose.yml` (вне git) содержит podman-специфику: `x-podman.name_separator_compat` (имена `wordpdf-prod-app-1`, от них зависит `restart.sh`), явные healthcheck app/web и фиксированную подсеть `10.112.0.0/24` gw `10.112.0.1`. Наружный вход `https://pjandro.ru/pdf-converter/` (префикс срезает наружный nginx прод-хоста, не репозиторный gateway-конф; прод-копия gateway-конфа отличается от репо только резолвером `10.112.0.1` — под свою подсеть — и `proxy_read_timeout 300s` — в репо его нет, дефолтные 60s рвут 2-минутные конвертации; resolver + `proxy_pass` через переменную есть и там и там). Тот же наружный nginx в `location /pdf-converter/` добавляет `X-Forwarded-Host: $host` и `X-Forwarded-Prefix: /pdf-converter` — из них springdoc собирает server-URL спека и swagger-config под префиксом (без `X-Forwarded-Host` server = `https://app:8080`, gateway шлёт приложению `Host: app:8080`); канонический URL документации `https://pjandro.ru/pdf-converter/swagger-ui.html` — открыт без ключа. **Dev-стенд** — из репо `compose.dev.yml` (проект `wordpdf-dev`, `9011:80` на все интерфейсы — вход по LAN-IP хоста, без env → ключ пуст, springdoc вкл). Репозиторный `compose.yml` — третий вариант (проект `wordpdf`, `9010:80` на все интерфейсы, `WORDPDF_API_KEY` fail-closed без `.env` — `up` упадёт, `VITE_BASE` — build-arg `wordpdf-web/Containerfile` — репо-compose НЕ передаёт: `compose build` без arg даёт base `/` и битые ассеты под префиксом; на прод-путь не влияет — там `VITE_BASE=/pdf-converter/` запекает CI в job `images`). Запуск по просьбе пользователя = прод-стек; dev/`java -jar`/`npm run dev` — внутренняя отладка. Деплой. **Прод** — на пользовательском LAN-сервере (podman 5.8.2 + podman-compose 1.6.0, бинарников `docker`/`docker-compose` на сервере нет); координаты сервера, каталог, restart-секвенция, ключ и гейты успешности — вне репо: `/home/pjandro/prod/java-word-pdf/DEPLOY.md` (обязательно прочитать перед любым деплоем/перезапуском; в том каталоге лежат архивные файлы старого стека 88.14 — `restart.sh.old-88.14`, старый compose/nginx — **не поднимать**). Единая точка входа с dev-машины — `/home/pjandro/prod/java-word-pdf/restart.sh` (пробрасывает флаги удалённому скрипту: `--build` — пересборка образов из `origin/main` + перезапуск; без флага — restart контейнеров; предупреждает о не запушенном в `main`). В прод попадает только запушенное в `main` — рабочее дерево на сборку не влияет. Прод-compose `/opt/wordpdf/docker-compose.yml` (вне git) содержит podman-специфику: `x-podman.name_separator_compat` (имена `wordpdf-prod-app-1`, от них зависит `restart.sh`), явные healthcheck app/web и фиксированную подсеть `10.112.0.0/24` gw `10.112.0.1`. Наружный вход `https://pjandro.ru/pdf-converter/` (префикс срезает наружный nginx прод-хоста, не репозиторный gateway-конф; прод-копия gateway-конфа отличается от репо только резолвером `10.112.0.1` — под свою подсеть — и `proxy_read_timeout 300s` — в репо его нет, дефолтные 60s рвут 2-минутные конвертации; resolver + `proxy_pass` через переменную есть и там и там). Тот же наружный nginx в `location /pdf-converter/` добавляет `X-Forwarded-Host: $host` и `X-Forwarded-Prefix: /pdf-converter` — из них springdoc собирает server-URL спека и swagger-config под префиксом (без `X-Forwarded-Host` server = `https://app:8080`, gateway шлёт приложению `Host: app:8080`); канонический URL документации `https://pjandro.ru/pdf-converter/swagger-ui.html` — открыт без ключа. **Dev-стенд** — из репо `compose.dev.yml` (проект `wordpdf-dev`, `9011:80` на все интерфейсы — вход по LAN-IP хоста, без env → ключ пуст, springdoc вкл). Репозиторный `compose.yml` — третий вариант (проект `wordpdf`, `9010:80` на все интерфейсы, `WORDPDF_API_KEY` fail-closed без `.env` — `up` упадёт, `VITE_BASE` — build-arg `wordpdf-web/Containerfile` — репо-compose НЕ передаёт: `compose build` без arg даёт base `/` и битые ассеты под префиксом, прод передаёт arg по DEPLOY.md). Запуск по просьбе пользователя = прод-стек; dev/`java -jar`/`npm run dev` — внутренняя отладка.
## CI/CD (Gitea Actions)
Два workflow. `.gitea/workflows/pr.yml` — `PR checks` (`pull_request` + `workflow_dispatch`):
job `java` (temurin 21, кеш `~/.m2` через `actions/cache`, Maven 3.9.16, `mvn -B clean verify`)
и `web` (кеш `~/.npm`, `npm ci`/`build`/`lint`). `.gitea/workflows/main.yml` — `Main: tests,
deploy, autotests` (`push` в `main` + `workflow_dispatch`): те же `java`/`web` (байт-в-байт
дубль — файлы самодостаточны, reusable-workflow не вводить), затем `images` (`docker build`
обоих Containerfile + `docker push` в Nexus-реестр `${{ vars.REGISTRY }}`, теги `prod` +
immovable `sha-<7 символов GITHUB_SHA>`; `DOCKER_BUILDKIT=0` обязателен — daemon за
раннером podman, BuildKit-сессий нет; job-контейнеры видят podman-сокет хоста — настройка
раннера вне репо, см. DEPLOY.md), `deploy` (SSH на прод:
сохранить `.rollback.env` — image ID контейнеров app/web — затем
`restart.sh --deploy` в директории деплоя (Variable `DEPLOY_DIR`): login в реестр +
`podman-compose pull` + `--force-recreate app web`; export Variables
`WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES` в окружение compose — лимиты прода задаются
ими, `autotests`/`rollback` используют те же), `autotests` (venv +
`prod-autotests/` против прода),
`rollback` (`if: failure()` — retag прежних image ID на `${{ vars.REGISTRY }}/wordpdf-app:prod`
и `…/wordpdf-web:prod`, `--force-recreate app web`, рестарт gateway). Кеш раннеров —
сервер act_runner, хранилище на ZFS tank (серверная часть, вне репо).
**Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни
SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты
стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`,
`WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `WORDPDF_MAX_MB`, `REGISTRY`), креды — **Secrets** (`DEPLOY_SSH_KEY`,
`WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`.
Инструкция владельца — корневой `GITEA-vars.md` (только имена, без значений).
## Code Conventions & Common Patterns ## Code Conventions & Common Patterns
@@ -135,8 +105,8 @@ SSH-пользователи/логины, ни хосты, ни директо
## Important Files ## Important Files
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java` — точка входа библиотеки + static-блок `gsubFeatures`. - `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java` — точка входа библиотеки + static-блок `gsubFeatures`.
- `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfSettings.java` — все дефолты ядра (`MAX_INPUT_MB` 5, `MAX_PAGES` 100, `RENDER_CHARTS/SMARTART`); рантайм-конфигурации в ядре нет. - `wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfSettings.java` — все дефолты ядра (`MAX_INPUT_BYTES` 5 MiB, `MAX_PAGES` 100, `RENDER_CHARTS/SMARTART`); рантайм-конфигурации в ядре нет.
- `wordpdf-app/src/main/resources/application.properties` — multipart 100MB (`max-file-size`/`max-request-size` + `file-size-threshold=100MB`, держит файл в памяти; в тон gateway `client_max_body_size 100m`), `wordpdf.convert-timeout=2m`, пустой `wordpdf.api-key`, `server.forward-headers-strategy=framework` (префикс прод-прокси для springdoc) + `springdoc.swagger-ui.persist-authorization=true`; `wordpdf.max-mb`/`max-pages` здесь намеренно нет. - `wordpdf-app/src/main/resources/application.properties` — multipart 100MB (`max-file-size`/`max-request-size` + `file-size-threshold=100MB`, держит файл в памяти; в тон gateway `client_max_body_size 100m`), `wordpdf.convert-timeout=2m`, пустой `wordpdf.api-key`, `server.forward-headers-strategy=framework` (префикс прод-прокси для springdoc) + `springdoc.swagger-ui.persist-authorization=true`; `wordpdf.max-bytes`/`max-pages` здесь намеренно нет.
- `wordpdf-app/pom.xml` — `spring-boot-maven-plugin` с **явной** execution `repackage` (в 4.1.1 сам не связывается, jar останется тонким); `slf4j-simple` исключён; `spring-boot-starter-webmvc` (Boot 4: переименован из starter-web) + `spring-boot-starter-actuator` (нужен HEALTHCHECK контейнера `/actuator/health`); тест-зависимости: `spring-boot-webmvc-test` (в Boot 4 автоконфиг MockMvc вынесен из starter-test), test-jar core. - `wordpdf-app/pom.xml` — `spring-boot-maven-plugin` с **явной** execution `repackage` (в 4.1.1 сам не связывается, jar останется тонким); `slf4j-simple` исключён; `spring-boot-starter-webmvc` (Boot 4: переименован из starter-web) + `spring-boot-starter-actuator` (нужен HEALTHCHECK контейнера `/actuator/health`); тест-зависимости: `spring-boot-webmvc-test` (в Boot 4 автоконфиг MockMvc вынесен из starter-test), test-jar core.
- `wordpdf-core/pom.xml` — `maven-jar-plugin` execution `test-jar` (публикует фикстуры для app). - `wordpdf-core/pom.xml` — `maven-jar-plugin` execution `test-jar` (публикует фикстуры для app).
- Корневой `pom.xml` — все версии зависимостей (в модулях версии не объявлять): docx4j `17.3.2`, slf4j `2.0.20`, JUnit `6.1.3`, PDFBox `3.0.8` (test), POI `5.5.1` (compile в core — `poi-scratchpad`, ветка `.doc`; test — `poi-ooxml`, генератор фикстур), Spring Boot `4.1.1` (BOM-import), springdoc `3.1.1`; pluginManagement: compiler `3.16.0`, surefire `3.6.0` с `-Djava.awt.headless=true`, jar `3.5.1`. - Корневой `pom.xml` — все версии зависимостей (в модулях версии не объявлять): docx4j `17.3.2`, slf4j `2.0.20`, JUnit `6.1.3`, PDFBox `3.0.8` (test), POI `5.5.1` (compile в core — `poi-scratchpad`, ветка `.doc`; test — `poi-ooxml`, генератор фикстур), Spring Boot `4.1.1` (BOM-import), springdoc `3.1.1`; pluginManagement: compiler `3.16.0`, surefire `3.6.0` с `-Djava.awt.headless=true`, jar `3.5.1`.
-52
View File
@@ -1,52 +0,0 @@
# Настройка Gitea для CI/CD этого репо
Секреты, переменные и защиту ветки заводит **владелец репо** в Web UI — у CI-токена прав
admin нет. Workflow-файлы уже в репо; прогоны main-пайплайна без Variables/Secrets падают на
job'ах `deploy`/`autotests` с внятным сообщением, чего не хватает, — это ожидаемо. После
заполнения перезапустите упавший run («Re-run jobs» на странице run'а) или запустите
`Main: tests, deploy, autotests` вручную (Actions → Run workflow, branch `main`).
**Правило: координаты прода и креды в файлы репо не попадают** — ни в workflow'ы, ни в этот
гайд: здесь только имена Variables/Secrets, значения живут только в Gitea.
## Секреты (Settings → Actions → Secrets)
|Имя|Значение|Где взять|
|---|---|---|
|`DEPLOY_SSH_KEY`|Приватный SSH-ключ деплоя на прод (целиком, PEM)|CI-ключ `wordpdf-ci-deploy` на dev-машине; публичная половина уже добавлена в `authorized_keys` деплой-пользователя прод-сервера|
|`WORDPDF_API_KEY`|Прод-ключ API wordpdf|`.env` в директории деплоя на прод-сервере (значение `WORDPDF_API_KEY`)|
|`REGISTRY_USER`|Логин docker-реестра для CI-пуша (`ci-deploy`)|Nexus: Security → Users (роль `ci-deploy-role`, права на docker-hosted репозиторий)|
|`REGISTRY_PASSWORD`|Пароль этого пользователя|Тот же, что в `.env` директории деплоя на прод-сервере (значение `REGISTRY_PASSWORD`)|
## Переменные (Settings → Actions → Variables)
|Имя|Значение|
|---|---|
|`DEPLOY_HOST`|Адрес прод-сервера (туда Actions ходит по SSH)|
|`DEPLOY_USER`|SSH-пользователь прод-сервера с правами на podman|
|`DEPLOY_DIR`|Абсолютный путь директории деплоя на прод-сервере (compose, `restart.sh`, `.rollback.env`, `.env`)|
|`WORDPDF_BASE_URL`|Базовый URL прод-API для автотестов (вида `https://<домен-прода>/pdf-converter`)|
|`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `100`)|
|`WORDPDF_MAX_MB`|Лимит размера входного .docx, МБ (сейчас `5`)|
|`REGISTRY`|Адрес docker-реестра `host:port` без схемы (Nexus docker-registry на прод-сервере, коннектор `:5000`)|
При смене лимитов прода — править `WORDPDF_MAX_PAGES`/`WORDPDF_MAX_MB` в Variables, PR не нужен: job `deploy` прокидывает их в прод-stack (app пересоздаётся с новыми лимитами), job `autotests` сверяет проверки с ними же. Без обеих Variables job'ы `deploy`/`autotests` падают на проверке — fail-closed.
## Защита ветки main (блокировка мержа до зелёных проверок)
Settings → Branches → Branch Protection → Add protection:
- Branch name: `main`
- включить **Enable Status Check on Merge**
- **Status checks on merge**: `PR checks / java (pull_request), PR checks / web (pull_request)`
Контексты — фактические строки статуса, которые Gitea 1.26 публикует для job'ов Actions
(формат `<workflow> / <job> (<event>)`, проверено на первом PR-ране), а не голые имена
job'ов. `deploy`/`autotests` в список НЕ включать: на PR они не запускаются,
мерж блокировался бы навсегда.
## Ручной перезапуск проверок
- Упавший run: страница run'а → **Re-run jobs** (можно только упавшие job'ы).
- Новый прогон main-пайплайна без нового коммита: Actions → `Main: tests, deploy, autotests`
→ **Run workflow** (branch `main`) — триггер `workflow_dispatch`.
- PR-проверки без нового коммита: Actions → `PR checks` → Run workflow (branch PR-ветки).
+2 -2
View File
@@ -22,10 +22,10 @@ services:
# документация в прод-интернете не нужна (в dev/java -jar остаётся включена) # документация в прод-интернете не нужна (в dev/java -jar остаётся включена)
SPRINGDOC_API_DOCS_ENABLED: "false" SPRINGDOC_API_DOCS_ENABLED: "false"
SPRINGDOC_SWAGGER_UI_ENABLED: "false" SPRINGDOC_SWAGGER_UI_ENABLED: "false"
# лимиты входа (МБ/страницы); значение из .env, иначе дефолты ядра; # лимиты входа (байты/страницы); значение из .env, иначе дефолты ядра;
# интерполяция :- подставляет и на unset, и на пустое — пустая строка # интерполяция :- подставляет и на unset, и на пустое — пустая строка
# сломала бы binding long/int # сломала бы binding long/int
WORDPDF_MAX_MB: "${WORDPDF_MAX_MB:-5}" WORDPDF_MAX_BYTES: "${WORDPDF_MAX_BYTES:-5242880}"
WORDPDF_MAX_PAGES: "${WORDPDF_MAX_PAGES:-100}" WORDPDF_MAX_PAGES: "${WORDPDF_MAX_PAGES:-100}"
web: web:
build: ./wordpdf-web build: ./wordpdf-web
+1 -1
View File
@@ -3,7 +3,7 @@
server { server {
listen 80; listen 80;
# потолок загрузки стека: больше не пропустит ни шлюз, ни Spring multipart; # потолок загрузки стека: больше не пропустит ни шлюз, ни Spring multipart;
# авторитетный лимит — свойство wordpdf.max-mb (env WORDPDF_MAX_MB, # авторитетный лимит — свойство wordpdf.max-bytes (env WORDPDF_MAX_BYTES,
# дефолт 5 MiB). Без директивы upload режется HTML-413 от шлюза до бэкенда. # дефолт 5 MiB). Без директивы upload режется HTML-413 от шлюза до бэкенда.
client_max_body_size 100m; client_max_body_size 100m;
# app/web резолвятся aardvark-dns, который сидит на шлюзе сети стека # app/web резолвятся aardvark-dns, который сидит на шлюзе сети стека
+1 -8
View File
@@ -9,8 +9,7 @@ WORDPDF_BASE_URL обязателен: без него все проверки
где есть заголовок ключа или ожидается 401, пропускаются (без локального ключа где есть заголовок ключа или ожидается 401, пропускаются (без локального ключа
нельзя знать, включена ли аутентификация на стенде). WORDPDF_MAX_PAGES — ожидаемый нельзя знать, включена ли аутентификация на стенде). WORDPDF_MAX_PAGES — ожидаемый
лимит страниц стенда (конфигурация сервера, не константа набора; дефолт 100 = лимит страниц стенда (конфигурация сервера, не константа набора; дефолт 100 =
дефолт ядра). WORDPDF_MAX_MB — ожидаемый лимит размера .docx стенда в МБ (MiB; дефолт дефолт ядра). .docx-фикстуры — из wordpdf-core/src/test/resources/samples,
5 = дефолт ядра). .docx-фикстуры — из wordpdf-core/src/test/resources/samples,
либо из WORDPDF_SAMPLES_DIR. либо из WORDPDF_SAMPLES_DIR.
""" """
@@ -56,12 +55,6 @@ def max_pages():
return int(os.environ.get("WORDPDF_MAX_PAGES", "100")) return int(os.environ.get("WORDPDF_MAX_PAGES", "100"))
@pytest.fixture(scope="session")
def max_mb():
"""Ожидаемый лимит размера входа стенда, МБ (MiB): серверная конфигурация, не константа набора."""
return int(os.environ.get("WORDPDF_MAX_MB", "5"))
@pytest.fixture(scope="session") @pytest.fixture(scope="session")
def api_key(): def api_key():
return os.environ.get("WORDPDF_API_KEY", "").strip() return os.environ.get("WORDPDF_API_KEY", "").strip()
+1 -33
View File
@@ -5,9 +5,6 @@ ConvertController на main. Флаги конвертации передают
(контроллер принимает и form, но query детерминированнее). (контроллер принимает и form, но query детерминированнее).
""" """
import io
import zipfile
import requests import requests
from conftest import TIMEOUT, needs_key from conftest import TIMEOUT, needs_key
@@ -116,8 +113,7 @@ def test_too_many_pages_vs_limit(url, samples, key_header, max_pages):
"""too-many-pages.docx (151 стр.): сверх лимита стенда — 400 до рендера; ниже лимита — конвертится. """too-many-pages.docx (151 стр.): сверх лимита стенда — 400 до рендера; ниже лимита — конвертится.
Лимит страниц — конфигурация сервера (env WORDPDF_MAX_PAGES), не константа Лимит страниц — конфигурация сервера (env WORDPDF_MAX_PAGES), не константа
набора: лимит стенда приходит переменной `WORDPDF_MAX_PAGES` (на проде — набора: прод идёт со 1000, там фикстура — валидный вход; 400-ветка покрыта
Gitea Variable, сейчас 100), там фикстура — отказ; 400-ветка покрыта
Java-регрессией WordPdfConverterTest#staleCachePageCountRejectedBeforeRender. Java-регрессией WordPdfConverterTest#staleCachePageCountRejectedBeforeRender.
""" """
r = requests.post( r = requests.post(
@@ -155,34 +151,6 @@ def test_stale_cache_vs_limit(url, samples, key_header, max_pages):
assert r.content[:4] == b"%PDF" assert r.content[:4] == b"%PDF"
@needs_key
def test_oversized_vs_limit(url, samples, key_header, max_mb):
"""Граница размера: валидный zip-docx больше WORDPDF_MAX_MB стенда (МБ) — 400 от checkInput до рендера.
Раздутый нулями ZIP_STORED-филлер остаётся валидным zip, так что 400
может дать только проверка размера (не подпись zip). Если лимит сервера
расходится с WORDPDF_MAX_MB в большую сторону — сервер вернёт не 400
и тест это поймает.
"""
max_bytes = max_mb * 1024 * 1024
buf = io.BytesIO()
with zipfile.ZipFile(samples / "en-plain.docx") as src, \
zipfile.ZipFile(buf, "w", zipfile.ZIP_STORED) as out:
for item in src.infolist():
out.writestr(item, src.read(item.filename))
out.writestr("filler.bin", b"\0" * (max_bytes + 1))
payload = buf.getvalue()
assert len(payload) > max_bytes
r = requests.post(
url(CONVERT),
headers=key_header,
files={"file": ("oversized.docx", payload)},
timeout=TIMEOUT,
)
assert r.status_code == 400
assert "error" in r.json()
@needs_key @needs_key
def test_not_a_zip_rejected(url, notzip_docx, key_header): def test_not_a_zip_rejected(url, notzip_docx, key_header):
"""Граница «сломанный контейнер → 400, а не 500»: .docx-суффикс, содержимое — мусор.""" """Граница «сломанный контейнер → 400, а не 500»: .docx-суффикс, содержимое — мусор."""
@@ -67,7 +67,7 @@ final class ApiExceptionHandler {
/** /**
* Контейнерный потолок multipart (100 МБ в application.properties) * Контейнерный потолок multipart (100 МБ в application.properties)
* сработал раньше ядра: срабатывает только на инфраструктурный лимит, * сработал раньше ядра: срабатывает только на инфраструктурный лимит,
* авторитетный (свойство {@code wordpdf.max-mb}/env {@code WORDPDF_MAX_MB}) * авторитетный (свойство {@code wordpdf.max-bytes}/env {@code WORDPDF_MAX_BYTES})
* проверяет {@code WordPdfValidator} и отвечает 400 своим текстом. * проверяет {@code WordPdfValidator} и отвечает 400 своим текстом.
*/ */
@ExceptionHandler(MaxUploadSizeExceededException.class) @ExceptionHandler(MaxUploadSizeExceededException.class)
@@ -29,15 +29,15 @@ import java.util.Locale;
* zip/OLE2, размер, страницы) — зона {@link WordPdfValidator#validate(byte[], ConvertOptions)}. * zip/OLE2, размер, страницы) — зона {@link WordPdfValidator#validate(byte[], ConvertOptions)}.
* Ошибки в JSON-ответ переводит * Ошибки в JSON-ответ переводит
* {@link ApiExceptionHandler}. Лимиты входа — только конфигурация сервера * {@link ApiExceptionHandler}. Лимиты входа — только конфигурация сервера
* (свойства {@code wordpdf.max-mb}/{@code wordpdf.max-pages}, env * (свойства {@code wordpdf.max-bytes}/{@code wordpdf.max-pages}, env
* {@code WORDPDF_MAX_MB}/{@code WORDPDF_MAX_PAGES}); параметрами запроса * {@code WORDPDF_MAX_BYTES}/{@code WORDPDF_MAX_PAGES}); параметрами запроса
* они не переопределяются.</p> * они не переопределяются.</p>
*/ */
@RestController @RestController
final class ConvertController { final class ConvertController {
private final ConversionService conversionService; private final ConversionService conversionService;
private final long maxMb; private final long maxBytes;
private final int maxPages; private final int maxPages;
/** /**
@@ -47,16 +47,16 @@ final class ConvertController {
* отсекается» — худший исход, чем не поднявшийся сервис. * отсекается» — худший исход, чем не поднявшийся сервис.
*/ */
ConvertController(ConversionService conversionService, ConvertController(ConversionService conversionService,
@Value("${wordpdf.max-mb:#{T(ru.pjandro.wordpdf.WordPdfSettings).MAX_INPUT_MB}}") long maxMb, @Value("${wordpdf.max-bytes:#{T(ru.pjandro.wordpdf.WordPdfSettings).MAX_INPUT_BYTES}}") long maxBytes,
@Value("${wordpdf.max-pages:#{T(ru.pjandro.wordpdf.WordPdfSettings).MAX_PAGES}}") int maxPages) { @Value("${wordpdf.max-pages:#{T(ru.pjandro.wordpdf.WordPdfSettings).MAX_PAGES}}") int maxPages) {
if (maxMb <= 0) { if (maxBytes <= 0) {
throw new IllegalStateException("wordpdf.max-mb должен быть больше 0: " + maxMb); throw new IllegalStateException("wordpdf.max-bytes должен быть больше 0: " + maxBytes);
} }
if (maxPages <= 0) { if (maxPages <= 0) {
throw new IllegalStateException("wordpdf.max-pages должен быть больше 0: " + maxPages); throw new IllegalStateException("wordpdf.max-pages должен быть больше 0: " + maxPages);
} }
this.conversionService = conversionService; this.conversionService = conversionService;
this.maxMb = maxMb; this.maxBytes = maxBytes;
this.maxPages = maxPages; this.maxPages = maxPages;
} }
@@ -64,7 +64,7 @@ final class ConvertController {
description = "renderCharts/renderSmartArt/errorOnCharts/errorOnSmartArt — факультативно, " description = "renderCharts/renderSmartArt/errorOnCharts/errorOnSmartArt — факультативно, "
+ "по умолчанию настройки ядра; render-флаг приоритетнее error-флага. " + "по умолчанию настройки ядра; render-флаг приоритетнее error-флага. "
+ "Лимиты входа (размер/страницы) задаёт только конфигурация сервера " + "Лимиты входа (размер/страницы) задаёт только конфигурация сервера "
+ "(свойства wordpdf.max-mb/wordpdf.max-pages), параметрами запроса не переопределяются. " + "(свойства wordpdf.max-bytes/wordpdf.max-pages), параметрами запроса не переопределяются. "
+ ".doc (Word 97-2003) конвертируется с деградацией вёрстки: шрифты — аналоги из бандла, " + ".doc (Word 97-2003) конвертируется с деградацией вёрстки: шрифты — аналоги из бандла, "
+ "колонтитулы переносятся, диаграммы — как встроенные превью-изображения; " + "колонтитулы переносятся, диаграммы — как встроенные превью-изображения; "
+ "renderCharts/renderSmartArt/errorOn* на .doc не влияют") + "renderCharts/renderSmartArt/errorOn* на .doc не влияют")
@@ -99,7 +99,7 @@ final class ConvertController {
renderSmartArt != null ? renderSmartArt : WordPdfSettings.RENDER_SMARTART, renderSmartArt != null ? renderSmartArt : WordPdfSettings.RENDER_SMARTART,
errorOnCharts != null ? errorOnCharts : WordPdfSettings.ERROR_ON_CHARTS, errorOnCharts != null ? errorOnCharts : WordPdfSettings.ERROR_ON_CHARTS,
errorOnSmartArt != null ? errorOnSmartArt : WordPdfSettings.ERROR_ON_SMARTART, errorOnSmartArt != null ? errorOnSmartArt : WordPdfSettings.ERROR_ON_SMARTART,
maxMb, maxPages); maxBytes, maxPages);
byte[] pdf = conversionService.convert(docxBytes, name, options); byte[] pdf = conversionService.convert(docxBytes, name, options);
ContentDisposition disposition = ContentDisposition.attachment() ContentDisposition disposition = ContentDisposition.attachment()
.filename(ConversionService.safeBaseName(name) + ".pdf", StandardCharsets.UTF_8) .filename(ConversionService.safeBaseName(name) + ".pdf", StandardCharsets.UTF_8)
@@ -1,10 +1,10 @@
spring.application.name=wordpdf-app spring.application.name=wordpdf-app
# Потолок инфраструктуры — 100 МБ (совпадает с client_max_body_size в # Потолок инфраструктуры — 100 МБ (совпадает с client_max_body_size в
# nginx-шлюзах): больше не пропустит ни шлюз, ни контейнер. Авторитетный # nginx-шлюзах): больше не пропустит ни шлюз, ни контейнер. Авторитетный
# лимит — свойство wordpdf.max-mb (env WORDPDF_MAX_MB, МБ), по умолчанию # лимит — свойство wordpdf.max-bytes (env WORDPDF_MAX_BYTES), по умолчанию
# WordPdfSettings.MAX_INPUT_MB = 5; здесь только потолок загрузки. # WordPdfSettings.MAX_INPUT_BYTES = 5 MiB; здесь только потолок загрузки.
# Лимиты входа: env WORDPDF_MAX_MB (МБ) / WORDPDF_MAX_PAGES (страницы), # Лимиты входа: env WORDPDF_MAX_BYTES (байты) / WORDPDF_MAX_PAGES (страницы),
# дефолты — константы ядра (5 / 100), задаются ConvertController. # дефолты — константы ядра (5 MiB / 100), задаются ConvertController.
# Значение <= 0 — падение на старте. Сами ключи здесь не объявлены: # Значение <= 0 — падение на старте. Сами ключи здесь не объявлены:
# пустое значение затенит SpEL-дефолт @Value. # пустое значение затенит SpEL-дефолт @Value.
# file-size-threshold=100MB держит файл в памяти (ядро и так читает всё в RAM). # file-size-threshold=100MB держит файл в памяти (ядро и так читает всё в RAM).
@@ -265,14 +265,14 @@ class ConvertControllerTest {
/** /**
* Регрессия env-only: лимиты входа параметрами запроса не задаются. * Регрессия env-only: лимиты входа параметрами запроса не задаются.
* maxMb/maxPages в multipart-форме игнорируются — маленький * maxBytes/maxPages в multipart-форме игнорируются — маленький
* документ проходит на серверных лимитах (дефолты ядра). * документ проходит на серверных лимитах (дефолты ядра).
*/ */
@Test @Test
void requestLimitParams_areIgnored() throws Exception { void requestLimitParams_areIgnored() throws Exception {
mockMvc.perform(multipart("/api/v1/convert") mockMvc.perform(multipart("/api/v1/convert")
.file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx"))) .file(docx("ru-plain.docx", bytes("/samples/ru-plain.docx")))
.param("maxMb", "1000") .param("maxBytes", "1000")
.param("maxPages", "1")) .param("maxPages", "1"))
.andExpect(status().isOk()) .andExpect(status().isOk())
.andExpect(content().contentType(MediaType.APPLICATION_PDF)); .andExpect(content().contentType(MediaType.APPLICATION_PDF));
@@ -22,20 +22,20 @@ import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.
import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.status; import static org.springframework.test.web.servlet.result.MockMvcResultMatchers.status;
/** /**
* Лимиты входа из конфигурации сервера (свойства {@code wordpdf.max-mb}/ * Лимиты входа из конфигурации сервера (свойства {@code wordpdf.max-bytes}/
* {@code wordpdf.max-pages}) применяются сквозь HTTP: отдельный контекст с * {@code wordpdf.max-pages}) применяются сквозь HTTP: отдельный контекст с
* {@code @TestPropertySource} доказывает, что {@code ConvertController} * {@code @TestPropertySource} доказывает, что {@code ConvertController}
* читает их из окружения Spring, а не живёт на константах ядра. * читает их из окружения Spring, а не живёт на константах ядра.
* Отдельный класс, а не {@code @Nested}: {@code @Nested} + * Отдельный класс, а не {@code @Nested}: {@code @Nested} +
* {@code @TestPropertySource} не даёт отдельного контекста. * {@code @TestPropertySource} не даёт отдельного контекста.
* *
* <p>Пара свойств согласована с фикстурами: {@code max-mb=1} (1 MiB) выше * <p>Пара свойств согласована с фикстурами: {@code max-bytes=20000} выше
* обеих (2612 и 2887 байт), так что page-отсечка на {@code max-pages=1} * обеих (2612 и 2887 байт), так что page-отсечка на {@code max-pages=1}
* достижима; для byte-отсечки берётся файл заведомо больше 1 MiB.</p> * достижима; для byte-отсечки берётся файл заведомо больше 20000.</p>
*/ */
@SpringBootTest @SpringBootTest
@AutoConfigureMockMvc @AutoConfigureMockMvc
@TestPropertySource(properties = {"wordpdf.max-mb=1", "wordpdf.max-pages=1"}) @TestPropertySource(properties = {"wordpdf.max-bytes=20000", "wordpdf.max-pages=1"})
class ConvertLimitsTest { class ConvertLimitsTest {
private static final MediaType DOCX = private static final MediaType DOCX =
@@ -55,9 +55,9 @@ class ConvertLimitsTest {
return new MockMultipartFile("file", filename, DOCX.toString(), content); return new MockMultipartFile("file", filename, DOCX.toString(), content);
} }
/** Zip с ~1.5 МБ псевдослучайных байтов: больше лимита 1 MiB, не жмётся. */ /** Zip с ~40 КБ псевдослучайных байтов: больше лимита 20000, не жмётся. */
private static byte[] oversizedZip() throws IOException { private static byte[] oversizedZip() throws IOException {
byte[] payload = new byte[1_500_000]; byte[] payload = new byte[40_000];
new Random(1).nextBytes(payload); new Random(1).nextBytes(payload);
ByteArrayOutputStream bos = new ByteArrayOutputStream(); ByteArrayOutputStream bos = new ByteArrayOutputStream();
try (ZipOutputStream zout = new ZipOutputStream(bos)) { try (ZipOutputStream zout = new ZipOutputStream(bos)) {
@@ -68,14 +68,14 @@ class ConvertLimitsTest {
return bos.toByteArray(); return bos.toByteArray();
} }
/** Свойство wordpdf.max-mb отсекает файл до любой другой проверки. */ /** Свойство wordpdf.max-bytes отсекает файл до любой другой проверки. */
@Test @Test
void configuredMaxMb_applies() throws Exception { void configuredMaxBytes_applies() throws Exception {
mockMvc.perform(multipart("/api/v1/convert") mockMvc.perform(multipart("/api/v1/convert")
.file(docx("big.docx", oversizedZip()))) .file(docx("big.docx", oversizedZip())))
.andExpect(status().isBadRequest()) .andExpect(status().isBadRequest())
.andExpect(jsonPath("$.error", .andExpect(jsonPath("$.error",
org.hamcrest.Matchers.containsString("1048576 байт"))); org.hamcrest.Matchers.containsString("20000 байт")));
} }
/** /**
@@ -15,19 +15,19 @@ package ru.pjandro.wordpdf;
* @param errorOnSmartArt бросать {@link DrawingFoundException} при находке * @param errorOnSmartArt бросать {@link DrawingFoundException} при находке
* SmartArt, **только если** {@code renderSmartArt} * SmartArt, **только если** {@code renderSmartArt}
* выключен (рендер приоритетнее error-флага) * выключен (рендер приоритетнее error-флага)
* @param maxMb лимит размера входа в МБ (MiB) на этот вызов; * @param maxBytes лимит размера входных байтов на этот вызов;
* дефолт — {@link WordPdfSettings#MAX_INPUT_MB} * дефолт — {@link WordPdfSettings#MAX_INPUT_BYTES}
* @param maxPages лимит числа страниц на этот вызов; * @param maxPages лимит числа страниц на этот вызов;
* дефолт — {@link WordPdfSettings#MAX_PAGES} * дефолт — {@link WordPdfSettings#MAX_PAGES}
*/ */
public record ConvertOptions(boolean renderCharts, boolean renderSmartArt, public record ConvertOptions(boolean renderCharts, boolean renderSmartArt,
boolean errorOnCharts, boolean errorOnSmartArt, boolean errorOnCharts, boolean errorOnSmartArt,
long maxMb, int maxPages) { long maxBytes, int maxPages) {
/** Дефолты ядра из {@link WordPdfSettings}. */ /** Дефолты ядра из {@link WordPdfSettings}. */
public static ConvertOptions defaults() { public static ConvertOptions defaults() {
return new ConvertOptions(WordPdfSettings.RENDER_CHARTS, WordPdfSettings.RENDER_SMARTART, return new ConvertOptions(WordPdfSettings.RENDER_CHARTS, WordPdfSettings.RENDER_SMARTART,
WordPdfSettings.ERROR_ON_CHARTS, WordPdfSettings.ERROR_ON_SMARTART, WordPdfSettings.ERROR_ON_CHARTS, WordPdfSettings.ERROR_ON_SMARTART,
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES); WordPdfSettings.MAX_INPUT_BYTES, WordPdfSettings.MAX_PAGES);
} }
} }
@@ -60,7 +60,7 @@ public final class WordPdfConverter {
* вызывающего (файловое API было здесь раньше; ядро пути не принимает). * вызывающего (файловое API было здесь раньше; ядро пути не принимает).
* *
* <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера: * <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера:
* {@code null} / размер больше {@link WordPdfSettings#MAX_INPUT_MB} (МБ) / zip-подпись / * {@code null} / размер больше {@link WordPdfSettings#MAX_INPUT_BYTES} / zip-подпись /
* число страниц больше {@link WordPdfSettings#MAX_PAGES} — при отказе байтов результата нет; * число страниц больше {@link WordPdfSettings#MAX_PAGES} — при отказе байтов результата нет;
* страницы дополнительно перепроверяются по нормализованным байтам (шаг 2.5). * страницы дополнительно перепроверяются по нормализованным байтам (шаг 2.5).
* *
@@ -68,7 +68,7 @@ public final class WordPdfConverter {
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся * @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
* @return байты готового PDF * @return байты готового PDF
* @throws ValidationException некорректный вход: {@code null}, размер больше * @throws ValidationException некорректный вход: {@code null}, размер больше
* {@link WordPdfSettings#MAX_INPUT_MB} (МБ), не zip-архив, документ длиннее * {@link WordPdfSettings#MAX_INPUT_BYTES}, не zip-архив, документ длиннее
* {@link WordPdfSettings#MAX_PAGES} страниц * {@link WordPdfSettings#MAX_PAGES} страниц
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера) * @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
*/ */
@@ -81,7 +81,7 @@ public final class WordPdfConverter {
* диаграмм/SmartArt и лимиты входа. * диаграмм/SmartArt и лимиты входа.
* *
* <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера: * <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера:
* {@code null} / размер больше {@code options.maxMb()} (МБ) / zip-подпись / число страниц * {@code null} / размер больше {@code options.maxBytes()} / zip-подпись / число страниц
* больше {@code options.maxPages()} — при отказе байтов результата нет; страницы * больше {@code options.maxPages()} — при отказе байтов результата нет; страницы
* дополнительно перепроверяются по нормализованным байтам (шаг 2.5). * дополнительно перепроверяются по нормализованным байтам (шаг 2.5).
* *
@@ -91,7 +91,7 @@ public final class WordPdfConverter {
* дефолты (константы {@link WordPdfSettings}) * дефолты (константы {@link WordPdfSettings})
* @return байты готового PDF * @return байты готового PDF
* @throws ValidationException некорректный вход: {@code null}, размер больше * @throws ValidationException некорректный вход: {@code null}, размер больше
* {@code options.maxMb()} (МБ), не zip-архив, документ длиннее * {@code options.maxBytes()}, не zip-архив, документ длиннее
* {@code options.maxPages()} страниц * {@code options.maxPages()} страниц
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера) * @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
*/ */
@@ -3,14 +3,14 @@ package ru.pjandro.wordpdf;
/** /**
* Единая точка конфигурации ядра: все настройки-дефолты — константы здесь. * Единая точка конфигурации ядра: все настройки-дефолты — константы здесь.
* Рантайм-конфигурации нет: изменение значения = правка этого файла и пересборка. * Рантайм-конфигурации нет: изменение значения = правка этого файла и пересборка.
* Лимиты входа ({@link #MAX_INPUT_MB}, {@link #MAX_PAGES}) — дефолты: * Лимиты входа ({@link #MAX_INPUT_BYTES}, {@link #MAX_PAGES}) — дефолты:
* вызывающий может переопределить их на конкретный вызов через * вызывающий может переопределить их на конкретный вызов через
* {@link ConvertOptions}. * {@link ConvertOptions}.
*/ */
public final class WordPdfSettings { public final class WordPdfSettings {
/** Максимальный размер входного .docx в МБ (дефолт). МБ = MiB = 1024 × 1024 байт. */ /** Максимальный размер входного .docx (дефолт). 5 MiB = 5 × 1024 × 1024. */
public static final long MAX_INPUT_MB = 5; public static final long MAX_INPUT_BYTES = 5L * 1024 * 1024;
/** Документ длиннее — ошибка (дефолт). */ /** Документ длиннее — ошибка (дефолт). */
public static final int MAX_PAGES = 100; public static final int MAX_PAGES = 100;
@@ -28,7 +28,7 @@ import java.util.zip.ZipInputStream;
* *
* <p>Лимиты по умолчанию: * <p>Лимиты по умолчанию:
* <ul> * <ul>
* <li>{@link WordPdfSettings#MAX_INPUT_MB} — максимальный размер входного .docx (МБ);</li> * <li>{@link WordPdfSettings#MAX_INPUT_BYTES} — максимальный размер входного .docx;</li>
* <li>{@link WordPdfSettings#MAX_PAGES} — максимально допустимое число страниц.</li> * <li>{@link WordPdfSettings#MAX_PAGES} — максимально допустимое число страниц.</li>
* </ul> * </ul>
* Оба переопределяются на вызов: перегрузками с явным лимитом или * Оба переопределяются на вызов: перегрузками с явным лимитом или
@@ -56,26 +56,29 @@ public final class WordPdfValidator {
/** /**
* Проверяет размер байтов входа (для документа, полученного из сети/БД). * Проверяет размер байтов входа (для документа, полученного из сети/БД).
* *
* @throws ValidationException при {@code null} или превышении лимита (МБ) * @throws ValidationException при {@code null} или превышении лимита
*/ */
public static void checkInput(byte[] docxBytes) throws ValidationException { public static void checkInput(byte[] docxBytes) throws ValidationException {
checkInput(docxBytes, WordPdfSettings.MAX_INPUT_MB); checkInput(docxBytes, WordPdfSettings.MAX_INPUT_BYTES);
} }
/** /**
* Проверяет размер байтов входа против явного лимита в МБ (переопределение * Проверяет размер байтов входа против явного лимита (переопределение
* на вызов, см. {@link ConvertOptions#maxMb()}). МБ = MiB = 1024 × 1024 байт. * на вызов, см. {@link ConvertOptions#maxBytes()}).
* *
* @throws ValidationException при {@code null} или превышении {@code maxMb} (МБ) * @throws ValidationException при {@code null} или превышении {@code maxBytes}
*/ */
public static void checkInput(byte[] docxBytes, long maxMb) throws ValidationException { public static void checkInput(byte[] docxBytes, long maxBytes) throws ValidationException {
if (docxBytes == null) { if (docxBytes == null) {
throw new ValidationException("Не указаны байты входного файла"); throw new ValidationException("Не указаны байты входного файла");
} }
long maxBytes = maxMb * 1024 * 1024;
if (docxBytes.length > maxBytes) { if (docxBytes.length > maxBytes) {
throw new ValidationException("Файл больше " + maxMb + " МБ: " // дефолтный лимит кратен MiB — сообщение остаётся «... 5 МБ ...»
+ docxBytes.length + " байт > " + maxBytes + " байт"); String limit = maxBytes % (1024 * 1024) == 0
? (maxBytes / (1024 * 1024)) + " МБ"
: maxBytes + " байт";
throw new ValidationException("Файл больше " + limit
+ ": " + docxBytes.length + " байт > " + maxBytes + " байт");
} }
} }
@@ -154,7 +157,7 @@ public final class WordPdfValidator {
* Полная проверка входа: размер → подпись контейнера (zip или OLE2) → * Полная проверка входа: размер → подпись контейнера (zip или OLE2) →
* число страниц. Порядок значим: размер — дешёвая, разбор контейнера без * число страниц. Порядок значим: размер — дешёвая, разбор контейнера без
* подписи бессмысленен. Лимиты берутся из {@link ConvertOptions} * подписи бессмысленен. Лимиты берутся из {@link ConvertOptions}
* (переопределение на вызов, см. {@link ConvertOptions#maxMb()}, * (переопределение на вызов, см. {@link ConvertOptions#maxBytes()},
* {@link ConvertOptions#maxPages()}). * {@link ConvertOptions#maxPages()}).
* *
* <p>Проверка подписи отдельным шагом обязательна: * <p>Проверка подписи отдельным шагом обязательна:
@@ -166,12 +169,12 @@ public final class WordPdfValidator {
* {@code WordPdfValidatorTest#validate_neitherDocxNorDoc} (на HTTP-границе — * {@code WordPdfValidatorTest#validate_neitherDocxNorDoc} (на HTTP-границе —
* {@code ConvertControllerTest#corruptNotAZip_rejected}).</p> * {@code ConvertControllerTest#corruptNotAZip_rejected}).</p>
* *
* @throws ValidationException при {@code null}, превышении {@code options.maxMb()}, * @throws ValidationException при {@code null}, превышении {@code options.maxBytes()},
* отсутствии подписи контейнера (ни zip, ни OLE2), ошибке разбора * отсутствии подписи контейнера (ни zip, ни OLE2), ошибке разбора
* контейнера или превышении {@code options.maxPages()} * контейнера или превышении {@code options.maxPages()}
*/ */
public static void validate(byte[] docxBytes, ConvertOptions options) throws ValidationException { public static void validate(byte[] docxBytes, ConvertOptions options) throws ValidationException {
checkInput(docxBytes, options.maxMb()); checkInput(docxBytes, options.maxBytes());
boolean zip = docxBytes.length >= 4 && docxBytes[0] == 'P' && docxBytes[1] == 'K' boolean zip = docxBytes.length >= 4 && docxBytes[0] == 'P' && docxBytes[1] == 'K'
&& (docxBytes[2] & 0xFF) == 0x03 && (docxBytes[3] & 0xFF) == 0x04; && (docxBytes[2] & 0xFF) == 0x03 && (docxBytes[3] & 0xFF) == 0x04;
boolean ole2 = docxBytes.length >= 8 boolean ole2 = docxBytes.length >= 8
@@ -156,7 +156,7 @@ class WordPdfConverterTest {
void drawingToggles_offRemovesRasters() throws Exception { void drawingToggles_offRemovesRasters() throws Exception {
Path pdf = convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart", Path pdf = convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
new ConvertOptions(false, false, false, false, new ConvertOptions(false, false, false, false,
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)); WordPdfSettings.MAX_INPUT_BYTES, WordPdfSettings.MAX_PAGES));
String text = norm(pdfText(pdf)); String text = norm(pdfText(pdf));
assertTrue(text.contains("Диаграммы"), "пропал текст вокруг диаграмм: " + text); assertTrue(text.contains("Диаграммы"), "пропал текст вокруг диаграмм: " + text);
@@ -173,7 +173,7 @@ class WordPdfConverterTest {
void drawingToggles_chartsOffSmartArtOn() throws Exception { void drawingToggles_chartsOffSmartArtOn() throws Exception {
Path pdf = convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart", Path pdf = convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
new ConvertOptions(false, true, false, false, new ConvertOptions(false, true, false, false,
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)); WordPdfSettings.MAX_INPUT_BYTES, WordPdfSettings.MAX_PAGES));
String text = norm(pdfText(pdf)); String text = norm(pdfText(pdf));
assertTrue(text.contains("Диаграммы"), "пропал текст вокруг диаграмм: " + text); assertTrue(text.contains("Диаграммы"), "пропал текст вокруг диаграмм: " + text);
@@ -192,7 +192,7 @@ class WordPdfConverterTest {
ConversionException ex = assertThrows(ConversionException.class, () -> ConversionException ex = assertThrows(ConversionException.class, () ->
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart", convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
new ConvertOptions(false, true, true, false, new ConvertOptions(false, true, true, false,
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES))); WordPdfSettings.MAX_INPUT_BYTES, WordPdfSettings.MAX_PAGES)));
assertTrue(ex instanceof DrawingFoundException dfe assertTrue(ex instanceof DrawingFoundException dfe
&& dfe.kind() == DrawingFoundException.Kind.CHARTS, && dfe.kind() == DrawingFoundException.Kind.CHARTS,
@@ -210,7 +210,7 @@ class WordPdfConverterTest {
ConversionException ex = assertThrows(ConversionException.class, () -> ConversionException ex = assertThrows(ConversionException.class, () ->
convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart", convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
new ConvertOptions(true, false, false, true, new ConvertOptions(true, false, false, true,
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES))); WordPdfSettings.MAX_INPUT_BYTES, WordPdfSettings.MAX_PAGES)));
assertTrue(ex instanceof DrawingFoundException dfe assertTrue(ex instanceof DrawingFoundException dfe
&& dfe.kind() == DrawingFoundException.Kind.SMARTART, && dfe.kind() == DrawingFoundException.Kind.SMARTART,
@@ -227,7 +227,7 @@ class WordPdfConverterTest {
void drawingErrors_renderFlagWins() throws Exception { void drawingErrors_renderFlagWins() throws Exception {
Path pdf = convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart", Path pdf = convertPdf(sampleBytes("charts-smartart.docx"), "charts-smartart",
new ConvertOptions(true, true, true, true, new ConvertOptions(true, true, true, true,
WordPdfSettings.MAX_INPUT_MB, WordPdfSettings.MAX_PAGES)); WordPdfSettings.MAX_INPUT_BYTES, WordPdfSettings.MAX_PAGES));
assertTrue(imageCount(pdf) >= 4, assertTrue(imageCount(pdf) >= 4,
"рендер должен победить error-флаг, найдено растров: " + imageCount(pdf)); "рендер должен победить error-флаг, найдено растров: " + imageCount(pdf));
@@ -441,7 +441,7 @@ class WordPdfConverterTest {
*/ */
@Test @Test
void inputTooLarge() { void inputTooLarge() {
byte[] tooBig = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1]; byte[] tooBig = new byte[(int) WordPdfSettings.MAX_INPUT_BYTES + 1];
ValidationException ex = assertThrows(ValidationException.class, () -> ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(tooBig, "too-big")); WordPdfConverter.convert(tooBig, "too-big"));
assertTrue(ex.getMessage().contains("5 МБ"), assertTrue(ex.getMessage().contains("5 МБ"),
@@ -466,19 +466,16 @@ class WordPdfConverterTest {
/** /**
* Лимит размера переопределяется {@link ConvertOptions} на вызов: * Лимит размера переопределяется {@link ConvertOptions} на вызов:
* maxMb=1 отсекает вход больше 1 MiB до рендера, сообщение содержит * maxBytes=1000 отсекает даже маленький документ до рендера, сообщение
* переданное значение в МБ и байтах. * содержит переданное значение в байтах.
*/ */
@Test @Test
void limitsOverriddenByOptions() { void limitsOverriddenByOptions() throws Exception {
byte[] big = new byte[1024 * 1024 + 1];
ValidationException ex = assertThrows(ValidationException.class, () -> ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(big, "x", WordPdfConverter.convert(sampleBytes("ru-plain.docx"), "x",
new ConvertOptions(true, true, false, false, 1, WordPdfSettings.MAX_PAGES))); new ConvertOptions(true, true, false, false, 1000, WordPdfSettings.MAX_PAGES)));
assertTrue(ex.getMessage().contains("1 МБ"), assertTrue(ex.getMessage().contains("1000 байт"),
"сообщение должно упоминать переданный лимит: " + ex.getMessage()); "сообщение должно упоминать переданный лимит: " + ex.getMessage());
assertTrue(ex.getMessage().contains("1048576 байт"),
"сообщение должно упоминать лимит в байтах: " + ex.getMessage());
} }
/** /**
@@ -491,7 +488,7 @@ class WordPdfConverterTest {
ValidationException ex = assertThrows(ValidationException.class, () -> ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert( WordPdfConverter.convert(
sampleBytes("too-many-pages.docx"), "too-many-pages", sampleBytes("too-many-pages.docx"), "too-many-pages",
new ConvertOptions(true, true, false, false, WordPdfSettings.MAX_INPUT_MB, 100))); new ConvertOptions(true, true, false, false, WordPdfSettings.MAX_INPUT_BYTES, 100)));
assertTrue(ex.getMessage().contains("100"), assertTrue(ex.getMessage().contains("100"),
"сообщение должно упоминать лимит: " + ex.getMessage()); "сообщение должно упоминать лимит: " + ex.getMessage());
} }
@@ -507,7 +504,7 @@ class WordPdfConverterTest {
void staleCachePageCountRejectedBeforeRender() { void staleCachePageCountRejectedBeforeRender() {
ValidationException ex = assertThrows(ValidationException.class, () -> ValidationException ex = assertThrows(ValidationException.class, () ->
WordPdfConverter.convert(sampleBytes("stale-cache.docx"), "stale-cache", WordPdfConverter.convert(sampleBytes("stale-cache.docx"), "stale-cache",
new ConvertOptions(true, true, false, false, WordPdfSettings.MAX_INPUT_MB, 100))); new ConvertOptions(true, true, false, false, WordPdfSettings.MAX_INPUT_BYTES, 100)));
assertTrue(ex.getMessage().contains("100"), assertTrue(ex.getMessage().contains("100"),
"сообщение должно упоминать лимит: " + ex.getMessage()); "сообщение должно упоминать лимит: " + ex.getMessage());
} }
@@ -40,7 +40,7 @@ class WordPdfValidatorTest {
@Test @Test
void checkInput_bytesOverLimit() { void checkInput_bytesOverLimit() {
byte[] big = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1]; byte[] big = new byte[(int) WordPdfSettings.MAX_INPUT_BYTES + 1];
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.checkInput(big)); () -> WordPdfValidator.checkInput(big));
assertTrue(ex.getMessage().contains("5 МБ"), assertTrue(ex.getMessage().contains("5 МБ"),
@@ -54,15 +54,15 @@ class WordPdfValidatorTest {
} }
/** /**
* Явный лимит размера в МБ (переопределение на вызов): меньше 1 MiB — * Явный лимит размера (переопределение на вызов): меньше — проходит,
* проходит, больше — отказ с лимитом в МБ и байтах. * больше — отказ с не-МБ формулировкой «N байт».
*/ */
@Test @Test
void checkInput_customLimit() { void checkInput_customLimit() {
assertDoesNotThrow(() -> WordPdfValidator.checkInput(new byte[10], 1)); assertDoesNotThrow(() -> WordPdfValidator.checkInput(new byte[10], 100));
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.checkInput(new byte[1024 * 1024 + 1], 1)); () -> WordPdfValidator.checkInput(new byte[11], 10));
assertTrue(ex.getMessage().contains("1 МБ"), assertTrue(ex.getMessage().contains("10 байт"),
"сообщение должно упоминать переданный лимит: " + ex.getMessage()); "сообщение должно упоминать переданный лимит: " + ex.getMessage());
} }
@@ -256,8 +256,8 @@ class WordPdfValidatorTest {
// ===== validate(byte[], ConvertOptions) ===== // ===== validate(byte[], ConvertOptions) =====
private static ConvertOptions options(long maxMb, int maxPages) { private static ConvertOptions options(long maxBytes, int maxPages) {
return new ConvertOptions(true, true, false, false, maxMb, maxPages); return new ConvertOptions(true, true, false, false, maxBytes, maxPages);
} }
@Test @Test
@@ -268,7 +268,7 @@ class WordPdfValidatorTest {
@Test @Test
void validate_bytesOverLimit() { void validate_bytesOverLimit() {
byte[] big = new byte[(int) (WordPdfSettings.MAX_INPUT_MB * 1024 * 1024) + 1]; byte[] big = new byte[(int) WordPdfSettings.MAX_INPUT_BYTES + 1];
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(big, ConvertOptions.defaults())); () -> WordPdfValidator.validate(big, ConvertOptions.defaults()));
assertTrue(ex.getMessage().contains("5 МБ"), assertTrue(ex.getMessage().contains("5 МБ"),
@@ -289,7 +289,7 @@ class WordPdfValidatorTest {
byte[] bytes = docxWithPageBreaks(120); byte[] bytes = docxWithPageBreaks(120);
ValidationException ex = assertThrows(ValidationException.class, ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(bytes, () -> WordPdfValidator.validate(bytes,
options(WordPdfSettings.MAX_INPUT_MB, 100))); options(WordPdfSettings.MAX_INPUT_BYTES, 100)));
assertTrue(ex.getMessage().contains("не менее 121"), assertTrue(ex.getMessage().contains("не менее 121"),
"оценка = 1 + 120 разрывов: " + ex.getMessage()); "оценка = 1 + 120 разрывов: " + ex.getMessage());
} }