ci: единый источник лимитов прода — Gitea Variables WORDPDF_MAX_PAGES/WORDPDF_MAX_BYTES
PR checks / java (pull_request) Successful in 1m12s
PR checks / web (pull_request) Successful in 43s

deploy/rollback экспортируют обе Variables в окружение прод-compose (app
пересоздаётся с лимитами), autotests сверяют проверки с ними же (fail-closed
без обеих). Новый автотест test_oversized_vs_limit ловит расхождение
байтового лимита сервера и ожидания; fixture max_bytes (дефолт 5242880).
GITEA-vars.md/AGENTS.md приведены к фактическим лимитам 100 стр./5 MiB.
This commit is contained in:
Pjandro
2026-10-20 20:21:56 +00:00
parent 8f45238afa
commit 33a014c307
5 changed files with 58 additions and 11 deletions
+10 -4
View File
@@ -118,10 +118,12 @@ jobs:
DEPLOY_USER: ${{ vars.DEPLOY_USER }} DEPLOY_USER: ${{ vars.DEPLOY_USER }}
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }} DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
REGISTRY: ${{ vars.REGISTRY }} REGISTRY: ${{ vars.REGISTRY }}
WORDPDF_MAX_BYTES: ${{ vars.WORDPDF_MAX_BYTES }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }} DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
run: | run: |
[ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$REGISTRY" ] && [ -n "$DEPLOY_SSH_KEY" ] || { [ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$REGISTRY" ] && [ -n "$WORDPDF_MAX_BYTES" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$DEPLOY_SSH_KEY" ] || {
echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR/REGISTRY и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2 echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR/REGISTRY/WORDPDF_MAX_BYTES/WORDPDF_MAX_PAGES и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2
exit 1 exit 1
} }
@@ -135,6 +137,7 @@ jobs:
script: | script: |
set -euo pipefail set -euo pipefail
cd "${{ vars.DEPLOY_DIR }}" cd "${{ vars.DEPLOY_DIR }}"
export WORDPDF_MAX_BYTES="${{ vars.WORDPDF_MAX_BYTES }}" WORDPDF_MAX_PAGES="${{ vars.WORDPDF_MAX_PAGES }}"
umask 077 umask 077
{ {
echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)" echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)"
@@ -157,10 +160,11 @@ jobs:
env: env:
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }} WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }} WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
WORDPDF_MAX_BYTES: ${{ vars.WORDPDF_MAX_BYTES }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }} WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
run: | run: |
[ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_API_KEY" ] || { [ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_MAX_BYTES" ] && [ -n "$WORDPDF_API_KEY" ] || {
echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2 echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES/WORDPDF_MAX_BYTES и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2
exit 1 exit 1
} }
@@ -168,6 +172,7 @@ jobs:
env: env:
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }} WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }} WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
WORDPDF_MAX_BYTES: ${{ vars.WORDPDF_MAX_BYTES }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }} WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
run: cd prod-autotests && ../.venv/bin/python -m pytest -q . run: cd prod-autotests && ../.venv/bin/python -m pytest -q .
@@ -186,6 +191,7 @@ jobs:
script: | script: |
set -euo pipefail set -euo pipefail
cd "${{ vars.DEPLOY_DIR }}" cd "${{ vars.DEPLOY_DIR }}"
export WORDPDF_MAX_BYTES="${{ vars.WORDPDF_MAX_BYTES }}" WORDPDF_MAX_PAGES="${{ vars.WORDPDF_MAX_PAGES }}"
if [ ! -f .rollback.env ]; then if [ ! -f .rollback.env ]; then
echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2 echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2
exit 1 exit 1
+5 -3
View File
@@ -59,7 +59,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|корневой `.env.example`|шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`; реальный прод `.env` — на прод-сервере (координаты: `/home/pjandro/prod/java-word-pdf/DEPLOY.md`, вне репо)| |корневой `.env.example`|шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`; реальный прод `.env` — на прод-сервере (координаты: `/home/pjandro/prod/java-word-pdf/DEPLOY.md`, вне репо)|
|`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → `images` (docker build + push в Nexus) → deploy (pull) → autotests → rollback)| |`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → `images` (docker build + push в Nexus) → deploy (pull) → autotests → rollback)|
|корневой `GITEA-vars.md`|инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений| |корневой `GITEA-vars.md`|инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений|
|корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 18 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 1000 стр., ключ из соседнего `.env`)| |корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 19 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_MAX_BYTES`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 100 стр. (= Gitea Variable `WORDPDF_MAX_PAGES`), ключ из соседнего `.env`)|
|`develop/` (вне git)|рабочие материалы и эталоны Word 365 (`word.docx`+`word.pdf`, `word-export.*`, `convert.pdf`, `1212.pdf`, `diff/`) — **ручное сравнение, не фикстуры**, в тесты/jar не подключать| |`develop/` (вне git)|рабочие материалы и эталоны Word 365 (`word.docx`+`word.pdf`, `word-export.*`, `convert.pdf`, `1212.pdf`, `diff/`) — **ручное сравнение, не фикстуры**, в тесты/jar не подключать|
## Development Commands ## Development Commands
@@ -99,7 +99,9 @@ immovable `sha-<7 символов GITHUB_SHA>`; `DOCKER_BUILDKIT=0` обяза
раннера вне репо, см. DEPLOY.md), `deploy` (SSH на прод: раннера вне репо, см. DEPLOY.md), `deploy` (SSH на прод:
сохранить `.rollback.env` — image ID контейнеров app/web — затем сохранить `.rollback.env` — image ID контейнеров app/web — затем
`restart.sh --deploy` в директории деплоя (Variable `DEPLOY_DIR`): login в реестр + `restart.sh --deploy` в директории деплоя (Variable `DEPLOY_DIR`): login в реестр +
`podman-compose pull` + `--force-recreate app web`), `autotests` (venv + `podman-compose pull` + `--force-recreate app web`; export Variables
`WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES` в окружение compose — лимиты прода задаются
ими, `autotests`/`rollback` используют те же), `autotests` (venv +
`prod-autotests/` против прода), `prod-autotests/` против прода),
`rollback` (`if: failure()` — retag прежних image ID на `${{ vars.REGISTRY }}/wordpdf-app:prod` `rollback` (`if: failure()` — retag прежних image ID на `${{ vars.REGISTRY }}/wordpdf-app:prod`
и `…/wordpdf-web:prod`, `--force-recreate app web`, рестарт gateway). Кеш раннеров — и `…/wordpdf-web:prod`, `--force-recreate app web`, рестарт gateway). Кеш раннеров —
@@ -108,7 +110,7 @@ immovable `sha-<7 символов GITHUB_SHA>`; `DOCKER_BUILDKIT=0` обяза
**Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни **Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни
SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты
стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`, стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`,
`WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `REGISTRY`), креды — **Secrets** (`DEPLOY_SSH_KEY`, `WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `WORDPDF_MAX_BYTES`, `REGISTRY`), креды — **Secrets** (`DEPLOY_SSH_KEY`,
`WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`. `WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`.
Инструкция владельца — корневой `GITEA-vars.md` (только имена, без значений). Инструкция владельца — корневой `GITEA-vars.md` (только имена, без значений).
+3 -2
View File
@@ -26,10 +26,11 @@ job'ах `deploy`/`autotests` с внятным сообщением, чего
|`DEPLOY_USER`|SSH-пользователь прод-сервера с правами на podman| |`DEPLOY_USER`|SSH-пользователь прод-сервера с правами на podman|
|`DEPLOY_DIR`|Абсолютный путь директории деплоя на прод-сервере (compose, `restart.sh`, `.rollback.env`, `.env`)| |`DEPLOY_DIR`|Абсолютный путь директории деплоя на прод-сервере (compose, `restart.sh`, `.rollback.env`, `.env`)|
|`WORDPDF_BASE_URL`|Базовый URL прод-API для автотестов (вида `https://<домен-прода>/pdf-converter`)| |`WORDPDF_BASE_URL`|Базовый URL прод-API для автотестов (вида `https://<домен-прода>/pdf-converter`)|
|`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `1000`)| |`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `100`)|
|`WORDPDF_MAX_BYTES`|Лимит размера входного .docx, байт (сейчас `5242880` = 5 MiB)|
|`REGISTRY`|Адрес docker-реестра `host:port` без схемы (Nexus docker-registry на прод-сервере, коннектор `:5000`)| |`REGISTRY`|Адрес docker-реестра `host:port` без схемы (Nexus docker-registry на прод-сервере, коннектор `:5000`)|
При смене лимита страниц прода — править `WORDPDF_MAX_PAGES` в Variables, PR не нужен. При смене лимитов прода — править `WORDPDF_MAX_PAGES`/`WORDPDF_MAX_BYTES` в Variables, PR не нужен: job `deploy` прокидывает их в прод-stack (app пересоздаётся с новыми лимитами), job `autotests` сверяет проверки с ними же. Без обеих Variables job'ы `deploy`/`autotests` падают на проверке — fail-closed.
## Защита ветки main (блокировка мержа до зелёных проверок) ## Защита ветки main (блокировка мержа до зелёных проверок)
+8 -1
View File
@@ -9,7 +9,8 @@ WORDPDF_BASE_URL обязателен: без него все проверки
где есть заголовок ключа или ожидается 401, пропускаются (без локального ключа где есть заголовок ключа или ожидается 401, пропускаются (без локального ключа
нельзя знать, включена ли аутентификация на стенде). WORDPDF_MAX_PAGES — ожидаемый нельзя знать, включена ли аутентификация на стенде). WORDPDF_MAX_PAGES — ожидаемый
лимит страниц стенда (конфигурация сервера, не константа набора; дефолт 100 = лимит страниц стенда (конфигурация сервера, не константа набора; дефолт 100 =
дефолт ядра). .docx-фикстуры — из wordpdf-core/src/test/resources/samples, дефолт ядра). WORDPDF_MAX_BYTES — ожидаемый лимит размера .docx стенда (дефолт
5242880 = дефолт ядра). .docx-фикстуры — из wordpdf-core/src/test/resources/samples,
либо из WORDPDF_SAMPLES_DIR. либо из WORDPDF_SAMPLES_DIR.
""" """
@@ -55,6 +56,12 @@ def max_pages():
return int(os.environ.get("WORDPDF_MAX_PAGES", "100")) return int(os.environ.get("WORDPDF_MAX_PAGES", "100"))
@pytest.fixture(scope="session")
def max_bytes():
"""Ожидаемый лимит размера входа стенда: серверная конфигурация, не константа набора."""
return int(os.environ.get("WORDPDF_MAX_BYTES", "5242880"))
@pytest.fixture(scope="session") @pytest.fixture(scope="session")
def api_key(): def api_key():
return os.environ.get("WORDPDF_API_KEY", "").strip() return os.environ.get("WORDPDF_API_KEY", "").strip()
+32 -1
View File
@@ -5,6 +5,9 @@ ConvertController на main. Флаги конвертации передают
(контроллер принимает и form, но query детерминированнее). (контроллер принимает и form, но query детерминированнее).
""" """
import io
import zipfile
import requests import requests
from conftest import TIMEOUT, needs_key from conftest import TIMEOUT, needs_key
@@ -113,7 +116,8 @@ def test_too_many_pages_vs_limit(url, samples, key_header, max_pages):
"""too-many-pages.docx (151 стр.): сверх лимита стенда — 400 до рендера; ниже лимита — конвертится. """too-many-pages.docx (151 стр.): сверх лимита стенда — 400 до рендера; ниже лимита — конвертится.
Лимит страниц — конфигурация сервера (env WORDPDF_MAX_PAGES), не константа Лимит страниц — конфигурация сервера (env WORDPDF_MAX_PAGES), не константа
набора: прод идёт со 1000, там фикстура — валидный вход; 400-ветка покрыта набора: лимит стенда приходит переменной `WORDPDF_MAX_PAGES` (на проде —
Gitea Variable, сейчас 100), там фикстура — отказ; 400-ветка покрыта
Java-регрессией WordPdfConverterTest#staleCachePageCountRejectedBeforeRender. Java-регрессией WordPdfConverterTest#staleCachePageCountRejectedBeforeRender.
""" """
r = requests.post( r = requests.post(
@@ -151,6 +155,33 @@ def test_stale_cache_vs_limit(url, samples, key_header, max_pages):
assert r.content[:4] == b"%PDF" assert r.content[:4] == b"%PDF"
@needs_key
def test_oversized_vs_limit(url, samples, key_header, max_bytes):
"""Граница размера: валидный zip-docx больше WORDPDF_MAX_BYTES стенда — 400 от checkInput до рендера.
Раздутый нулями ZIP_STORED-филлер остаётся валидным zip, так что 400
может дать только проверка размера (не подпись zip). Если лимит сервера
расходится с WORDPDF_MAX_BYTES в большую сторону — сервер вернёт не 400
и тест это поймает.
"""
buf = io.BytesIO()
with zipfile.ZipFile(samples / "en-plain.docx") as src, \
zipfile.ZipFile(buf, "w", zipfile.ZIP_STORED) as out:
for item in src.infolist():
out.writestr(item, src.read(item.filename))
out.writestr("filler.bin", b"\0" * (max_bytes + 1))
payload = buf.getvalue()
assert len(payload) > max_bytes
r = requests.post(
url(CONVERT),
headers=key_header,
files={"file": ("oversized.docx", payload)},
timeout=TIMEOUT,
)
assert r.status_code == 400
assert "error" in r.json()
@needs_key @needs_key
def test_not_a_zip_rejected(url, notzip_docx, key_header): def test_not_a_zip_rejected(url, notzip_docx, key_header):
"""Граница «сломанный контейнер → 400, а не 500»: .docx-суффикс, содержимое — мусор.""" """Граница «сломанный контейнер → 400, а не 500»: .docx-суффикс, содержимое — мусор."""