From 33a014c307f799b345f63054d30a6609ecc76a32 Mon Sep 17 00:00:00 2001 From: Pjandro Date: Tue, 20 Oct 2026 20:21:56 +0000 Subject: [PATCH] =?UTF-8?q?ci:=20=D0=B5=D0=B4=D0=B8=D0=BD=D1=8B=D0=B9=20?= =?UTF-8?q?=D0=B8=D1=81=D1=82=D0=BE=D1=87=D0=BD=D0=B8=D0=BA=20=D0=BB=D0=B8?= =?UTF-8?q?=D0=BC=D0=B8=D1=82=D0=BE=D0=B2=20=D0=BF=D1=80=D0=BE=D0=B4=D0=B0?= =?UTF-8?q?=20=E2=80=94=20Gitea=20Variables=20WORDPDF=5FMAX=5FPAGES/WORDPD?= =?UTF-8?q?F=5FMAX=5FBYTES?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit deploy/rollback экспортируют обе Variables в окружение прод-compose (app пересоздаётся с лимитами), autotests сверяют проверки с ними же (fail-closed без обеих). Новый автотест test_oversized_vs_limit ловит расхождение байтового лимита сервера и ожидания; fixture max_bytes (дефолт 5242880). GITEA-vars.md/AGENTS.md приведены к фактическим лимитам 100 стр./5 MiB. --- .gitea/workflows/main.yml | 14 ++++++++++---- AGENTS.md | 8 +++++--- GITEA-vars.md | 5 +++-- prod-autotests/conftest.py | 9 ++++++++- prod-autotests/test_prod_api.py | 33 ++++++++++++++++++++++++++++++++- 5 files changed, 58 insertions(+), 11 deletions(-) diff --git a/.gitea/workflows/main.yml b/.gitea/workflows/main.yml index 843c650..84daf12 100644 --- a/.gitea/workflows/main.yml +++ b/.gitea/workflows/main.yml @@ -118,10 +118,12 @@ jobs: DEPLOY_USER: ${{ vars.DEPLOY_USER }} DEPLOY_DIR: ${{ vars.DEPLOY_DIR }} REGISTRY: ${{ vars.REGISTRY }} + WORDPDF_MAX_BYTES: ${{ vars.WORDPDF_MAX_BYTES }} + WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }} DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }} run: | - [ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$REGISTRY" ] && [ -n "$DEPLOY_SSH_KEY" ] || { - echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR/REGISTRY и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2 + [ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$REGISTRY" ] && [ -n "$WORDPDF_MAX_BYTES" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$DEPLOY_SSH_KEY" ] || { + echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR/REGISTRY/WORDPDF_MAX_BYTES/WORDPDF_MAX_PAGES и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2 exit 1 } @@ -135,6 +137,7 @@ jobs: script: | set -euo pipefail cd "${{ vars.DEPLOY_DIR }}" + export WORDPDF_MAX_BYTES="${{ vars.WORDPDF_MAX_BYTES }}" WORDPDF_MAX_PAGES="${{ vars.WORDPDF_MAX_PAGES }}" umask 077 { echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)" @@ -157,10 +160,11 @@ jobs: env: WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }} WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }} + WORDPDF_MAX_BYTES: ${{ vars.WORDPDF_MAX_BYTES }} WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }} run: | - [ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_API_KEY" ] || { - echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2 + [ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_MAX_BYTES" ] && [ -n "$WORDPDF_API_KEY" ] || { + echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES/WORDPDF_MAX_BYTES и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2 exit 1 } @@ -168,6 +172,7 @@ jobs: env: WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }} WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }} + WORDPDF_MAX_BYTES: ${{ vars.WORDPDF_MAX_BYTES }} WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }} run: cd prod-autotests && ../.venv/bin/python -m pytest -q . @@ -186,6 +191,7 @@ jobs: script: | set -euo pipefail cd "${{ vars.DEPLOY_DIR }}" + export WORDPDF_MAX_BYTES="${{ vars.WORDPDF_MAX_BYTES }}" WORDPDF_MAX_PAGES="${{ vars.WORDPDF_MAX_PAGES }}" if [ ! -f .rollback.env ]; then echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2 exit 1 diff --git a/AGENTS.md b/AGENTS.md index 76ef475..03404f2 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -59,7 +59,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр |корневой `.env.example`|шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`; реальный прод `.env` — на прод-сервере (координаты: `/home/pjandro/prod/java-word-pdf/DEPLOY.md`, вне репо)| |`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → `images` (docker build + push в Nexus) → deploy (pull) → autotests → rollback)| |корневой `GITEA-vars.md`|инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений| -|корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 18 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 1000 стр., ключ из соседнего `.env`)| +|корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 19 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_MAX_BYTES`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 100 стр. (= Gitea Variable `WORDPDF_MAX_PAGES`), ключ из соседнего `.env`)| |`develop/` (вне git)|рабочие материалы и эталоны Word 365 (`word.docx`+`word.pdf`, `word-export.*`, `convert.pdf`, `1212.pdf`, `diff/`) — **ручное сравнение, не фикстуры**, в тесты/jar не подключать| ## Development Commands @@ -99,7 +99,9 @@ immovable `sha-<7 символов GITHUB_SHA>`; `DOCKER_BUILDKIT=0` обяза раннера вне репо, см. DEPLOY.md), `deploy` (SSH на прод: сохранить `.rollback.env` — image ID контейнеров app/web — затем `restart.sh --deploy` в директории деплоя (Variable `DEPLOY_DIR`): login в реестр + -`podman-compose pull` + `--force-recreate app web`), `autotests` (venv + +`podman-compose pull` + `--force-recreate app web`; export Variables +`WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES` в окружение compose — лимиты прода задаются +ими, `autotests`/`rollback` используют те же), `autotests` (venv + `prod-autotests/` против прода), `rollback` (`if: failure()` — retag прежних image ID на `${{ vars.REGISTRY }}/wordpdf-app:prod` и `…/wordpdf-web:prod`, `--force-recreate app web`, рестарт gateway). Кеш раннеров — @@ -108,7 +110,7 @@ immovable `sha-<7 символов GITHUB_SHA>`; `DOCKER_BUILDKIT=0` обяза **Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`, -`WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `REGISTRY`), креды — **Secrets** (`DEPLOY_SSH_KEY`, +`WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `WORDPDF_MAX_BYTES`, `REGISTRY`), креды — **Secrets** (`DEPLOY_SSH_KEY`, `WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`. Инструкция владельца — корневой `GITEA-vars.md` (только имена, без значений). diff --git a/GITEA-vars.md b/GITEA-vars.md index dede8ec..6b19267 100644 --- a/GITEA-vars.md +++ b/GITEA-vars.md @@ -26,10 +26,11 @@ job'ах `deploy`/`autotests` с внятным сообщением, чего |`DEPLOY_USER`|SSH-пользователь прод-сервера с правами на podman| |`DEPLOY_DIR`|Абсолютный путь директории деплоя на прод-сервере (compose, `restart.sh`, `.rollback.env`, `.env`)| |`WORDPDF_BASE_URL`|Базовый URL прод-API для автотестов (вида `https://<домен-прода>/pdf-converter`)| -|`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `1000`)| +|`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `100`)| +|`WORDPDF_MAX_BYTES`|Лимит размера входного .docx, байт (сейчас `5242880` = 5 MiB)| |`REGISTRY`|Адрес docker-реестра `host:port` без схемы (Nexus docker-registry на прод-сервере, коннектор `:5000`)| -При смене лимита страниц прода — править `WORDPDF_MAX_PAGES` в Variables, PR не нужен. +При смене лимитов прода — править `WORDPDF_MAX_PAGES`/`WORDPDF_MAX_BYTES` в Variables, PR не нужен: job `deploy` прокидывает их в прод-stack (app пересоздаётся с новыми лимитами), job `autotests` сверяет проверки с ними же. Без обеих Variables job'ы `deploy`/`autotests` падают на проверке — fail-closed. ## Защита ветки main (блокировка мержа до зелёных проверок) diff --git a/prod-autotests/conftest.py b/prod-autotests/conftest.py index 6205b2c..1555f3e 100644 --- a/prod-autotests/conftest.py +++ b/prod-autotests/conftest.py @@ -9,7 +9,8 @@ WORDPDF_BASE_URL обязателен: без него все проверки где есть заголовок ключа или ожидается 401, пропускаются (без локального ключа нельзя знать, включена ли аутентификация на стенде). WORDPDF_MAX_PAGES — ожидаемый лимит страниц стенда (конфигурация сервера, не константа набора; дефолт 100 = -дефолт ядра). .docx-фикстуры — из wordpdf-core/src/test/resources/samples, +дефолт ядра). WORDPDF_MAX_BYTES — ожидаемый лимит размера .docx стенда (дефолт +5242880 = дефолт ядра). .docx-фикстуры — из wordpdf-core/src/test/resources/samples, либо из WORDPDF_SAMPLES_DIR. """ @@ -55,6 +56,12 @@ def max_pages(): return int(os.environ.get("WORDPDF_MAX_PAGES", "100")) +@pytest.fixture(scope="session") +def max_bytes(): + """Ожидаемый лимит размера входа стенда: серверная конфигурация, не константа набора.""" + return int(os.environ.get("WORDPDF_MAX_BYTES", "5242880")) + + @pytest.fixture(scope="session") def api_key(): return os.environ.get("WORDPDF_API_KEY", "").strip() diff --git a/prod-autotests/test_prod_api.py b/prod-autotests/test_prod_api.py index b3178b5..329770e 100644 --- a/prod-autotests/test_prod_api.py +++ b/prod-autotests/test_prod_api.py @@ -5,6 +5,9 @@ ConvertController на main. Флаги конвертации передают (контроллер принимает и form, но query детерминированнее). """ +import io +import zipfile + import requests from conftest import TIMEOUT, needs_key @@ -113,7 +116,8 @@ def test_too_many_pages_vs_limit(url, samples, key_header, max_pages): """too-many-pages.docx (151 стр.): сверх лимита стенда — 400 до рендера; ниже лимита — конвертится. Лимит страниц — конфигурация сервера (env WORDPDF_MAX_PAGES), не константа - набора: прод идёт со 1000, там фикстура — валидный вход; 400-ветка покрыта + набора: лимит стенда приходит переменной `WORDPDF_MAX_PAGES` (на проде — + Gitea Variable, сейчас 100), там фикстура — отказ; 400-ветка покрыта Java-регрессией WordPdfConverterTest#staleCachePageCountRejectedBeforeRender. """ r = requests.post( @@ -151,6 +155,33 @@ def test_stale_cache_vs_limit(url, samples, key_header, max_pages): assert r.content[:4] == b"%PDF" +@needs_key +def test_oversized_vs_limit(url, samples, key_header, max_bytes): + """Граница размера: валидный zip-docx больше WORDPDF_MAX_BYTES стенда — 400 от checkInput до рендера. + + Раздутый нулями ZIP_STORED-филлер остаётся валидным zip, так что 400 + может дать только проверка размера (не подпись zip). Если лимит сервера + расходится с WORDPDF_MAX_BYTES в большую сторону — сервер вернёт не 400 + и тест это поймает. + """ + buf = io.BytesIO() + with zipfile.ZipFile(samples / "en-plain.docx") as src, \ + zipfile.ZipFile(buf, "w", zipfile.ZIP_STORED) as out: + for item in src.infolist(): + out.writestr(item, src.read(item.filename)) + out.writestr("filler.bin", b"\0" * (max_bytes + 1)) + payload = buf.getvalue() + assert len(payload) > max_bytes + r = requests.post( + url(CONVERT), + headers=key_header, + files={"file": ("oversized.docx", payload)}, + timeout=TIMEOUT, + ) + assert r.status_code == 400 + assert "error" in r.json() + + @needs_key def test_not_a_zip_rejected(url, notzip_docx, key_header): """Граница «сломанный контейнер → 400, а не 500»: .docx-суффикс, содержимое — мусор."""