Единый источник лимитов прода: Gitea Variables для deploy и autotests #18
@@ -118,10 +118,12 @@ jobs:
|
||||
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
|
||||
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
|
||||
REGISTRY: ${{ vars.REGISTRY }}
|
||||
WORDPDF_MAX_BYTES: ${{ vars.WORDPDF_MAX_BYTES }}
|
||||
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
||||
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
|
||||
run: |
|
||||
[ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$REGISTRY" ] && [ -n "$DEPLOY_SSH_KEY" ] || {
|
||||
echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR/REGISTRY и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2
|
||||
[ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$REGISTRY" ] && [ -n "$WORDPDF_MAX_BYTES" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$DEPLOY_SSH_KEY" ] || {
|
||||
echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR/REGISTRY/WORDPDF_MAX_BYTES/WORDPDF_MAX_PAGES и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2
|
||||
exit 1
|
||||
}
|
||||
|
||||
@@ -135,6 +137,7 @@ jobs:
|
||||
script: |
|
||||
set -euo pipefail
|
||||
cd "${{ vars.DEPLOY_DIR }}"
|
||||
export WORDPDF_MAX_BYTES="${{ vars.WORDPDF_MAX_BYTES }}" WORDPDF_MAX_PAGES="${{ vars.WORDPDF_MAX_PAGES }}"
|
||||
umask 077
|
||||
{
|
||||
echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)"
|
||||
@@ -157,10 +160,11 @@ jobs:
|
||||
env:
|
||||
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
|
||||
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
||||
WORDPDF_MAX_BYTES: ${{ vars.WORDPDF_MAX_BYTES }}
|
||||
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
||||
run: |
|
||||
[ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_API_KEY" ] || {
|
||||
echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2
|
||||
[ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_MAX_BYTES" ] && [ -n "$WORDPDF_API_KEY" ] || {
|
||||
echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES/WORDPDF_MAX_BYTES и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2
|
||||
exit 1
|
||||
}
|
||||
|
||||
@@ -168,6 +172,7 @@ jobs:
|
||||
env:
|
||||
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
|
||||
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
||||
WORDPDF_MAX_BYTES: ${{ vars.WORDPDF_MAX_BYTES }}
|
||||
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
||||
run: cd prod-autotests && ../.venv/bin/python -m pytest -q .
|
||||
|
||||
@@ -186,6 +191,7 @@ jobs:
|
||||
script: |
|
||||
set -euo pipefail
|
||||
cd "${{ vars.DEPLOY_DIR }}"
|
||||
export WORDPDF_MAX_BYTES="${{ vars.WORDPDF_MAX_BYTES }}" WORDPDF_MAX_PAGES="${{ vars.WORDPDF_MAX_PAGES }}"
|
||||
if [ ! -f .rollback.env ]; then
|
||||
echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2
|
||||
exit 1
|
||||
|
||||
@@ -59,7 +59,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|
||||
|корневой `.env.example`|шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`; реальный прод `.env` — на прод-сервере (координаты: `/home/pjandro/prod/java-word-pdf/DEPLOY.md`, вне репо)|
|
||||
|`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → `images` (docker build + push в Nexus) → deploy (pull) → autotests → rollback)|
|
||||
|корневой `GITEA-vars.md`|инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений|
|
||||
|корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 18 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 1000 стр., ключ из соседнего `.env`)|
|
||||
|корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 19 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_MAX_BYTES`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 100 стр. (= Gitea Variable `WORDPDF_MAX_PAGES`), ключ из соседнего `.env`)|
|
||||
|`develop/` (вне git)|рабочие материалы и эталоны Word 365 (`word.docx`+`word.pdf`, `word-export.*`, `convert.pdf`, `1212.pdf`, `diff/`) — **ручное сравнение, не фикстуры**, в тесты/jar не подключать|
|
||||
|
||||
## Development Commands
|
||||
@@ -99,7 +99,9 @@ immovable `sha-<7 символов GITHUB_SHA>`; `DOCKER_BUILDKIT=0` обяза
|
||||
раннера вне репо, см. DEPLOY.md), `deploy` (SSH на прод:
|
||||
сохранить `.rollback.env` — image ID контейнеров app/web — затем
|
||||
`restart.sh --deploy` в директории деплоя (Variable `DEPLOY_DIR`): login в реестр +
|
||||
`podman-compose pull` + `--force-recreate app web`), `autotests` (venv +
|
||||
`podman-compose pull` + `--force-recreate app web`; export Variables
|
||||
`WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES` в окружение compose — лимиты прода задаются
|
||||
ими, `autotests`/`rollback` используют те же), `autotests` (venv +
|
||||
`prod-autotests/` против прода),
|
||||
`rollback` (`if: failure()` — retag прежних image ID на `${{ vars.REGISTRY }}/wordpdf-app:prod`
|
||||
и `…/wordpdf-web:prod`, `--force-recreate app web`, рестарт gateway). Кеш раннеров —
|
||||
@@ -108,7 +110,7 @@ immovable `sha-<7 символов GITHUB_SHA>`; `DOCKER_BUILDKIT=0` обяза
|
||||
**Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни
|
||||
SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты
|
||||
стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`,
|
||||
`WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `REGISTRY`), креды — **Secrets** (`DEPLOY_SSH_KEY`,
|
||||
`WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `WORDPDF_MAX_BYTES`, `REGISTRY`), креды — **Secrets** (`DEPLOY_SSH_KEY`,
|
||||
`WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`.
|
||||
Инструкция владельца — корневой `GITEA-vars.md` (только имена, без значений).
|
||||
|
||||
|
||||
+3
-2
@@ -26,10 +26,11 @@ job'ах `deploy`/`autotests` с внятным сообщением, чего
|
||||
|`DEPLOY_USER`|SSH-пользователь прод-сервера с правами на podman|
|
||||
|`DEPLOY_DIR`|Абсолютный путь директории деплоя на прод-сервере (compose, `restart.sh`, `.rollback.env`, `.env`)|
|
||||
|`WORDPDF_BASE_URL`|Базовый URL прод-API для автотестов (вида `https://<домен-прода>/pdf-converter`)|
|
||||
|`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `1000`)|
|
||||
|`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `100`)|
|
||||
|`WORDPDF_MAX_BYTES`|Лимит размера входного .docx, байт (сейчас `5242880` = 5 MiB)|
|
||||
|`REGISTRY`|Адрес docker-реестра `host:port` без схемы (Nexus docker-registry на прод-сервере, коннектор `:5000`)|
|
||||
|
||||
При смене лимита страниц прода — править `WORDPDF_MAX_PAGES` в Variables, PR не нужен.
|
||||
При смене лимитов прода — править `WORDPDF_MAX_PAGES`/`WORDPDF_MAX_BYTES` в Variables, PR не нужен: job `deploy` прокидывает их в прод-stack (app пересоздаётся с новыми лимитами), job `autotests` сверяет проверки с ними же. Без обеих Variables job'ы `deploy`/`autotests` падают на проверке — fail-closed.
|
||||
|
||||
## Защита ветки main (блокировка мержа до зелёных проверок)
|
||||
|
||||
|
||||
@@ -9,7 +9,8 @@ WORDPDF_BASE_URL обязателен: без него все проверки
|
||||
где есть заголовок ключа или ожидается 401, пропускаются (без локального ключа
|
||||
нельзя знать, включена ли аутентификация на стенде). WORDPDF_MAX_PAGES — ожидаемый
|
||||
лимит страниц стенда (конфигурация сервера, не константа набора; дефолт 100 =
|
||||
дефолт ядра). .docx-фикстуры — из wordpdf-core/src/test/resources/samples,
|
||||
дефолт ядра). WORDPDF_MAX_BYTES — ожидаемый лимит размера .docx стенда (дефолт
|
||||
5242880 = дефолт ядра). .docx-фикстуры — из wordpdf-core/src/test/resources/samples,
|
||||
либо из WORDPDF_SAMPLES_DIR.
|
||||
"""
|
||||
|
||||
@@ -55,6 +56,12 @@ def max_pages():
|
||||
return int(os.environ.get("WORDPDF_MAX_PAGES", "100"))
|
||||
|
||||
|
||||
@pytest.fixture(scope="session")
|
||||
def max_bytes():
|
||||
"""Ожидаемый лимит размера входа стенда: серверная конфигурация, не константа набора."""
|
||||
return int(os.environ.get("WORDPDF_MAX_BYTES", "5242880"))
|
||||
|
||||
|
||||
@pytest.fixture(scope="session")
|
||||
def api_key():
|
||||
return os.environ.get("WORDPDF_API_KEY", "").strip()
|
||||
|
||||
@@ -5,6 +5,9 @@ ConvertController на main. Флаги конвертации передают
|
||||
(контроллер принимает и form, но query детерминированнее).
|
||||
"""
|
||||
|
||||
import io
|
||||
import zipfile
|
||||
|
||||
import requests
|
||||
|
||||
from conftest import TIMEOUT, needs_key
|
||||
@@ -113,7 +116,8 @@ def test_too_many_pages_vs_limit(url, samples, key_header, max_pages):
|
||||
"""too-many-pages.docx (151 стр.): сверх лимита стенда — 400 до рендера; ниже лимита — конвертится.
|
||||
|
||||
Лимит страниц — конфигурация сервера (env WORDPDF_MAX_PAGES), не константа
|
||||
набора: прод идёт со 1000, там фикстура — валидный вход; 400-ветка покрыта
|
||||
набора: лимит стенда приходит переменной `WORDPDF_MAX_PAGES` (на проде —
|
||||
Gitea Variable, сейчас 100), там фикстура — отказ; 400-ветка покрыта
|
||||
Java-регрессией WordPdfConverterTest#staleCachePageCountRejectedBeforeRender.
|
||||
"""
|
||||
r = requests.post(
|
||||
@@ -151,6 +155,33 @@ def test_stale_cache_vs_limit(url, samples, key_header, max_pages):
|
||||
assert r.content[:4] == b"%PDF"
|
||||
|
||||
|
||||
@needs_key
|
||||
def test_oversized_vs_limit(url, samples, key_header, max_bytes):
|
||||
"""Граница размера: валидный zip-docx больше WORDPDF_MAX_BYTES стенда — 400 от checkInput до рендера.
|
||||
|
||||
Раздутый нулями ZIP_STORED-филлер остаётся валидным zip, так что 400
|
||||
может дать только проверка размера (не подпись zip). Если лимит сервера
|
||||
расходится с WORDPDF_MAX_BYTES в большую сторону — сервер вернёт не 400
|
||||
и тест это поймает.
|
||||
"""
|
||||
buf = io.BytesIO()
|
||||
with zipfile.ZipFile(samples / "en-plain.docx") as src, \
|
||||
zipfile.ZipFile(buf, "w", zipfile.ZIP_STORED) as out:
|
||||
for item in src.infolist():
|
||||
out.writestr(item, src.read(item.filename))
|
||||
out.writestr("filler.bin", b"\0" * (max_bytes + 1))
|
||||
payload = buf.getvalue()
|
||||
assert len(payload) > max_bytes
|
||||
r = requests.post(
|
||||
url(CONVERT),
|
||||
headers=key_header,
|
||||
files={"file": ("oversized.docx", payload)},
|
||||
timeout=TIMEOUT,
|
||||
)
|
||||
assert r.status_code == 400
|
||||
assert "error" in r.json()
|
||||
|
||||
|
||||
@needs_key
|
||||
def test_not_a_zip_rejected(url, notzip_docx, key_header):
|
||||
"""Граница «сломанный контейнер → 400, а не 500»: .docx-суффикс, содержимое — мусор."""
|
||||
|
||||
Reference in New Issue
Block a user