ci: единый источник лимитов прода — Gitea Variables WORDPDF_MAX_PAGES/WORDPDF_MAX_BYTES
deploy/rollback экспортируют обе Variables в окружение прод-compose (app пересоздаётся с лимитами), autotests сверяют проверки с ними же (fail-closed без обеих). Новый автотест test_oversized_vs_limit ловит расхождение байтового лимита сервера и ожидания; fixture max_bytes (дефолт 5242880). GITEA-vars.md/AGENTS.md приведены к фактическим лимитам 100 стр./5 MiB.
This commit is contained in:
@@ -118,10 +118,12 @@ jobs:
|
|||||||
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
|
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
|
||||||
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
|
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
|
||||||
REGISTRY: ${{ vars.REGISTRY }}
|
REGISTRY: ${{ vars.REGISTRY }}
|
||||||
|
WORDPDF_MAX_BYTES: ${{ vars.WORDPDF_MAX_BYTES }}
|
||||||
|
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
||||||
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
|
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
|
||||||
run: |
|
run: |
|
||||||
[ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$REGISTRY" ] && [ -n "$DEPLOY_SSH_KEY" ] || {
|
[ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$REGISTRY" ] && [ -n "$WORDPDF_MAX_BYTES" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$DEPLOY_SSH_KEY" ] || {
|
||||||
echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR/REGISTRY и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2
|
echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR/REGISTRY/WORDPDF_MAX_BYTES/WORDPDF_MAX_PAGES и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2
|
||||||
exit 1
|
exit 1
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -135,6 +137,7 @@ jobs:
|
|||||||
script: |
|
script: |
|
||||||
set -euo pipefail
|
set -euo pipefail
|
||||||
cd "${{ vars.DEPLOY_DIR }}"
|
cd "${{ vars.DEPLOY_DIR }}"
|
||||||
|
export WORDPDF_MAX_BYTES="${{ vars.WORDPDF_MAX_BYTES }}" WORDPDF_MAX_PAGES="${{ vars.WORDPDF_MAX_PAGES }}"
|
||||||
umask 077
|
umask 077
|
||||||
{
|
{
|
||||||
echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)"
|
echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)"
|
||||||
@@ -157,10 +160,11 @@ jobs:
|
|||||||
env:
|
env:
|
||||||
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
|
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
|
||||||
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
||||||
|
WORDPDF_MAX_BYTES: ${{ vars.WORDPDF_MAX_BYTES }}
|
||||||
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
||||||
run: |
|
run: |
|
||||||
[ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_API_KEY" ] || {
|
[ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_MAX_BYTES" ] && [ -n "$WORDPDF_API_KEY" ] || {
|
||||||
echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2
|
echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES/WORDPDF_MAX_BYTES и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2
|
||||||
exit 1
|
exit 1
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -168,6 +172,7 @@ jobs:
|
|||||||
env:
|
env:
|
||||||
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
|
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
|
||||||
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
||||||
|
WORDPDF_MAX_BYTES: ${{ vars.WORDPDF_MAX_BYTES }}
|
||||||
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
||||||
run: cd prod-autotests && ../.venv/bin/python -m pytest -q .
|
run: cd prod-autotests && ../.venv/bin/python -m pytest -q .
|
||||||
|
|
||||||
@@ -186,6 +191,7 @@ jobs:
|
|||||||
script: |
|
script: |
|
||||||
set -euo pipefail
|
set -euo pipefail
|
||||||
cd "${{ vars.DEPLOY_DIR }}"
|
cd "${{ vars.DEPLOY_DIR }}"
|
||||||
|
export WORDPDF_MAX_BYTES="${{ vars.WORDPDF_MAX_BYTES }}" WORDPDF_MAX_PAGES="${{ vars.WORDPDF_MAX_PAGES }}"
|
||||||
if [ ! -f .rollback.env ]; then
|
if [ ! -f .rollback.env ]; then
|
||||||
echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2
|
echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2
|
||||||
exit 1
|
exit 1
|
||||||
|
|||||||
@@ -59,7 +59,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|
|||||||
|корневой `.env.example`|шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`; реальный прод `.env` — на прод-сервере (координаты: `/home/pjandro/prod/java-word-pdf/DEPLOY.md`, вне репо)|
|
|корневой `.env.example`|шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`; реальный прод `.env` — на прод-сервере (координаты: `/home/pjandro/prod/java-word-pdf/DEPLOY.md`, вне репо)|
|
||||||
|`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → `images` (docker build + push в Nexus) → deploy (pull) → autotests → rollback)|
|
|`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → `images` (docker build + push в Nexus) → deploy (pull) → autotests → rollback)|
|
||||||
|корневой `GITEA-vars.md`|инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений|
|
|корневой `GITEA-vars.md`|инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений|
|
||||||
|корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 18 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 1000 стр., ключ из соседнего `.env`)|
|
|корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 19 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_MAX_BYTES`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 100 стр. (= Gitea Variable `WORDPDF_MAX_PAGES`), ключ из соседнего `.env`)|
|
||||||
|`develop/` (вне git)|рабочие материалы и эталоны Word 365 (`word.docx`+`word.pdf`, `word-export.*`, `convert.pdf`, `1212.pdf`, `diff/`) — **ручное сравнение, не фикстуры**, в тесты/jar не подключать|
|
|`develop/` (вне git)|рабочие материалы и эталоны Word 365 (`word.docx`+`word.pdf`, `word-export.*`, `convert.pdf`, `1212.pdf`, `diff/`) — **ручное сравнение, не фикстуры**, в тесты/jar не подключать|
|
||||||
|
|
||||||
## Development Commands
|
## Development Commands
|
||||||
@@ -99,7 +99,9 @@ immovable `sha-<7 символов GITHUB_SHA>`; `DOCKER_BUILDKIT=0` обяза
|
|||||||
раннера вне репо, см. DEPLOY.md), `deploy` (SSH на прод:
|
раннера вне репо, см. DEPLOY.md), `deploy` (SSH на прод:
|
||||||
сохранить `.rollback.env` — image ID контейнеров app/web — затем
|
сохранить `.rollback.env` — image ID контейнеров app/web — затем
|
||||||
`restart.sh --deploy` в директории деплоя (Variable `DEPLOY_DIR`): login в реестр +
|
`restart.sh --deploy` в директории деплоя (Variable `DEPLOY_DIR`): login в реестр +
|
||||||
`podman-compose pull` + `--force-recreate app web`), `autotests` (venv +
|
`podman-compose pull` + `--force-recreate app web`; export Variables
|
||||||
|
`WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES` в окружение compose — лимиты прода задаются
|
||||||
|
ими, `autotests`/`rollback` используют те же), `autotests` (venv +
|
||||||
`prod-autotests/` против прода),
|
`prod-autotests/` против прода),
|
||||||
`rollback` (`if: failure()` — retag прежних image ID на `${{ vars.REGISTRY }}/wordpdf-app:prod`
|
`rollback` (`if: failure()` — retag прежних image ID на `${{ vars.REGISTRY }}/wordpdf-app:prod`
|
||||||
и `…/wordpdf-web:prod`, `--force-recreate app web`, рестарт gateway). Кеш раннеров —
|
и `…/wordpdf-web:prod`, `--force-recreate app web`, рестарт gateway). Кеш раннеров —
|
||||||
@@ -108,7 +110,7 @@ immovable `sha-<7 символов GITHUB_SHA>`; `DOCKER_BUILDKIT=0` обяза
|
|||||||
**Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни
|
**Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни
|
||||||
SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты
|
SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты
|
||||||
стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`,
|
стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`,
|
||||||
`WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `REGISTRY`), креды — **Secrets** (`DEPLOY_SSH_KEY`,
|
`WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `WORDPDF_MAX_BYTES`, `REGISTRY`), креды — **Secrets** (`DEPLOY_SSH_KEY`,
|
||||||
`WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`.
|
`WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`.
|
||||||
Инструкция владельца — корневой `GITEA-vars.md` (только имена, без значений).
|
Инструкция владельца — корневой `GITEA-vars.md` (только имена, без значений).
|
||||||
|
|
||||||
|
|||||||
+3
-2
@@ -26,10 +26,11 @@ job'ах `deploy`/`autotests` с внятным сообщением, чего
|
|||||||
|`DEPLOY_USER`|SSH-пользователь прод-сервера с правами на podman|
|
|`DEPLOY_USER`|SSH-пользователь прод-сервера с правами на podman|
|
||||||
|`DEPLOY_DIR`|Абсолютный путь директории деплоя на прод-сервере (compose, `restart.sh`, `.rollback.env`, `.env`)|
|
|`DEPLOY_DIR`|Абсолютный путь директории деплоя на прод-сервере (compose, `restart.sh`, `.rollback.env`, `.env`)|
|
||||||
|`WORDPDF_BASE_URL`|Базовый URL прод-API для автотестов (вида `https://<домен-прода>/pdf-converter`)|
|
|`WORDPDF_BASE_URL`|Базовый URL прод-API для автотестов (вида `https://<домен-прода>/pdf-converter`)|
|
||||||
|`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `1000`)|
|
|`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `100`)|
|
||||||
|
|`WORDPDF_MAX_BYTES`|Лимит размера входного .docx, байт (сейчас `5242880` = 5 MiB)|
|
||||||
|`REGISTRY`|Адрес docker-реестра `host:port` без схемы (Nexus docker-registry на прод-сервере, коннектор `:5000`)|
|
|`REGISTRY`|Адрес docker-реестра `host:port` без схемы (Nexus docker-registry на прод-сервере, коннектор `:5000`)|
|
||||||
|
|
||||||
При смене лимита страниц прода — править `WORDPDF_MAX_PAGES` в Variables, PR не нужен.
|
При смене лимитов прода — править `WORDPDF_MAX_PAGES`/`WORDPDF_MAX_BYTES` в Variables, PR не нужен: job `deploy` прокидывает их в прод-stack (app пересоздаётся с новыми лимитами), job `autotests` сверяет проверки с ними же. Без обеих Variables job'ы `deploy`/`autotests` падают на проверке — fail-closed.
|
||||||
|
|
||||||
## Защита ветки main (блокировка мержа до зелёных проверок)
|
## Защита ветки main (блокировка мержа до зелёных проверок)
|
||||||
|
|
||||||
|
|||||||
@@ -9,7 +9,8 @@ WORDPDF_BASE_URL обязателен: без него все проверки
|
|||||||
где есть заголовок ключа или ожидается 401, пропускаются (без локального ключа
|
где есть заголовок ключа или ожидается 401, пропускаются (без локального ключа
|
||||||
нельзя знать, включена ли аутентификация на стенде). WORDPDF_MAX_PAGES — ожидаемый
|
нельзя знать, включена ли аутентификация на стенде). WORDPDF_MAX_PAGES — ожидаемый
|
||||||
лимит страниц стенда (конфигурация сервера, не константа набора; дефолт 100 =
|
лимит страниц стенда (конфигурация сервера, не константа набора; дефолт 100 =
|
||||||
дефолт ядра). .docx-фикстуры — из wordpdf-core/src/test/resources/samples,
|
дефолт ядра). WORDPDF_MAX_BYTES — ожидаемый лимит размера .docx стенда (дефолт
|
||||||
|
5242880 = дефолт ядра). .docx-фикстуры — из wordpdf-core/src/test/resources/samples,
|
||||||
либо из WORDPDF_SAMPLES_DIR.
|
либо из WORDPDF_SAMPLES_DIR.
|
||||||
"""
|
"""
|
||||||
|
|
||||||
@@ -55,6 +56,12 @@ def max_pages():
|
|||||||
return int(os.environ.get("WORDPDF_MAX_PAGES", "100"))
|
return int(os.environ.get("WORDPDF_MAX_PAGES", "100"))
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.fixture(scope="session")
|
||||||
|
def max_bytes():
|
||||||
|
"""Ожидаемый лимит размера входа стенда: серверная конфигурация, не константа набора."""
|
||||||
|
return int(os.environ.get("WORDPDF_MAX_BYTES", "5242880"))
|
||||||
|
|
||||||
|
|
||||||
@pytest.fixture(scope="session")
|
@pytest.fixture(scope="session")
|
||||||
def api_key():
|
def api_key():
|
||||||
return os.environ.get("WORDPDF_API_KEY", "").strip()
|
return os.environ.get("WORDPDF_API_KEY", "").strip()
|
||||||
|
|||||||
@@ -5,6 +5,9 @@ ConvertController на main. Флаги конвертации передают
|
|||||||
(контроллер принимает и form, но query детерминированнее).
|
(контроллер принимает и form, но query детерминированнее).
|
||||||
"""
|
"""
|
||||||
|
|
||||||
|
import io
|
||||||
|
import zipfile
|
||||||
|
|
||||||
import requests
|
import requests
|
||||||
|
|
||||||
from conftest import TIMEOUT, needs_key
|
from conftest import TIMEOUT, needs_key
|
||||||
@@ -113,7 +116,8 @@ def test_too_many_pages_vs_limit(url, samples, key_header, max_pages):
|
|||||||
"""too-many-pages.docx (151 стр.): сверх лимита стенда — 400 до рендера; ниже лимита — конвертится.
|
"""too-many-pages.docx (151 стр.): сверх лимита стенда — 400 до рендера; ниже лимита — конвертится.
|
||||||
|
|
||||||
Лимит страниц — конфигурация сервера (env WORDPDF_MAX_PAGES), не константа
|
Лимит страниц — конфигурация сервера (env WORDPDF_MAX_PAGES), не константа
|
||||||
набора: прод идёт со 1000, там фикстура — валидный вход; 400-ветка покрыта
|
набора: лимит стенда приходит переменной `WORDPDF_MAX_PAGES` (на проде —
|
||||||
|
Gitea Variable, сейчас 100), там фикстура — отказ; 400-ветка покрыта
|
||||||
Java-регрессией WordPdfConverterTest#staleCachePageCountRejectedBeforeRender.
|
Java-регрессией WordPdfConverterTest#staleCachePageCountRejectedBeforeRender.
|
||||||
"""
|
"""
|
||||||
r = requests.post(
|
r = requests.post(
|
||||||
@@ -151,6 +155,33 @@ def test_stale_cache_vs_limit(url, samples, key_header, max_pages):
|
|||||||
assert r.content[:4] == b"%PDF"
|
assert r.content[:4] == b"%PDF"
|
||||||
|
|
||||||
|
|
||||||
|
@needs_key
|
||||||
|
def test_oversized_vs_limit(url, samples, key_header, max_bytes):
|
||||||
|
"""Граница размера: валидный zip-docx больше WORDPDF_MAX_BYTES стенда — 400 от checkInput до рендера.
|
||||||
|
|
||||||
|
Раздутый нулями ZIP_STORED-филлер остаётся валидным zip, так что 400
|
||||||
|
может дать только проверка размера (не подпись zip). Если лимит сервера
|
||||||
|
расходится с WORDPDF_MAX_BYTES в большую сторону — сервер вернёт не 400
|
||||||
|
и тест это поймает.
|
||||||
|
"""
|
||||||
|
buf = io.BytesIO()
|
||||||
|
with zipfile.ZipFile(samples / "en-plain.docx") as src, \
|
||||||
|
zipfile.ZipFile(buf, "w", zipfile.ZIP_STORED) as out:
|
||||||
|
for item in src.infolist():
|
||||||
|
out.writestr(item, src.read(item.filename))
|
||||||
|
out.writestr("filler.bin", b"\0" * (max_bytes + 1))
|
||||||
|
payload = buf.getvalue()
|
||||||
|
assert len(payload) > max_bytes
|
||||||
|
r = requests.post(
|
||||||
|
url(CONVERT),
|
||||||
|
headers=key_header,
|
||||||
|
files={"file": ("oversized.docx", payload)},
|
||||||
|
timeout=TIMEOUT,
|
||||||
|
)
|
||||||
|
assert r.status_code == 400
|
||||||
|
assert "error" in r.json()
|
||||||
|
|
||||||
|
|
||||||
@needs_key
|
@needs_key
|
||||||
def test_not_a_zip_rejected(url, notzip_docx, key_header):
|
def test_not_a_zip_rejected(url, notzip_docx, key_header):
|
||||||
"""Граница «сломанный контейнер → 400, а не 500»: .docx-суффикс, содержимое — мусор."""
|
"""Граница «сломанный контейнер → 400, а не 500»: .docx-суффикс, содержимое — мусор."""
|
||||||
|
|||||||
Reference in New Issue
Block a user