From c75e8894a59f9604bb84834ecf7917facd579198 Mon Sep 17 00:00:00 2001 From: Pjandro Date: Tue, 20 Oct 2026 18:27:43 +0000 Subject: [PATCH] =?UTF-8?q?ci:=20=D0=BE=D0=B1=D1=80=D0=B0=D0=B7=D1=8B=20?= =?UTF-8?q?=D1=81=D0=BE=D0=B1=D0=B8=D1=80=D0=B0=D0=B5=D1=82=20CI=20=D0=B8?= =?UTF-8?q?=20=D0=BF=D1=83=D1=88=D0=B8=D1=82=20=D0=B2=20Nexus-=D1=80=D0=B5?= =?UTF-8?q?=D0=B5=D1=81=D1=82=D1=80,=20=D0=BF=D1=80=D0=BE=D0=B4-=D0=B4?= =?UTF-8?q?=D0=B5=D0=BF=D0=BB=D0=BE=D0=B9=20=3D=20pull?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - main.yml: новый job images (docker build + push, теги prod + sha-<7>, DOCKER_BUILDKIT=0 — daemon за раннером podman); deploy: needs images, restart.sh --deploy, .rollback.env без PREV_COMMIT (git-клон src на проде больше не нужен); rollback: retag image ID на реестровые :prod - GITEA-vars.md: Secrets REGISTRY_USER/REGISTRY_PASSWORD, Variable REGISTRY - AGENTS.md: CI/CD и Деплой переписаны под pull-поток --- .gitea/workflows/main.yml | 67 ++++++++++++++++++++++++++++++++++----- AGENTS.md | 23 ++++++++------ GITEA-vars.md | 3 ++ 3 files changed, 76 insertions(+), 17 deletions(-) diff --git a/.gitea/workflows/main.yml b/.gitea/workflows/main.yml index 9ae7e7b..843c650 100644 --- a/.gitea/workflows/main.yml +++ b/.gitea/workflows/main.yml @@ -56,19 +56,72 @@ jobs: working-directory: wordpdf-web run: npm run lint - deploy: + images: runs-on: ubuntu-latest needs: [java, web] + steps: + - uses: actions/checkout@v5 + + - name: Check registry vars and secret + env: + REGISTRY: ${{ vars.REGISTRY }} + REGISTRY_USER: ${{ secrets.REGISTRY_USER }} + REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }} + run: | + [ -n "$REGISTRY" ] && [ -n "$REGISTRY_USER" ] && [ -n "$REGISTRY_PASSWORD" ] || { + echo "Задайте Actions Variable REGISTRY и Secrets REGISTRY_USER/REGISTRY_PASSWORD — см. GITEA-vars.md" >&2 + exit 1 + } + + - name: Docker auth + env: + REGISTRY: ${{ vars.REGISTRY }} + REGISTRY_USER: ${{ secrets.REGISTRY_USER }} + REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }} + run: | + mkdir -p ~/.docker + printf '{"auths":{"%s":{"auth":"%s"}}}' "$REGISTRY" \ + "$(printf '%s:%s' "$REGISTRY_USER" "$REGISTRY_PASSWORD" | base64 -w0)" > ~/.docker/config.json + + - name: Build and push app image + env: + REGISTRY: ${{ vars.REGISTRY }} + run: | + sha="${GITHUB_SHA:0:7}" + # DOCKER_BUILDKIT=0: daemon за раннером — podman, BuildKit-сессий нет, + # только classic /build (buildah). + DOCKER_BUILDKIT=0 docker build -f Containerfile \ + -t "$REGISTRY/wordpdf-app:prod" -t "$REGISTRY/wordpdf-app:sha-$sha" . + docker push "$REGISTRY/wordpdf-app:prod" + docker push "$REGISTRY/wordpdf-app:sha-$sha" + + - name: Build and push web image + env: + REGISTRY: ${{ vars.REGISTRY }} + run: | + sha="${GITHUB_SHA:0:7}" + # VITE_BASE прод-префикса пёкся раньше build-аргом в прод-compose; + # теперь он здесь — образ из реестра едет на прод как есть. + DOCKER_BUILDKIT=0 docker build -f wordpdf-web/Containerfile \ + --build-arg VITE_BASE=/pdf-converter/ \ + -t "$REGISTRY/wordpdf-web:prod" -t "$REGISTRY/wordpdf-web:sha-$sha" wordpdf-web + docker push "$REGISTRY/wordpdf-web:prod" + docker push "$REGISTRY/wordpdf-web:sha-$sha" + + deploy: + runs-on: ubuntu-latest + needs: images steps: - name: Check deploy vars and secret env: DEPLOY_HOST: ${{ vars.DEPLOY_HOST }} DEPLOY_USER: ${{ vars.DEPLOY_USER }} DEPLOY_DIR: ${{ vars.DEPLOY_DIR }} + REGISTRY: ${{ vars.REGISTRY }} DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }} run: | - [ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$DEPLOY_SSH_KEY" ] || { - echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2 + [ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$REGISTRY" ] && [ -n "$DEPLOY_SSH_KEY" ] || { + echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR/REGISTRY и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2 exit 1 } @@ -86,9 +139,8 @@ jobs: { echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)" echo "PREV_WEB=$(podman inspect -f '{{.Image}}' wordpdf-prod-web-1)" - echo "PREV_COMMIT=$(git -C src rev-parse HEAD)" } > .rollback.env - ./restart.sh --build + ./restart.sh --deploy autotests: runs-on: ubuntu-latest @@ -139,9 +191,8 @@ jobs: exit 1 fi . ./.rollback.env - podman tag "$PREV_APP" wordpdf-app:prod - podman tag "$PREV_WEB" wordpdf-web:prod - git -C src reset --hard "$PREV_COMMIT" + podman tag "$PREV_APP" "${{ vars.REGISTRY }}/wordpdf-app:prod" + podman tag "$PREV_WEB" "${{ vars.REGISTRY }}/wordpdf-web:prod" podman-compose up -d --force-recreate app web for _ in $(seq 1 60); do [ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break diff --git a/AGENTS.md b/AGENTS.md index f509675..8a44c6c 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -57,7 +57,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр |`wordpdf-web/src/`|SPA (React 19 + TS + Vite + Tailwind): `api.ts` (вся сеть), `components/` (App, ApiKeyGate, PdfPreview, StatusMessage, DropZone, Logo)| |корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf`|образ бэкенда (multi-stage maven:3.9-temurin-21 → temurin-21-jre, non-root, HEALTHCHECK actuator); compose app+web+gateway: web-образ со своим HEALTHCHECK (`wget /`), в обоих compose `depends_on web: condition: service_healthy` (без health web gateway не стартует); прод-compose интерполирует `WORDPDF_MAX_BYTES:-5242880`/`WORDPDF_MAX_PAGES:-100`; podman-специфика обоих compose: `x-podman.name_separator_compat` (docker-style имена контейнеров), явные `healthcheck` app/web (дубли Containerfile-HEALTHCHECK — OCI-выгрузка его теряет), зафиксированная подсеть `10.113.0.0/24` gw `10.113.0.1` под резолвер aardvark-dns; два repo-стенда одновременно не поднять (общая подсеть)| |корневой `.env.example`|шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`; реальный прод `.env` — на прод-сервере (координаты: `/home/pjandro/prod/java-word-pdf/DEPLOY.md`, вне репо)| -|`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → deploy → autotests → rollback)| +|`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → `images` (docker build + push в Nexus) → deploy (pull) → autotests → rollback)| |корневой `GITEA-vars.md`|инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений| |корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 18 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 1000 стр., ключ из соседнего `.env`)| |`develop/` (вне git)|рабочие материалы и эталоны Word 365 (`word.docx`+`word.pdf`, `word-export.*`, `convert.pdf`, `1212.pdf`, `diff/`) — **ручное сравнение, не фикстуры**, в тесты/jar не подключать| @@ -84,7 +84,7 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \ ru.pjandro.wordpdf.SampleDocxGenerator wordpdf-core/src/test/resources/samples ``` -Деплой. **Прод** — на пользовательском LAN-сервере (podman 5.8.2 + podman-compose 1.6.0, бинарников `docker`/`docker-compose` на сервере нет); координаты сервера, каталог, restart-секвенция, ключ и гейты успешности — вне репо: `/home/pjandro/prod/java-word-pdf/DEPLOY.md` (обязательно прочитать перед любым деплоем/перезапуском; в том каталоге лежат архивные файлы старого стека 88.14 — `restart.sh.old-88.14`, старый compose/nginx — **не поднимать**). Единая точка входа с dev-машины — `/home/pjandro/prod/java-word-pdf/restart.sh` (пробрасывает флаги удалённому скрипту: `--build` — пересборка образов из `origin/main` + перезапуск; без флага — restart контейнеров; предупреждает о не запушенном в `main`). В прод попадает только запушенное в `main` — рабочее дерево на сборку не влияет. Прод-compose `/opt/wordpdf/docker-compose.yml` (вне git) содержит podman-специфику: `x-podman.name_separator_compat` (имена `wordpdf-prod-app-1`, от них зависит `restart.sh`), явные healthcheck app/web и фиксированную подсеть `10.112.0.0/24` gw `10.112.0.1`. Наружный вход `https://pjandro.ru/pdf-converter/` (префикс срезает наружный nginx прод-хоста, не репозиторный gateway-конф; прод-копия gateway-конфа отличается от репо только резолвером `10.112.0.1` — под свою подсеть — и `proxy_read_timeout 300s` — в репо его нет, дефолтные 60s рвут 2-минутные конвертации; resolver + `proxy_pass` через переменную есть и там и там). Тот же наружный nginx в `location /pdf-converter/` добавляет `X-Forwarded-Host: $host` и `X-Forwarded-Prefix: /pdf-converter` — из них springdoc собирает server-URL спека и swagger-config под префиксом (без `X-Forwarded-Host` server = `https://app:8080`, gateway шлёт приложению `Host: app:8080`); канонический URL документации `https://pjandro.ru/pdf-converter/swagger-ui.html` — открыт без ключа. **Dev-стенд** — из репо `compose.dev.yml` (проект `wordpdf-dev`, `9011:80` на все интерфейсы — вход по LAN-IP хоста, без env → ключ пуст, springdoc вкл). Репозиторный `compose.yml` — третий вариант (проект `wordpdf`, `9010:80` на все интерфейсы, `WORDPDF_API_KEY` fail-closed без `.env` — `up` упадёт, `VITE_BASE` — build-arg `wordpdf-web/Containerfile` — репо-compose НЕ передаёт: `compose build` без arg даёт base `/` и битые ассеты под префиксом, прод передаёт arg по DEPLOY.md). Запуск по просьбе пользователя = прод-стек; dev/`java -jar`/`npm run dev` — внутренняя отладка. +Деплой. **Прод** — на пользовательском LAN-сервере (podman 5.8.2 + podman-compose 1.6.0, бинарников `docker`/`docker-compose` на сервере нет); координаты сервера, каталог, restart-секвенция, ключ и гейты успешности — вне репо: `/home/pjandro/prod/java-word-pdf/DEPLOY.md` (обязательно прочитать перед любым деплоем/перезапуском; в том каталоге лежат архивные файлы старого стека 88.14 — `restart.sh.old-88.14`, старый compose/nginx — **не поднимать**). Единая точка входа с dev-машины — `/home/pjandro/prod/java-word-pdf/restart.sh` (пробрасывает флаги удалённому скрипту: `--deploy` — pull образов `wordpdf-{app,web}:prod` из Nexus-реестра (их собирает CI, job `images`) и пересоздание app/web; без флага — restart контейнеров; предупреждает о не запушенном в `main`). В прод попадает только собранное CI из `main` — рабочее дерево на сборку не влияет; прод не собирает код и git-клона на проде нет (insecure-запись реестра в `/etc/containers/registries.conf.d/`, креды `REGISTRY_USER`/`REGISTRY_PASSWORD` в прод `.env`). Прод-compose `/opt/wordpdf/docker-compose.yml` (вне git) содержит podman-специфику: `x-podman.name_separator_compat` (имена `wordpdf-prod-app-1`, от них зависит `restart.sh`), явные healthcheck app/web и фиксированную подсеть `10.112.0.0/24` gw `10.112.0.1`. Наружный вход `https://pjandro.ru/pdf-converter/` (префикс срезает наружный nginx прод-хоста, не репозиторный gateway-конф; прод-копия gateway-конфа отличается от репо только резолвером `10.112.0.1` — под свою подсеть — и `proxy_read_timeout 300s` — в репо его нет, дефолтные 60s рвут 2-минутные конвертации; resolver + `proxy_pass` через переменную есть и там и там). Тот же наружный nginx в `location /pdf-converter/` добавляет `X-Forwarded-Host: $host` и `X-Forwarded-Prefix: /pdf-converter` — из них springdoc собирает server-URL спека и swagger-config под префиксом (без `X-Forwarded-Host` server = `https://app:8080`, gateway шлёт приложению `Host: app:8080`); канонический URL документации `https://pjandro.ru/pdf-converter/swagger-ui.html` — открыт без ключа. **Dev-стенд** — из репо `compose.dev.yml` (проект `wordpdf-dev`, `9011:80` на все интерфейсы — вход по LAN-IP хоста, без env → ключ пуст, springdoc вкл). Репозиторный `compose.yml` — третий вариант (проект `wordpdf`, `9010:80` на все интерфейсы, `WORDPDF_API_KEY` fail-closed без `.env` — `up` упадёт, `VITE_BASE` — build-arg `wordpdf-web/Containerfile` — репо-compose НЕ передаёт: `compose build` без arg даёт base `/` и битые ассеты под префиксом; на прод-путь не влияет — там `VITE_BASE=/pdf-converter/` запекает CI в job `images`). Запуск по просьбе пользователя = прод-стек; dev/`java -jar`/`npm run dev` — внутренняя отладка. ## CI/CD (Gitea Actions) @@ -92,19 +92,24 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \ job `java` (temurin 21, кеш `~/.m2` через `actions/cache`, Maven 3.9.16, `mvn -B clean verify`) и `web` (кеш `~/.npm`, `npm ci`/`build`/`lint`). `.gitea/workflows/main.yml` — `Main: tests, deploy, autotests` (`push` в `main` + `workflow_dispatch`): те же `java`/`web` (байт-в-байт -дубль — файлы самодостаточны, reusable-workflow не вводить), затем `deploy` (SSH на прод: -сохранить `.rollback.env` — image ID контейнеров app/web + HEAD `src` — затем -`restart.sh --build` в директории деплоя (Variable `DEPLOY_DIR`)), `autotests` (venv + +дубль — файлы самодостаточны, reusable-workflow не вводить), затем `images` (`docker build` +обоих Containerfile + `docker push` в Nexus-реестр `${{ vars.REGISTRY }}`, теги `prod` + +immovable `sha-<7 символов GITHUB_SHA>`; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером +podman, BuildKit-сессий нет; job-контейнеры видят podman-сокет хоста через `container.binds` +в конфиге act_runner), `deploy` (SSH на прод: +сохранить `.rollback.env` — image ID контейнеров app/web — затем +`restart.sh --deploy` в директории деплоя (Variable `DEPLOY_DIR`): login в реестр + +`podman-compose pull` + `--force-recreate app web`), `autotests` (venv + `prod-autotests/` против прода), -`rollback` (`if: failure()` — retag прежних образов на `wordpdf-app:prod`/`wordpdf-web:prod`, -`git reset --hard` на `src`, `--force-recreate app web`, рестарт gateway). Кеш раннеров — +`rollback` (`if: failure()` — retag прежних image ID на `${{ vars.REGISTRY }}/wordpdf-app:prod` +и `…/wordpdf-web:prod`, `--force-recreate app web`, рестарт gateway). Кеш раннеров — сервер act_runner, хранилище на ZFS tank (серверная часть, вне репо). **Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`, -`WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`), креды — **Secrets** (`DEPLOY_SSH_KEY`, -`WORDPDF_API_KEY`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`. +`WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `REGISTRY`), креды — **Secrets** (`DEPLOY_SSH_KEY`, +`WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`. Инструкция владельца — корневой `GITEA-vars.md` (только имена, без значений). ## Code Conventions & Common Patterns diff --git a/GITEA-vars.md b/GITEA-vars.md index 1666a66..dede8ec 100644 --- a/GITEA-vars.md +++ b/GITEA-vars.md @@ -15,6 +15,8 @@ job'ах `deploy`/`autotests` с внятным сообщением, чего |---|---|---| |`DEPLOY_SSH_KEY`|Приватный SSH-ключ деплоя на прод (целиком, PEM)|CI-ключ `wordpdf-ci-deploy` на dev-машине; публичная половина уже добавлена в `authorized_keys` деплой-пользователя прод-сервера| |`WORDPDF_API_KEY`|Прод-ключ API wordpdf|`.env` в директории деплоя на прод-сервере (значение `WORDPDF_API_KEY`)| +|`REGISTRY_USER`|Логин docker-реестра для CI-пуша (`ci-deploy`)|Nexus: Security → Users (роль `ci-deploy-role`, права на docker-hosted репозиторий)| +|`REGISTRY_PASSWORD`|Пароль этого пользователя|Тот же, что в `.env` директории деплоя на прод-сервере (значение `REGISTRY_PASSWORD`)| ## Переменные (Settings → Actions → Variables) @@ -25,6 +27,7 @@ job'ах `deploy`/`autotests` с внятным сообщением, чего |`DEPLOY_DIR`|Абсолютный путь директории деплоя на прод-сервере (compose, `restart.sh`, `.rollback.env`, `.env`)| |`WORDPDF_BASE_URL`|Базовый URL прод-API для автотестов (вида `https://<домен-прода>/pdf-converter`)| |`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `1000`)| +|`REGISTRY`|Адрес docker-реестра `host:port` без схемы (Nexus docker-registry на прод-сервере, коннектор `:5000`)| При смене лимита страниц прода — править `WORDPDF_MAX_PAGES` в Variables, PR не нужен.