diff --git a/.gitea/workflows/main.yml b/.gitea/workflows/main.yml new file mode 100644 index 0000000..9ae7e7b --- /dev/null +++ b/.gitea/workflows/main.yml @@ -0,0 +1,152 @@ +name: "Main: tests, deploy, autotests" + +on: + push: + branches: [main] + workflow_dispatch: + +jobs: + java: + runs-on: ubuntu-latest + steps: + - uses: actions/checkout@v5 + + - name: Setup JDK 21 + uses: actions/setup-java@v5 + with: + java-version: '21' + distribution: 'temurin' + + - name: Cache Maven repository + uses: actions/cache@v4 + with: + path: ~/.m2/repository + key: maven-${{ hashFiles('pom.xml', 'wordpdf-core/pom.xml', 'wordpdf-app/pom.xml') }} + restore-keys: maven- + + - name: Setup Maven 3.9.16 + run: | + curl -fsSL https://dlcdn.apache.org/maven/maven-3/3.9.16/binaries/apache-maven-3.9.16-bin.tar.gz | tar xz -C /opt + echo "/opt/apache-maven-3.9.16/bin" >> "$GITHUB_PATH" + + - name: Build and test (PMD gate included) + run: mvn -B clean verify + + web: + runs-on: ubuntu-latest + steps: + - uses: actions/checkout@v5 + + - name: Cache npm + uses: actions/cache@v4 + with: + path: ~/.npm + key: npm-${{ hashFiles('wordpdf-web/package-lock.json') }} + restore-keys: npm- + + - name: Install dependencies + working-directory: wordpdf-web + run: npm ci + + - name: Build SPA + working-directory: wordpdf-web + run: npm run build + + - name: Lint SPA + working-directory: wordpdf-web + run: npm run lint + + deploy: + runs-on: ubuntu-latest + needs: [java, web] + steps: + - name: Check deploy vars and secret + env: + DEPLOY_HOST: ${{ vars.DEPLOY_HOST }} + DEPLOY_USER: ${{ vars.DEPLOY_USER }} + DEPLOY_DIR: ${{ vars.DEPLOY_DIR }} + DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }} + run: | + [ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$DEPLOY_SSH_KEY" ] || { + echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2 + exit 1 + } + + - name: Save rollback state and deploy + uses: appleboy/ssh-action@v1.0.3 + with: + host: ${{ vars.DEPLOY_HOST }} + username: ${{ vars.DEPLOY_USER }} + key: ${{ secrets.DEPLOY_SSH_KEY }} + script_stop: true + script: | + set -euo pipefail + cd "${{ vars.DEPLOY_DIR }}" + umask 077 + { + echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)" + echo "PREV_WEB=$(podman inspect -f '{{.Image}}' wordpdf-prod-web-1)" + echo "PREV_COMMIT=$(git -C src rev-parse HEAD)" + } > .rollback.env + ./restart.sh --build + + autotests: + runs-on: ubuntu-latest + needs: deploy + steps: + - uses: actions/checkout@v5 + + - name: Setup venv + run: | + python3 -m venv .venv + .venv/bin/pip install -q -r prod-autotests/requirements.txt + + - name: Check autotest vars and secret + env: + WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }} + WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }} + WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }} + run: | + [ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_API_KEY" ] || { + echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2 + exit 1 + } + + - name: Run prod autotests + env: + WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }} + WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }} + WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }} + run: cd prod-autotests && ../.venv/bin/python -m pytest -q . + + rollback: + runs-on: ubuntu-latest + needs: [deploy, autotests] + if: failure() + steps: + - name: Roll back prod to previous images + uses: appleboy/ssh-action@v1.0.3 + with: + host: ${{ vars.DEPLOY_HOST }} + username: ${{ vars.DEPLOY_USER }} + key: ${{ secrets.DEPLOY_SSH_KEY }} + script_stop: true + script: | + set -euo pipefail + cd "${{ vars.DEPLOY_DIR }}" + if [ ! -f .rollback.env ]; then + echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2 + exit 1 + fi + . ./.rollback.env + podman tag "$PREV_APP" wordpdf-app:prod + podman tag "$PREV_WEB" wordpdf-web:prod + git -C src reset --hard "$PREV_COMMIT" + podman-compose up -d --force-recreate app web + for _ in $(seq 1 60); do + [ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break + sleep 2 + done + [ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] || { echo "app НЕ healthy после отката" >&2; exit 1; } + podman-compose restart gateway + curl -fsS http://127.0.0.1:9010/actuator/health diff --git a/.gitea/workflows/pr.yml b/.gitea/workflows/pr.yml new file mode 100644 index 0000000..a4fae50 --- /dev/null +++ b/.gitea/workflows/pr.yml @@ -0,0 +1,56 @@ +name: PR checks + +on: + pull_request: + workflow_dispatch: + +jobs: + java: + runs-on: ubuntu-latest + steps: + - uses: actions/checkout@v5 + + - name: Setup JDK 21 + uses: actions/setup-java@v5 + with: + java-version: '21' + distribution: 'temurin' + + - name: Cache Maven repository + uses: actions/cache@v4 + with: + path: ~/.m2/repository + key: maven-${{ hashFiles('pom.xml', 'wordpdf-core/pom.xml', 'wordpdf-app/pom.xml') }} + restore-keys: maven- + + - name: Setup Maven 3.9.16 + run: | + curl -fsSL https://dlcdn.apache.org/maven/maven-3/3.9.16/binaries/apache-maven-3.9.16-bin.tar.gz | tar xz -C /opt + echo "/opt/apache-maven-3.9.16/bin" >> "$GITHUB_PATH" + + - name: Build and test (PMD gate included) + run: mvn -B clean verify + + web: + runs-on: ubuntu-latest + steps: + - uses: actions/checkout@v5 + + - name: Cache npm + uses: actions/cache@v4 + with: + path: ~/.npm + key: npm-${{ hashFiles('wordpdf-web/package-lock.json') }} + restore-keys: npm- + + - name: Install dependencies + working-directory: wordpdf-web + run: npm ci + + - name: Build SPA + working-directory: wordpdf-web + run: npm run build + + - name: Lint SPA + working-directory: wordpdf-web + run: npm run lint diff --git a/AGENTS.md b/AGENTS.md index 56beb7c..f509675 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -57,6 +57,8 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр |`wordpdf-web/src/`|SPA (React 19 + TS + Vite + Tailwind): `api.ts` (вся сеть), `components/` (App, ApiKeyGate, PdfPreview, StatusMessage, DropZone, Logo)| |корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf`|образ бэкенда (multi-stage maven:3.9-temurin-21 → temurin-21-jre, non-root, HEALTHCHECK actuator); compose app+web+gateway: web-образ со своим HEALTHCHECK (`wget /`), в обоих compose `depends_on web: condition: service_healthy` (без health web gateway не стартует); прод-compose интерполирует `WORDPDF_MAX_BYTES:-5242880`/`WORDPDF_MAX_PAGES:-100`; podman-специфика обоих compose: `x-podman.name_separator_compat` (docker-style имена контейнеров), явные `healthcheck` app/web (дубли Containerfile-HEALTHCHECK — OCI-выгрузка его теряет), зафиксированная подсеть `10.113.0.0/24` gw `10.113.0.1` под резолвер aardvark-dns; два repo-стенда одновременно не поднять (общая подсеть)| |корневой `.env.example`|шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`; реальный прод `.env` — на прод-сервере (координаты: `/home/pjandro/prod/java-word-pdf/DEPLOY.md`, вне репо)| +|`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → deploy → autotests → rollback)| +|корневой `GITEA-vars.md`|инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений| |корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 18 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 1000 стр., ключ из соседнего `.env`)| |`develop/` (вне git)|рабочие материалы и эталоны Word 365 (`word.docx`+`word.pdf`, `word-export.*`, `convert.pdf`, `1212.pdf`, `diff/`) — **ручное сравнение, не фикстуры**, в тесты/jar не подключать| @@ -84,6 +86,27 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \ Деплой. **Прод** — на пользовательском LAN-сервере (podman 5.8.2 + podman-compose 1.6.0, бинарников `docker`/`docker-compose` на сервере нет); координаты сервера, каталог, restart-секвенция, ключ и гейты успешности — вне репо: `/home/pjandro/prod/java-word-pdf/DEPLOY.md` (обязательно прочитать перед любым деплоем/перезапуском; в том каталоге лежат архивные файлы старого стека 88.14 — `restart.sh.old-88.14`, старый compose/nginx — **не поднимать**). Единая точка входа с dev-машины — `/home/pjandro/prod/java-word-pdf/restart.sh` (пробрасывает флаги удалённому скрипту: `--build` — пересборка образов из `origin/main` + перезапуск; без флага — restart контейнеров; предупреждает о не запушенном в `main`). В прод попадает только запушенное в `main` — рабочее дерево на сборку не влияет. Прод-compose `/opt/wordpdf/docker-compose.yml` (вне git) содержит podman-специфику: `x-podman.name_separator_compat` (имена `wordpdf-prod-app-1`, от них зависит `restart.sh`), явные healthcheck app/web и фиксированную подсеть `10.112.0.0/24` gw `10.112.0.1`. Наружный вход `https://pjandro.ru/pdf-converter/` (префикс срезает наружный nginx прод-хоста, не репозиторный gateway-конф; прод-копия gateway-конфа отличается от репо только резолвером `10.112.0.1` — под свою подсеть — и `proxy_read_timeout 300s` — в репо его нет, дефолтные 60s рвут 2-минутные конвертации; resolver + `proxy_pass` через переменную есть и там и там). Тот же наружный nginx в `location /pdf-converter/` добавляет `X-Forwarded-Host: $host` и `X-Forwarded-Prefix: /pdf-converter` — из них springdoc собирает server-URL спека и swagger-config под префиксом (без `X-Forwarded-Host` server = `https://app:8080`, gateway шлёт приложению `Host: app:8080`); канонический URL документации `https://pjandro.ru/pdf-converter/swagger-ui.html` — открыт без ключа. **Dev-стенд** — из репо `compose.dev.yml` (проект `wordpdf-dev`, `9011:80` на все интерфейсы — вход по LAN-IP хоста, без env → ключ пуст, springdoc вкл). Репозиторный `compose.yml` — третий вариант (проект `wordpdf`, `9010:80` на все интерфейсы, `WORDPDF_API_KEY` fail-closed без `.env` — `up` упадёт, `VITE_BASE` — build-arg `wordpdf-web/Containerfile` — репо-compose НЕ передаёт: `compose build` без arg даёт base `/` и битые ассеты под префиксом, прод передаёт arg по DEPLOY.md). Запуск по просьбе пользователя = прод-стек; dev/`java -jar`/`npm run dev` — внутренняя отладка. +## CI/CD (Gitea Actions) + +Два workflow. `.gitea/workflows/pr.yml` — `PR checks` (`pull_request` + `workflow_dispatch`): +job `java` (temurin 21, кеш `~/.m2` через `actions/cache`, Maven 3.9.16, `mvn -B clean verify`) +и `web` (кеш `~/.npm`, `npm ci`/`build`/`lint`). `.gitea/workflows/main.yml` — `Main: tests, +deploy, autotests` (`push` в `main` + `workflow_dispatch`): те же `java`/`web` (байт-в-байт +дубль — файлы самодостаточны, reusable-workflow не вводить), затем `deploy` (SSH на прод: +сохранить `.rollback.env` — image ID контейнеров app/web + HEAD `src` — затем +`restart.sh --build` в директории деплоя (Variable `DEPLOY_DIR`)), `autotests` (venv + +`prod-autotests/` против прода), +`rollback` (`if: failure()` — retag прежних образов на `wordpdf-app:prod`/`wordpdf-web:prod`, +`git reset --hard` на `src`, `--force-recreate app web`, рестарт gateway). Кеш раннеров — +сервер act_runner, хранилище на ZFS tank (серверная часть, вне репо). + +**Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни +SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты +стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`, +`WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`), креды — **Secrets** (`DEPLOY_SSH_KEY`, +`WORDPDF_API_KEY`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`. +Инструкция владельца — корневой `GITEA-vars.md` (только имена, без значений). + ## Code Conventions & Common Patterns - Классы `final`, приватный конструктор, только `static` (stateless, DI нет; конфигурация — `Docx4jProperties` + classpath-ресурсы). Исключения — экземпляры по природе: docx4j-наследник `BundledFontMapper` (`extends BestMatchingMapper`), обёртка цветов `DrawMlColor` (тоже instance, но НЕ наследник docx4j) и Spring-компоненты `wordpdf-app`. diff --git a/GITEA-vars.md b/GITEA-vars.md new file mode 100644 index 0000000..1666a66 --- /dev/null +++ b/GITEA-vars.md @@ -0,0 +1,48 @@ +# Настройка Gitea для CI/CD этого репо + +Секреты, переменные и защиту ветки заводит **владелец репо** в Web UI — у CI-токена прав +admin нет. Workflow-файлы уже в репо; прогоны main-пайплайна без Variables/Secrets падают на +job'ах `deploy`/`autotests` с внятным сообщением, чего не хватает, — это ожидаемо. После +заполнения перезапустите упавший run («Re-run jobs» на странице run'а) или запустите +`Main: tests, deploy, autotests` вручную (Actions → Run workflow, branch `main`). + +**Правило: координаты прода и креды в файлы репо не попадают** — ни в workflow'ы, ни в этот +гайд: здесь только имена Variables/Secrets, значения живут только в Gitea. + +## Секреты (Settings → Actions → Secrets) + +|Имя|Значение|Где взять| +|---|---|---| +|`DEPLOY_SSH_KEY`|Приватный SSH-ключ деплоя на прод (целиком, PEM)|CI-ключ `wordpdf-ci-deploy` на dev-машине; публичная половина уже добавлена в `authorized_keys` деплой-пользователя прод-сервера| +|`WORDPDF_API_KEY`|Прод-ключ API wordpdf|`.env` в директории деплоя на прод-сервере (значение `WORDPDF_API_KEY`)| + +## Переменные (Settings → Actions → Variables) + +|Имя|Значение| +|---|---| +|`DEPLOY_HOST`|Адрес прод-сервера (туда Actions ходит по SSH)| +|`DEPLOY_USER`|SSH-пользователь прод-сервера с правами на podman| +|`DEPLOY_DIR`|Абсолютный путь директории деплоя на прод-сервере (compose, `restart.sh`, `.rollback.env`, `.env`)| +|`WORDPDF_BASE_URL`|Базовый URL прод-API для автотестов (вида `https://<домен-прода>/pdf-converter`)| +|`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `1000`)| + +При смене лимита страниц прода — править `WORDPDF_MAX_PAGES` в Variables, PR не нужен. + +## Защита ветки main (блокировка мержа до зелёных проверок) + +Settings → Branches → Branch Protection → Add protection: +- Branch name: `main` +- включить **Enable Status Check on Merge** +- **Status checks on merge**: `PR checks / java (pull_request), PR checks / web (pull_request)` + +Контексты — фактические строки статуса, которые Gitea 1.26 публикует для job'ов Actions +(формат ` / ()`, проверено на первом PR-ране), а не голые имена +job'ов. `deploy`/`autotests` в список НЕ включать: на PR они не запускаются, +мерж блокировался бы навсегда. + +## Ручной перезапуск проверок + +- Упавший run: страница run'а → **Re-run jobs** (можно только упавшие job'ы). +- Новый прогон main-пайплайна без нового коммита: Actions → `Main: tests, deploy, autotests` + → **Run workflow** (branch `main`) — триггер `workflow_dispatch`. +- PR-проверки без нового коммита: Actions → `PR checks` → Run workflow (branch PR-ветки).