Merge pull request 'ci: Gitea workflows (PR checks, main deploy+rollback), GITEA-vars guide' (#15) from ci/gitea-workflows into main
Main: tests, deploy, autotests / java (push) Successful in 1m13s
Main: tests, deploy, autotests / web (push) Successful in 40s
Main: tests, deploy, autotests / deploy (push) Successful in 7m15s
Main: tests, deploy, autotests / autotests (push) Failing after 56s
Main: tests, deploy, autotests / rollback (push) Successful in 54s
Main: tests, deploy, autotests / java (push) Successful in 1m13s
Main: tests, deploy, autotests / web (push) Successful in 40s
Main: tests, deploy, autotests / deploy (push) Successful in 7m15s
Main: tests, deploy, autotests / autotests (push) Failing after 56s
Main: tests, deploy, autotests / rollback (push) Successful in 54s
Reviewed-on: #15
This commit was merged in pull request #15.
This commit is contained in:
@@ -0,0 +1,152 @@
|
||||
name: "Main: tests, deploy, autotests"
|
||||
|
||||
on:
|
||||
push:
|
||||
branches: [main]
|
||||
workflow_dispatch:
|
||||
|
||||
jobs:
|
||||
java:
|
||||
runs-on: ubuntu-latest
|
||||
steps:
|
||||
- uses: actions/checkout@v5
|
||||
|
||||
- name: Setup JDK 21
|
||||
uses: actions/setup-java@v5
|
||||
with:
|
||||
java-version: '21'
|
||||
distribution: 'temurin'
|
||||
|
||||
- name: Cache Maven repository
|
||||
uses: actions/cache@v4
|
||||
with:
|
||||
path: ~/.m2/repository
|
||||
key: maven-${{ hashFiles('pom.xml', 'wordpdf-core/pom.xml', 'wordpdf-app/pom.xml') }}
|
||||
restore-keys: maven-
|
||||
|
||||
- name: Setup Maven 3.9.16
|
||||
run: |
|
||||
curl -fsSL https://dlcdn.apache.org/maven/maven-3/3.9.16/binaries/apache-maven-3.9.16-bin.tar.gz | tar xz -C /opt
|
||||
echo "/opt/apache-maven-3.9.16/bin" >> "$GITHUB_PATH"
|
||||
|
||||
- name: Build and test (PMD gate included)
|
||||
run: mvn -B clean verify
|
||||
|
||||
web:
|
||||
runs-on: ubuntu-latest
|
||||
steps:
|
||||
- uses: actions/checkout@v5
|
||||
|
||||
- name: Cache npm
|
||||
uses: actions/cache@v4
|
||||
with:
|
||||
path: ~/.npm
|
||||
key: npm-${{ hashFiles('wordpdf-web/package-lock.json') }}
|
||||
restore-keys: npm-
|
||||
|
||||
- name: Install dependencies
|
||||
working-directory: wordpdf-web
|
||||
run: npm ci
|
||||
|
||||
- name: Build SPA
|
||||
working-directory: wordpdf-web
|
||||
run: npm run build
|
||||
|
||||
- name: Lint SPA
|
||||
working-directory: wordpdf-web
|
||||
run: npm run lint
|
||||
|
||||
deploy:
|
||||
runs-on: ubuntu-latest
|
||||
needs: [java, web]
|
||||
steps:
|
||||
- name: Check deploy vars and secret
|
||||
env:
|
||||
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }}
|
||||
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
|
||||
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
|
||||
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
|
||||
run: |
|
||||
[ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$DEPLOY_SSH_KEY" ] || {
|
||||
echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2
|
||||
exit 1
|
||||
}
|
||||
|
||||
- name: Save rollback state and deploy
|
||||
uses: appleboy/ssh-action@v1.0.3
|
||||
with:
|
||||
host: ${{ vars.DEPLOY_HOST }}
|
||||
username: ${{ vars.DEPLOY_USER }}
|
||||
key: ${{ secrets.DEPLOY_SSH_KEY }}
|
||||
script_stop: true
|
||||
script: |
|
||||
set -euo pipefail
|
||||
cd "${{ vars.DEPLOY_DIR }}"
|
||||
umask 077
|
||||
{
|
||||
echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)"
|
||||
echo "PREV_WEB=$(podman inspect -f '{{.Image}}' wordpdf-prod-web-1)"
|
||||
echo "PREV_COMMIT=$(git -C src rev-parse HEAD)"
|
||||
} > .rollback.env
|
||||
./restart.sh --build
|
||||
|
||||
autotests:
|
||||
runs-on: ubuntu-latest
|
||||
needs: deploy
|
||||
steps:
|
||||
- uses: actions/checkout@v5
|
||||
|
||||
- name: Setup venv
|
||||
run: |
|
||||
python3 -m venv .venv
|
||||
.venv/bin/pip install -q -r prod-autotests/requirements.txt
|
||||
|
||||
- name: Check autotest vars and secret
|
||||
env:
|
||||
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
|
||||
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
||||
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
||||
run: |
|
||||
[ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_API_KEY" ] || {
|
||||
echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2
|
||||
exit 1
|
||||
}
|
||||
|
||||
- name: Run prod autotests
|
||||
env:
|
||||
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
|
||||
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
||||
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
||||
run: cd prod-autotests && ../.venv/bin/python -m pytest -q .
|
||||
|
||||
rollback:
|
||||
runs-on: ubuntu-latest
|
||||
needs: [deploy, autotests]
|
||||
if: failure()
|
||||
steps:
|
||||
- name: Roll back prod to previous images
|
||||
uses: appleboy/ssh-action@v1.0.3
|
||||
with:
|
||||
host: ${{ vars.DEPLOY_HOST }}
|
||||
username: ${{ vars.DEPLOY_USER }}
|
||||
key: ${{ secrets.DEPLOY_SSH_KEY }}
|
||||
script_stop: true
|
||||
script: |
|
||||
set -euo pipefail
|
||||
cd "${{ vars.DEPLOY_DIR }}"
|
||||
if [ ! -f .rollback.env ]; then
|
||||
echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2
|
||||
exit 1
|
||||
fi
|
||||
. ./.rollback.env
|
||||
podman tag "$PREV_APP" wordpdf-app:prod
|
||||
podman tag "$PREV_WEB" wordpdf-web:prod
|
||||
git -C src reset --hard "$PREV_COMMIT"
|
||||
podman-compose up -d --force-recreate app web
|
||||
for _ in $(seq 1 60); do
|
||||
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
|
||||
sleep 2
|
||||
done
|
||||
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] || { echo "app НЕ healthy после отката" >&2; exit 1; }
|
||||
podman-compose restart gateway
|
||||
curl -fsS http://127.0.0.1:9010/actuator/health
|
||||
@@ -0,0 +1,56 @@
|
||||
name: PR checks
|
||||
|
||||
on:
|
||||
pull_request:
|
||||
workflow_dispatch:
|
||||
|
||||
jobs:
|
||||
java:
|
||||
runs-on: ubuntu-latest
|
||||
steps:
|
||||
- uses: actions/checkout@v5
|
||||
|
||||
- name: Setup JDK 21
|
||||
uses: actions/setup-java@v5
|
||||
with:
|
||||
java-version: '21'
|
||||
distribution: 'temurin'
|
||||
|
||||
- name: Cache Maven repository
|
||||
uses: actions/cache@v4
|
||||
with:
|
||||
path: ~/.m2/repository
|
||||
key: maven-${{ hashFiles('pom.xml', 'wordpdf-core/pom.xml', 'wordpdf-app/pom.xml') }}
|
||||
restore-keys: maven-
|
||||
|
||||
- name: Setup Maven 3.9.16
|
||||
run: |
|
||||
curl -fsSL https://dlcdn.apache.org/maven/maven-3/3.9.16/binaries/apache-maven-3.9.16-bin.tar.gz | tar xz -C /opt
|
||||
echo "/opt/apache-maven-3.9.16/bin" >> "$GITHUB_PATH"
|
||||
|
||||
- name: Build and test (PMD gate included)
|
||||
run: mvn -B clean verify
|
||||
|
||||
web:
|
||||
runs-on: ubuntu-latest
|
||||
steps:
|
||||
- uses: actions/checkout@v5
|
||||
|
||||
- name: Cache npm
|
||||
uses: actions/cache@v4
|
||||
with:
|
||||
path: ~/.npm
|
||||
key: npm-${{ hashFiles('wordpdf-web/package-lock.json') }}
|
||||
restore-keys: npm-
|
||||
|
||||
- name: Install dependencies
|
||||
working-directory: wordpdf-web
|
||||
run: npm ci
|
||||
|
||||
- name: Build SPA
|
||||
working-directory: wordpdf-web
|
||||
run: npm run build
|
||||
|
||||
- name: Lint SPA
|
||||
working-directory: wordpdf-web
|
||||
run: npm run lint
|
||||
@@ -57,6 +57,8 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|
||||
|`wordpdf-web/src/`|SPA (React 19 + TS + Vite + Tailwind): `api.ts` (вся сеть), `components/` (App, ApiKeyGate, PdfPreview, StatusMessage, DropZone, Logo)|
|
||||
|корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf`|образ бэкенда (multi-stage maven:3.9-temurin-21 → temurin-21-jre, non-root, HEALTHCHECK actuator); compose app+web+gateway: web-образ со своим HEALTHCHECK (`wget /`), в обоих compose `depends_on web: condition: service_healthy` (без health web gateway не стартует); прод-compose интерполирует `WORDPDF_MAX_BYTES:-5242880`/`WORDPDF_MAX_PAGES:-100`; podman-специфика обоих compose: `x-podman.name_separator_compat` (docker-style имена контейнеров), явные `healthcheck` app/web (дубли Containerfile-HEALTHCHECK — OCI-выгрузка его теряет), зафиксированная подсеть `10.113.0.0/24` gw `10.113.0.1` под резолвер aardvark-dns; два repo-стенда одновременно не поднять (общая подсеть)|
|
||||
|корневой `.env.example`|шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`; реальный прод `.env` — на прод-сервере (координаты: `/home/pjandro/prod/java-word-pdf/DEPLOY.md`, вне репо)|
|
||||
|`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → deploy → autotests → rollback)|
|
||||
|корневой `GITEA-vars.md`|инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений|
|
||||
|корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 18 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 1000 стр., ключ из соседнего `.env`)|
|
||||
|`develop/` (вне git)|рабочие материалы и эталоны Word 365 (`word.docx`+`word.pdf`, `word-export.*`, `convert.pdf`, `1212.pdf`, `diff/`) — **ручное сравнение, не фикстуры**, в тесты/jar не подключать|
|
||||
|
||||
@@ -84,6 +86,27 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \
|
||||
|
||||
Деплой. **Прод** — на пользовательском LAN-сервере (podman 5.8.2 + podman-compose 1.6.0, бинарников `docker`/`docker-compose` на сервере нет); координаты сервера, каталог, restart-секвенция, ключ и гейты успешности — вне репо: `/home/pjandro/prod/java-word-pdf/DEPLOY.md` (обязательно прочитать перед любым деплоем/перезапуском; в том каталоге лежат архивные файлы старого стека 88.14 — `restart.sh.old-88.14`, старый compose/nginx — **не поднимать**). Единая точка входа с dev-машины — `/home/pjandro/prod/java-word-pdf/restart.sh` (пробрасывает флаги удалённому скрипту: `--build` — пересборка образов из `origin/main` + перезапуск; без флага — restart контейнеров; предупреждает о не запушенном в `main`). В прод попадает только запушенное в `main` — рабочее дерево на сборку не влияет. Прод-compose `/opt/wordpdf/docker-compose.yml` (вне git) содержит podman-специфику: `x-podman.name_separator_compat` (имена `wordpdf-prod-app-1`, от них зависит `restart.sh`), явные healthcheck app/web и фиксированную подсеть `10.112.0.0/24` gw `10.112.0.1`. Наружный вход `https://pjandro.ru/pdf-converter/` (префикс срезает наружный nginx прод-хоста, не репозиторный gateway-конф; прод-копия gateway-конфа отличается от репо только резолвером `10.112.0.1` — под свою подсеть — и `proxy_read_timeout 300s` — в репо его нет, дефолтные 60s рвут 2-минутные конвертации; resolver + `proxy_pass` через переменную есть и там и там). Тот же наружный nginx в `location /pdf-converter/` добавляет `X-Forwarded-Host: $host` и `X-Forwarded-Prefix: /pdf-converter` — из них springdoc собирает server-URL спека и swagger-config под префиксом (без `X-Forwarded-Host` server = `https://app:8080`, gateway шлёт приложению `Host: app:8080`); канонический URL документации `https://pjandro.ru/pdf-converter/swagger-ui.html` — открыт без ключа. **Dev-стенд** — из репо `compose.dev.yml` (проект `wordpdf-dev`, `9011:80` на все интерфейсы — вход по LAN-IP хоста, без env → ключ пуст, springdoc вкл). Репозиторный `compose.yml` — третий вариант (проект `wordpdf`, `9010:80` на все интерфейсы, `WORDPDF_API_KEY` fail-closed без `.env` — `up` упадёт, `VITE_BASE` — build-arg `wordpdf-web/Containerfile` — репо-compose НЕ передаёт: `compose build` без arg даёт base `/` и битые ассеты под префиксом, прод передаёт arg по DEPLOY.md). Запуск по просьбе пользователя = прод-стек; dev/`java -jar`/`npm run dev` — внутренняя отладка.
|
||||
|
||||
## CI/CD (Gitea Actions)
|
||||
|
||||
Два workflow. `.gitea/workflows/pr.yml` — `PR checks` (`pull_request` + `workflow_dispatch`):
|
||||
job `java` (temurin 21, кеш `~/.m2` через `actions/cache`, Maven 3.9.16, `mvn -B clean verify`)
|
||||
и `web` (кеш `~/.npm`, `npm ci`/`build`/`lint`). `.gitea/workflows/main.yml` — `Main: tests,
|
||||
deploy, autotests` (`push` в `main` + `workflow_dispatch`): те же `java`/`web` (байт-в-байт
|
||||
дубль — файлы самодостаточны, reusable-workflow не вводить), затем `deploy` (SSH на прод:
|
||||
сохранить `.rollback.env` — image ID контейнеров app/web + HEAD `src` — затем
|
||||
`restart.sh --build` в директории деплоя (Variable `DEPLOY_DIR`)), `autotests` (venv +
|
||||
`prod-autotests/` против прода),
|
||||
`rollback` (`if: failure()` — retag прежних образов на `wordpdf-app:prod`/`wordpdf-web:prod`,
|
||||
`git reset --hard` на `src`, `--force-recreate app web`, рестарт gateway). Кеш раннеров —
|
||||
сервер act_runner, хранилище на ZFS tank (серверная часть, вне репо).
|
||||
|
||||
**Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни
|
||||
SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты
|
||||
стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`,
|
||||
`WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`), креды — **Secrets** (`DEPLOY_SSH_KEY`,
|
||||
`WORDPDF_API_KEY`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`.
|
||||
Инструкция владельца — корневой `GITEA-vars.md` (только имена, без значений).
|
||||
|
||||
## Code Conventions & Common Patterns
|
||||
|
||||
- Классы `final`, приватный конструктор, только `static` (stateless, DI нет; конфигурация — `Docx4jProperties` + classpath-ресурсы). Исключения — экземпляры по природе: docx4j-наследник `BundledFontMapper` (`extends BestMatchingMapper`), обёртка цветов `DrawMlColor` (тоже instance, но НЕ наследник docx4j) и Spring-компоненты `wordpdf-app`.
|
||||
|
||||
@@ -0,0 +1,48 @@
|
||||
# Настройка Gitea для CI/CD этого репо
|
||||
|
||||
Секреты, переменные и защиту ветки заводит **владелец репо** в Web UI — у CI-токена прав
|
||||
admin нет. Workflow-файлы уже в репо; прогоны main-пайплайна без Variables/Secrets падают на
|
||||
job'ах `deploy`/`autotests` с внятным сообщением, чего не хватает, — это ожидаемо. После
|
||||
заполнения перезапустите упавший run («Re-run jobs» на странице run'а) или запустите
|
||||
`Main: tests, deploy, autotests` вручную (Actions → Run workflow, branch `main`).
|
||||
|
||||
**Правило: координаты прода и креды в файлы репо не попадают** — ни в workflow'ы, ни в этот
|
||||
гайд: здесь только имена Variables/Secrets, значения живут только в Gitea.
|
||||
|
||||
## Секреты (Settings → Actions → Secrets)
|
||||
|
||||
|Имя|Значение|Где взять|
|
||||
|---|---|---|
|
||||
|`DEPLOY_SSH_KEY`|Приватный SSH-ключ деплоя на прод (целиком, PEM)|CI-ключ `wordpdf-ci-deploy` на dev-машине; публичная половина уже добавлена в `authorized_keys` деплой-пользователя прод-сервера|
|
||||
|`WORDPDF_API_KEY`|Прод-ключ API wordpdf|`.env` в директории деплоя на прод-сервере (значение `WORDPDF_API_KEY`)|
|
||||
|
||||
## Переменные (Settings → Actions → Variables)
|
||||
|
||||
|Имя|Значение|
|
||||
|---|---|
|
||||
|`DEPLOY_HOST`|Адрес прод-сервера (туда Actions ходит по SSH)|
|
||||
|`DEPLOY_USER`|SSH-пользователь прод-сервера с правами на podman|
|
||||
|`DEPLOY_DIR`|Абсолютный путь директории деплоя на прод-сервере (compose, `restart.sh`, `.rollback.env`, `.env`)|
|
||||
|`WORDPDF_BASE_URL`|Базовый URL прод-API для автотестов (вида `https://<домен-прода>/pdf-converter`)|
|
||||
|`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `1000`)|
|
||||
|
||||
При смене лимита страниц прода — править `WORDPDF_MAX_PAGES` в Variables, PR не нужен.
|
||||
|
||||
## Защита ветки main (блокировка мержа до зелёных проверок)
|
||||
|
||||
Settings → Branches → Branch Protection → Add protection:
|
||||
- Branch name: `main`
|
||||
- включить **Enable Status Check on Merge**
|
||||
- **Status checks on merge**: `PR checks / java (pull_request), PR checks / web (pull_request)`
|
||||
|
||||
Контексты — фактические строки статуса, которые Gitea 1.26 публикует для job'ов Actions
|
||||
(формат `<workflow> / <job> (<event>)`, проверено на первом PR-ране), а не голые имена
|
||||
job'ов. `deploy`/`autotests` в список НЕ включать: на PR они не запускаются,
|
||||
мерж блокировался бы навсегда.
|
||||
|
||||
## Ручной перезапуск проверок
|
||||
|
||||
- Упавший run: страница run'а → **Re-run jobs** (можно только упавшие job'ы).
|
||||
- Новый прогон main-пайплайна без нового коммита: Actions → `Main: tests, deploy, autotests`
|
||||
→ **Run workflow** (branch `main`) — триггер `workflow_dispatch`.
|
||||
- PR-проверки без нового коммита: Actions → `PR checks` → Run workflow (branch PR-ветки).
|
||||
Reference in New Issue
Block a user