Merge pull request 'ci: образы собирает CI и пушит в Nexus-реестр, прод-деплой = pull' (#16) from ci/registry-docker-deploy into main
Main: tests, deploy, autotests / java (push) Successful in 3m5s
Main: tests, deploy, autotests / web (push) Successful in 46s
Main: tests, deploy, autotests / images (push) Successful in 5m36s
Main: tests, deploy, autotests / deploy (push) Successful in 1m3s
Main: tests, deploy, autotests / autotests (push) Failing after 51s
Main: tests, deploy, autotests / rollback (push) Successful in 53s
Main: tests, deploy, autotests / java (push) Successful in 3m5s
Main: tests, deploy, autotests / web (push) Successful in 46s
Main: tests, deploy, autotests / images (push) Successful in 5m36s
Main: tests, deploy, autotests / deploy (push) Successful in 1m3s
Main: tests, deploy, autotests / autotests (push) Failing after 51s
Main: tests, deploy, autotests / rollback (push) Successful in 53s
This commit was merged in pull request #16.
This commit is contained in:
@@ -56,19 +56,72 @@ jobs:
|
||||
working-directory: wordpdf-web
|
||||
run: npm run lint
|
||||
|
||||
deploy:
|
||||
images:
|
||||
runs-on: ubuntu-latest
|
||||
needs: [java, web]
|
||||
steps:
|
||||
- uses: actions/checkout@v5
|
||||
|
||||
- name: Check registry vars and secret
|
||||
env:
|
||||
REGISTRY: ${{ vars.REGISTRY }}
|
||||
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
|
||||
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
|
||||
run: |
|
||||
[ -n "$REGISTRY" ] && [ -n "$REGISTRY_USER" ] && [ -n "$REGISTRY_PASSWORD" ] || {
|
||||
echo "Задайте Actions Variable REGISTRY и Secrets REGISTRY_USER/REGISTRY_PASSWORD — см. GITEA-vars.md" >&2
|
||||
exit 1
|
||||
}
|
||||
|
||||
- name: Docker auth
|
||||
env:
|
||||
REGISTRY: ${{ vars.REGISTRY }}
|
||||
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
|
||||
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
|
||||
run: |
|
||||
mkdir -p ~/.docker
|
||||
printf '{"auths":{"%s":{"auth":"%s"}}}' "$REGISTRY" \
|
||||
"$(printf '%s:%s' "$REGISTRY_USER" "$REGISTRY_PASSWORD" | base64 -w0)" > ~/.docker/config.json
|
||||
|
||||
- name: Build and push app image
|
||||
env:
|
||||
REGISTRY: ${{ vars.REGISTRY }}
|
||||
run: |
|
||||
sha="${GITHUB_SHA:0:7}"
|
||||
# DOCKER_BUILDKIT=0: daemon за раннером — podman, BuildKit-сессий нет,
|
||||
# только classic /build (buildah).
|
||||
DOCKER_BUILDKIT=0 docker build -f Containerfile \
|
||||
-t "$REGISTRY/wordpdf-app:prod" -t "$REGISTRY/wordpdf-app:sha-$sha" .
|
||||
docker push "$REGISTRY/wordpdf-app:prod"
|
||||
docker push "$REGISTRY/wordpdf-app:sha-$sha"
|
||||
|
||||
- name: Build and push web image
|
||||
env:
|
||||
REGISTRY: ${{ vars.REGISTRY }}
|
||||
run: |
|
||||
sha="${GITHUB_SHA:0:7}"
|
||||
# VITE_BASE прод-префикса пёкся раньше build-аргом в прод-compose;
|
||||
# теперь он здесь — образ из реестра едет на прод как есть.
|
||||
DOCKER_BUILDKIT=0 docker build -f wordpdf-web/Containerfile \
|
||||
--build-arg VITE_BASE=/pdf-converter/ \
|
||||
-t "$REGISTRY/wordpdf-web:prod" -t "$REGISTRY/wordpdf-web:sha-$sha" wordpdf-web
|
||||
docker push "$REGISTRY/wordpdf-web:prod"
|
||||
docker push "$REGISTRY/wordpdf-web:sha-$sha"
|
||||
|
||||
deploy:
|
||||
runs-on: ubuntu-latest
|
||||
needs: images
|
||||
steps:
|
||||
- name: Check deploy vars and secret
|
||||
env:
|
||||
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }}
|
||||
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
|
||||
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
|
||||
REGISTRY: ${{ vars.REGISTRY }}
|
||||
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
|
||||
run: |
|
||||
[ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$DEPLOY_SSH_KEY" ] || {
|
||||
echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2
|
||||
[ -n "$DEPLOY_HOST" ] && [ -n "$DEPLOY_USER" ] && [ -n "$DEPLOY_DIR" ] && [ -n "$REGISTRY" ] && [ -n "$DEPLOY_SSH_KEY" ] || {
|
||||
echo "Задайте Actions Variables DEPLOY_HOST/DEPLOY_USER/DEPLOY_DIR/REGISTRY и Secret DEPLOY_SSH_KEY — см. GITEA-vars.md" >&2
|
||||
exit 1
|
||||
}
|
||||
|
||||
@@ -86,9 +139,8 @@ jobs:
|
||||
{
|
||||
echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)"
|
||||
echo "PREV_WEB=$(podman inspect -f '{{.Image}}' wordpdf-prod-web-1)"
|
||||
echo "PREV_COMMIT=$(git -C src rev-parse HEAD)"
|
||||
} > .rollback.env
|
||||
./restart.sh --build
|
||||
./restart.sh --deploy
|
||||
|
||||
autotests:
|
||||
runs-on: ubuntu-latest
|
||||
@@ -139,9 +191,8 @@ jobs:
|
||||
exit 1
|
||||
fi
|
||||
. ./.rollback.env
|
||||
podman tag "$PREV_APP" wordpdf-app:prod
|
||||
podman tag "$PREV_WEB" wordpdf-web:prod
|
||||
git -C src reset --hard "$PREV_COMMIT"
|
||||
podman tag "$PREV_APP" "${{ vars.REGISTRY }}/wordpdf-app:prod"
|
||||
podman tag "$PREV_WEB" "${{ vars.REGISTRY }}/wordpdf-web:prod"
|
||||
podman-compose up -d --force-recreate app web
|
||||
for _ in $(seq 1 60); do
|
||||
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
|
||||
|
||||
@@ -57,7 +57,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр
|
||||
|`wordpdf-web/src/`|SPA (React 19 + TS + Vite + Tailwind): `api.ts` (вся сеть), `components/` (App, ApiKeyGate, PdfPreview, StatusMessage, DropZone, Logo)|
|
||||
|корневые `Containerfile`, `compose.yml`, `compose.dev.yml`, `gateway/nginx.conf`|образ бэкенда (multi-stage maven:3.9-temurin-21 → temurin-21-jre, non-root, HEALTHCHECK actuator); compose app+web+gateway: web-образ со своим HEALTHCHECK (`wget /`), в обоих compose `depends_on web: condition: service_healthy` (без health web gateway не стартует); прод-compose интерполирует `WORDPDF_MAX_BYTES:-5242880`/`WORDPDF_MAX_PAGES:-100`; podman-специфика обоих compose: `x-podman.name_separator_compat` (docker-style имена контейнеров), явные `healthcheck` app/web (дубли Containerfile-HEALTHCHECK — OCI-выгрузка его теряет), зафиксированная подсеть `10.113.0.0/24` gw `10.113.0.1` под резолвер aardvark-dns; два repo-стенда одновременно не поднять (общая подсеть)|
|
||||
|корневой `.env.example`|шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_BYTES`/`WORDPDF_MAX_PAGES`; реальный прод `.env` — на прод-сервере (координаты: `/home/pjandro/prod/java-word-pdf/DEPLOY.md`, вне репо)|
|
||||
|`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → deploy → autotests → rollback)|
|
||||
|`.gitea/workflows/`|Gitea Actions: `pr.yml` (PR checks), `main.yml` (тесты → `images` (docker build + push в Nexus) → deploy (pull) → autotests → rollback)|
|
||||
|корневой `GITEA-vars.md`|инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений|
|
||||
|корневой `prod-autotests/`|прод-автотесты API (pytest + requests, 18 проверок): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет; окружение — mise (`mise.toml`: python 3.15 + автосоздаваемый `.venv`, в venv от uv pip досеивается `ensurepip`); прод-раннер вне git — `/home/pjandro/prod/java-word-pdf/run-prod-tests.sh` (знает прод-настройки: base URL, лимит 1000 стр., ключ из соседнего `.env`)|
|
||||
|`develop/` (вне git)|рабочие материалы и эталоны Word 365 (`word.docx`+`word.pdf`, `word-export.*`, `convert.pdf`, `1212.pdf`, `diff/`) — **ручное сравнение, не фикстуры**, в тесты/jar не подключать|
|
||||
@@ -84,7 +84,7 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \
|
||||
ru.pjandro.wordpdf.SampleDocxGenerator wordpdf-core/src/test/resources/samples
|
||||
```
|
||||
|
||||
Деплой. **Прод** — на пользовательском LAN-сервере (podman 5.8.2 + podman-compose 1.6.0, бинарников `docker`/`docker-compose` на сервере нет); координаты сервера, каталог, restart-секвенция, ключ и гейты успешности — вне репо: `/home/pjandro/prod/java-word-pdf/DEPLOY.md` (обязательно прочитать перед любым деплоем/перезапуском; в том каталоге лежат архивные файлы старого стека 88.14 — `restart.sh.old-88.14`, старый compose/nginx — **не поднимать**). Единая точка входа с dev-машины — `/home/pjandro/prod/java-word-pdf/restart.sh` (пробрасывает флаги удалённому скрипту: `--build` — пересборка образов из `origin/main` + перезапуск; без флага — restart контейнеров; предупреждает о не запушенном в `main`). В прод попадает только запушенное в `main` — рабочее дерево на сборку не влияет. Прод-compose `/opt/wordpdf/docker-compose.yml` (вне git) содержит podman-специфику: `x-podman.name_separator_compat` (имена `wordpdf-prod-app-1`, от них зависит `restart.sh`), явные healthcheck app/web и фиксированную подсеть `10.112.0.0/24` gw `10.112.0.1`. Наружный вход `https://pjandro.ru/pdf-converter/` (префикс срезает наружный nginx прод-хоста, не репозиторный gateway-конф; прод-копия gateway-конфа отличается от репо только резолвером `10.112.0.1` — под свою подсеть — и `proxy_read_timeout 300s` — в репо его нет, дефолтные 60s рвут 2-минутные конвертации; resolver + `proxy_pass` через переменную есть и там и там). Тот же наружный nginx в `location /pdf-converter/` добавляет `X-Forwarded-Host: $host` и `X-Forwarded-Prefix: /pdf-converter` — из них springdoc собирает server-URL спека и swagger-config под префиксом (без `X-Forwarded-Host` server = `https://app:8080`, gateway шлёт приложению `Host: app:8080`); канонический URL документации `https://pjandro.ru/pdf-converter/swagger-ui.html` — открыт без ключа. **Dev-стенд** — из репо `compose.dev.yml` (проект `wordpdf-dev`, `9011:80` на все интерфейсы — вход по LAN-IP хоста, без env → ключ пуст, springdoc вкл). Репозиторный `compose.yml` — третий вариант (проект `wordpdf`, `9010:80` на все интерфейсы, `WORDPDF_API_KEY` fail-closed без `.env` — `up` упадёт, `VITE_BASE` — build-arg `wordpdf-web/Containerfile` — репо-compose НЕ передаёт: `compose build` без arg даёт base `/` и битые ассеты под префиксом, прод передаёт arg по DEPLOY.md). Запуск по просьбе пользователя = прод-стек; dev/`java -jar`/`npm run dev` — внутренняя отладка.
|
||||
Деплой. **Прод** — на пользовательском LAN-сервере (podman 5.8.2 + podman-compose 1.6.0, бинарников `docker`/`docker-compose` на сервере нет); координаты сервера, каталог, restart-секвенция, ключ и гейты успешности — вне репо: `/home/pjandro/prod/java-word-pdf/DEPLOY.md` (обязательно прочитать перед любым деплоем/перезапуском; в том каталоге лежат архивные файлы старого стека 88.14 — `restart.sh.old-88.14`, старый compose/nginx — **не поднимать**). Единая точка входа с dev-машины — `/home/pjandro/prod/java-word-pdf/restart.sh` (пробрасывает флаги удалённому скрипту: `--deploy` — pull образов `wordpdf-{app,web}:prod` из Nexus-реестра (их собирает CI, job `images`) и пересоздание app/web; без флага — restart контейнеров; предупреждает о не запушенном в `main`). В прод попадает только собранное CI из `main` — рабочее дерево на сборку не влияет; прод не собирает код и git-клона на проде нет (insecure-запись реестра в `/etc/containers/registries.conf.d/`, креды `REGISTRY_USER`/`REGISTRY_PASSWORD` в прод `.env`). Прод-compose `/opt/wordpdf/docker-compose.yml` (вне git) содержит podman-специфику: `x-podman.name_separator_compat` (имена `wordpdf-prod-app-1`, от них зависит `restart.sh`), явные healthcheck app/web и фиксированную подсеть `10.112.0.0/24` gw `10.112.0.1`. Наружный вход `https://pjandro.ru/pdf-converter/` (префикс срезает наружный nginx прод-хоста, не репозиторный gateway-конф; прод-копия gateway-конфа отличается от репо только резолвером `10.112.0.1` — под свою подсеть — и `proxy_read_timeout 300s` — в репо его нет, дефолтные 60s рвут 2-минутные конвертации; resolver + `proxy_pass` через переменную есть и там и там). Тот же наружный nginx в `location /pdf-converter/` добавляет `X-Forwarded-Host: $host` и `X-Forwarded-Prefix: /pdf-converter` — из них springdoc собирает server-URL спека и swagger-config под префиксом (без `X-Forwarded-Host` server = `https://app:8080`, gateway шлёт приложению `Host: app:8080`); канонический URL документации `https://pjandro.ru/pdf-converter/swagger-ui.html` — открыт без ключа. **Dev-стенд** — из репо `compose.dev.yml` (проект `wordpdf-dev`, `9011:80` на все интерфейсы — вход по LAN-IP хоста, без env → ключ пуст, springdoc вкл). Репозиторный `compose.yml` — третий вариант (проект `wordpdf`, `9010:80` на все интерфейсы, `WORDPDF_API_KEY` fail-closed без `.env` — `up` упадёт, `VITE_BASE` — build-arg `wordpdf-web/Containerfile` — репо-compose НЕ передаёт: `compose build` без arg даёт base `/` и битые ассеты под префиксом; на прод-путь не влияет — там `VITE_BASE=/pdf-converter/` запекает CI в job `images`). Запуск по просьбе пользователя = прод-стек; dev/`java -jar`/`npm run dev` — внутренняя отладка.
|
||||
|
||||
## CI/CD (Gitea Actions)
|
||||
|
||||
@@ -92,19 +92,24 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \
|
||||
job `java` (temurin 21, кеш `~/.m2` через `actions/cache`, Maven 3.9.16, `mvn -B clean verify`)
|
||||
и `web` (кеш `~/.npm`, `npm ci`/`build`/`lint`). `.gitea/workflows/main.yml` — `Main: tests,
|
||||
deploy, autotests` (`push` в `main` + `workflow_dispatch`): те же `java`/`web` (байт-в-байт
|
||||
дубль — файлы самодостаточны, reusable-workflow не вводить), затем `deploy` (SSH на прод:
|
||||
сохранить `.rollback.env` — image ID контейнеров app/web + HEAD `src` — затем
|
||||
`restart.sh --build` в директории деплоя (Variable `DEPLOY_DIR`)), `autotests` (venv +
|
||||
дубль — файлы самодостаточны, reusable-workflow не вводить), затем `images` (`docker build`
|
||||
обоих Containerfile + `docker push` в Nexus-реестр `${{ vars.REGISTRY }}`, теги `prod` +
|
||||
immovable `sha-<7 символов GITHUB_SHA>`; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером
|
||||
podman, BuildKit-сессий нет; job-контейнеры видят podman-сокет хоста через `container.binds`
|
||||
в конфиге act_runner), `deploy` (SSH на прод:
|
||||
сохранить `.rollback.env` — image ID контейнеров app/web — затем
|
||||
`restart.sh --deploy` в директории деплоя (Variable `DEPLOY_DIR`): login в реестр +
|
||||
`podman-compose pull` + `--force-recreate app web`), `autotests` (venv +
|
||||
`prod-autotests/` против прода),
|
||||
`rollback` (`if: failure()` — retag прежних образов на `wordpdf-app:prod`/`wordpdf-web:prod`,
|
||||
`git reset --hard` на `src`, `--force-recreate app web`, рестарт gateway). Кеш раннеров —
|
||||
`rollback` (`if: failure()` — retag прежних image ID на `${{ vars.REGISTRY }}/wordpdf-app:prod`
|
||||
и `…/wordpdf-web:prod`, `--force-recreate app web`, рестарт gateway). Кеш раннеров —
|
||||
сервер act_runner, хранилище на ZFS tank (серверная часть, вне репо).
|
||||
|
||||
**Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни
|
||||
SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты
|
||||
стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`,
|
||||
`WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`), креды — **Secrets** (`DEPLOY_SSH_KEY`,
|
||||
`WORDPDF_API_KEY`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`.
|
||||
`WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `REGISTRY`), креды — **Secrets** (`DEPLOY_SSH_KEY`,
|
||||
`WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`.
|
||||
Инструкция владельца — корневой `GITEA-vars.md` (только имена, без значений).
|
||||
|
||||
## Code Conventions & Common Patterns
|
||||
|
||||
@@ -15,6 +15,8 @@ job'ах `deploy`/`autotests` с внятным сообщением, чего
|
||||
|---|---|---|
|
||||
|`DEPLOY_SSH_KEY`|Приватный SSH-ключ деплоя на прод (целиком, PEM)|CI-ключ `wordpdf-ci-deploy` на dev-машине; публичная половина уже добавлена в `authorized_keys` деплой-пользователя прод-сервера|
|
||||
|`WORDPDF_API_KEY`|Прод-ключ API wordpdf|`.env` в директории деплоя на прод-сервере (значение `WORDPDF_API_KEY`)|
|
||||
|`REGISTRY_USER`|Логин docker-реестра для CI-пуша (`ci-deploy`)|Nexus: Security → Users (роль `ci-deploy-role`, права на docker-hosted репозиторий)|
|
||||
|`REGISTRY_PASSWORD`|Пароль этого пользователя|Тот же, что в `.env` директории деплоя на прод-сервере (значение `REGISTRY_PASSWORD`)|
|
||||
|
||||
## Переменные (Settings → Actions → Variables)
|
||||
|
||||
@@ -25,6 +27,7 @@ job'ах `deploy`/`autotests` с внятным сообщением, чего
|
||||
|`DEPLOY_DIR`|Абсолютный путь директории деплоя на прод-сервере (compose, `restart.sh`, `.rollback.env`, `.env`)|
|
||||
|`WORDPDF_BASE_URL`|Базовый URL прод-API для автотестов (вида `https://<домен-прода>/pdf-converter`)|
|
||||
|`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `1000`)|
|
||||
|`REGISTRY`|Адрес docker-реестра `host:port` без схемы (Nexus docker-registry на прод-сервере, коннектор `:5000`)|
|
||||
|
||||
При смене лимита страниц прода — править `WORDPDF_MAX_PAGES` в Variables, PR не нужен.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user