c325b6eba3
Run 484: deploy и rollback умерли на yaml.safe_load (ModuleNotFoundError), прод не тронут. Проверено в docker.gitea.com/runner-images:ubuntu-latest: python3 без yaml, pip3 и apt-get есть; ssh/scp есть. Цепочка import → pip → pip --break-system-packages → apt-get python3-yaml, финальная валидация — до переноса файлов на прод.
384 lines
18 KiB
YAML
384 lines
18 KiB
YAML
name: "Main: tests, deploy, autotests"
|
||
|
||
on:
|
||
push:
|
||
branches: [main]
|
||
workflow_dispatch:
|
||
|
||
jobs:
|
||
java:
|
||
runs-on: ubuntu-latest
|
||
steps:
|
||
- uses: actions/checkout@v5
|
||
|
||
- name: Setup JDK 21
|
||
uses: actions/setup-java@v5
|
||
with:
|
||
java-version: '21'
|
||
distribution: 'temurin'
|
||
|
||
- name: Cache Maven repository
|
||
uses: actions/cache@v4
|
||
with:
|
||
path: ~/.m2/repository
|
||
key: maven-${{ hashFiles('pom.xml', 'wordpdf-core/pom.xml', 'wordpdf-app/pom.xml') }}
|
||
restore-keys: maven-
|
||
|
||
- name: Setup Maven 3.9.16
|
||
run: |
|
||
curl -fsSL https://dlcdn.apache.org/maven/maven-3/3.9.16/binaries/apache-maven-3.9.16-bin.tar.gz | tar xz -C /opt
|
||
echo "/opt/apache-maven-3.9.16/bin" >> "$GITHUB_PATH"
|
||
|
||
- name: Build and test (PMD gate included)
|
||
run: mvn -B clean verify
|
||
|
||
web:
|
||
runs-on: ubuntu-latest
|
||
steps:
|
||
- uses: actions/checkout@v5
|
||
|
||
- name: Cache npm
|
||
uses: actions/cache@v4
|
||
with:
|
||
path: ~/.npm
|
||
key: npm-${{ hashFiles('wordpdf-web/package-lock.json') }}
|
||
restore-keys: npm-
|
||
|
||
- name: Install dependencies
|
||
working-directory: wordpdf-web
|
||
run: npm ci
|
||
|
||
- name: Build SPA
|
||
working-directory: wordpdf-web
|
||
run: npm run build
|
||
|
||
- name: Lint SPA
|
||
working-directory: wordpdf-web
|
||
run: npm run lint
|
||
|
||
images:
|
||
runs-on: ubuntu-latest
|
||
needs: [java, web]
|
||
steps:
|
||
- uses: actions/checkout@v5
|
||
|
||
- name: Check registry vars and secret
|
||
env:
|
||
REGISTRY: ${{ vars.REGISTRY }}
|
||
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
|
||
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
|
||
run: |
|
||
[ -n "$REGISTRY" ] && [ -n "$REGISTRY_USER" ] && [ -n "$REGISTRY_PASSWORD" ] || {
|
||
echo "Задайте Actions Variable REGISTRY и Secrets REGISTRY_USER/REGISTRY_PASSWORD — см. GITEA-vars.md" >&2
|
||
exit 1
|
||
}
|
||
|
||
- name: Docker auth
|
||
env:
|
||
REGISTRY: ${{ vars.REGISTRY }}
|
||
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
|
||
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
|
||
run: |
|
||
mkdir -p ~/.docker
|
||
printf '{"auths":{"%s":{"auth":"%s"}}}' "$REGISTRY" \
|
||
"$(printf '%s:%s' "$REGISTRY_USER" "$REGISTRY_PASSWORD" | base64 -w0)" > ~/.docker/config.json
|
||
|
||
- name: Build and push app image
|
||
env:
|
||
REGISTRY: ${{ vars.REGISTRY }}
|
||
run: |
|
||
sha="${GITHUB_SHA:0:7}"
|
||
# DOCKER_BUILDKIT=0: daemon за раннером — podman, BuildKit-сессий нет,
|
||
# только classic /build (buildah).
|
||
DOCKER_BUILDKIT=0 docker build -f Containerfile \
|
||
-t "$REGISTRY/wordpdf-app:prod" -t "$REGISTRY/wordpdf-app:sha-$sha" .
|
||
docker push "$REGISTRY/wordpdf-app:prod"
|
||
docker push "$REGISTRY/wordpdf-app:sha-$sha"
|
||
|
||
- name: Build and push web image
|
||
env:
|
||
REGISTRY: ${{ vars.REGISTRY }}
|
||
run: |
|
||
sha="${GITHUB_SHA:0:7}"
|
||
# VITE_BASE прод-префикса пёкся раньше build-аргом в прод-compose;
|
||
# теперь он здесь — образ из реестра едет на прод как есть.
|
||
DOCKER_BUILDKIT=0 docker build -f wordpdf-web/Containerfile \
|
||
--build-arg VITE_BASE=/pdf-converter/ \
|
||
-t "$REGISTRY/wordpdf-web:prod" -t "$REGISTRY/wordpdf-web:sha-$sha" wordpdf-web
|
||
docker push "$REGISTRY/wordpdf-web:prod"
|
||
docker push "$REGISTRY/wordpdf-web:sha-$sha"
|
||
|
||
deploy:
|
||
runs-on: ubuntu-latest
|
||
needs: images
|
||
env:
|
||
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }}
|
||
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
|
||
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
|
||
REGISTRY: ${{ vars.REGISTRY }}
|
||
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
|
||
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
||
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
|
||
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
|
||
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
|
||
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
||
steps:
|
||
- name: Check deploy vars and secrets
|
||
run: |
|
||
missing=0
|
||
for v in DEPLOY_HOST DEPLOY_USER DEPLOY_DIR REGISTRY WORDPDF_MAX_MB WORDPDF_MAX_PAGES; do
|
||
[ -n "${!v}" ] || { echo "Задайте Actions Variable $v — см. GITEA-vars.md" >&2; missing=1; }
|
||
done
|
||
for s in DEPLOY_SSH_KEY REGISTRY_USER REGISTRY_PASSWORD WORDPDF_API_KEY; do
|
||
[ -n "${!s}" ] || { echo "Задайте Actions Secret $s — см. GITEA-vars.md" >&2; missing=1; }
|
||
done
|
||
exit "$missing"
|
||
|
||
# Единственный источник правды конфигурации прода — этот workflow: файлы
|
||
# рендерятся в workspace runner'а (обычный bash) и переносятся на хост через
|
||
# ssh — appleboy/ssh-action для этого непригоден: он вставляет свою guard-строку
|
||
# после каждой строки скрипта и срезает отступы, heredoc превращается в мусор
|
||
# (рег. run 482: битый compose на проде, «mapping values are not allowed here»).
|
||
# Ключ API в файл не пишется: compose интерполирует его из окружения деплоя.
|
||
- name: Render prod stack files
|
||
run: &render-stack-files |
|
||
cat > docker-compose.yml <<COMPOSE
|
||
name: wordpdf-prod
|
||
# Рендерится CI на каждый деплой (Gitea Actions, job deploy в main.yml) —
|
||
# конфигурации стека на хосте нет. x-podman даёт docker-style имена контейнеров
|
||
# (wordpdf-prod-app-1), от них зависят гейты деплоя; docker игнорирует x-.
|
||
x-podman:
|
||
name_separator_compat: true
|
||
services:
|
||
app:
|
||
image: $REGISTRY/wordpdf-app:prod
|
||
restart: unless-stopped
|
||
# healthcheck дублируется в compose, а не только в Containerfile: podman
|
||
# выгружает образы в OCI, где HEALTHCHECK теряется, а gateway в depends_on
|
||
# ждал бы healthy вечно. wget, не curl: alpine-jre образ curl не содержит.
|
||
healthcheck:
|
||
test: ["CMD-SHELL", "HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= wget -qO /dev/null http://127.0.0.1:8080/actuator/health || exit 1"]
|
||
interval: 10s
|
||
timeout: 3s
|
||
start_period: 45s
|
||
retries: 5
|
||
environment:
|
||
# ключ берётся из окружения деплоя (Gitea Secret WORDPDF_API_KEY),
|
||
# в файл на диске не пишется; в конфиг контейнера его зафиксирует podman
|
||
WORDPDF_API_KEY: "\${WORDPDF_API_KEY:?WORDPDF_API_KEY not set}"
|
||
WORDPDF_MAX_MB: "$WORDPDF_MAX_MB"
|
||
WORDPDF_MAX_PAGES: "$WORDPDF_MAX_PAGES"
|
||
web:
|
||
image: $REGISTRY/wordpdf-web:prod
|
||
restart: unless-stopped
|
||
healthcheck:
|
||
test: ["CMD-SHELL", "http_proxy= https_proxy= wget -qO /dev/null http://127.0.0.1/ || exit 1"]
|
||
interval: 10s
|
||
timeout: 3s
|
||
start_period: 10s
|
||
gateway:
|
||
image: docker.io/library/nginx:alpine
|
||
volumes:
|
||
- ./nginx.conf:/etc/nginx/conf.d/default.conf:ro
|
||
# 127.0.0.1 — наружный nginx этого же хоста (pjandro.ru/pdf-converter/),
|
||
# $DEPLOY_HOST — прямой LAN-вход
|
||
ports: ["127.0.0.1:9010:80", "$DEPLOY_HOST:9010:80"]
|
||
depends_on:
|
||
app:
|
||
condition: service_healthy
|
||
web:
|
||
condition: service_healthy
|
||
restart: unless-stopped
|
||
networks:
|
||
# Подсеть зафиксирована намеренно: nginx резолвит app/web через aardvark-dns
|
||
# на шлюзе сети (10.112.0.1), адрес обязан быть предсказуемым. Внутренняя
|
||
# геометрия стека, не координата стенда — литералом здесь.
|
||
default:
|
||
ipam:
|
||
config:
|
||
- subnet: 10.112.0.0/24
|
||
gateway: 10.112.0.1
|
||
COMPOSE
|
||
cat > nginx.conf <<NGINX
|
||
# Врата прод-стека: единственный вход. API/документация/actuator → app,
|
||
# остальное → SPA. Рендерится CI на каждый деплой (job deploy в main.yml).
|
||
server {
|
||
listen 80;
|
||
# потолок загрузки стека: без директивы upload режется HTML-413 от шлюза
|
||
# до бэкенда (авторитетный лимит — WORDPDF_MAX_MB в приложении)
|
||
client_max_body_size 100m;
|
||
# app/web резолвятся aardvark-dns на шлюзе сети стека (подсеть
|
||
# зафиксирована в compose). Статический proxy_pass резолвит имя один раз
|
||
# при старте nginx: gateway, поднявшийся раньше app, получал навсегда
|
||
# мёртвый апстрим (502 до перезапуска). resolver + переменная резолвят
|
||
# на каждый запрос.
|
||
resolver 10.112.0.1 valid=10s ipv6=off;
|
||
set \$upstream_app http://app:8080;
|
||
set \$upstream_web http://web:80;
|
||
location /api/ {
|
||
# в proxy_pass нет path-части, поэтому URI передаётся как есть
|
||
proxy_pass \$upstream_app;
|
||
# wordpdf.convert-timeout=2m; дефолтный proxy_read_timeout 60s рвёт
|
||
# длинные конвертации
|
||
proxy_read_timeout 300s;
|
||
proxy_send_timeout 300s;
|
||
}
|
||
location /swagger-ui { proxy_pass \$upstream_app; }
|
||
location /v3/api-docs { proxy_pass \$upstream_app; }
|
||
# открыт фильтром приложения (wordpdf.api-key его не проверяет) — мониторинг
|
||
location /actuator { proxy_pass \$upstream_app; }
|
||
location / { proxy_pass \$upstream_web; }
|
||
}
|
||
NGINX
|
||
# в образе runner'а PyYAML нет (рег. run 484: deploy и rollback — оба умерли
|
||
# на этом шаге, прод не тронут) — ставим по месту; валидация обязана
|
||
# отработать ДО переноса файлов на прод
|
||
python3 -c 'import yaml' 2>/dev/null \
|
||
|| python3 -m pip install -q pyyaml 2>/dev/null \
|
||
|| python3 -m pip install -q --break-system-packages pyyaml 2>/dev/null \
|
||
|| { apt-get update -q && apt-get install -y -q python3-yaml; }
|
||
python3 -c 'import yaml; yaml.safe_load(open("docker-compose.yml"))'
|
||
|
||
- name: Upload and deploy
|
||
run: |
|
||
set -euo pipefail
|
||
command -v ssh >/dev/null 2>&1 || { apt-get update -q && apt-get install -y -q openssh-client; }
|
||
mkdir -p "$HOME/.ssh" && chmod 700 "$HOME/.ssh"
|
||
printf '%s\n' "$DEPLOY_SSH_KEY" > "$HOME/.ssh/id_deploy"
|
||
chmod 600 "$HOME/.ssh/id_deploy"
|
||
set -- -i "$HOME/.ssh/id_deploy" -o StrictHostKeyChecking=accept-new
|
||
D=$(printf '%q' "$DEPLOY_DIR")
|
||
H="$DEPLOY_USER@$DEPLOY_HOST"
|
||
ssh "$@" "$H" "umask 077; mkdir -p $D && cat > $D/docker-compose.yml" < docker-compose.yml
|
||
ssh "$@" "$H" "cat > $D/nginx.conf" < nginx.conf
|
||
{
|
||
printf 'export DEPLOY_DIR=%q REGISTRY=%q REGISTRY_USER=%q REGISTRY_PASSWORD=%q WORDPDF_API_KEY=%q\n' \
|
||
"$DEPLOY_DIR" "$REGISTRY" "$REGISTRY_USER" "$REGISTRY_PASSWORD" "$WORDPDF_API_KEY"
|
||
cat <<'REMOTE'
|
||
set -euo pipefail
|
||
umask 077
|
||
cd "$DEPLOY_DIR"
|
||
rm -f restart.sh .env
|
||
# Состояние отката — image ID, на которых стек стоит сейчас (если поднят).
|
||
if podman ps -a --format '{{.Names}}' | grep -qx wordpdf-prod-app-1 \
|
||
&& podman ps -a --format '{{.Names}}' | grep -qx wordpdf-prod-web-1; then
|
||
{
|
||
echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)"
|
||
echo "PREV_WEB=$(podman inspect -f '{{.Image}}' wordpdf-prod-web-1)"
|
||
} > .rollback.env
|
||
fi
|
||
printf '%s' "$REGISTRY_PASSWORD" | podman login "$REGISTRY" --username "$REGISTRY_USER" --password-stdin
|
||
podman-compose pull app web
|
||
podman-compose up -d --force-recreate app web
|
||
for _ in $(seq 1 60); do
|
||
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
|
||
sleep 2
|
||
done
|
||
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] \
|
||
|| { echo "app не стал healthy за 120с" >&2; exit 1; }
|
||
# Гейт: app/web обязаны идти на только что стянутый из реестра образ
|
||
# (защита от молчаливого деплоя старого кода).
|
||
for svc in app web; do
|
||
ctr="wordpdf-prod-${svc}-1"
|
||
[ "$(podman inspect -f '{{.Image}}' "$ctr")" = \
|
||
"$(podman image inspect "$REGISTRY/wordpdf-${svc}:prod" -f '{{.Id}}')" ] \
|
||
|| { echo "$ctr запущен не на новом образе $REGISTRY/wordpdf-${svc}:prod" >&2; exit 1; }
|
||
done
|
||
# gateway пересоздаётся последним (после healthy app/web): nginx.conf
|
||
# на каждый деплой рендерится заново, пересоздание применяет его.
|
||
podman-compose up -d --force-recreate gateway
|
||
for _ in $(seq 1 10); do
|
||
curl -fsS -o /dev/null "http://127.0.0.1:9010/actuator/health" 2>/dev/null && break || sleep 1
|
||
done
|
||
curl -fsS "http://127.0.0.1:9010/actuator/health"
|
||
podman-compose ps
|
||
REMOTE
|
||
} | ssh "$@" "$H" bash -s
|
||
|
||
autotests:
|
||
runs-on: ubuntu-latest
|
||
needs: deploy
|
||
steps:
|
||
- uses: actions/checkout@v5
|
||
|
||
- name: Setup venv
|
||
run: |
|
||
python3 -m venv .venv
|
||
.venv/bin/pip install -q -r prod-autotests/requirements.txt
|
||
|
||
- name: Check autotest vars and secret
|
||
env:
|
||
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
|
||
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
||
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
|
||
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
||
run: |
|
||
[ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_MAX_MB" ] && [ -n "$WORDPDF_API_KEY" ] || {
|
||
echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES/WORDPDF_MAX_MB и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2
|
||
exit 1
|
||
}
|
||
|
||
- name: Run prod autotests
|
||
env:
|
||
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
|
||
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
||
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
|
||
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
||
run: cd prod-autotests && ../.venv/bin/python -m pytest -q .
|
||
|
||
rollback:
|
||
runs-on: ubuntu-latest
|
||
needs: [deploy, autotests]
|
||
if: failure()
|
||
env:
|
||
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }}
|
||
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
|
||
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
|
||
REGISTRY: ${{ vars.REGISTRY }}
|
||
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
|
||
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
||
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
|
||
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
||
steps:
|
||
# Конфиг рендерится заново (тот же шаг, что у deploy) и перезаливается: откат
|
||
# не зависит от того, что осталось на хосте после упавшего деплоя (рег. run 482:
|
||
# rollback на битом compose тоже падал).
|
||
- name: Render prod stack files
|
||
run: *render-stack-files
|
||
|
||
- name: Upload compose and roll back
|
||
run: |
|
||
set -euo pipefail
|
||
command -v ssh >/dev/null 2>&1 || { apt-get update -q && apt-get install -y -q openssh-client; }
|
||
mkdir -p "$HOME/.ssh" && chmod 700 "$HOME/.ssh"
|
||
printf '%s\n' "$DEPLOY_SSH_KEY" > "$HOME/.ssh/id_deploy"
|
||
chmod 600 "$HOME/.ssh/id_deploy"
|
||
set -- -i "$HOME/.ssh/id_deploy" -o StrictHostKeyChecking=accept-new
|
||
D=$(printf '%q' "$DEPLOY_DIR")
|
||
H="$DEPLOY_USER@$DEPLOY_HOST"
|
||
ssh "$@" "$H" "umask 077; mkdir -p $D && cat > $D/docker-compose.yml" < docker-compose.yml
|
||
{
|
||
printf 'export DEPLOY_DIR=%q REGISTRY=%q WORDPDF_API_KEY=%q\n' \
|
||
"$DEPLOY_DIR" "$REGISTRY" "$WORDPDF_API_KEY"
|
||
cat <<'REMOTE'
|
||
set -euo pipefail
|
||
cd "$DEPLOY_DIR"
|
||
if [ ! -f .rollback.env ]; then
|
||
echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2
|
||
exit 1
|
||
fi
|
||
. ./.rollback.env
|
||
podman tag "$PREV_APP" "$REGISTRY/wordpdf-app:prod"
|
||
podman tag "$PREV_WEB" "$REGISTRY/wordpdf-web:prod"
|
||
podman-compose up -d --force-recreate app web
|
||
for _ in $(seq 1 60); do
|
||
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
|
||
sleep 2
|
||
done
|
||
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] \
|
||
|| { echo "app НЕ healthy после отката" >&2; exit 1; }
|
||
podman-compose up -d --force-recreate gateway
|
||
curl -fsS "http://127.0.0.1:9010/actuator/health"
|
||
REMOTE
|
||
} | ssh "$@" "$H" bash -s
|