Files
java-word-pdf/.gitea/workflows/main.yml
T
Pjandro c325b6eba3
PR checks / web (pull_request) Successful in 33s
PR checks / java (pull_request) Successful in 1m34s
ci: PyYAML в runner-образе нет — бутстрап валидатора (pip → apt)
Run 484: deploy и rollback умерли на yaml.safe_load (ModuleNotFoundError),
прод не тронут. Проверено в docker.gitea.com/runner-images:ubuntu-latest:
python3 без yaml, pip3 и apt-get есть; ssh/scp есть. Цепочка import → pip →
pip --break-system-packages → apt-get python3-yaml, финальная валидация —
до переноса файлов на прод.
2026-10-21 21:34:47 +00:00

384 lines
18 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
name: "Main: tests, deploy, autotests"
on:
push:
branches: [main]
workflow_dispatch:
jobs:
java:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v5
- name: Setup JDK 21
uses: actions/setup-java@v5
with:
java-version: '21'
distribution: 'temurin'
- name: Cache Maven repository
uses: actions/cache@v4
with:
path: ~/.m2/repository
key: maven-${{ hashFiles('pom.xml', 'wordpdf-core/pom.xml', 'wordpdf-app/pom.xml') }}
restore-keys: maven-
- name: Setup Maven 3.9.16
run: |
curl -fsSL https://dlcdn.apache.org/maven/maven-3/3.9.16/binaries/apache-maven-3.9.16-bin.tar.gz | tar xz -C /opt
echo "/opt/apache-maven-3.9.16/bin" >> "$GITHUB_PATH"
- name: Build and test (PMD gate included)
run: mvn -B clean verify
web:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v5
- name: Cache npm
uses: actions/cache@v4
with:
path: ~/.npm
key: npm-${{ hashFiles('wordpdf-web/package-lock.json') }}
restore-keys: npm-
- name: Install dependencies
working-directory: wordpdf-web
run: npm ci
- name: Build SPA
working-directory: wordpdf-web
run: npm run build
- name: Lint SPA
working-directory: wordpdf-web
run: npm run lint
images:
runs-on: ubuntu-latest
needs: [java, web]
steps:
- uses: actions/checkout@v5
- name: Check registry vars and secret
env:
REGISTRY: ${{ vars.REGISTRY }}
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
run: |
[ -n "$REGISTRY" ] && [ -n "$REGISTRY_USER" ] && [ -n "$REGISTRY_PASSWORD" ] || {
echo "Задайте Actions Variable REGISTRY и Secrets REGISTRY_USER/REGISTRY_PASSWORD — см. GITEA-vars.md" >&2
exit 1
}
- name: Docker auth
env:
REGISTRY: ${{ vars.REGISTRY }}
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
run: |
mkdir -p ~/.docker
printf '{"auths":{"%s":{"auth":"%s"}}}' "$REGISTRY" \
"$(printf '%s:%s' "$REGISTRY_USER" "$REGISTRY_PASSWORD" | base64 -w0)" > ~/.docker/config.json
- name: Build and push app image
env:
REGISTRY: ${{ vars.REGISTRY }}
run: |
sha="${GITHUB_SHA:0:7}"
# DOCKER_BUILDKIT=0: daemon за раннером — podman, BuildKit-сессий нет,
# только classic /build (buildah).
DOCKER_BUILDKIT=0 docker build -f Containerfile \
-t "$REGISTRY/wordpdf-app:prod" -t "$REGISTRY/wordpdf-app:sha-$sha" .
docker push "$REGISTRY/wordpdf-app:prod"
docker push "$REGISTRY/wordpdf-app:sha-$sha"
- name: Build and push web image
env:
REGISTRY: ${{ vars.REGISTRY }}
run: |
sha="${GITHUB_SHA:0:7}"
# VITE_BASE прод-префикса пёкся раньше build-аргом в прод-compose;
# теперь он здесь — образ из реестра едет на прод как есть.
DOCKER_BUILDKIT=0 docker build -f wordpdf-web/Containerfile \
--build-arg VITE_BASE=/pdf-converter/ \
-t "$REGISTRY/wordpdf-web:prod" -t "$REGISTRY/wordpdf-web:sha-$sha" wordpdf-web
docker push "$REGISTRY/wordpdf-web:prod"
docker push "$REGISTRY/wordpdf-web:sha-$sha"
deploy:
runs-on: ubuntu-latest
needs: images
env:
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }}
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
REGISTRY: ${{ vars.REGISTRY }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
steps:
- name: Check deploy vars and secrets
run: |
missing=0
for v in DEPLOY_HOST DEPLOY_USER DEPLOY_DIR REGISTRY WORDPDF_MAX_MB WORDPDF_MAX_PAGES; do
[ -n "${!v}" ] || { echo "Задайте Actions Variable $v — см. GITEA-vars.md" >&2; missing=1; }
done
for s in DEPLOY_SSH_KEY REGISTRY_USER REGISTRY_PASSWORD WORDPDF_API_KEY; do
[ -n "${!s}" ] || { echo "Задайте Actions Secret $s — см. GITEA-vars.md" >&2; missing=1; }
done
exit "$missing"
# Единственный источник правды конфигурации прода — этот workflow: файлы
# рендерятся в workspace runner'а (обычный bash) и переносятся на хост через
# ssh — appleboy/ssh-action для этого непригоден: он вставляет свою guard-строку
# после каждой строки скрипта и срезает отступы, heredoc превращается в мусор
# (рег. run 482: битый compose на проде, «mapping values are not allowed here»).
# Ключ API в файл не пишется: compose интерполирует его из окружения деплоя.
- name: Render prod stack files
run: &render-stack-files |
cat > docker-compose.yml <<COMPOSE
name: wordpdf-prod
# Рендерится CI на каждый деплой (Gitea Actions, job deploy в main.yml) —
# конфигурации стека на хосте нет. x-podman даёт docker-style имена контейнеров
# (wordpdf-prod-app-1), от них зависят гейты деплоя; docker игнорирует x-.
x-podman:
name_separator_compat: true
services:
app:
image: $REGISTRY/wordpdf-app:prod
restart: unless-stopped
# healthcheck дублируется в compose, а не только в Containerfile: podman
# выгружает образы в OCI, где HEALTHCHECK теряется, а gateway в depends_on
# ждал бы healthy вечно. wget, не curl: alpine-jre образ curl не содержит.
healthcheck:
test: ["CMD-SHELL", "HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= wget -qO /dev/null http://127.0.0.1:8080/actuator/health || exit 1"]
interval: 10s
timeout: 3s
start_period: 45s
retries: 5
environment:
# ключ берётся из окружения деплоя (Gitea Secret WORDPDF_API_KEY),
# в файл на диске не пишется; в конфиг контейнера его зафиксирует podman
WORDPDF_API_KEY: "\${WORDPDF_API_KEY:?WORDPDF_API_KEY not set}"
WORDPDF_MAX_MB: "$WORDPDF_MAX_MB"
WORDPDF_MAX_PAGES: "$WORDPDF_MAX_PAGES"
web:
image: $REGISTRY/wordpdf-web:prod
restart: unless-stopped
healthcheck:
test: ["CMD-SHELL", "http_proxy= https_proxy= wget -qO /dev/null http://127.0.0.1/ || exit 1"]
interval: 10s
timeout: 3s
start_period: 10s
gateway:
image: docker.io/library/nginx:alpine
volumes:
- ./nginx.conf:/etc/nginx/conf.d/default.conf:ro
# 127.0.0.1 — наружный nginx этого же хоста (pjandro.ru/pdf-converter/),
# $DEPLOY_HOST — прямой LAN-вход
ports: ["127.0.0.1:9010:80", "$DEPLOY_HOST:9010:80"]
depends_on:
app:
condition: service_healthy
web:
condition: service_healthy
restart: unless-stopped
networks:
# Подсеть зафиксирована намеренно: nginx резолвит app/web через aardvark-dns
# на шлюзе сети (10.112.0.1), адрес обязан быть предсказуемым. Внутренняя
# геометрия стека, не координата стенда — литералом здесь.
default:
ipam:
config:
- subnet: 10.112.0.0/24
gateway: 10.112.0.1
COMPOSE
cat > nginx.conf <<NGINX
# Врата прод-стека: единственный вход. API/документация/actuator → app,
# остальное → SPA. Рендерится CI на каждый деплой (job deploy в main.yml).
server {
listen 80;
# потолок загрузки стека: без директивы upload режется HTML-413 от шлюза
# до бэкенда (авторитетный лимит — WORDPDF_MAX_MB в приложении)
client_max_body_size 100m;
# app/web резолвятся aardvark-dns на шлюзе сети стека (подсеть
# зафиксирована в compose). Статический proxy_pass резолвит имя один раз
# при старте nginx: gateway, поднявшийся раньше app, получал навсегда
# мёртвый апстрим (502 до перезапуска). resolver + переменная резолвят
# на каждый запрос.
resolver 10.112.0.1 valid=10s ipv6=off;
set \$upstream_app http://app:8080;
set \$upstream_web http://web:80;
location /api/ {
# в proxy_pass нет path-части, поэтому URI передаётся как есть
proxy_pass \$upstream_app;
# wordpdf.convert-timeout=2m; дефолтный proxy_read_timeout 60s рвёт
# длинные конвертации
proxy_read_timeout 300s;
proxy_send_timeout 300s;
}
location /swagger-ui { proxy_pass \$upstream_app; }
location /v3/api-docs { proxy_pass \$upstream_app; }
# открыт фильтром приложения (wordpdf.api-key его не проверяет) — мониторинг
location /actuator { proxy_pass \$upstream_app; }
location / { proxy_pass \$upstream_web; }
}
NGINX
# в образе runner'а PyYAML нет (рег. run 484: deploy и rollback — оба умерли
# на этом шаге, прод не тронут) — ставим по месту; валидация обязана
# отработать ДО переноса файлов на прод
python3 -c 'import yaml' 2>/dev/null \
|| python3 -m pip install -q pyyaml 2>/dev/null \
|| python3 -m pip install -q --break-system-packages pyyaml 2>/dev/null \
|| { apt-get update -q && apt-get install -y -q python3-yaml; }
python3 -c 'import yaml; yaml.safe_load(open("docker-compose.yml"))'
- name: Upload and deploy
run: |
set -euo pipefail
command -v ssh >/dev/null 2>&1 || { apt-get update -q && apt-get install -y -q openssh-client; }
mkdir -p "$HOME/.ssh" && chmod 700 "$HOME/.ssh"
printf '%s\n' "$DEPLOY_SSH_KEY" > "$HOME/.ssh/id_deploy"
chmod 600 "$HOME/.ssh/id_deploy"
set -- -i "$HOME/.ssh/id_deploy" -o StrictHostKeyChecking=accept-new
D=$(printf '%q' "$DEPLOY_DIR")
H="$DEPLOY_USER@$DEPLOY_HOST"
ssh "$@" "$H" "umask 077; mkdir -p $D && cat > $D/docker-compose.yml" < docker-compose.yml
ssh "$@" "$H" "cat > $D/nginx.conf" < nginx.conf
{
printf 'export DEPLOY_DIR=%q REGISTRY=%q REGISTRY_USER=%q REGISTRY_PASSWORD=%q WORDPDF_API_KEY=%q\n' \
"$DEPLOY_DIR" "$REGISTRY" "$REGISTRY_USER" "$REGISTRY_PASSWORD" "$WORDPDF_API_KEY"
cat <<'REMOTE'
set -euo pipefail
umask 077
cd "$DEPLOY_DIR"
rm -f restart.sh .env
# Состояние отката — image ID, на которых стек стоит сейчас (если поднят).
if podman ps -a --format '{{.Names}}' | grep -qx wordpdf-prod-app-1 \
&& podman ps -a --format '{{.Names}}' | grep -qx wordpdf-prod-web-1; then
{
echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)"
echo "PREV_WEB=$(podman inspect -f '{{.Image}}' wordpdf-prod-web-1)"
} > .rollback.env
fi
printf '%s' "$REGISTRY_PASSWORD" | podman login "$REGISTRY" --username "$REGISTRY_USER" --password-stdin
podman-compose pull app web
podman-compose up -d --force-recreate app web
for _ in $(seq 1 60); do
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
sleep 2
done
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] \
|| { echo "app не стал healthy за 120с" >&2; exit 1; }
# Гейт: app/web обязаны идти на только что стянутый из реестра образ
# (защита от молчаливого деплоя старого кода).
for svc in app web; do
ctr="wordpdf-prod-${svc}-1"
[ "$(podman inspect -f '{{.Image}}' "$ctr")" = \
"$(podman image inspect "$REGISTRY/wordpdf-${svc}:prod" -f '{{.Id}}')" ] \
|| { echo "$ctr запущен не на новом образе $REGISTRY/wordpdf-${svc}:prod" >&2; exit 1; }
done
# gateway пересоздаётся последним (после healthy app/web): nginx.conf
# на каждый деплой рендерится заново, пересоздание применяет его.
podman-compose up -d --force-recreate gateway
for _ in $(seq 1 10); do
curl -fsS -o /dev/null "http://127.0.0.1:9010/actuator/health" 2>/dev/null && break || sleep 1
done
curl -fsS "http://127.0.0.1:9010/actuator/health"
podman-compose ps
REMOTE
} | ssh "$@" "$H" bash -s
autotests:
runs-on: ubuntu-latest
needs: deploy
steps:
- uses: actions/checkout@v5
- name: Setup venv
run: |
python3 -m venv .venv
.venv/bin/pip install -q -r prod-autotests/requirements.txt
- name: Check autotest vars and secret
env:
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
run: |
[ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_MAX_MB" ] && [ -n "$WORDPDF_API_KEY" ] || {
echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES/WORDPDF_MAX_MB и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2
exit 1
}
- name: Run prod autotests
env:
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
run: cd prod-autotests && ../.venv/bin/python -m pytest -q .
rollback:
runs-on: ubuntu-latest
needs: [deploy, autotests]
if: failure()
env:
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }}
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
REGISTRY: ${{ vars.REGISTRY }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
steps:
# Конфиг рендерится заново (тот же шаг, что у deploy) и перезаливается: откат
# не зависит от того, что осталось на хосте после упавшего деплоя (рег. run 482:
# rollback на битом compose тоже падал).
- name: Render prod stack files
run: *render-stack-files
- name: Upload compose and roll back
run: |
set -euo pipefail
command -v ssh >/dev/null 2>&1 || { apt-get update -q && apt-get install -y -q openssh-client; }
mkdir -p "$HOME/.ssh" && chmod 700 "$HOME/.ssh"
printf '%s\n' "$DEPLOY_SSH_KEY" > "$HOME/.ssh/id_deploy"
chmod 600 "$HOME/.ssh/id_deploy"
set -- -i "$HOME/.ssh/id_deploy" -o StrictHostKeyChecking=accept-new
D=$(printf '%q' "$DEPLOY_DIR")
H="$DEPLOY_USER@$DEPLOY_HOST"
ssh "$@" "$H" "umask 077; mkdir -p $D && cat > $D/docker-compose.yml" < docker-compose.yml
{
printf 'export DEPLOY_DIR=%q REGISTRY=%q WORDPDF_API_KEY=%q\n' \
"$DEPLOY_DIR" "$REGISTRY" "$WORDPDF_API_KEY"
cat <<'REMOTE'
set -euo pipefail
cd "$DEPLOY_DIR"
if [ ! -f .rollback.env ]; then
echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2
exit 1
fi
. ./.rollback.env
podman tag "$PREV_APP" "$REGISTRY/wordpdf-app:prod"
podman tag "$PREV_WEB" "$REGISTRY/wordpdf-web:prod"
podman-compose up -d --force-recreate app web
for _ in $(seq 1 60); do
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
sleep 2
done
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] \
|| { echo "app НЕ healthy после отката" >&2; exit 1; }
podman-compose up -d --force-recreate gateway
curl -fsS "http://127.0.0.1:9010/actuator/health"
REMOTE
} | ssh "$@" "$H" bash -s