ci: рендер прод-конфигов через ssh (appleboy ломает heredoc) #24

Merged
pjandro merged 1 commits from fix-deploy-render-via-ssh into main 2026-10-22 00:29:47 +03:00
Showing only changes of commit 5614d5d891 - Show all commits
+214 -190
View File
@@ -111,19 +111,19 @@ jobs:
deploy:
runs-on: ubuntu-latest
needs: images
env:
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }}
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
REGISTRY: ${{ vars.REGISTRY }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
steps:
- name: Check deploy vars and secrets
env:
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }}
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
REGISTRY: ${{ vars.REGISTRY }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
run: |
missing=0
for v in DEPLOY_HOST DEPLOY_USER DEPLOY_DIR REGISTRY WORDPDF_MAX_MB WORDPDF_MAX_PAGES; do
@@ -134,154 +134,159 @@ jobs:
done
exit "$missing"
# Единственный источник правды конфигурации прода — этот workflow: docker-compose.yml
# и nginx.conf рендерятся на прод-хост на каждый деплой из Variables/Secrets;
# ключ API в файлы не пишется (берётся из окружения job'а). На прод-хосте
# конфигурации нет: restart.sh и .env удаляются как наследие ручного setup.
- name: Render prod stack and deploy
env:
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }}
REGISTRY: ${{ vars.REGISTRY }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
uses: appleboy/ssh-action@v1.0.3
with:
host: ${{ vars.DEPLOY_HOST }}
username: ${{ vars.DEPLOY_USER }}
key: ${{ secrets.DEPLOY_SSH_KEY }}
script_stop: true
envs: DEPLOY_DIR,DEPLOY_HOST,REGISTRY,WORDPDF_MAX_MB,WORDPDF_MAX_PAGES,WORDPDF_API_KEY,REGISTRY_USER,REGISTRY_PASSWORD
script: |
set -euo pipefail
umask 077
mkdir -p "$DEPLOY_DIR"
cd "$DEPLOY_DIR"
rm -f restart.sh .env
cat > docker-compose.yml <<COMPOSE
name: wordpdf-prod
# Рендерится CI на каждый деплой (Gitea Actions, job deploy в main.yml) —
# конфигурации стека на хосте нет. x-podman даёт docker-style имена контейнеров
# (wordpdf-prod-app-1), от них зависят гейты деплоя; docker игнорирует x-.
x-podman:
name_separator_compat: true
services:
app:
image: $REGISTRY/wordpdf-app:prod
restart: unless-stopped
# healthcheck дублируется в compose, а не только в Containerfile: podman
# выгружает образы в OCI, где HEALTHCHECK теряется, а gateway в depends_on
# ждал бы healthy вечно. wget, не curl: alpine-jre образ curl не содержит.
healthcheck:
test: ["CMD-SHELL", "HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= wget -qO /dev/null http://127.0.0.1:8080/actuator/health || exit 1"]
interval: 10s
timeout: 3s
start_period: 45s
retries: 5
environment:
# ключ берётся из окружения деплоя (Gitea Secret WORDPDF_API_KEY),
# в файл на диске не пишется; в конфиг контейнера его зафиксирует podman
WORDPDF_API_KEY: "\${WORDPDF_API_KEY:?WORDPDF_API_KEY not set}"
WORDPDF_MAX_MB: "$WORDPDF_MAX_MB"
WORDPDF_MAX_PAGES: "$WORDPDF_MAX_PAGES"
web:
image: $REGISTRY/wordpdf-web:prod
restart: unless-stopped
healthcheck:
test: ["CMD-SHELL", "http_proxy= https_proxy= wget -qO /dev/null http://127.0.0.1/ || exit 1"]
interval: 10s
timeout: 3s
start_period: 10s
gateway:
image: docker.io/library/nginx:alpine
volumes:
- ./nginx.conf:/etc/nginx/conf.d/default.conf:ro
# 127.0.0.1 — наружный nginx этого же хоста (pjandro.ru/pdf-converter/),
# $DEPLOY_HOST — прямой LAN-вход
ports: ["127.0.0.1:9010:80", "$DEPLOY_HOST:9010:80"]
depends_on:
app:
condition: service_healthy
web:
condition: service_healthy
restart: unless-stopped
networks:
# Подсеть зафиксирована намеренно: nginx резолвит app/web через aardvark-dns
# на шлюзе сети (10.112.0.1), адрес обязан быть предсказуемым. Внутренняя
# геометрия стека, не координата стенда — литералом здесь.
default:
ipam:
config:
- subnet: 10.112.0.0/24
gateway: 10.112.0.1
COMPOSE
cat > nginx.conf <<NGINX
# Врата прод-стека: единственный вход. API/документация/actuator → app,
# остальное → SPA. Рендерится CI на каждый деплой (job deploy в main.yml).
server {
listen 80;
# потолок загрузки стека: без директивы upload режется HTML-413 от шлюза
# до бэкенда (авторитетный лимит — WORDPDF_MAX_MB в приложении)
client_max_body_size 100m;
# app/web резолвятся aardvark-dns на шлюзе сети стека (подсеть
# зафиксирована в compose). Статический proxy_pass резолвит имя один раз
# при старте nginx: gateway, поднявшийся раньше app, получал навсегда
# мёртвый апстрим (502 до перезапуска). resolver + переменная резолвят
# на каждый запрос.
resolver 10.112.0.1 valid=10s ipv6=off;
set \$upstream_app http://app:8080;
set \$upstream_web http://web:80;
location /api/ {
# в proxy_pass нет path-части, поэтому URI передаётся как есть
proxy_pass \$upstream_app;
# wordpdf.convert-timeout=2m; дефолтный proxy_read_timeout 60s рвёт
# длинные конвертации
proxy_read_timeout 300s;
proxy_send_timeout 300s;
}
location /swagger-ui { proxy_pass \$upstream_app; }
location /v3/api-docs { proxy_pass \$upstream_app; }
# открыт фильтром приложения (wordpdf.api-key его не проверяет) — мониторинг
location /actuator { proxy_pass \$upstream_app; }
location / { proxy_pass \$upstream_web; }
}
NGINX
# Состояние отката — image ID, на которых стек стоит сейчас (если поднят).
if podman ps -a --format '{{.Names}}' | grep -qx wordpdf-prod-app-1 \
&& podman ps -a --format '{{.Names}}' | grep -qx wordpdf-prod-web-1; then
{
echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)"
echo "PREV_WEB=$(podman inspect -f '{{.Image}}' wordpdf-prod-web-1)"
} > .rollback.env
fi
printf '%s' "$REGISTRY_PASSWORD" | podman login "$REGISTRY" --username "$REGISTRY_USER" --password-stdin
podman-compose pull app web
podman-compose up -d --force-recreate app web
for _ in $(seq 1 60); do
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
sleep 2
done
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] \
|| { echo "app не стал healthy за 120с" >&2; exit 1; }
# Гейт: app/web обязаны идти на только что стянутый из реестра образ
# (защита от молчаливого деплоя старого кода).
for svc in app web; do
ctr="wordpdf-prod-${svc}-1"
[ "$(podman inspect -f '{{.Image}}' "$ctr")" = \
"$(podman image inspect "$REGISTRY/wordpdf-${svc}:prod" -f '{{.Id}}')" ] \
|| { echo "$ctr запущен не на новом образе $REGISTRY/wordpdf-${svc}:prod" >&2; exit 1; }
done
# gateway пересоздаётся последним (после healthy app/web): nginx.conf
# на каждый деплой рендерится заново, пересоздание применяет его.
podman-compose up -d --force-recreate gateway
for _ in $(seq 1 10); do
curl -fsS -o /dev/null "http://127.0.0.1:9010/actuator/health" 2>/dev/null && break || sleep 1
done
curl -fsS "http://127.0.0.1:9010/actuator/health"
podman-compose ps
# Единственный источник правды конфигурации прода — этот workflow: файлы
# рендерятся в workspace runner'а (обычный bash) и переносятся на хост через
# ssh — appleboy/ssh-action для этого непригоден: он вставляет свою guard-строку
# после каждой строки скрипта и срезает отступы, heredoc превращается в мусор
# (рег. run 482: битый compose на проде, «mapping values are not allowed here»).
# Ключ API в файл не пишется: compose интерполирует его из окружения деплоя.
- name: Render prod stack files
run: &render-stack-files |
cat > docker-compose.yml <<COMPOSE
name: wordpdf-prod
# Рендерится CI на каждый деплой (Gitea Actions, job deploy в main.yml) —
# конфигурации стека на хосте нет. x-podman даёт docker-style имена контейнеров
# (wordpdf-prod-app-1), от них зависят гейты деплоя; docker игнорирует x-.
x-podman:
name_separator_compat: true
services:
app:
image: $REGISTRY/wordpdf-app:prod
restart: unless-stopped
# healthcheck дублируется в compose, а не только в Containerfile: podman
# выгружает образы в OCI, где HEALTHCHECK теряется, а gateway в depends_on
# ждал бы healthy вечно. wget, не curl: alpine-jre образ curl не содержит.
healthcheck:
test: ["CMD-SHELL", "HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= wget -qO /dev/null http://127.0.0.1:8080/actuator/health || exit 1"]
interval: 10s
timeout: 3s
start_period: 45s
retries: 5
environment:
# ключ берётся из окружения деплоя (Gitea Secret WORDPDF_API_KEY),
# в файл на диске не пишется; в конфиг контейнера его зафиксирует podman
WORDPDF_API_KEY: "\${WORDPDF_API_KEY:?WORDPDF_API_KEY not set}"
WORDPDF_MAX_MB: "$WORDPDF_MAX_MB"
WORDPDF_MAX_PAGES: "$WORDPDF_MAX_PAGES"
web:
image: $REGISTRY/wordpdf-web:prod
restart: unless-stopped
healthcheck:
test: ["CMD-SHELL", "http_proxy= https_proxy= wget -qO /dev/null http://127.0.0.1/ || exit 1"]
interval: 10s
timeout: 3s
start_period: 10s
gateway:
image: docker.io/library/nginx:alpine
volumes:
- ./nginx.conf:/etc/nginx/conf.d/default.conf:ro
# 127.0.0.1 — наружный nginx этого же хоста (pjandro.ru/pdf-converter/),
# $DEPLOY_HOST — прямой LAN-вход
ports: ["127.0.0.1:9010:80", "$DEPLOY_HOST:9010:80"]
depends_on:
app:
condition: service_healthy
web:
condition: service_healthy
restart: unless-stopped
networks:
# Подсеть зафиксирована намеренно: nginx резолвит app/web через aardvark-dns
# на шлюзе сети (10.112.0.1), адрес обязан быть предсказуемым. Внутренняя
# геометрия стека, не координата стенда — литералом здесь.
default:
ipam:
config:
- subnet: 10.112.0.0/24
gateway: 10.112.0.1
COMPOSE
cat > nginx.conf <<NGINX
# Врата прод-стека: единственный вход. API/документация/actuator → app,
# остальное → SPA. Рендерится CI на каждый деплой (job deploy в main.yml).
server {
listen 80;
# потолок загрузки стека: без директивы upload режется HTML-413 от шлюза
# до бэкенда (авторитетный лимит — WORDPDF_MAX_MB в приложении)
client_max_body_size 100m;
# app/web резолвятся aardvark-dns на шлюзе сети стека (подсеть
# зафиксирована в compose). Статический proxy_pass резолвит имя один раз
# при старте nginx: gateway, поднявшийся раньше app, получал навсегда
# мёртвый апстрим (502 до перезапуска). resolver + переменная резолвят
# на каждый запрос.
resolver 10.112.0.1 valid=10s ipv6=off;
set \$upstream_app http://app:8080;
set \$upstream_web http://web:80;
location /api/ {
# в proxy_pass нет path-части, поэтому URI передаётся как есть
proxy_pass \$upstream_app;
# wordpdf.convert-timeout=2m; дефолтный proxy_read_timeout 60s рвёт
# длинные конвертации
proxy_read_timeout 300s;
proxy_send_timeout 300s;
}
location /swagger-ui { proxy_pass \$upstream_app; }
location /v3/api-docs { proxy_pass \$upstream_app; }
# открыт фильтром приложения (wordpdf.api-key его не проверяет) — мониторинг
location /actuator { proxy_pass \$upstream_app; }
location / { proxy_pass \$upstream_web; }
}
NGINX
python3 -c 'import yaml; yaml.safe_load(open("docker-compose.yml"))'
- name: Upload and deploy
run: |
set -euo pipefail
command -v ssh >/dev/null 2>&1 || { apt-get update -q && apt-get install -y -q openssh-client; }
mkdir -p "$HOME/.ssh" && chmod 700 "$HOME/.ssh"
printf '%s\n' "$DEPLOY_SSH_KEY" > "$HOME/.ssh/id_deploy"
chmod 600 "$HOME/.ssh/id_deploy"
set -- -i "$HOME/.ssh/id_deploy" -o StrictHostKeyChecking=accept-new
D=$(printf '%q' "$DEPLOY_DIR")
H="$DEPLOY_USER@$DEPLOY_HOST"
ssh "$@" "$H" "umask 077; mkdir -p $D && cat > $D/docker-compose.yml" < docker-compose.yml
ssh "$@" "$H" "cat > $D/nginx.conf" < nginx.conf
{
printf 'export DEPLOY_DIR=%q REGISTRY=%q REGISTRY_USER=%q REGISTRY_PASSWORD=%q WORDPDF_API_KEY=%q\n' \
"$DEPLOY_DIR" "$REGISTRY" "$REGISTRY_USER" "$REGISTRY_PASSWORD" "$WORDPDF_API_KEY"
cat <<'REMOTE'
set -euo pipefail
umask 077
cd "$DEPLOY_DIR"
rm -f restart.sh .env
# Состояние отката — image ID, на которых стек стоит сейчас (если поднят).
if podman ps -a --format '{{.Names}}' | grep -qx wordpdf-prod-app-1 \
&& podman ps -a --format '{{.Names}}' | grep -qx wordpdf-prod-web-1; then
{
echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)"
echo "PREV_WEB=$(podman inspect -f '{{.Image}}' wordpdf-prod-web-1)"
} > .rollback.env
fi
printf '%s' "$REGISTRY_PASSWORD" | podman login "$REGISTRY" --username "$REGISTRY_USER" --password-stdin
podman-compose pull app web
podman-compose up -d --force-recreate app web
for _ in $(seq 1 60); do
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
sleep 2
done
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] \
|| { echo "app не стал healthy за 120с" >&2; exit 1; }
# Гейт: app/web обязаны идти на только что стянутый из реестра образ
# (защита от молчаливого деплоя старого кода).
for svc in app web; do
ctr="wordpdf-prod-${svc}-1"
[ "$(podman inspect -f '{{.Image}}' "$ctr")" = \
"$(podman image inspect "$REGISTRY/wordpdf-${svc}:prod" -f '{{.Id}}')" ] \
|| { echo "$ctr запущен не на новом образе $REGISTRY/wordpdf-${svc}:prod" >&2; exit 1; }
done
# gateway пересоздаётся последним (после healthy app/web): nginx.conf
# на каждый деплой рендерится заново, пересоздание применяет его.
podman-compose up -d --force-recreate gateway
for _ in $(seq 1 10); do
curl -fsS -o /dev/null "http://127.0.0.1:9010/actuator/health" 2>/dev/null && break || sleep 1
done
curl -fsS "http://127.0.0.1:9010/actuator/health"
podman-compose ps
REMOTE
} | ssh "$@" "$H" bash -s
autotests:
runs-on: ubuntu-latest
@@ -318,35 +323,54 @@ jobs:
runs-on: ubuntu-latest
needs: [deploy, autotests]
if: failure()
env:
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }}
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
REGISTRY: ${{ vars.REGISTRY }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
steps:
- name: Roll back prod to previous images
env:
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
REGISTRY: ${{ vars.REGISTRY }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
uses: appleboy/ssh-action@v1.0.3
with:
host: ${{ vars.DEPLOY_HOST }}
username: ${{ vars.DEPLOY_USER }}
key: ${{ secrets.DEPLOY_SSH_KEY }}
script_stop: true
envs: DEPLOY_DIR,REGISTRY,WORDPDF_API_KEY
script: |
set -euo pipefail
cd "$DEPLOY_DIR"
if [ ! -f .rollback.env ]; then
echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2
exit 1
fi
. ./.rollback.env
podman tag "$PREV_APP" "$REGISTRY/wordpdf-app:prod"
podman tag "$PREV_WEB" "$REGISTRY/wordpdf-web:prod"
podman-compose up -d --force-recreate app web
for _ in $(seq 1 60); do
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
sleep 2
done
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] \
|| { echo "app НЕ healthy после отката" >&2; exit 1; }
podman-compose up -d --force-recreate gateway
curl -fsS "http://127.0.0.1:9010/actuator/health"
# Конфиг рендерится заново (тот же шаг, что у deploy) и перезаливается: откат
# не зависит от того, что осталось на хосте после упавшего деплоя (рег. run 482:
# rollback на битом compose тоже падал).
- name: Render prod stack files
run: *render-stack-files
- name: Upload compose and roll back
run: |
set -euo pipefail
command -v ssh >/dev/null 2>&1 || { apt-get update -q && apt-get install -y -q openssh-client; }
mkdir -p "$HOME/.ssh" && chmod 700 "$HOME/.ssh"
printf '%s\n' "$DEPLOY_SSH_KEY" > "$HOME/.ssh/id_deploy"
chmod 600 "$HOME/.ssh/id_deploy"
set -- -i "$HOME/.ssh/id_deploy" -o StrictHostKeyChecking=accept-new
D=$(printf '%q' "$DEPLOY_DIR")
H="$DEPLOY_USER@$DEPLOY_HOST"
ssh "$@" "$H" "umask 077; mkdir -p $D && cat > $D/docker-compose.yml" < docker-compose.yml
{
printf 'export DEPLOY_DIR=%q REGISTRY=%q WORDPDF_API_KEY=%q\n' \
"$DEPLOY_DIR" "$REGISTRY" "$WORDPDF_API_KEY"
cat <<'REMOTE'
set -euo pipefail
cd "$DEPLOY_DIR"
if [ ! -f .rollback.env ]; then
echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2
exit 1
fi
. ./.rollback.env
podman tag "$PREV_APP" "$REGISTRY/wordpdf-app:prod"
podman tag "$PREV_WEB" "$REGISTRY/wordpdf-web:prod"
podman-compose up -d --force-recreate app web
for _ in $(seq 1 60); do
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
sleep 2
done
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] \
|| { echo "app НЕ healthy после отката" >&2; exit 1; }
podman-compose up -d --force-recreate gateway
curl -fsS "http://127.0.0.1:9010/actuator/health"
REMOTE
} | ssh "$@" "$H" bash -s