ci: рендер прод-конфигов через ssh, не через appleboy/ssh-action
PR checks / java (pull_request) Successful in 49s
PR checks / web (pull_request) Successful in 1m10s

appleboy/drone-ssh исполняет script построчно: вставляет guard
DRONE_SSH_PREV_COMMAND_EXIT_CODE после каждой строки и срезает отступы —
heredoc на проде превращался в невалидный YAML («mapping values are not
allowed here», run 482), deploy падал на pull, rollback на битом compose
тоже падал. Теперь файлы рендерятся обычным bash-шагом в workspace runner'а
(с YAML-валидацией до отправки), переносятся ssh-ом (cat > файл) и удалённая
цепочка идёт bash -s с export-строкой (секреты — только окружением). Rollback
рендерит compose заново (YAML-якорь — тот же шаг) и не зависит от остатков
на хосте.
This commit is contained in:
Pjandro
2026-10-21 21:29:21 +00:00
parent 37049aae3d
commit 5614d5d891
+214 -190
View File
@@ -111,19 +111,19 @@ jobs:
deploy: deploy:
runs-on: ubuntu-latest runs-on: ubuntu-latest
needs: images needs: images
env:
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }}
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
REGISTRY: ${{ vars.REGISTRY }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
steps: steps:
- name: Check deploy vars and secrets - name: Check deploy vars and secrets
env:
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }}
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
REGISTRY: ${{ vars.REGISTRY }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
run: | run: |
missing=0 missing=0
for v in DEPLOY_HOST DEPLOY_USER DEPLOY_DIR REGISTRY WORDPDF_MAX_MB WORDPDF_MAX_PAGES; do for v in DEPLOY_HOST DEPLOY_USER DEPLOY_DIR REGISTRY WORDPDF_MAX_MB WORDPDF_MAX_PAGES; do
@@ -134,154 +134,159 @@ jobs:
done done
exit "$missing" exit "$missing"
# Единственный источник правды конфигурации прода — этот workflow: docker-compose.yml # Единственный источник правды конфигурации прода — этот workflow: файлы
# и nginx.conf рендерятся на прод-хост на каждый деплой из Variables/Secrets; # рендерятся в workspace runner'а (обычный bash) и переносятся на хост через
# ключ API в файлы не пишется (берётся из окружения job'а). На прод-хосте # ssh — appleboy/ssh-action для этого непригоден: он вставляет свою guard-строку
# конфигурации нет: restart.sh и .env удаляются как наследие ручного setup. # после каждой строки скрипта и срезает отступы, heredoc превращается в мусор
- name: Render prod stack and deploy # (рег. run 482: битый compose на проде, «mapping values are not allowed here»).
env: # Ключ API в файл не пишется: compose интерполирует его из окружения деплоя.
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }} - name: Render prod stack files
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }} run: &render-stack-files |
REGISTRY: ${{ vars.REGISTRY }} cat > docker-compose.yml <<COMPOSE
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }} name: wordpdf-prod
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }} # Рендерится CI на каждый деплой (Gitea Actions, job deploy в main.yml) —
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }} # конфигурации стека на хосте нет. x-podman даёт docker-style имена контейнеров
REGISTRY_USER: ${{ secrets.REGISTRY_USER }} # (wordpdf-prod-app-1), от них зависят гейты деплоя; docker игнорирует x-.
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }} x-podman:
uses: appleboy/ssh-action@v1.0.3 name_separator_compat: true
with: services:
host: ${{ vars.DEPLOY_HOST }} app:
username: ${{ vars.DEPLOY_USER }} image: $REGISTRY/wordpdf-app:prod
key: ${{ secrets.DEPLOY_SSH_KEY }} restart: unless-stopped
script_stop: true # healthcheck дублируется в compose, а не только в Containerfile: podman
envs: DEPLOY_DIR,DEPLOY_HOST,REGISTRY,WORDPDF_MAX_MB,WORDPDF_MAX_PAGES,WORDPDF_API_KEY,REGISTRY_USER,REGISTRY_PASSWORD # выгружает образы в OCI, где HEALTHCHECK теряется, а gateway в depends_on
script: | # ждал бы healthy вечно. wget, не curl: alpine-jre образ curl не содержит.
set -euo pipefail healthcheck:
umask 077 test: ["CMD-SHELL", "HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= wget -qO /dev/null http://127.0.0.1:8080/actuator/health || exit 1"]
mkdir -p "$DEPLOY_DIR" interval: 10s
cd "$DEPLOY_DIR" timeout: 3s
rm -f restart.sh .env start_period: 45s
cat > docker-compose.yml <<COMPOSE retries: 5
name: wordpdf-prod environment:
# Рендерится CI на каждый деплой (Gitea Actions, job deploy в main.yml) — # ключ берётся из окружения деплоя (Gitea Secret WORDPDF_API_KEY),
# конфигурации стека на хосте нет. x-podman даёт docker-style имена контейнеров # в файл на диске не пишется; в конфиг контейнера его зафиксирует podman
# (wordpdf-prod-app-1), от них зависят гейты деплоя; docker игнорирует x-. WORDPDF_API_KEY: "\${WORDPDF_API_KEY:?WORDPDF_API_KEY not set}"
x-podman: WORDPDF_MAX_MB: "$WORDPDF_MAX_MB"
name_separator_compat: true WORDPDF_MAX_PAGES: "$WORDPDF_MAX_PAGES"
services: web:
app: image: $REGISTRY/wordpdf-web:prod
image: $REGISTRY/wordpdf-app:prod restart: unless-stopped
restart: unless-stopped healthcheck:
# healthcheck дублируется в compose, а не только в Containerfile: podman test: ["CMD-SHELL", "http_proxy= https_proxy= wget -qO /dev/null http://127.0.0.1/ || exit 1"]
# выгружает образы в OCI, где HEALTHCHECK теряется, а gateway в depends_on interval: 10s
# ждал бы healthy вечно. wget, не curl: alpine-jre образ curl не содержит. timeout: 3s
healthcheck: start_period: 10s
test: ["CMD-SHELL", "HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= wget -qO /dev/null http://127.0.0.1:8080/actuator/health || exit 1"] gateway:
interval: 10s image: docker.io/library/nginx:alpine
timeout: 3s volumes:
start_period: 45s - ./nginx.conf:/etc/nginx/conf.d/default.conf:ro
retries: 5 # 127.0.0.1 — наружный nginx этого же хоста (pjandro.ru/pdf-converter/),
environment: # $DEPLOY_HOST — прямой LAN-вход
# ключ берётся из окружения деплоя (Gitea Secret WORDPDF_API_KEY), ports: ["127.0.0.1:9010:80", "$DEPLOY_HOST:9010:80"]
# в файл на диске не пишется; в конфиг контейнера его зафиксирует podman depends_on:
WORDPDF_API_KEY: "\${WORDPDF_API_KEY:?WORDPDF_API_KEY not set}" app:
WORDPDF_MAX_MB: "$WORDPDF_MAX_MB" condition: service_healthy
WORDPDF_MAX_PAGES: "$WORDPDF_MAX_PAGES" web:
web: condition: service_healthy
image: $REGISTRY/wordpdf-web:prod restart: unless-stopped
restart: unless-stopped networks:
healthcheck: # Подсеть зафиксирована намеренно: nginx резолвит app/web через aardvark-dns
test: ["CMD-SHELL", "http_proxy= https_proxy= wget -qO /dev/null http://127.0.0.1/ || exit 1"] # на шлюзе сети (10.112.0.1), адрес обязан быть предсказуемым. Внутренняя
interval: 10s # геометрия стека, не координата стенда — литералом здесь.
timeout: 3s default:
start_period: 10s ipam:
gateway: config:
image: docker.io/library/nginx:alpine - subnet: 10.112.0.0/24
volumes: gateway: 10.112.0.1
- ./nginx.conf:/etc/nginx/conf.d/default.conf:ro COMPOSE
# 127.0.0.1 — наружный nginx этого же хоста (pjandro.ru/pdf-converter/), cat > nginx.conf <<NGINX
# $DEPLOY_HOST — прямой LAN-вход # Врата прод-стека: единственный вход. API/документация/actuator → app,
ports: ["127.0.0.1:9010:80", "$DEPLOY_HOST:9010:80"] # остальное → SPA. Рендерится CI на каждый деплой (job deploy в main.yml).
depends_on: server {
app: listen 80;
condition: service_healthy # потолок загрузки стека: без директивы upload режется HTML-413 от шлюза
web: # до бэкенда (авторитетный лимит — WORDPDF_MAX_MB в приложении)
condition: service_healthy client_max_body_size 100m;
restart: unless-stopped # app/web резолвятся aardvark-dns на шлюзе сети стека (подсеть
networks: # зафиксирована в compose). Статический proxy_pass резолвит имя один раз
# Подсеть зафиксирована намеренно: nginx резолвит app/web через aardvark-dns # при старте nginx: gateway, поднявшийся раньше app, получал навсегда
# на шлюзе сети (10.112.0.1), адрес обязан быть предсказуемым. Внутренняя # мёртвый апстрим (502 до перезапуска). resolver + переменная резолвят
# геометрия стека, не координата стенда — литералом здесь. # на каждый запрос.
default: resolver 10.112.0.1 valid=10s ipv6=off;
ipam: set \$upstream_app http://app:8080;
config: set \$upstream_web http://web:80;
- subnet: 10.112.0.0/24 location /api/ {
gateway: 10.112.0.1 # в proxy_pass нет path-части, поэтому URI передаётся как есть
COMPOSE proxy_pass \$upstream_app;
cat > nginx.conf <<NGINX # wordpdf.convert-timeout=2m; дефолтный proxy_read_timeout 60s рвёт
# Врата прод-стека: единственный вход. API/документация/actuator → app, # длинные конвертации
# остальное → SPA. Рендерится CI на каждый деплой (job deploy в main.yml). proxy_read_timeout 300s;
server { proxy_send_timeout 300s;
listen 80; }
# потолок загрузки стека: без директивы upload режется HTML-413 от шлюза location /swagger-ui { proxy_pass \$upstream_app; }
# до бэкенда (авторитетный лимит — WORDPDF_MAX_MB в приложении) location /v3/api-docs { proxy_pass \$upstream_app; }
client_max_body_size 100m; # открыт фильтром приложения (wordpdf.api-key его не проверяет) — мониторинг
# app/web резолвятся aardvark-dns на шлюзе сети стека (подсеть location /actuator { proxy_pass \$upstream_app; }
# зафиксирована в compose). Статический proxy_pass резолвит имя один раз location / { proxy_pass \$upstream_web; }
# при старте nginx: gateway, поднявшийся раньше app, получал навсегда }
# мёртвый апстрим (502 до перезапуска). resolver + переменная резолвят NGINX
# на каждый запрос. python3 -c 'import yaml; yaml.safe_load(open("docker-compose.yml"))'
resolver 10.112.0.1 valid=10s ipv6=off;
set \$upstream_app http://app:8080; - name: Upload and deploy
set \$upstream_web http://web:80; run: |
location /api/ { set -euo pipefail
# в proxy_pass нет path-части, поэтому URI передаётся как есть command -v ssh >/dev/null 2>&1 || { apt-get update -q && apt-get install -y -q openssh-client; }
proxy_pass \$upstream_app; mkdir -p "$HOME/.ssh" && chmod 700 "$HOME/.ssh"
# wordpdf.convert-timeout=2m; дефолтный proxy_read_timeout 60s рвёт printf '%s\n' "$DEPLOY_SSH_KEY" > "$HOME/.ssh/id_deploy"
# длинные конвертации chmod 600 "$HOME/.ssh/id_deploy"
proxy_read_timeout 300s; set -- -i "$HOME/.ssh/id_deploy" -o StrictHostKeyChecking=accept-new
proxy_send_timeout 300s; D=$(printf '%q' "$DEPLOY_DIR")
} H="$DEPLOY_USER@$DEPLOY_HOST"
location /swagger-ui { proxy_pass \$upstream_app; } ssh "$@" "$H" "umask 077; mkdir -p $D && cat > $D/docker-compose.yml" < docker-compose.yml
location /v3/api-docs { proxy_pass \$upstream_app; } ssh "$@" "$H" "cat > $D/nginx.conf" < nginx.conf
# открыт фильтром приложения (wordpdf.api-key его не проверяет) — мониторинг {
location /actuator { proxy_pass \$upstream_app; } printf 'export DEPLOY_DIR=%q REGISTRY=%q REGISTRY_USER=%q REGISTRY_PASSWORD=%q WORDPDF_API_KEY=%q\n' \
location / { proxy_pass \$upstream_web; } "$DEPLOY_DIR" "$REGISTRY" "$REGISTRY_USER" "$REGISTRY_PASSWORD" "$WORDPDF_API_KEY"
} cat <<'REMOTE'
NGINX set -euo pipefail
# Состояние отката — image ID, на которых стек стоит сейчас (если поднят). umask 077
if podman ps -a --format '{{.Names}}' | grep -qx wordpdf-prod-app-1 \ cd "$DEPLOY_DIR"
&& podman ps -a --format '{{.Names}}' | grep -qx wordpdf-prod-web-1; then rm -f restart.sh .env
{ # Состояние отката — image ID, на которых стек стоит сейчас (если поднят).
echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)" if podman ps -a --format '{{.Names}}' | grep -qx wordpdf-prod-app-1 \
echo "PREV_WEB=$(podman inspect -f '{{.Image}}' wordpdf-prod-web-1)" && podman ps -a --format '{{.Names}}' | grep -qx wordpdf-prod-web-1; then
} > .rollback.env {
fi echo "PREV_APP=$(podman inspect -f '{{.Image}}' wordpdf-prod-app-1)"
printf '%s' "$REGISTRY_PASSWORD" | podman login "$REGISTRY" --username "$REGISTRY_USER" --password-stdin echo "PREV_WEB=$(podman inspect -f '{{.Image}}' wordpdf-prod-web-1)"
podman-compose pull app web } > .rollback.env
podman-compose up -d --force-recreate app web fi
for _ in $(seq 1 60); do printf '%s' "$REGISTRY_PASSWORD" | podman login "$REGISTRY" --username "$REGISTRY_USER" --password-stdin
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break podman-compose pull app web
sleep 2 podman-compose up -d --force-recreate app web
done for _ in $(seq 1 60); do
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] \ [ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
|| { echo "app не стал healthy за 120с" >&2; exit 1; } sleep 2
# Гейт: app/web обязаны идти на только что стянутый из реестра образ done
# (защита от молчаливого деплоя старого кода). [ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] \
for svc in app web; do || { echo "app не стал healthy за 120с" >&2; exit 1; }
ctr="wordpdf-prod-${svc}-1" # Гейт: app/web обязаны идти на только что стянутый из реестра образ
[ "$(podman inspect -f '{{.Image}}' "$ctr")" = \ # (защита от молчаливого деплоя старого кода).
"$(podman image inspect "$REGISTRY/wordpdf-${svc}:prod" -f '{{.Id}}')" ] \ for svc in app web; do
|| { echo "$ctr запущен не на новом образе $REGISTRY/wordpdf-${svc}:prod" >&2; exit 1; } ctr="wordpdf-prod-${svc}-1"
done [ "$(podman inspect -f '{{.Image}}' "$ctr")" = \
# gateway пересоздаётся последним (после healthy app/web): nginx.conf "$(podman image inspect "$REGISTRY/wordpdf-${svc}:prod" -f '{{.Id}}')" ] \
# на каждый деплой рендерится заново, пересоздание применяет его. || { echo "$ctr запущен не на новом образе $REGISTRY/wordpdf-${svc}:prod" >&2; exit 1; }
podman-compose up -d --force-recreate gateway done
for _ in $(seq 1 10); do # gateway пересоздаётся последним (после healthy app/web): nginx.conf
curl -fsS -o /dev/null "http://127.0.0.1:9010/actuator/health" 2>/dev/null && break || sleep 1 # на каждый деплой рендерится заново, пересоздание применяет его.
done podman-compose up -d --force-recreate gateway
curl -fsS "http://127.0.0.1:9010/actuator/health" for _ in $(seq 1 10); do
podman-compose ps curl -fsS -o /dev/null "http://127.0.0.1:9010/actuator/health" 2>/dev/null && break || sleep 1
done
curl -fsS "http://127.0.0.1:9010/actuator/health"
podman-compose ps
REMOTE
} | ssh "$@" "$H" bash -s
autotests: autotests:
runs-on: ubuntu-latest runs-on: ubuntu-latest
@@ -318,35 +323,54 @@ jobs:
runs-on: ubuntu-latest runs-on: ubuntu-latest
needs: [deploy, autotests] needs: [deploy, autotests]
if: failure() if: failure()
env:
DEPLOY_HOST: ${{ vars.DEPLOY_HOST }}
DEPLOY_USER: ${{ vars.DEPLOY_USER }}
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }}
REGISTRY: ${{ vars.REGISTRY }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
steps: steps:
- name: Roll back prod to previous images # Конфиг рендерится заново (тот же шаг, что у deploy) и перезаливается: откат
env: # не зависит от того, что осталось на хосте после упавшего деплоя (рег. run 482:
DEPLOY_DIR: ${{ vars.DEPLOY_DIR }} # rollback на битом compose тоже падал).
REGISTRY: ${{ vars.REGISTRY }} - name: Render prod stack files
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }} run: *render-stack-files
uses: appleboy/ssh-action@v1.0.3
with: - name: Upload compose and roll back
host: ${{ vars.DEPLOY_HOST }} run: |
username: ${{ vars.DEPLOY_USER }} set -euo pipefail
key: ${{ secrets.DEPLOY_SSH_KEY }} command -v ssh >/dev/null 2>&1 || { apt-get update -q && apt-get install -y -q openssh-client; }
script_stop: true mkdir -p "$HOME/.ssh" && chmod 700 "$HOME/.ssh"
envs: DEPLOY_DIR,REGISTRY,WORDPDF_API_KEY printf '%s\n' "$DEPLOY_SSH_KEY" > "$HOME/.ssh/id_deploy"
script: | chmod 600 "$HOME/.ssh/id_deploy"
set -euo pipefail set -- -i "$HOME/.ssh/id_deploy" -o StrictHostKeyChecking=accept-new
cd "$DEPLOY_DIR" D=$(printf '%q' "$DEPLOY_DIR")
if [ ! -f .rollback.env ]; then H="$DEPLOY_USER@$DEPLOY_HOST"
echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2 ssh "$@" "$H" "umask 077; mkdir -p $D && cat > $D/docker-compose.yml" < docker-compose.yml
exit 1 {
fi printf 'export DEPLOY_DIR=%q REGISTRY=%q WORDPDF_API_KEY=%q\n' \
. ./.rollback.env "$DEPLOY_DIR" "$REGISTRY" "$WORDPDF_API_KEY"
podman tag "$PREV_APP" "$REGISTRY/wordpdf-app:prod" cat <<'REMOTE'
podman tag "$PREV_WEB" "$REGISTRY/wordpdf-web:prod" set -euo pipefail
podman-compose up -d --force-recreate app web cd "$DEPLOY_DIR"
for _ in $(seq 1 60); do if [ ! -f .rollback.env ]; then
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break echo "НЕТ .rollback.env — АВТОМАТИЧЕСКИЙ ОТКАТ НЕВОЗМОЖЕН" >&2
sleep 2 exit 1
done fi
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] \ . ./.rollback.env
|| { echo "app НЕ healthy после отката" >&2; exit 1; } podman tag "$PREV_APP" "$REGISTRY/wordpdf-app:prod"
podman-compose up -d --force-recreate gateway podman tag "$PREV_WEB" "$REGISTRY/wordpdf-web:prod"
curl -fsS "http://127.0.0.1:9010/actuator/health" podman-compose up -d --force-recreate app web
for _ in $(seq 1 60); do
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
sleep 2
done
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] \
|| { echo "app НЕ healthy после отката" >&2; exit 1; }
podman-compose up -d --force-recreate gateway
curl -fsS "http://127.0.0.1:9010/actuator/health"
REMOTE
} | ssh "$@" "$H" bash -s