fix(ci): инфраструктура — таймауты шлюза, .mvn, pipefail, host-key pinning, push при откате
- gateway/nginx.conf: location /api/ — proxy_read/send_timeout 300s (2-минутные конвертации рвались дефолтным read_timeout 60s; паритет с прод-рендером) - .mvn/.gitkeep: без .mvn launcher ставит maven.multiModuleProjectDirectory=CWD и cd wordpdf-core && mvn verify падает на ruleset-not-found (pom:155) - main.yml «Render prod stack files»: set -euo pipefail первой строкой (якорь общий с rollback); mem_limit: 2g у app в heredoc-compose - deploy/rollback: DEPLOY_KNOWN_HOSTS (Secret) → known_hosts + StrictHostKeyChecking=yes вместо accept-new (fail-closed на пустом секрете) - rollback: podman login + push :prod откаченных образов (реестр обязан соответствовать ранящемуся образу); env rollback-job + REGISTRY_USER/PASSWORD - .dockerignore: .venv/, /.mise/, __pycache__/, .pytest_cache/ - GITEA-vars.md: секрет DEPLOY_KNOWN_HOSTS (ssh-keyscan; завести до мержа)
This commit is contained in:
@@ -10,3 +10,7 @@ dependency-reduced-pom.xml
|
|||||||
wordpdf-web/node_modules
|
wordpdf-web/node_modules
|
||||||
wordpdf-web/dist
|
wordpdf-web/dist
|
||||||
.env
|
.env
|
||||||
|
.venv/
|
||||||
|
/.mise/
|
||||||
|
__pycache__/
|
||||||
|
.pytest_cache/
|
||||||
|
|||||||
@@ -210,6 +210,7 @@ jobs:
|
|||||||
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
|
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
|
||||||
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
|
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
|
||||||
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
||||||
|
DEPLOY_KNOWN_HOSTS: ${{ secrets.DEPLOY_KNOWN_HOSTS }}
|
||||||
steps:
|
steps:
|
||||||
- name: Check deploy vars and secrets
|
- name: Check deploy vars and secrets
|
||||||
run: |
|
run: |
|
||||||
@@ -217,7 +218,7 @@ jobs:
|
|||||||
for v in DEPLOY_HOST DEPLOY_USER DEPLOY_DIR REGISTRY WORDPDF_MAX_MB WORDPDF_MAX_PAGES; do
|
for v in DEPLOY_HOST DEPLOY_USER DEPLOY_DIR REGISTRY WORDPDF_MAX_MB WORDPDF_MAX_PAGES; do
|
||||||
[ -n "${!v}" ] || { echo "Задайте Actions Variable $v — см. GITEA-vars.md" >&2; missing=1; }
|
[ -n "${!v}" ] || { echo "Задайте Actions Variable $v — см. GITEA-vars.md" >&2; missing=1; }
|
||||||
done
|
done
|
||||||
for s in DEPLOY_SSH_KEY REGISTRY_USER REGISTRY_PASSWORD WORDPDF_API_KEY; do
|
for s in DEPLOY_SSH_KEY REGISTRY_USER REGISTRY_PASSWORD WORDPDF_API_KEY DEPLOY_KNOWN_HOSTS; do
|
||||||
[ -n "${!s}" ] || { echo "Задайте Actions Secret $s — см. GITEA-vars.md" >&2; missing=1; }
|
[ -n "${!s}" ] || { echo "Задайте Actions Secret $s — см. GITEA-vars.md" >&2; missing=1; }
|
||||||
done
|
done
|
||||||
exit "$missing"
|
exit "$missing"
|
||||||
@@ -230,6 +231,9 @@ jobs:
|
|||||||
# Ключ API в файл не пишется: compose интерполирует его из окружения деплоя.
|
# Ключ API в файл не пишется: compose интерполирует его из окружения деплоя.
|
||||||
- name: Render prod stack files
|
- name: Render prod stack files
|
||||||
run: &render-stack-files |
|
run: &render-stack-files |
|
||||||
|
set -euo pipefail
|
||||||
|
# (якорь общий с rollback; команды шага — heredoc'и в кавычках и
|
||||||
|
# ||-цепочка pip — pipefail-safe)
|
||||||
cat > docker-compose.yml <<COMPOSE
|
cat > docker-compose.yml <<COMPOSE
|
||||||
name: wordpdf-prod
|
name: wordpdf-prod
|
||||||
# Рендерится CI на каждый деплой (Gitea Actions, job deploy в main.yml) —
|
# Рендерится CI на каждый деплой (Gitea Actions, job deploy в main.yml) —
|
||||||
@@ -244,6 +248,9 @@ jobs:
|
|||||||
# не крушит стек бесконечным crash-loop. Синтаксис on-failure:N podman
|
# не крушит стек бесконечным crash-loop. Синтаксис on-failure:N podman
|
||||||
# переваривает и применяет (проверено: maxtries=N, после исчерпания exited).
|
# переваривает и применяет (проверено: maxtries=N, после исчерпания exited).
|
||||||
restart: on-failure:5
|
restart: on-failure:5
|
||||||
|
# heap вписан в лимит (-XX:MaxRAMPercentage=70 в ENTRYPOINT образа);
|
||||||
|
# паритет с repo compose.yml
|
||||||
|
mem_limit: 2g
|
||||||
# healthcheck дублируется в compose, а не только в Containerfile: podman
|
# healthcheck дублируется в compose, а не только в Containerfile: podman
|
||||||
# выгружает образы в OCI, где HEALTHCHECK теряется, а gateway в depends_on
|
# выгружает образы в OCI, где HEALTHCHECK теряется, а gateway в depends_on
|
||||||
# ждал бы healthy вечно. wget, не curl: alpine-jre образ curl не содержит.
|
# ждал бы healthy вечно. wget, не curl: alpine-jre образ curl не содержит.
|
||||||
@@ -339,7 +346,11 @@ jobs:
|
|||||||
mkdir -p "$HOME/.ssh" && chmod 700 "$HOME/.ssh"
|
mkdir -p "$HOME/.ssh" && chmod 700 "$HOME/.ssh"
|
||||||
printf '%s\n' "$DEPLOY_SSH_KEY" > "$HOME/.ssh/id_deploy"
|
printf '%s\n' "$DEPLOY_SSH_KEY" > "$HOME/.ssh/id_deploy"
|
||||||
chmod 600 "$HOME/.ssh/id_deploy"
|
chmod 600 "$HOME/.ssh/id_deploy"
|
||||||
set -- -i "$HOME/.ssh/id_deploy" -o StrictHostKeyChecking=accept-new
|
# host-key pinning: пустой секрет → пустой known_hosts → ssh падает на
|
||||||
|
# StrictHostKeyChecking=yes ДО передачи секретов (fail-closed)
|
||||||
|
printf '%s\n' "$DEPLOY_KNOWN_HOSTS" > "$HOME/.ssh/known_hosts"
|
||||||
|
chmod 600 "$HOME/.ssh/known_hosts"
|
||||||
|
set -- -i "$HOME/.ssh/id_deploy" -o UserKnownHostsFile="$HOME/.ssh/known_hosts" -o StrictHostKeyChecking=yes
|
||||||
D=$(printf '%q' "$DEPLOY_DIR")
|
D=$(printf '%q' "$DEPLOY_DIR")
|
||||||
H="$DEPLOY_USER@$DEPLOY_HOST"
|
H="$DEPLOY_USER@$DEPLOY_HOST"
|
||||||
ssh "$@" "$H" "umask 077; mkdir -p $D && cat > $D/docker-compose.yml" < docker-compose.yml
|
ssh "$@" "$H" "umask 077; mkdir -p $D && cat > $D/docker-compose.yml" < docker-compose.yml
|
||||||
@@ -435,6 +446,9 @@ jobs:
|
|||||||
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
||||||
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
|
DEPLOY_SSH_KEY: ${{ secrets.DEPLOY_SSH_KEY }}
|
||||||
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
||||||
|
DEPLOY_KNOWN_HOSTS: ${{ secrets.DEPLOY_KNOWN_HOSTS }}
|
||||||
|
REGISTRY_USER: ${{ secrets.REGISTRY_USER }}
|
||||||
|
REGISTRY_PASSWORD: ${{ secrets.REGISTRY_PASSWORD }}
|
||||||
steps:
|
steps:
|
||||||
# Конфиг рендерится заново (тот же шаг, что у deploy) и перезаливается: откат
|
# Конфиг рендерится заново (тот же шаг, что у deploy) и перезаливается: откат
|
||||||
# не зависит от того, что осталось на хосте после упавшего деплоя (рег. run 482:
|
# не зависит от того, что осталось на хосте после упавшего деплоя (рег. run 482:
|
||||||
@@ -449,13 +463,16 @@ jobs:
|
|||||||
mkdir -p "$HOME/.ssh" && chmod 700 "$HOME/.ssh"
|
mkdir -p "$HOME/.ssh" && chmod 700 "$HOME/.ssh"
|
||||||
printf '%s\n' "$DEPLOY_SSH_KEY" > "$HOME/.ssh/id_deploy"
|
printf '%s\n' "$DEPLOY_SSH_KEY" > "$HOME/.ssh/id_deploy"
|
||||||
chmod 600 "$HOME/.ssh/id_deploy"
|
chmod 600 "$HOME/.ssh/id_deploy"
|
||||||
set -- -i "$HOME/.ssh/id_deploy" -o StrictHostKeyChecking=accept-new
|
# host-key pinning, как в deploy (fail-closed на пустом секрете)
|
||||||
|
printf '%s\n' "$DEPLOY_KNOWN_HOSTS" > "$HOME/.ssh/known_hosts"
|
||||||
|
chmod 600 "$HOME/.ssh/known_hosts"
|
||||||
|
set -- -i "$HOME/.ssh/id_deploy" -o UserKnownHostsFile="$HOME/.ssh/known_hosts" -o StrictHostKeyChecking=yes
|
||||||
D=$(printf '%q' "$DEPLOY_DIR")
|
D=$(printf '%q' "$DEPLOY_DIR")
|
||||||
H="$DEPLOY_USER@$DEPLOY_HOST"
|
H="$DEPLOY_USER@$DEPLOY_HOST"
|
||||||
ssh "$@" "$H" "umask 077; mkdir -p $D && cat > $D/docker-compose.yml" < docker-compose.yml
|
ssh "$@" "$H" "umask 077; mkdir -p $D && cat > $D/docker-compose.yml" < docker-compose.yml
|
||||||
{
|
{
|
||||||
printf 'export DEPLOY_DIR=%q REGISTRY=%q WORDPDF_API_KEY=%q\n' \
|
printf 'export DEPLOY_DIR=%q REGISTRY=%q REGISTRY_USER=%q REGISTRY_PASSWORD=%q WORDPDF_API_KEY=%q\n' \
|
||||||
"$DEPLOY_DIR" "$REGISTRY" "$WORDPDF_API_KEY"
|
"$DEPLOY_DIR" "$REGISTRY" "$REGISTRY_USER" "$REGISTRY_PASSWORD" "$WORDPDF_API_KEY"
|
||||||
cat <<'REMOTE'
|
cat <<'REMOTE'
|
||||||
set -euo pipefail
|
set -euo pipefail
|
||||||
cd "$DEPLOY_DIR"
|
cd "$DEPLOY_DIR"
|
||||||
@@ -466,6 +483,11 @@ jobs:
|
|||||||
. ./.rollback.env
|
. ./.rollback.env
|
||||||
podman tag "$PREV_APP" "$REGISTRY/wordpdf-app:prod"
|
podman tag "$PREV_APP" "$REGISTRY/wordpdf-app:prod"
|
||||||
podman tag "$PREV_WEB" "$REGISTRY/wordpdf-web:prod"
|
podman tag "$PREV_WEB" "$REGISTRY/wordpdf-web:prod"
|
||||||
|
# реестр :prod обязан соответствовать откаченному ранящемуся образу:
|
||||||
|
# иначе ручной pull/пересборка стека вернёт битый билд
|
||||||
|
printf '%s' "$REGISTRY_PASSWORD" | podman login "$REGISTRY" --username "$REGISTRY_USER" --password-stdin
|
||||||
|
podman push "$REGISTRY/wordpdf-app:prod"
|
||||||
|
podman push "$REGISTRY/wordpdf-web:prod"
|
||||||
timeout 90 podman-compose up -d --force-recreate app web
|
timeout 90 podman-compose up -d --force-recreate app web
|
||||||
for _ in $(seq 1 30); do
|
for _ in $(seq 1 30); do
|
||||||
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
|
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
|
||||||
|
|||||||
@@ -17,6 +17,7 @@ job'ах `deploy`/`autotests` с внятным сообщением, чего
|
|||||||
|`WORDPDF_API_KEY`|Прод-ключ API wordpdf|Единственный источник — этот Secret (прод `.env` выведен из эксплуатации, job `deploy` удаляет его как наследие); значение уже в Gitea|
|
|`WORDPDF_API_KEY`|Прод-ключ API wordpdf|Единственный источник — этот Secret (прод `.env` выведен из эксплуатации, job `deploy` удаляет его как наследие); значение уже в Gitea|
|
||||||
|`REGISTRY_USER`|Логин docker-реестра для CI-пуша (`ci-deploy`)|Nexus: Security → Users (роль `ci-deploy-role`, права на docker-hosted репозиторий)|
|
|`REGISTRY_USER`|Логин docker-реестра для CI-пуша (`ci-deploy`)|Nexus: Security → Users (роль `ci-deploy-role`, права на docker-hosted репозиторий)|
|
||||||
|`REGISTRY_PASSWORD`|Пароль этого пользователя|Nexus: Security → Users → `ci-deploy` (Reset password)|
|
|`REGISTRY_PASSWORD`|Пароль этого пользователя|Nexus: Security → Users → `ci-deploy` (Reset password)|
|
||||||
|
|`DEPLOY_KNOWN_HOSTS`|Строка known_hosts прод-хоста (host-key pinning: job `deploy` пишет её в `~/.ssh/known_hosts` и ставит `StrictHostKeyChecking=yes`)|`ssh-keyscan -t ed25519 <IP из DEPLOY_HOST>` с любой машины, знающей хост. Завести ДО мержа: без секрета деплой падает fail-closed (ssh отваливается до передачи ключей) и штатно отрабатывает `rollback`|
|
||||||
|
|
||||||
## Переменные (Settings → Actions → Variables)
|
## Переменные (Settings → Actions → Variables)
|
||||||
|
|
||||||
|
|||||||
+8
-1
@@ -16,7 +16,14 @@ server {
|
|||||||
set $upstream_app http://app:8080;
|
set $upstream_app http://app:8080;
|
||||||
set $upstream_web http://web:80;
|
set $upstream_web http://web:80;
|
||||||
|
|
||||||
location /api/ { proxy_pass $upstream_app; }
|
location /api/ {
|
||||||
|
# в proxy_pass нет path-части, поэтому URI передаётся как есть
|
||||||
|
proxy_pass $upstream_app;
|
||||||
|
# wordpdf.convert-timeout=2m; дефолтный proxy_read_timeout 60s рвёт
|
||||||
|
# длинные конвертации (паритет с прод-рендером в main.yml)
|
||||||
|
proxy_read_timeout 300s;
|
||||||
|
proxy_send_timeout 300s;
|
||||||
|
}
|
||||||
location /swagger-ui { proxy_pass $upstream_app; }
|
location /swagger-ui { proxy_pass $upstream_app; }
|
||||||
location /v3/api-docs { proxy_pass $upstream_app; }
|
location /v3/api-docs { proxy_pass $upstream_app; }
|
||||||
# открыт фильтром приложения (wordpdf.api-key его не проверяет) — мониторинг/HEALTHCHECK снаружи
|
# открыт фильтром приложения (wordpdf.api-key его не проверяет) — мониторинг/HEALTHCHECK снаружи
|
||||||
|
|||||||
Reference in New Issue
Block a user