Merge pull request 'drill раунд 2: on-failure:5 + timeout на up (ENTRYPOINT остаётся битым — мерж запускает учения rollback)' (#27) from drill/rollback-restore into main
Main: tests, deploy, autotests / web (push) Successful in 30s
Main: tests, deploy, autotests / java (push) Successful in 1m34s
Main: tests, deploy, autotests / images (push) Successful in 46s
Main: tests, deploy, autotests / deploy (push) Failing after 3m59s
Main: tests, deploy, autotests / autotests (push) Has been skipped
Main: tests, deploy, autotests / rollback (push) Successful in 1m38s

Reviewed-on: #27
This commit was merged in pull request #27.
This commit is contained in:
2026-10-22 01:13:19 +03:00
+13 -7
View File
@@ -152,7 +152,10 @@ jobs:
services: services:
app: app:
image: $REGISTRY/wordpdf-app:prod image: $REGISTRY/wordpdf-app:prod
restart: unless-stopped # Ограниченное число попыток (5, как retries healthcheck'а): битый образ
# не крушит стек бесконечным crash-loop. Синтаксис on-failure:N podman
# переваривает и применяет (проверено: maxtries=N, после исчерпания exited).
restart: on-failure:5
# healthcheck дублируется в compose, а не только в Containerfile: podman # healthcheck дублируется в compose, а не только в Containerfile: podman
# выгружает образы в OCI, где HEALTHCHECK теряется, а gateway в depends_on # выгружает образы в OCI, где HEALTHCHECK теряется, а gateway в depends_on
# ждал бы healthy вечно. wget, не curl: alpine-jre образ curl не содержит. # ждал бы healthy вечно. wget, не curl: alpine-jre образ curl не содержит.
@@ -170,7 +173,7 @@ jobs:
WORDPDF_MAX_PAGES: "$WORDPDF_MAX_PAGES" WORDPDF_MAX_PAGES: "$WORDPDF_MAX_PAGES"
web: web:
image: $REGISTRY/wordpdf-web:prod image: $REGISTRY/wordpdf-web:prod
restart: unless-stopped restart: on-failure:5
healthcheck: healthcheck:
test: ["CMD-SHELL", "http_proxy= https_proxy= wget -qO /dev/null http://127.0.0.1/ || exit 1"] test: ["CMD-SHELL", "http_proxy= https_proxy= wget -qO /dev/null http://127.0.0.1/ || exit 1"]
interval: 10s interval: 10s
@@ -188,7 +191,7 @@ jobs:
condition: service_healthy condition: service_healthy
web: web:
condition: service_healthy condition: service_healthy
restart: unless-stopped restart: on-failure:5
networks: networks:
# Подсеть зафиксирована намеренно: nginx резолвит app/web через aardvark-dns # Подсеть зафиксирована намеренно: nginx резолвит app/web через aardvark-dns
# на шлюзе сети (10.112.0.1), адрес обязан быть предсказуемым. Внутренняя # на шлюзе сети (10.112.0.1), адрес обязан быть предсказуемым. Внутренняя
@@ -269,7 +272,10 @@ jobs:
fi fi
printf '%s' "$REGISTRY_PASSWORD" | podman login "$REGISTRY" --username "$REGISTRY_USER" --password-stdin printf '%s' "$REGISTRY_PASSWORD" | podman login "$REGISTRY" --username "$REGISTRY_USER" --password-stdin
podman-compose pull app web podman-compose pull app web
podman-compose up -d --force-recreate app web # timeout обязателен: podman-compose up -d бесконечно ждёт «успокоившийся»
# контейнер, а crash-loop без лимита попыток не успокаивается никогда
# (рег. run 488: deploy висел на этой команде, rollback не запускался).
timeout 180 podman-compose up -d --force-recreate app web
for _ in $(seq 1 60); do for _ in $(seq 1 60); do
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break [ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
sleep 2 sleep 2
@@ -286,7 +292,7 @@ jobs:
done done
# gateway пересоздаётся последним (после healthy app/web): nginx.conf # gateway пересоздаётся последним (после healthy app/web): nginx.conf
# на каждый деплой рендерится заново, пересоздание применяет его. # на каждый деплой рендерится заново, пересоздание применяет его.
podman-compose up -d --force-recreate gateway timeout 120 podman-compose up -d --force-recreate gateway
for _ in $(seq 1 10); do for _ in $(seq 1 10); do
curl -fsS -o /dev/null "http://127.0.0.1:9010/actuator/health" 2>/dev/null && break || sleep 1 curl -fsS -o /dev/null "http://127.0.0.1:9010/actuator/health" 2>/dev/null && break || sleep 1
done done
@@ -370,14 +376,14 @@ jobs:
. ./.rollback.env . ./.rollback.env
podman tag "$PREV_APP" "$REGISTRY/wordpdf-app:prod" podman tag "$PREV_APP" "$REGISTRY/wordpdf-app:prod"
podman tag "$PREV_WEB" "$REGISTRY/wordpdf-web:prod" podman tag "$PREV_WEB" "$REGISTRY/wordpdf-web:prod"
podman-compose up -d --force-recreate app web timeout 180 podman-compose up -d --force-recreate app web
for _ in $(seq 1 60); do for _ in $(seq 1 60); do
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break [ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] && break
sleep 2 sleep 2
done done
[ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] \ [ "$(podman inspect -f '{{.State.Health.Status}}' wordpdf-prod-app-1)" = healthy ] \
|| { echo "app НЕ healthy после отката" >&2; exit 1; } || { echo "app НЕ healthy после отката" >&2; exit 1; }
podman-compose up -d --force-recreate gateway timeout 120 podman-compose up -d --force-recreate gateway
curl -fsS "http://127.0.0.1:9010/actuator/health" curl -fsS "http://127.0.0.1:9010/actuator/health"
REMOTE REMOTE
} | ssh "$@" "$H" bash -s } | ssh "$@" "$H" bash -s