CI: pip в job autotests через pypi-proxy на Nexus — сетевой сбой pypi.org больше не откатывает прод
PR checks / web (pull_request) Successful in 32s
PR checks / java (pull_request) Successful in 1m0s
Main: tests, deploy, autotests / web (push) Successful in 37s
Main: tests, deploy, autotests / images-web (push) Successful in 35s
Main: tests, deploy, autotests / java (push) Successful in 1m23s
Main: tests, deploy, autotests / images-app (push) Successful in 47s
Main: tests, deploy, autotests / deploy (push) Successful in 2m15s
Main: tests, deploy, autotests / autotests (push) Successful in 45s
Main: tests, deploy, autotests / rollback (push) Has been skipped
PR checks / web (pull_request) Successful in 32s
PR checks / java (pull_request) Successful in 1m0s
Main: tests, deploy, autotests / web (push) Successful in 37s
Main: tests, deploy, autotests / images-web (push) Successful in 35s
Main: tests, deploy, autotests / java (push) Successful in 1m23s
Main: tests, deploy, autotests / images-app (push) Successful in 47s
Main: tests, deploy, autotests / deploy (push) Successful in 2m15s
Main: tests, deploy, autotests / autotests (push) Successful in 45s
Main: tests, deploy, autotests / rollback (push) Has been skipped
- main.yml: проверка Variables (включая новую PIP_INDEX_URL) — до Setup venv (fail-closed); pip install только с индекса Nexus (-i), PIP_TRUSTED_HOST вырезается из URL, --timeout 60 --retries 5 на холодный промах прокси - GITEA-vars.md: Variable PIP_INDEX_URL + раздел «Nexus: pypi-proxy» (репозиторий, роль pypi-anonymous, Anonymous User Role IDs) — заводятся до мержа - AGENTS.md: PIP_INDEX_URL в перечень Variables
This commit was merged in pull request #71.
This commit is contained in:
@@ -408,23 +408,34 @@ jobs:
|
||||
steps:
|
||||
- uses: actions/checkout@v5
|
||||
|
||||
- name: Setup venv
|
||||
run: |
|
||||
python3 -m venv .venv
|
||||
.venv/bin/pip install -q -r prod-autotests/requirements.txt
|
||||
|
||||
# Проверка обязательных Variables/Secret — ДО установки зависимостей: без
|
||||
# PIP_INDEX_URL pip некуда вести, падать надо до попытки установки (fail-closed).
|
||||
- name: Check autotest vars and secret
|
||||
env:
|
||||
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
|
||||
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
|
||||
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
|
||||
PIP_INDEX_URL: ${{ vars.PIP_INDEX_URL }}
|
||||
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
|
||||
run: |
|
||||
[ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_MAX_MB" ] && [ -n "$WORDPDF_API_KEY" ] || {
|
||||
echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES/WORDPDF_MAX_MB и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2
|
||||
[ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_MAX_MB" ] && [ -n "$PIP_INDEX_URL" ] && [ -n "$WORDPDF_API_KEY" ] || {
|
||||
echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES/WORDPDF_MAX_MB/PIP_INDEX_URL и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2
|
||||
exit 1
|
||||
}
|
||||
|
||||
# Индекс — pypi-proxy на Nexus (тот же хост, что docker-реестр): pypi.org из
|
||||
# раннера не опрашивается вовсе, кеш пакетов — сам Nexus (actions/cache не нужен).
|
||||
# PIP_TRUSTED_HOST вырезается из URL (Nexus на HTTP-коннекторе); --timeout/--retries
|
||||
# увеличены: первый запрос некешированного пакета проксируется в pypi.
|
||||
- name: Setup venv
|
||||
env:
|
||||
PIP_INDEX_URL: ${{ vars.PIP_INDEX_URL }}
|
||||
run: |
|
||||
python3 -m venv .venv
|
||||
host="${PIP_INDEX_URL#*://}"; host="${host%%/*}"; host="${host%%:*}"
|
||||
PIP_TRUSTED_HOST="$host" .venv/bin/pip install -q --timeout 60 --retries 5 \
|
||||
-i "$PIP_INDEX_URL" -r prod-autotests/requirements.txt
|
||||
|
||||
- name: Run prod autotests
|
||||
env:
|
||||
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
|
||||
|
||||
@@ -204,7 +204,7 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \
|
||||
|
||||
Артефактов покрытия нет намеренно: `upload-artifact@v4` Gitea не поддерживает, `@v3` на этом стенде зависает. HTML-отчёт — локально `target/site/jacoco/`, `web` (кеш `~/.npm`).
|
||||
|
||||
**Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`, `WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `WORDPDF_MAX_MB`, `REGISTRY`), креды — **Secrets** (`DEPLOY_SSH_KEY`, `DEPLOY_KNOWN_HOSTS`, `WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`. Смена лимитов = правка Variables, PR не нужен. Защита ветки `main`: required-контексты **`PR checks / java (pull_request)`, `PR checks / web (pull_request)`** (deploy/autotests в список НЕ включать — на PR не бегут, мерж блокировался бы навсегда).
|
||||
**Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`, `WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `WORDPDF_MAX_MB`, `REGISTRY`, `PIP_INDEX_URL`), креды — **Secrets** (`DEPLOY_SSH_KEY`, `DEPLOY_KNOWN_HOSTS`, `WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`. Смена лимитов = правка Variables, PR не нужен. Защита ветки `main`: required-контексты **`PR checks / java (pull_request)`, `PR checks / web (pull_request)`** (deploy/autotests в список НЕ включать — на PR не бегут, мерж блокировался бы навсегда).
|
||||
|
||||
## Testing & QA
|
||||
|
||||
|
||||
@@ -30,9 +30,32 @@ job'ах `images-app`/`images-web` (проверка `REGISTRY`/`REGISTRY_USER`/
|
||||
|`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `100`)|
|
||||
|`WORDPDF_MAX_MB`|Лимит размера входного .docx, МБ (сейчас `5`)|
|
||||
|`REGISTRY`|Адрес docker-реестра `host:port` без схемы (Nexus docker-registry на прод-сервере, коннектор `:5000`)|
|
||||
|`PIP_INDEX_URL`|Полный URL pypi-proxy индекса Nexus без кредов, вида `http://<host из REGISTRY>:<http-порт Nexus>/repository/pypi-proxy/simple` (репозиторий заводится по разделу «Nexus: pypi-proxy» ниже; HTTP-порт Nexus — не docker-коннектор `:5000`)|
|
||||
|
||||
При смене лимитов прода — править `WORDPDF_MAX_PAGES`/`WORDPDF_MAX_MB` в Variables, PR не нужен: job `deploy` прокидывает их в прод-stack (app пересоздаётся с новыми лимитами), job `autotests` сверяет проверки с ними же. Без обеих Variables job'ы `deploy`/`autotests` падают на проверке — fail-closed.
|
||||
|
||||
## Nexus: pypi-proxy (для job `autotests`)
|
||||
|
||||
Заводится **до мержа** PR, использующего `PIP_INDEX_URL`: иначе `autotests` упадёт на
|
||||
fail-closed проверке и `rollback` откатит предыдущий деплой. Nexus 3 поддерживает PEP 503
|
||||
(Simple Repository API) для pypi-proxy — https://help.sonatype.com/en/pypi-repositories.html.
|
||||
|
||||
1. Settings → Repositories → Create repository: format **PyPI**, type **Proxy**, name
|
||||
**`pypi-proxy`**, Remote storage URL **`https://pypi.org/`**, blob store — тот же, что у
|
||||
docker-репозиториев.
|
||||
2. Read-доступ CI без новых секретов — анонимный доступ, ограниченный одним репозиторием
|
||||
(контент pypi публичный):
|
||||
- Roles → Create role: name `pypi-anonymous`, Role type **Simple**, memberships —
|
||||
`nx-anonymous`, privileges — `nx-repository-view-pypi-pypi-proxy-read` и
|
||||
`nx-repository-view-pypi-pypi-proxy-browse`.
|
||||
- Security → Anonymous Access: включить, **Anonymous User Role IDs = `pypi-anonymous`**
|
||||
(не `nx-anonymous` — иначе анонимы получат вид на все репозитории).
|
||||
3. Проверка с любой машины LAN (порт — HTTP-коннектор Nexus, дефолт `8081`, не `:5000`):
|
||||
`curl -fsS 'http://<nexus>:<порт>/repository/pypi-proxy/simple/pytest/'` отдаёт PEP 503-лист
|
||||
без кредов; docker-репозиторий анониму по-прежнему 401/403.
|
||||
|
||||
Затем — Variable `PIP_INDEX_URL` (см. таблицу выше).
|
||||
|
||||
## Защита ветки main (блокировка мержа до зелёных проверок)
|
||||
|
||||
Settings → Branches → Branch Protection → Add protection:
|
||||
|
||||
Reference in New Issue
Block a user