CI: pip в autotests через pypi-proxy на Nexus (Variable PIP_INDEX_URL) #71

Merged
pjandro merged 1 commits from ci-autotests-pypi-proxy into main 2026-10-29 01:10:59 +03:00
3 changed files with 42 additions and 8 deletions
Showing only changes of commit 93e342f105 - Show all commits
+18 -7
View File
@@ -408,23 +408,34 @@ jobs:
steps:
- uses: actions/checkout@v5
- name: Setup venv
run: |
python3 -m venv .venv
.venv/bin/pip install -q -r prod-autotests/requirements.txt
# Проверка обязательных Variables/Secret — ДО установки зависимостей: без
# PIP_INDEX_URL pip некуда вести, падать надо до попытки установки (fail-closed).
- name: Check autotest vars and secret
env:
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }}
WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }}
PIP_INDEX_URL: ${{ vars.PIP_INDEX_URL }}
WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }}
run: |
[ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_MAX_MB" ] && [ -n "$WORDPDF_API_KEY" ] || {
echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES/WORDPDF_MAX_MB и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2
[ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_MAX_MB" ] && [ -n "$PIP_INDEX_URL" ] && [ -n "$WORDPDF_API_KEY" ] || {
echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES/WORDPDF_MAX_MB/PIP_INDEX_URL и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2
exit 1
}
# Индекс — pypi-proxy на Nexus (тот же хост, что docker-реестр): pypi.org из
# раннера не опрашивается вовсе, кеш пакетов — сам Nexus (actions/cache не нужен).
# PIP_TRUSTED_HOST вырезается из URL (Nexus на HTTP-коннекторе); --timeout/--retries
# увеличены: первый запрос некешированного пакета проксируется в pypi.
- name: Setup venv
env:
PIP_INDEX_URL: ${{ vars.PIP_INDEX_URL }}
run: |
python3 -m venv .venv
host="${PIP_INDEX_URL#*://}"; host="${host%%/*}"; host="${host%%:*}"
PIP_TRUSTED_HOST="$host" .venv/bin/pip install -q --timeout 60 --retries 5 \
-i "$PIP_INDEX_URL" -r prod-autotests/requirements.txt
- name: Run prod autotests
env:
WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }}
+1 -1
View File
@@ -204,7 +204,7 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \
Артефактов покрытия нет намеренно: `upload-artifact@v4` Gitea не поддерживает, `@v3` на этом стенде зависает. HTML-отчёт — локально `target/site/jacoco/`, `web` (кеш `~/.npm`).
**Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`, `WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `WORDPDF_MAX_MB`, `REGISTRY`), креды — **Secrets** (`DEPLOY_SSH_KEY`, `DEPLOY_KNOWN_HOSTS`, `WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`. Смена лимитов = правка Variables, PR не нужен. Защита ветки `main`: required-контексты **`PR checks / java (pull_request)`, `PR checks / web (pull_request)`** (deploy/autotests в список НЕ включать — на PR не бегут, мерж блокировался бы навсегда).
**Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`, `WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `WORDPDF_MAX_MB`, `REGISTRY`, `PIP_INDEX_URL`), креды — **Secrets** (`DEPLOY_SSH_KEY`, `DEPLOY_KNOWN_HOSTS`, `WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`. Смена лимитов = правка Variables, PR не нужен. Защита ветки `main`: required-контексты **`PR checks / java (pull_request)`, `PR checks / web (pull_request)`** (deploy/autotests в список НЕ включать — на PR не бегут, мерж блокировался бы навсегда).
## Testing & QA
+23
View File
@@ -30,9 +30,32 @@ job'ах `images-app`/`images-web` (проверка `REGISTRY`/`REGISTRY_USER`/
|`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `100`)|
|`WORDPDF_MAX_MB`|Лимит размера входного .docx, МБ (сейчас `5`)|
|`REGISTRY`|Адрес docker-реестра `host:port` без схемы (Nexus docker-registry на прод-сервере, коннектор `:5000`)|
|`PIP_INDEX_URL`|Полный URL pypi-proxy индекса Nexus без кредов, вида `http://<host из REGISTRY>:<http-порт Nexus>/repository/pypi-proxy/simple` (репозиторий заводится по разделу «Nexus: pypi-proxy» ниже; HTTP-порт Nexus — не docker-коннектор `:5000`)|
При смене лимитов прода — править `WORDPDF_MAX_PAGES`/`WORDPDF_MAX_MB` в Variables, PR не нужен: job `deploy` прокидывает их в прод-stack (app пересоздаётся с новыми лимитами), job `autotests` сверяет проверки с ними же. Без обеих Variables job'ы `deploy`/`autotests` падают на проверке — fail-closed.
## Nexus: pypi-proxy (для job `autotests`)
Заводится **до мержа** PR, использующего `PIP_INDEX_URL`: иначе `autotests` упадёт на
fail-closed проверке и `rollback` откатит предыдущий деплой. Nexus 3 поддерживает PEP 503
(Simple Repository API) для pypi-proxy — https://help.sonatype.com/en/pypi-repositories.html.
1. Settings → Repositories → Create repository: format **PyPI**, type **Proxy**, name
**`pypi-proxy`**, Remote storage URL **`https://pypi.org/`**, blob store — тот же, что у
docker-репозиториев.
2. Read-доступ CI без новых секретов — анонимный доступ, ограниченный одним репозиторием
(контент pypi публичный):
- Roles → Create role: name `pypi-anonymous`, Role type **Simple**, memberships —
`nx-anonymous`, privileges — `nx-repository-view-pypi-pypi-proxy-read` и
`nx-repository-view-pypi-pypi-proxy-browse`.
- Security → Anonymous Access: включить, **Anonymous User Role IDs = `pypi-anonymous`**
(не `nx-anonymous` — иначе анонимы получат вид на все репозитории).
3. Проверка с любой машины LAN (порт — HTTP-коннектор Nexus, дефолт `8081`, не `:5000`):
`curl -fsS 'http://<nexus>:<порт>/repository/pypi-proxy/simple/pytest/'` отдаёт PEP 503-лист
без кредов; docker-репозиторий анониму по-прежнему 401/403.
Затем — Variable `PIP_INDEX_URL` (см. таблицу выше).
## Защита ветки main (блокировка мержа до зелёных проверок)
Settings → Branches → Branch Protection → Add protection: