From 93e342f105e9fcf7077ddc769dcfe911101404ba Mon Sep 17 00:00:00 2001 From: Pjandro Date: Wed, 28 Oct 2026 21:56:52 +0000 Subject: [PATCH] =?UTF-8?q?CI:=20pip=20=D0=B2=20job=20autotests=20=D1=87?= =?UTF-8?q?=D0=B5=D1=80=D0=B5=D0=B7=20pypi-proxy=20=D0=BD=D0=B0=20Nexus=20?= =?UTF-8?q?=E2=80=94=20=D1=81=D0=B5=D1=82=D0=B5=D0=B2=D0=BE=D0=B9=20=D1=81?= =?UTF-8?q?=D0=B1=D0=BE=D0=B9=20pypi.org=20=D0=B1=D0=BE=D0=BB=D1=8C=D1=88?= =?UTF-8?q?=D0=B5=20=D0=BD=D0=B5=20=D0=BE=D1=82=D0=BA=D0=B0=D1=82=D1=8B?= =?UTF-8?q?=D0=B2=D0=B0=D0=B5=D1=82=20=D0=BF=D1=80=D0=BE=D0=B4?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - main.yml: проверка Variables (включая новую PIP_INDEX_URL) — до Setup venv (fail-closed); pip install только с индекса Nexus (-i), PIP_TRUSTED_HOST вырезается из URL, --timeout 60 --retries 5 на холодный промах прокси - GITEA-vars.md: Variable PIP_INDEX_URL + раздел «Nexus: pypi-proxy» (репозиторий, роль pypi-anonymous, Anonymous User Role IDs) — заводятся до мержа - AGENTS.md: PIP_INDEX_URL в перечень Variables --- .gitea/workflows/main.yml | 25 ++++++++++++++++++------- AGENTS.md | 2 +- GITEA-vars.md | 23 +++++++++++++++++++++++ 3 files changed, 42 insertions(+), 8 deletions(-) diff --git a/.gitea/workflows/main.yml b/.gitea/workflows/main.yml index eed2a6b..1584dd7 100644 --- a/.gitea/workflows/main.yml +++ b/.gitea/workflows/main.yml @@ -408,23 +408,34 @@ jobs: steps: - uses: actions/checkout@v5 - - name: Setup venv - run: | - python3 -m venv .venv - .venv/bin/pip install -q -r prod-autotests/requirements.txt - + # Проверка обязательных Variables/Secret — ДО установки зависимостей: без + # PIP_INDEX_URL pip некуда вести, падать надо до попытки установки (fail-closed). - name: Check autotest vars and secret env: WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }} WORDPDF_MAX_PAGES: ${{ vars.WORDPDF_MAX_PAGES }} WORDPDF_MAX_MB: ${{ vars.WORDPDF_MAX_MB }} + PIP_INDEX_URL: ${{ vars.PIP_INDEX_URL }} WORDPDF_API_KEY: ${{ secrets.WORDPDF_API_KEY }} run: | - [ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_MAX_MB" ] && [ -n "$WORDPDF_API_KEY" ] || { - echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES/WORDPDF_MAX_MB и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2 + [ -n "$WORDPDF_BASE_URL" ] && [ -n "$WORDPDF_MAX_PAGES" ] && [ -n "$WORDPDF_MAX_MB" ] && [ -n "$PIP_INDEX_URL" ] && [ -n "$WORDPDF_API_KEY" ] || { + echo "Задайте Actions Variables WORDPDF_BASE_URL/WORDPDF_MAX_PAGES/WORDPDF_MAX_MB/PIP_INDEX_URL и Secret WORDPDF_API_KEY — см. GITEA-vars.md" >&2 exit 1 } + # Индекс — pypi-proxy на Nexus (тот же хост, что docker-реестр): pypi.org из + # раннера не опрашивается вовсе, кеш пакетов — сам Nexus (actions/cache не нужен). + # PIP_TRUSTED_HOST вырезается из URL (Nexus на HTTP-коннекторе); --timeout/--retries + # увеличены: первый запрос некешированного пакета проксируется в pypi. + - name: Setup venv + env: + PIP_INDEX_URL: ${{ vars.PIP_INDEX_URL }} + run: | + python3 -m venv .venv + host="${PIP_INDEX_URL#*://}"; host="${host%%/*}"; host="${host%%:*}" + PIP_TRUSTED_HOST="$host" .venv/bin/pip install -q --timeout 60 --retries 5 \ + -i "$PIP_INDEX_URL" -r prod-autotests/requirements.txt + - name: Run prod autotests env: WORDPDF_BASE_URL: ${{ vars.WORDPDF_BASE_URL }} diff --git a/AGENTS.md b/AGENTS.md index 77bef38..acc2ad6 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -204,7 +204,7 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \ Артефактов покрытия нет намеренно: `upload-artifact@v4` Gitea не поддерживает, `@v3` на этом стенде зависает. HTML-отчёт — локально `target/site/jacoco/`, `web` (кеш `~/.npm`). -**Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`, `WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `WORDPDF_MAX_MB`, `REGISTRY`), креды — **Secrets** (`DEPLOY_SSH_KEY`, `DEPLOY_KNOWN_HOSTS`, `WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`. Смена лимитов = правка Variables, PR не нужен. Защита ветки `main`: required-контексты **`PR checks / java (pull_request)`, `PR checks / web (pull_request)`** (deploy/autotests в список НЕ включать — на PR не бегут, мерж блокировался бы навсегда). +**Правило: координаты прода и креды в коммитимые файлы не попадают** — ни внутренние IP, ни SSH-пользователи/логины, ни хосты, ни директория деплоя, ни ключи/токены/пароли. Координаты стенда — Gitea Actions **Variables** (`DEPLOY_HOST`, `DEPLOY_USER`, `DEPLOY_DIR`, `WORDPDF_BASE_URL`, `WORDPDF_MAX_PAGES`, `WORDPDF_MAX_MB`, `REGISTRY`, `PIP_INDEX_URL`), креды — **Secrets** (`DEPLOY_SSH_KEY`, `DEPLOY_KNOWN_HOSTS`, `WORDPDF_API_KEY`, `REGISTRY_USER`, `REGISTRY_PASSWORD`); workflow-файлы ссылаются на них только `${{ vars.* }}`/`${{ secrets.* }}`. Смена лимитов = правка Variables, PR не нужен. Защита ветки `main`: required-контексты **`PR checks / java (pull_request)`, `PR checks / web (pull_request)`** (deploy/autotests в список НЕ включать — на PR не бегут, мерж блокировался бы навсегда). ## Testing & QA diff --git a/GITEA-vars.md b/GITEA-vars.md index cce6863..a63635a 100644 --- a/GITEA-vars.md +++ b/GITEA-vars.md @@ -30,9 +30,32 @@ job'ах `images-app`/`images-web` (проверка `REGISTRY`/`REGISTRY_USER`/ |`WORDPDF_MAX_PAGES`|Лимит страниц на проде (сейчас `100`)| |`WORDPDF_MAX_MB`|Лимит размера входного .docx, МБ (сейчас `5`)| |`REGISTRY`|Адрес docker-реестра `host:port` без схемы (Nexus docker-registry на прод-сервере, коннектор `:5000`)| +|`PIP_INDEX_URL`|Полный URL pypi-proxy индекса Nexus без кредов, вида `http://:/repository/pypi-proxy/simple` (репозиторий заводится по разделу «Nexus: pypi-proxy» ниже; HTTP-порт Nexus — не docker-коннектор `:5000`)| При смене лимитов прода — править `WORDPDF_MAX_PAGES`/`WORDPDF_MAX_MB` в Variables, PR не нужен: job `deploy` прокидывает их в прод-stack (app пересоздаётся с новыми лимитами), job `autotests` сверяет проверки с ними же. Без обеих Variables job'ы `deploy`/`autotests` падают на проверке — fail-closed. +## Nexus: pypi-proxy (для job `autotests`) + +Заводится **до мержа** PR, использующего `PIP_INDEX_URL`: иначе `autotests` упадёт на +fail-closed проверке и `rollback` откатит предыдущий деплой. Nexus 3 поддерживает PEP 503 +(Simple Repository API) для pypi-proxy — https://help.sonatype.com/en/pypi-repositories.html. + +1. Settings → Repositories → Create repository: format **PyPI**, type **Proxy**, name + **`pypi-proxy`**, Remote storage URL **`https://pypi.org/`**, blob store — тот же, что у + docker-репозиториев. +2. Read-доступ CI без новых секретов — анонимный доступ, ограниченный одним репозиторием + (контент pypi публичный): + - Roles → Create role: name `pypi-anonymous`, Role type **Simple**, memberships — + `nx-anonymous`, privileges — `nx-repository-view-pypi-pypi-proxy-read` и + `nx-repository-view-pypi-pypi-proxy-browse`. + - Security → Anonymous Access: включить, **Anonymous User Role IDs = `pypi-anonymous`** + (не `nx-anonymous` — иначе анонимы получат вид на все репозитории). +3. Проверка с любой машины LAN (порт — HTTP-коннектор Nexus, дефолт `8081`, не `:5000`): + `curl -fsS 'http://:<порт>/repository/pypi-proxy/simple/pytest/'` отдаёт PEP 503-лист + без кредов; docker-репозиторий анониму по-прежнему 401/403. + +Затем — Variable `PIP_INDEX_URL` (см. таблицу выше). + ## Защита ветки main (блокировка мержа до зелёных проверок) Settings → Branches → Branch Protection → Add protection: -- 2.56.1