Compare commits
2 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
| e9abcd38c8 | |||
| 5631c9e0c0 |
+21
-20
@@ -20,28 +20,29 @@ jobs:
|
|||||||
exit 1
|
exit 1
|
||||||
}
|
}
|
||||||
|
|
||||||
- name: Setup JDK 17
|
- name: Build and test without fontconfig (PMD+JaCoCo included)
|
||||||
uses: actions/setup-java@v5
|
|
||||||
with:
|
|
||||||
java-version: '17'
|
|
||||||
distribution: 'temurin'
|
|
||||||
|
|
||||||
- name: Cache Maven repository
|
|
||||||
uses: actions/cache@v4
|
|
||||||
with:
|
|
||||||
path: ~/.m2/repository
|
|
||||||
key: maven-${{ hashFiles('pom.xml', 'wordpdf-core/pom.xml', 'wordpdf-app/pom.xml') }}
|
|
||||||
restore-keys: maven-
|
|
||||||
|
|
||||||
- name: Setup Maven 3.9.16
|
|
||||||
run: |
|
|
||||||
curl -fsSL https://dlcdn.apache.org/maven/maven-3/3.9.16/binaries/apache-maven-3.9.16-bin.tar.gz | tar xz -C /opt
|
|
||||||
echo "/opt/apache-maven-3.9.16/bin" >> "$GITHUB_PATH"
|
|
||||||
|
|
||||||
- name: Build and test (PMD gate included)
|
|
||||||
env:
|
env:
|
||||||
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
|
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
|
||||||
run: mvn -B -s .ci/maven-settings.xml clean verify
|
run: |
|
||||||
|
DOCKER_BUILDKIT=0 docker build \
|
||||||
|
-f Containerfile.test \
|
||||||
|
--build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \
|
||||||
|
-t wordpdf-verify:ci \
|
||||||
|
.
|
||||||
|
|
||||||
|
- name: Extract JaCoCo reports
|
||||||
|
if: always()
|
||||||
|
run: |
|
||||||
|
id=$(docker create wordpdf-verify:ci 2>/dev/null) || {
|
||||||
|
echo "образ не собран — сводка покрытия будет пустой"
|
||||||
|
exit 0
|
||||||
|
}
|
||||||
|
mkdir -p wordpdf-core/target/site/jacoco wordpdf-app/target/site/jacoco
|
||||||
|
docker cp "$id:/build/wordpdf-core/target/site/jacoco/jacoco.xml" \
|
||||||
|
wordpdf-core/target/site/jacoco/jacoco.xml || true
|
||||||
|
docker cp "$id:/build/wordpdf-app/target/site/jacoco/jacoco.xml" \
|
||||||
|
wordpdf-app/target/site/jacoco/jacoco.xml || true
|
||||||
|
docker rm "$id" >/dev/null
|
||||||
|
|
||||||
- name: Coverage summary
|
- name: Coverage summary
|
||||||
if: always()
|
if: always()
|
||||||
|
|||||||
+21
-20
@@ -19,28 +19,29 @@ jobs:
|
|||||||
exit 1
|
exit 1
|
||||||
}
|
}
|
||||||
|
|
||||||
- name: Setup JDK 17
|
- name: Build and test without fontconfig (PMD+JaCoCo included)
|
||||||
uses: actions/setup-java@v5
|
|
||||||
with:
|
|
||||||
java-version: '17'
|
|
||||||
distribution: 'temurin'
|
|
||||||
|
|
||||||
- name: Cache Maven repository
|
|
||||||
uses: actions/cache@v4
|
|
||||||
with:
|
|
||||||
path: ~/.m2/repository
|
|
||||||
key: maven-${{ hashFiles('pom.xml', 'wordpdf-core/pom.xml', 'wordpdf-app/pom.xml') }}
|
|
||||||
restore-keys: maven-
|
|
||||||
|
|
||||||
- name: Setup Maven 3.9.16
|
|
||||||
run: |
|
|
||||||
curl -fsSL https://dlcdn.apache.org/maven/maven-3/3.9.16/binaries/apache-maven-3.9.16-bin.tar.gz | tar xz -C /opt
|
|
||||||
echo "/opt/apache-maven-3.9.16/bin" >> "$GITHUB_PATH"
|
|
||||||
|
|
||||||
- name: Build and test (PMD gate included)
|
|
||||||
env:
|
env:
|
||||||
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
|
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
|
||||||
run: mvn -B -s .ci/maven-settings.xml clean verify
|
run: |
|
||||||
|
DOCKER_BUILDKIT=0 docker build \
|
||||||
|
-f Containerfile.test \
|
||||||
|
--build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \
|
||||||
|
-t wordpdf-verify:ci \
|
||||||
|
.
|
||||||
|
|
||||||
|
- name: Extract JaCoCo reports
|
||||||
|
if: always()
|
||||||
|
run: |
|
||||||
|
id=$(docker create wordpdf-verify:ci 2>/dev/null) || {
|
||||||
|
echo "образ не собран — сводка покрытия будет пустой"
|
||||||
|
exit 0
|
||||||
|
}
|
||||||
|
mkdir -p wordpdf-core/target/site/jacoco wordpdf-app/target/site/jacoco
|
||||||
|
docker cp "$id:/build/wordpdf-core/target/site/jacoco/jacoco.xml" \
|
||||||
|
wordpdf-core/target/site/jacoco/jacoco.xml || true
|
||||||
|
docker cp "$id:/build/wordpdf-app/target/site/jacoco/jacoco.xml" \
|
||||||
|
wordpdf-app/target/site/jacoco/jacoco.xml || true
|
||||||
|
docker rm "$id" >/dev/null
|
||||||
|
|
||||||
- name: Coverage summary
|
- name: Coverage summary
|
||||||
if: always()
|
if: always()
|
||||||
|
|||||||
@@ -68,6 +68,7 @@ Java2D → PNG: `ChartRenderer.DPI = 300`, потолок `MAX_PIXELS = 16_777_2
|
|||||||
```bash
|
```bash
|
||||||
./mise.sh run verify # = mvn clean verify: тесты + PMD + JaCoCo (гейт перед push)
|
./mise.sh run verify # = mvn clean verify: тесты + PMD + JaCoCo (гейт перед push)
|
||||||
mvn clean verify # то же; mvnw НЕТ — только системный Maven
|
mvn clean verify # то же; mvnw НЕТ — только системный Maven
|
||||||
|
./mise.sh run verify-nofontconfig # тот же полный verify в контейнере без fontconfig (именно так живёт CI)
|
||||||
mvn -pl wordpdf-core test -Dtest=WordPdfConverterTest#pageNumbers_recomputedNotCached # один тест
|
mvn -pl wordpdf-core test -Dtest=WordPdfConverterTest#pageNumbers_recomputedNotCached # один тест
|
||||||
mvn -pl wordpdf-app -am test -Dtest=ConvertControllerTest#convertSample_returnsPdf # -am: core test-jar
|
mvn -pl wordpdf-app -am test -Dtest=ConvertControllerTest#convertSample_returnsPdf # -am: core test-jar
|
||||||
mvn -pl wordpdf-app -am package # исполняемый jar бэкенда
|
mvn -pl wordpdf-app -am package # исполняемый jar бэкенда
|
||||||
@@ -79,7 +80,7 @@ podman-compose -f compose.dev.yml up -d --build --force-recreate # dev-стен
|
|||||||
python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources/samples/*.docx # XSD (lxml)
|
python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources/samples/*.docx # XSD (lxml)
|
||||||
```
|
```
|
||||||
|
|
||||||
Задачи mise (8): `verify`, `app-package`, `app-run`, `web-install`, `web-build`, `web-lint`, `web-dev`, `prod-tests`.
|
Задачи mise (9): `verify`, `verify-nofontconfig`, `app-package`, `app-run`, `web-install`, `web-build`, `web-lint`, `web-dev`, `prod-tests`.
|
||||||
|
|
||||||
**«Запусти тестовый сервер» (термин пользователя)** = полный dev-стенд, НЕ `java -jar`: `podman-compose -f compose.dev.yml up -d --build --force-recreate`, вход `http://<LAN-IP хоста>:9011` без API-ключа; гейт — контейнеры healthy + корень SPA отвечает 200. `--force-recreate` обязателен: без него контейнеры остаются на старом образе.
|
**«Запусти тестовый сервер» (термин пользователя)** = полный dev-стенд, НЕ `java -jar`: `podman-compose -f compose.dev.yml up -d --build --force-recreate`, вход `http://<LAN-IP хоста>:9011` без API-ключа; гейт — контейнеры healthy + корень SPA отвечает 200. `--force-recreate` обязателен: без него контейнеры остаются на старом образе.
|
||||||
|
|
||||||
@@ -109,7 +110,7 @@ python3 docs/standards/docx/validate-fixtures.py wordpdf-core/src/test/resources
|
|||||||
|
|
||||||
## CI/CD (Gitea Actions)
|
## CI/CD (Gitea Actions)
|
||||||
|
|
||||||
`pr.yml` (`PR checks`): job `java` (`mvn -B -s .ci/maven-settings.xml clean verify` через Nexus) + coverage-сводка и комментарий в PR, job `web` (`npm ci` → build → lint). `main.yml`: `java`/`web` → `images-app`/`images-web` (build+push в Nexus, теги `prod` + `sha-<7>`) → `deploy` (SSH, рендер прод-конфигов, гейты healthy) → `autotests` → `rollback` при провале. Нарратив — `docs/agent/ci-cd.md`.
|
`pr.yml` (`PR checks`): job `java` (единственный полный `mvn clean verify` внутри образа `Containerfile.test` — без fontconfig, зеркало Nexus через build-arg) + извлечение `jacoco.xml` из образа (`docker create`/`docker cp`) + coverage-сводка и комментарий в PR, job `web` (`npm ci` → build → lint). `main.yml`: `java`/`web` → `images-app`/`images-web` (build+push в Nexus, теги `prod` + `sha-<7>`) → `deploy` (SSH, рендер прод-конфигов, гейты healthy) → `autotests` → `rollback` при провале. Нарратив — `docs/agent/ci-cd.md`.
|
||||||
|
|
||||||
Защита ветки `main`: required-контексты — **`PR checks / java (pull_request)`**, **`PR checks / web (pull_request)`** (deploy/autotests в список не включать — на PR не бегут). Смена лимитов стенда = правка Variables, PR не нужен.
|
Защита ветки `main`: required-контексты — **`PR checks / java (pull_request)`**, **`PR checks / web (pull_request)`** (deploy/autotests в список не включать — на PR не бегут). Смена лимитов стенда = правка Variables, PR не нужен.
|
||||||
|
|
||||||
|
|||||||
@@ -0,0 +1,45 @@
|
|||||||
|
# Тестовый образ «без fontconfig»: единственный полный прогон mvn clean verify
|
||||||
|
# (тесты + PMD + JaCoCo) там, где AWT-менеджер шрифтов недоступен (нет
|
||||||
|
# libfontconfig и /etc/fonts). В CI хостовый mvn не запускается вовсе — набор
|
||||||
|
# тестов никогда не исполняется на хосте с fontconfig. Локально сырой
|
||||||
|
# `mvn clean verify` (mise-задача verify) — хост-гейт без docker/podman.
|
||||||
|
# База — maven:3.9-eclipse-temurin-17, а не alpine: alpine-теги maven/temurin
|
||||||
|
# публикуются только под amd64, на arm64-хосте образ не собрать.
|
||||||
|
FROM docker.io/library/maven:3.9-eclipse-temurin-17
|
||||||
|
WORKDIR /build
|
||||||
|
# Удаляем fontconfig и системные шрифты; проверяем, что удалить удалось.
|
||||||
|
RUN set -eux; \
|
||||||
|
rm -rf /etc/fonts /usr/share/fonts /var/cache/fontconfig; \
|
||||||
|
find /usr/lib /lib -name 'libfontconfig.so*' -delete 2>/dev/null || true; \
|
||||||
|
if [ -e /etc/fonts ] || find /usr/lib /lib -name 'libfontconfig.so*' | grep -q .; then \
|
||||||
|
echo 'fontconfig остался в тестовом образе' >&2; exit 1; fi
|
||||||
|
# Жёсткий гейт: проба ядра (та же, что в MathMlSupport) обязана падать.
|
||||||
|
RUN set -eux; mkdir -p /tmp/probe; \
|
||||||
|
printf '%s\n' \
|
||||||
|
'public class Probe {' \
|
||||||
|
' public static void main(String[] a) {' \
|
||||||
|
' try {' \
|
||||||
|
' java.awt.GraphicsEnvironment.getLocalGraphicsEnvironment()' \
|
||||||
|
' .getAvailableFontFamilyNames();' \
|
||||||
|
' System.exit(0);' \
|
||||||
|
' } catch (Throwable t) {' \
|
||||||
|
' System.exit(1);' \
|
||||||
|
' }' \
|
||||||
|
' }' \
|
||||||
|
'}' > /tmp/probe/Probe.java; \
|
||||||
|
javac -d /tmp/probe /tmp/probe/Probe.java; \
|
||||||
|
if java -Djava.awt.headless=true -cp /tmp/probe Probe; then \
|
||||||
|
echo 'AWT-шрифты доступны: fontconfig не удалён' >&2; exit 1; fi; \
|
||||||
|
echo 'fontconfig отсутствует: AWT-шрифты недоступны (ожидаемо)'; \
|
||||||
|
rm -rf /tmp/probe
|
||||||
|
# Зеркало Nexus (в CI приходит --build-arg MAVEN_MIRROR_URL из Gitea Variable).
|
||||||
|
ARG MAVEN_MIRROR_URL=
|
||||||
|
ENV MAVEN_MIRROR_URL=${MAVEN_MIRROR_URL}
|
||||||
|
COPY .ci/maven-settings.xml /tmp/ci-maven-settings.xml
|
||||||
|
RUN if [ -n "$MAVEN_MIRROR_URL" ]; then mkdir -p /root/.m2 && cp /tmp/ci-maven-settings.xml /root/.m2/settings.xml; fi
|
||||||
|
COPY pom.xml .
|
||||||
|
COPY wordpdf-core/pom.xml wordpdf-core/
|
||||||
|
COPY wordpdf-app/pom.xml wordpdf-app/
|
||||||
|
RUN HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= mvn -B -q dependency:go-offline
|
||||||
|
COPY . .
|
||||||
|
RUN HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= mvn -B clean verify
|
||||||
@@ -76,6 +76,7 @@ powershell -ExecutionPolicy Bypass -File .\bootstrap.ps1 # Windows
|
|||||||
|Задача|Содержание|
|
|Задача|Содержание|
|
||||||
|---|---|
|
|---|---|
|
||||||
|`verify`|`mvn clean verify` — тесты + PMD + JaCoCo|
|
|`verify`|`mvn clean verify` — тесты + PMD + JaCoCo|
|
||||||
|
|`verify-nofontconfig`|`mvn clean verify` в контейнере без fontconfig (гейт CI; требует podman/docker)|
|
||||||
|`app-package`|исполняемый jar бэкенда|
|
|`app-package`|исполняемый jar бэкенда|
|
||||||
|`app-run`|бэкенд на :8080, ключ выключен (после `app-package`)|
|
|`app-run`|бэкенд на :8080, ключ выключен (после `app-package`)|
|
||||||
|`web-install`|`npm ci` в `wordpdf-web`|
|
|`web-install`|`npm ci` в `wordpdf-web`|
|
||||||
@@ -346,7 +347,7 @@ API (`wordpdf-app`) проверяется `MockMvc`-сквозняками (`Co
|
|||||||
|
|
||||||
## CI/CD и деплой
|
## CI/CD и деплой
|
||||||
|
|
||||||
- Pull request → Gitea Actions (`pr.yml`): Java — `mvn clean verify` + сводка покрытия комментарием в PR; Web — `npm ci`, build, lint.
|
- Pull request → Gitea Actions (`pr.yml`): Java — единственный `mvn clean verify` в контейнере без fontconfig + сводка покрытия комментарием в PR; Web — `npm ci`, build, lint.
|
||||||
- Push в `main` → `main.yml`: тесты → сборка и push образов `wordpdf-app`/`wordpdf-web` в реестр → deploy (job рендерит прод-конфиги, `podman-compose pull && up -d --force-recreate`, health-гейты, автооткат при провале) → prod-автотесты против живого стенда.
|
- Push в `main` → `main.yml`: тесты → сборка и push образов `wordpdf-app`/`wordpdf-web` в реестр → deploy (job рендерит прод-конфиги, `podman-compose pull && up -d --force-recreate`, health-гейты, автооткат при провале) → prod-автотесты против живого стенда.
|
||||||
- Координаты прод-сервера и креды вне репозитория — Gitea Actions Variables/Secrets (настройка: `GITEA-vars.md`). Наружный вход стенда — путь `/pdf-converter/` за пользовательским nginx.
|
- Координаты прод-сервера и креды вне репозитория — Gitea Actions Variables/Secrets (настройка: `GITEA-vars.md`). Наружный вход стенда — путь `/pdf-converter/` за пользовательским nginx.
|
||||||
- Локальный прогон prod-автотестов (задача `prod-tests`: `pip install`
|
- Локальный прогон prod-автотестов (задача `prod-tests`: `pip install`
|
||||||
|
|||||||
+1
-1
@@ -6,7 +6,7 @@
|
|||||||
|
|
||||||
### Job'ы workflow'ов
|
### Job'ы workflow'ов
|
||||||
|
|
||||||
Два workflow. `.gitea/workflows/pr.yml` — `PR checks` (`pull_request` + `workflow_dispatch`): job `java` (temurin 17, кеш `~/.m2`, Maven 3.9.16 с dlcdn, `mvn -B -s .ci/maven-settings.xml clean verify` через зеркало Nexus `maven-central` (fail-closed проверка Variable `MAVEN_MIRROR_URL` первым шагом)) → `Coverage summary` (разбор `target/site/jacoco/jacoco.xml` python-сниппетом в step summary) → `Comment coverage on PR` (тот же текст комментарием; создаётся один раз, повторные push обновляют по маркеру `<!-- jacoco-coverage -->`; `continue-on-error`). job `web` (кеш `~/.npm`, `npm ci` → `build` → `lint`; `setup-node` **нет** — нода берётся с раннера).
|
Два workflow. `.gitea/workflows/pr.yml` — `PR checks` (`pull_request` + `workflow_dispatch`): job `java` (fail-closed проверка Variable `MAVEN_MIRROR_URL` первым шагом → единственный прогон `mvn -B clean verify` внутри образа `Containerfile.test` — без fontconfig, набор тестов никогда не исполняется на хосте с fontconfig; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером podman, BuildKit-сессий нет; зеркало Nexus приходит `--build-arg` → извлечение двух `jacoco.xml` из образа `wordpdf-verify:ci` шагами `docker create`/`docker cp || true` — при непрошедшей сборке пустая сводка, тесты не затронуты) → `Coverage summary` (разбор извлечённого `target/site/jacoco/jacoco.xml` python-сниппетом в step summary) → `Comment coverage on PR` (тот же текст комментарием; создаётся один раз, повторные push обновляют по маркеру `<!-- jacoco-coverage -->`; `continue-on-error`). job `web` (кеш `~/.npm`, `npm ci` → `build` → `lint`; `setup-node` **нет** — нода берётся с раннера).
|
||||||
|
|
||||||
`.gitea/workflows/main.yml` — `Main: tests, deploy, autotests` (`push` в `main` + `workflow_dispatch`): те же `java`/`web` (байт-байт дубль — workflow-файлы самодостаточны, reusable-workflow не вводить) → `images-app`/`images-web` (build+push каждого Containerfile в Nexus-реестр `${{ vars.REGISTRY }}`, теги `prod` + immovable `sha-<7 символов GITHUB_SHA>`; app печётся с `--build-arg MAVEN_MIRROR_URL=…` (зеркало Nexus в Containerfile); web печётся с `--build-arg VITE_BASE=/pdf-converter/`; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером podman, BuildKit-сессий нет; креды — вручную пишется `~/.docker/config.json`) → `deploy` (SSH на прод: рендер конфигов heredoc'ами в workspace раннера — appleboy/ssh-action непригоден, ломает heredoc; валидация PyYAML; прод-стек — подсеть `10.112.0.0/24` gw `10.112.0.1` (в репо-`compose.yml` — `10.113.0.0/24`, стенды разные), gateway биндится на `127.0.0.1:9010` + `$DEPLOY_HOST:9010`, `nginx.conf` — с `resolver 10.112.0.1`; сохранение `.rollback.env`; `login/pull/timeout 90 podman-compose up -d --force-recreate app web`; гейты healthy и image; gateway пересоздаётся последним; health-check) → `autotests` (venv + `prod-autotests/` против прода) → `rollback` (`if: failure()` — перерендер/перезалив прод-файлов тем же шагом, retag прежних image ID на `:prod`, `--force-recreate app web`, пересоздание gateway).
|
`.gitea/workflows/main.yml` — `Main: tests, deploy, autotests` (`push` в `main` + `workflow_dispatch`): те же `java`/`web` (байт-байт дубль — workflow-файлы самодостаточны, reusable-workflow не вводить) → `images-app`/`images-web` (build+push каждого Containerfile в Nexus-реестр `${{ vars.REGISTRY }}`, теги `prod` + immovable `sha-<7 символов GITHUB_SHA>`; app печётся с `--build-arg MAVEN_MIRROR_URL=…` (зеркало Nexus в Containerfile); web печётся с `--build-arg VITE_BASE=/pdf-converter/`; `DOCKER_BUILDKIT=0` обязателен — daemon за раннером podman, BuildKit-сессий нет; креды — вручную пишется `~/.docker/config.json`) → `deploy` (SSH на прод: рендер конфигов heredoc'ами в workspace раннера — appleboy/ssh-action непригоден, ломает heredoc; валидация PyYAML; прод-стек — подсеть `10.112.0.0/24` gw `10.112.0.1` (в репо-`compose.yml` — `10.113.0.0/24`, стенды разные), gateway биндится на `127.0.0.1:9010` + `$DEPLOY_HOST:9010`, `nginx.conf` — с `resolver 10.112.0.1`; сохранение `.rollback.env`; `login/pull/timeout 90 podman-compose up -d --force-recreate app web`; гейты healthy и image; gateway пересоздаётся последним; health-check) → `autotests` (venv + `prod-autotests/` против прода) → `rollback` (`if: failure()` — перерендер/перезалив прод-файлов тем же шагом, retag прежних image ID на `:prod`, `--force-recreate app web`, пересоздание gateway).
|
||||||
|
|
||||||
|
|||||||
@@ -14,6 +14,10 @@ _.python.venv = { path = "prod-autotests/.venv", create = true }
|
|||||||
description = "mvn clean verify — полный гейт перед push (тесты + PMD + JaCoCo)"
|
description = "mvn clean verify — полный гейт перед push (тесты + PMD + JaCoCo)"
|
||||||
run = "mvn clean verify"
|
run = "mvn clean verify"
|
||||||
|
|
||||||
|
[tasks.verify-nofontconfig]
|
||||||
|
description = "mvn clean verify в контейнере без fontconfig (гейт, которым живёт CI; verify — хост-гейт без контейнера)"
|
||||||
|
run = "podman build -f Containerfile.test ."
|
||||||
|
|
||||||
[tasks.app-package]
|
[tasks.app-package]
|
||||||
description = "Исполняемый jar бэкенда"
|
description = "Исполняемый jar бэкенда"
|
||||||
run = "mvn -pl wordpdf-app -am package"
|
run = "mvn -pl wordpdf-app -am package"
|
||||||
|
|||||||
@@ -15,8 +15,8 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
|
|||||||
/**
|
/**
|
||||||
* Единый zip-проход переписывания XML-частей (.docx) вместо отдельных
|
* Единый zip-проход переписывания XML-частей (.docx) вместо отдельных
|
||||||
* проходов нормализаторов: к каждой записи {@code word/*.xml} применяются
|
* проходов нормализаторов: к каждой записи {@code word/*.xml} применяются
|
||||||
* все десять рерайтов в фиксированном порядке
|
* все одиннадцать рерайтов в фиксированном порядке
|
||||||
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby.
|
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby→MathFallback.
|
||||||
* Порядок значим: Strict первым — дальше части в transitional-виде
|
* Порядок значим: Strict первым — дальше части в transitional-виде
|
||||||
* (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage
|
* (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage
|
||||||
* режет раны по финальному тексту рана (после Symbol/Invisible); Hidden
|
* режет раны по финальному тексту рана (после Symbol/Invisible); Hidden
|
||||||
@@ -52,7 +52,7 @@ public final class DocxRewritePipeline {
|
|||||||
public static final DocxNormalizer STEP = DocxRewritePipeline::normalize;
|
public static final DocxNormalizer STEP = DocxRewritePipeline::normalize;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Применяет десять рерайтов к каждой записи {@code word/*.xml} за один
|
* Применяет одиннадцать рерайтов к каждой записи {@code word/*.xml} за один
|
||||||
* проход zip.
|
* проход zip.
|
||||||
*
|
*
|
||||||
* @param docx байты .docx (валидный zip)
|
* @param docx байты .docx (валидный zip)
|
||||||
@@ -133,6 +133,10 @@ public final class DocxRewritePipeline {
|
|||||||
if (next != null) {
|
if (next != null) {
|
||||||
cur = next;
|
cur = next;
|
||||||
}
|
}
|
||||||
|
next = MathFallbackNormalizer.rewrite(cur);
|
||||||
|
if (next != null) {
|
||||||
|
cur = next;
|
||||||
|
}
|
||||||
if (cur != xml) {
|
if (cur != xml) {
|
||||||
changed = true;
|
changed = true;
|
||||||
rewritten = cur.getBytes(StandardCharsets.UTF_8);
|
rewritten = cur.getBytes(StandardCharsets.UTF_8);
|
||||||
|
|||||||
@@ -0,0 +1,92 @@
|
|||||||
|
package ru.pjandro.wordpdf.internal;
|
||||||
|
|
||||||
|
import java.util.regex.Matcher;
|
||||||
|
import java.util.regex.Pattern;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Деградация OMML-формул (§22.1) в текст на хостах без fontconfig.
|
||||||
|
*
|
||||||
|
* <p>docx4j превращает {@code m:oMath}/{@code m:oMathPara} в
|
||||||
|
* {@code fo:instream-foreign-object} с MathML, а FOP рисует его через
|
||||||
|
* jeuclid-fop. JEuclid при первой формуле обращается к AWT-менеджеру шрифтов,
|
||||||
|
* которому на Linux нужен fontconfig; без него конвертация падает
|
||||||
|
* {@code InternalError: Fontconfig head is null} (репро: arm64 без /etc/fonts;
|
||||||
|
* контейнерный рантайм проекта тоже без fontconfig — Containerfile).
|
||||||
|
* Поэтому до загрузки docx4j формулы заменяются обычными ранами с текстом
|
||||||
|
* {@code m:t} (конкатенация, как в штатном фолбэке docx4j
|
||||||
|
* {@code XsltFOFunctions.mathText}) — формула видна, приложение не падает.
|
||||||
|
*
|
||||||
|
* <p>На хосте с fontconfig рерайт не срабатывает (возвращается {@code null},
|
||||||
|
* пайплайн отдаёт тот же массив). Позиция в цепочке — после Ruby (правило 11):
|
||||||
|
* {@code m:oMathPara} содержит {@code m:oMath}, поэтому блок para заменяется
|
||||||
|
* первым, иначе остался бы несбалансированный каркас. Префикс {@code m:}
|
||||||
|
* предполагается (Word и strict-OOXML используют его; StrictOoxmlNormalizer
|
||||||
|
* его не переименовывает).
|
||||||
|
*
|
||||||
|
* <p>Регрессия — WordPdfConverterTest#ommlMath_drawnAsVectors.
|
||||||
|
*/
|
||||||
|
final class MathFallbackNormalizer {
|
||||||
|
|
||||||
|
/** {@code m:oMathPara} ... {@code </m:oMathPara>} — блок формулы. */
|
||||||
|
private static final Pattern MATH_PARA = Pattern.compile(
|
||||||
|
"<m:oMathPara(?:\\s[^>]*)?>.*?</m:oMathPara>", Pattern.DOTALL);
|
||||||
|
|
||||||
|
/** Самозакрывающийся {@code <m:oMathPara/>}. */
|
||||||
|
private static final Pattern MATH_PARA_SELF = Pattern.compile(
|
||||||
|
"<m:oMathPara(?:\\s[^>]*)?/>");
|
||||||
|
|
||||||
|
/** {@code m:oMath} ... {@code </m:oMath>} — встроенная формула. */
|
||||||
|
private static final Pattern MATH_INLINE = Pattern.compile(
|
||||||
|
"<m:oMath(?:\\s[^>]*)?>.*?</m:oMath>", Pattern.DOTALL);
|
||||||
|
|
||||||
|
/** Самозакрывающийся {@code <m:oMath/>}. */
|
||||||
|
private static final Pattern MATH_INLINE_SELF = Pattern.compile(
|
||||||
|
"<m:oMath(?:\\s[^>]*)?/>");
|
||||||
|
|
||||||
|
/** Текстовый узел OMML; содержимое — уже экранированный XML-текст. */
|
||||||
|
private static final Pattern MATH_TEXT = Pattern.compile(
|
||||||
|
"<m:t(?:\\s[^>]*)?>(.*?)</m:t>", Pattern.DOTALL);
|
||||||
|
|
||||||
|
private MathFallbackNormalizer() {
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Рерайт одной XML-части: формулы → текст, если AWT-шрифтов нет.
|
||||||
|
* Формул нет / шрифты есть / ничего не изменилось → {@code null}.
|
||||||
|
*/
|
||||||
|
static String rewrite(String xml) {
|
||||||
|
if (!xml.contains("<m:oMath")) {
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
return MathMlSupport.awtFontsAvailable() ? null : flatten(xml);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Замена всех формул на раны с текстом (без проверки доступности шрифтов).
|
||||||
|
* Формул нет → {@code null}. Package-private — прямой юнит-тест
|
||||||
|
* детерминирован на любом хосте.
|
||||||
|
*/
|
||||||
|
static String flatten(String xml) {
|
||||||
|
String out = MATH_PARA.matcher(xml).replaceAll(m -> run(text(m.group())));
|
||||||
|
out = MATH_PARA_SELF.matcher(out).replaceAll("");
|
||||||
|
out = MATH_INLINE.matcher(out).replaceAll(m -> run(text(m.group())));
|
||||||
|
out = MATH_INLINE_SELF.matcher(out).replaceAll("");
|
||||||
|
return out.equals(xml) ? null : out;
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Текст формулы: конкатенация содержимого всех {@code m:t} (как docx4j mathText). */
|
||||||
|
private static String text(String block) {
|
||||||
|
Matcher m = MATH_TEXT.matcher(block);
|
||||||
|
StringBuilder sb = new StringBuilder();
|
||||||
|
while (m.find()) {
|
||||||
|
sb.append(m.group(1));
|
||||||
|
}
|
||||||
|
return sb.toString();
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Ран с текстом формулы; пустая формула удаляется. */
|
||||||
|
private static String run(String text) {
|
||||||
|
return text.isEmpty() ? ""
|
||||||
|
: "<w:r><w:t xml:space=\"preserve\">" + text + "</w:t></w:r>";
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -0,0 +1,48 @@
|
|||||||
|
package ru.pjandro.wordpdf.internal;
|
||||||
|
|
||||||
|
import java.awt.GraphicsEnvironment;
|
||||||
|
import java.util.logging.Logger;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Проба доступности AWT-шрифтового менеджера (fontconfig) в текущем JVM.
|
||||||
|
*
|
||||||
|
* <p>JEuclid (jeuclid-fop), которым docx4j рисует OMML (§22.1), при первой
|
||||||
|
* отрисовке формулы вызывает {@code GraphicsEnvironment.getAvailableFontFamilyNames()}.
|
||||||
|
* На Linux без libfontconfig/конфигурации шрифтов это падает
|
||||||
|
* {@code InternalError → RuntimeException: Fontconfig head is null}
|
||||||
|
* (репро: arm64 без /etc/fonts). Проба выполняется лениво и один раз:
|
||||||
|
* результат определяет, оставлять ли MathML (вектор) или деградировать
|
||||||
|
* формулу в текст в {@link MathFallbackNormalizer}.
|
||||||
|
*
|
||||||
|
* <p>Проба намеренно ловит {@link Throwable}: отказ приходит как
|
||||||
|
* {@code java.lang.InternalError}, а не RuntimeException.
|
||||||
|
*
|
||||||
|
* <p>Регрессия — WordPdfConverterTest#ommlMath_drawnAsVectors.
|
||||||
|
*/
|
||||||
|
final class MathMlSupport {
|
||||||
|
|
||||||
|
private static final Logger LOGGER = Logger.getLogger(MathMlSupport.class.getName());
|
||||||
|
|
||||||
|
private MathMlSupport() {
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Доступен ли AWT-менеджер шрифтов (fontconfig); проба — один раз на JVM. */
|
||||||
|
static boolean awtFontsAvailable() {
|
||||||
|
return Holder.AVAILABLE;
|
||||||
|
}
|
||||||
|
|
||||||
|
private static final class Holder {
|
||||||
|
private static final boolean AVAILABLE = probe();
|
||||||
|
}
|
||||||
|
|
||||||
|
private static boolean probe() {
|
||||||
|
try {
|
||||||
|
GraphicsEnvironment.getLocalGraphicsEnvironment().getAvailableFontFamilyNames();
|
||||||
|
return true;
|
||||||
|
} catch (Throwable t) {
|
||||||
|
LOGGER.info("AWT-менеджер шрифтов недоступен (нет fontconfig): "
|
||||||
|
+ "OMML-формулы будут отрисованы текстом: " + t);
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
@@ -2343,6 +2343,17 @@ class WordPdfConverterTest {
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/** Доступен ли AWT-менеджер шрифтов (fontconfig) — та же проба, что в ядре. */
|
||||||
|
private static boolean awtFontsAvailable() {
|
||||||
|
try {
|
||||||
|
java.awt.GraphicsEnvironment.getLocalGraphicsEnvironment()
|
||||||
|
.getAvailableFontFamilyNames();
|
||||||
|
return true;
|
||||||
|
} catch (Throwable t) {
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Скрытый текст не выводится: правило 9 (HiddenTextNormalizer) вырезает
|
* Скрытый текст не выводится: правило 9 (HiddenTextNormalizer) вырезает
|
||||||
* раны с прямым truthy vanish и с rStyle на vanish-стиль; falsy vanish
|
* раны с прямым truthy vanish и с rStyle на vanish-стиль; falsy vanish
|
||||||
@@ -2607,9 +2618,13 @@ class WordPdfConverterTest {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* OMML-формула (§22.1) рисуется вектором (jeuclid-fop): чернила страницы
|
* OMML-формула (§22.1): на хосте с fontconfig рисуется вектором
|
||||||
* с дробью a/b заметно плотнее чернил того же текста без формулы
|
* (jeuclid-fop) — чернила страницы с дробью a/b заметно плотнее чернил
|
||||||
* (замер аудита: +150 px при 150 dpi; текст формулы из PDF не извлекается).
|
* того же текста без формулы (замер аудита: +150 px при 150 dpi; текст
|
||||||
|
* формулы из PDF не извлекается). Без fontconfig (контейнерный рантайм,
|
||||||
|
* arm64-хост без /etc/fonts) JEuclid недоступен: формула обязана
|
||||||
|
* деградировать в текст (MathFallbackNormalizer), а не валить конвертацию
|
||||||
|
* InternalError'ом — чернил становится больше, чем у маркера.
|
||||||
*/
|
*/
|
||||||
@Test
|
@Test
|
||||||
void ommlMath_drawnAsVectors() throws IOException {
|
void ommlMath_drawnAsVectors() throws IOException {
|
||||||
@@ -2620,7 +2635,12 @@ class WordPdfConverterTest {
|
|||||||
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:oMath></w:p>";
|
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:oMath></w:p>";
|
||||||
int plainPx = countPixels(minimalDocx(marker), false);
|
int plainPx = countPixels(minimalDocx(marker), false);
|
||||||
int mathPx = countPixels(minimalDocx(math), false);
|
int mathPx = countPixels(minimalDocx(math), false);
|
||||||
|
if (awtFontsAvailable()) {
|
||||||
assertTrue(mathPx - plainPx >= 100, "math=" + mathPx + " plain=" + plainPx);
|
assertTrue(mathPx - plainPx >= 100, "math=" + mathPx + " plain=" + plainPx);
|
||||||
|
} else {
|
||||||
|
assertTrue(mathPx > plainPx,
|
||||||
|
"формула не деградировала в текст: math=" + mathPx + " plain=" + plainPx);
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
|
|||||||
+59
@@ -0,0 +1,59 @@
|
|||||||
|
package ru.pjandro.wordpdf.internal;
|
||||||
|
|
||||||
|
import org.junit.jupiter.api.Test;
|
||||||
|
|
||||||
|
import static org.junit.jupiter.api.Assertions.assertEquals;
|
||||||
|
import static org.junit.jupiter.api.Assertions.assertFalse;
|
||||||
|
import static org.junit.jupiter.api.Assertions.assertNull;
|
||||||
|
|
||||||
|
/** Юниты правила 11: OMML → текст без fontconfig (MathFallbackNormalizer). */
|
||||||
|
class MathFallbackNormalizerTest {
|
||||||
|
|
||||||
|
private static final String M_NS =
|
||||||
|
"http://schemas.openxmlformats.org/officeDocument/2006/math";
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void flatten_inlineMath_becomesRunWithText() {
|
||||||
|
String xml = "<w:p><w:r><w:t>ДО</w:t></w:r><m:oMath xmlns:m=\"" + M_NS + "\">"
|
||||||
|
+ "<m:r><m:t>x</m:t></m:r><m:sSup><m:e><m:r><m:t>y</m:t></m:r></m:e>"
|
||||||
|
+ "<m:sup><m:r><m:t>2</m:t></m:r></m:sup></m:sSup></m:oMath>"
|
||||||
|
+ "<w:r><w:t>ПОСЛЕ</w:t></w:r></w:p>";
|
||||||
|
assertEquals("<w:p><w:r><w:t>ДО</w:t></w:r>"
|
||||||
|
+ "<w:r><w:t xml:space=\"preserve\">xy2</w:t></w:r>"
|
||||||
|
+ "<w:r><w:t>ПОСЛЕ</w:t></w:r></w:p>",
|
||||||
|
MathFallbackNormalizer.flatten(xml));
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void flatten_mathPara_removedBeforeInline() {
|
||||||
|
String xml = "<w:p><m:oMathPara xmlns:m=\"" + M_NS + "\"><m:oMath>"
|
||||||
|
+ "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
|
||||||
|
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f>"
|
||||||
|
+ "</m:oMath></m:oMathPara></w:p>";
|
||||||
|
String out = MathFallbackNormalizer.flatten(xml);
|
||||||
|
assertEquals("<w:p><w:r><w:t xml:space=\"preserve\">ab</w:t></w:r></w:p>", out);
|
||||||
|
assertFalse(out.contains("m:oMath"), out);
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void flatten_selfClosingMath_removed() {
|
||||||
|
assertEquals("ДОПОСЛЕ",
|
||||||
|
MathFallbackNormalizer.flatten("ДО<m:oMath/>ПОСЛЕ"));
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void flatten_emptyMath_removed() {
|
||||||
|
assertEquals("ДОПОСЛЕ",
|
||||||
|
MathFallbackNormalizer.flatten("ДО<m:oMath></m:oMath>ПОСЛЕ"));
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void flatten_noMath_returnsNull() {
|
||||||
|
assertNull(MathFallbackNormalizer.flatten("<w:r><w:t>ТЕКСТ</w:t></w:r>"));
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void rewrite_noMath_returnsNullWithoutProbe() {
|
||||||
|
assertNull(MathFallbackNormalizer.rewrite("<w:r><w:t>ТЕКСТ</w:t></w:r>"));
|
||||||
|
}
|
||||||
|
}
|
||||||
Reference in New Issue
Block a user