diff --git a/.gitea/workflows/main.yml b/.gitea/workflows/main.yml index 01a4062..2cd46f2 100644 --- a/.gitea/workflows/main.yml +++ b/.gitea/workflows/main.yml @@ -43,6 +43,15 @@ jobs: MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }} run: mvn -B -s .ci/maven-settings.xml clean verify + - name: Build and test without fontconfig + env: + MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }} + run: | + DOCKER_BUILDKIT=0 docker build \ + -f Containerfile.test \ + --build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \ + . + - name: Coverage summary if: always() run: | diff --git a/.gitea/workflows/pr.yml b/.gitea/workflows/pr.yml index a2bb1fe..53cab2c 100644 --- a/.gitea/workflows/pr.yml +++ b/.gitea/workflows/pr.yml @@ -42,6 +42,15 @@ jobs: MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }} run: mvn -B -s .ci/maven-settings.xml clean verify + - name: Build and test without fontconfig + env: + MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }} + run: | + DOCKER_BUILDKIT=0 docker build \ + -f Containerfile.test \ + --build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \ + . + - name: Coverage summary if: always() run: | diff --git a/Containerfile.test b/Containerfile.test new file mode 100644 index 0000000..869b323 --- /dev/null +++ b/Containerfile.test @@ -0,0 +1,43 @@ +# Тестовый образ «без fontconfig»: mvn clean verify там, где AWT-менеджер +# шрифтов недоступен (нет libfontconfig и /etc/fonts). На хостах с fontconfig +# ветка деградации OMML не исполняется — этот образ её прогоняет всегда. +# База — maven:3.9-eclipse-temurin-17, а не alpine: alpine-теги maven/temurin +# публикуются только под amd64, на arm64-хосте образ не собрать. +FROM docker.io/library/maven:3.9-eclipse-temurin-17 +WORKDIR /build +# Удаляем fontconfig и системные шрифты; проверяем, что удалить удалось. +RUN set -eux; \ + rm -rf /etc/fonts /usr/share/fonts /var/cache/fontconfig; \ + find /usr/lib /lib -name 'libfontconfig.so*' -delete 2>/dev/null || true; \ + if [ -e /etc/fonts ] || find /usr/lib /lib -name 'libfontconfig.so*' | grep -q .; then \ + echo 'fontconfig остался в тестовом образе' >&2; exit 1; fi +# Жёсткий гейт: проба ядра (та же, что в MathMlSupport) обязана падать. +RUN set -eux; mkdir -p /tmp/probe; \ + printf '%s\n' \ + 'public class Probe {' \ + ' public static void main(String[] a) {' \ + ' try {' \ + ' java.awt.GraphicsEnvironment.getLocalGraphicsEnvironment()' \ + ' .getAvailableFontFamilyNames();' \ + ' System.exit(0);' \ + ' } catch (Throwable t) {' \ + ' System.exit(1);' \ + ' }' \ + ' }' \ + '}' > /tmp/probe/Probe.java; \ + javac -d /tmp/probe /tmp/probe/Probe.java; \ + if java -Djava.awt.headless=true -cp /tmp/probe Probe; then \ + echo 'AWT-шрифты доступны: fontconfig не удалён' >&2; exit 1; fi; \ + echo 'fontconfig отсутствует: AWT-шрифты недоступны (ожидаемо)'; \ + rm -rf /tmp/probe +# Зеркало Nexus (в CI приходит --build-arg MAVEN_MIRROR_URL из Gitea Variable). +ARG MAVEN_MIRROR_URL= +ENV MAVEN_MIRROR_URL=${MAVEN_MIRROR_URL} +COPY .ci/maven-settings.xml /tmp/ci-maven-settings.xml +RUN if [ -n "$MAVEN_MIRROR_URL" ]; then mkdir -p /root/.m2 && cp /tmp/ci-maven-settings.xml /root/.m2/settings.xml; fi +COPY pom.xml . +COPY wordpdf-core/pom.xml wordpdf-core/ +COPY wordpdf-app/pom.xml wordpdf-app/ +RUN HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= mvn -B -q dependency:go-offline +COPY . . +RUN HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= mvn -B clean verify diff --git a/mise.toml b/mise.toml index ded9a48..3fe799e 100644 --- a/mise.toml +++ b/mise.toml @@ -14,6 +14,10 @@ _.python.venv = { path = "prod-autotests/.venv", create = true } description = "mvn clean verify — полный гейт перед push (тесты + PMD + JaCoCo)" run = "mvn clean verify" +[tasks.verify-nofontconfig] +description = "mvn clean verify в контейнере без fontconfig (нет libfontconfig и /etc/fonts)" +run = "podman build -f Containerfile.test ." + [tasks.app-package] description = "Исполняемый jar бэкенда" run = "mvn -pl wordpdf-app -am package" diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java index eefb4c7..ec8b8d4 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/DocxRewritePipeline.java @@ -15,8 +15,8 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel; /** * Единый zip-проход переписывания XML-частей (.docx) вместо отдельных * проходов нормализаторов: к каждой записи {@code word/*.xml} применяются - * все десять рерайтов в фиксированном порядке - * Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby. + * все одиннадцать рерайтов в фиксированном порядке + * Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby→MathFallback. * Порядок значим: Strict первым — дальше части в transitional-виде * (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage * режет раны по финальному тексту рана (после Symbol/Invisible); Hidden @@ -52,7 +52,7 @@ public final class DocxRewritePipeline { public static final DocxNormalizer STEP = DocxRewritePipeline::normalize; /** - * Применяет десять рерайтов к каждой записи {@code word/*.xml} за один + * Применяет одиннадцать рерайтов к каждой записи {@code word/*.xml} за один * проход zip. * * @param docx байты .docx (валидный zip) @@ -133,6 +133,10 @@ public final class DocxRewritePipeline { if (next != null) { cur = next; } + next = MathFallbackNormalizer.rewrite(cur); + if (next != null) { + cur = next; + } if (cur != xml) { changed = true; rewritten = cur.getBytes(StandardCharsets.UTF_8); diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/MathFallbackNormalizer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/MathFallbackNormalizer.java new file mode 100644 index 0000000..ce9d253 --- /dev/null +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/MathFallbackNormalizer.java @@ -0,0 +1,92 @@ +package ru.pjandro.wordpdf.internal; + +import java.util.regex.Matcher; +import java.util.regex.Pattern; + +/** + * Деградация OMML-формул (§22.1) в текст на хостах без fontconfig. + * + *

docx4j превращает {@code m:oMath}/{@code m:oMathPara} в + * {@code fo:instream-foreign-object} с MathML, а FOP рисует его через + * jeuclid-fop. JEuclid при первой формуле обращается к AWT-менеджеру шрифтов, + * которому на Linux нужен fontconfig; без него конвертация падает + * {@code InternalError: Fontconfig head is null} (репро: arm64 без /etc/fonts; + * контейнерный рантайм проекта тоже без fontconfig — Containerfile). + * Поэтому до загрузки docx4j формулы заменяются обычными ранами с текстом + * {@code m:t} (конкатенация, как в штатном фолбэке docx4j + * {@code XsltFOFunctions.mathText}) — формула видна, приложение не падает. + * + *

На хосте с fontconfig рерайт не срабатывает (возвращается {@code null}, + * пайплайн отдаёт тот же массив). Позиция в цепочке — после Ruby (правило 11): + * {@code m:oMathPara} содержит {@code m:oMath}, поэтому блок para заменяется + * первым, иначе остался бы несбалансированный каркас. Префикс {@code m:} + * предполагается (Word и strict-OOXML используют его; StrictOoxmlNormalizer + * его не переименовывает). + * + *

Регрессия — WordPdfConverterTest#ommlMath_drawnAsVectors. + */ +final class MathFallbackNormalizer { + + /** {@code m:oMathPara} ... {@code } — блок формулы. */ + private static final Pattern MATH_PARA = Pattern.compile( + "]*)?>.*?", Pattern.DOTALL); + + /** Самозакрывающийся {@code }. */ + private static final Pattern MATH_PARA_SELF = Pattern.compile( + "]*)?/>"); + + /** {@code m:oMath} ... {@code } — встроенная формула. */ + private static final Pattern MATH_INLINE = Pattern.compile( + "]*)?>.*?", Pattern.DOTALL); + + /** Самозакрывающийся {@code }. */ + private static final Pattern MATH_INLINE_SELF = Pattern.compile( + "]*)?/>"); + + /** Текстовый узел OMML; содержимое — уже экранированный XML-текст. */ + private static final Pattern MATH_TEXT = Pattern.compile( + "]*)?>(.*?)", Pattern.DOTALL); + + private MathFallbackNormalizer() { + } + + /** + * Рерайт одной XML-части: формулы → текст, если AWT-шрифтов нет. + * Формул нет / шрифты есть / ничего не изменилось → {@code null}. + */ + static String rewrite(String xml) { + if (!xml.contains(" run(text(m.group()))); + out = MATH_PARA_SELF.matcher(out).replaceAll(""); + out = MATH_INLINE.matcher(out).replaceAll(m -> run(text(m.group()))); + out = MATH_INLINE_SELF.matcher(out).replaceAll(""); + return out.equals(xml) ? null : out; + } + + /** Текст формулы: конкатенация содержимого всех {@code m:t} (как docx4j mathText). */ + private static String text(String block) { + Matcher m = MATH_TEXT.matcher(block); + StringBuilder sb = new StringBuilder(); + while (m.find()) { + sb.append(m.group(1)); + } + return sb.toString(); + } + + /** Ран с текстом формулы; пустая формула удаляется. */ + private static String run(String text) { + return text.isEmpty() ? "" + : "" + text + ""; + } +} diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/MathMlSupport.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/MathMlSupport.java new file mode 100644 index 0000000..6be4ec6 --- /dev/null +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/MathMlSupport.java @@ -0,0 +1,48 @@ +package ru.pjandro.wordpdf.internal; + +import java.awt.GraphicsEnvironment; +import java.util.logging.Logger; + +/** + * Проба доступности AWT-шрифтового менеджера (fontconfig) в текущем JVM. + * + *

JEuclid (jeuclid-fop), которым docx4j рисует OMML (§22.1), при первой + * отрисовке формулы вызывает {@code GraphicsEnvironment.getAvailableFontFamilyNames()}. + * На Linux без libfontconfig/конфигурации шрифтов это падает + * {@code InternalError → RuntimeException: Fontconfig head is null} + * (репро: arm64 без /etc/fonts). Проба выполняется лениво и один раз: + * результат определяет, оставлять ли MathML (вектор) или деградировать + * формулу в текст в {@link MathFallbackNormalizer}. + * + *

Проба намеренно ловит {@link Throwable}: отказ приходит как + * {@code java.lang.InternalError}, а не RuntimeException. + * + *

Регрессия — WordPdfConverterTest#ommlMath_drawnAsVectors. + */ +final class MathMlSupport { + + private static final Logger LOGGER = Logger.getLogger(MathMlSupport.class.getName()); + + private MathMlSupport() { + } + + /** Доступен ли AWT-менеджер шрифтов (fontconfig); проба — один раз на JVM. */ + static boolean awtFontsAvailable() { + return Holder.AVAILABLE; + } + + private static final class Holder { + private static final boolean AVAILABLE = probe(); + } + + private static boolean probe() { + try { + GraphicsEnvironment.getLocalGraphicsEnvironment().getAvailableFontFamilyNames(); + return true; + } catch (Throwable t) { + LOGGER.info("AWT-менеджер шрифтов недоступен (нет fontconfig): " + + "OMML-формулы будут отрисованы текстом: " + t); + return false; + } + } +} diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java index b2a79c2..7f6abe4 100644 --- a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/WordPdfConverterTest.java @@ -2343,6 +2343,17 @@ class WordPdfConverterTest { } } + /** Доступен ли AWT-менеджер шрифтов (fontconfig) — та же проба, что в ядре. */ + private static boolean awtFontsAvailable() { + try { + java.awt.GraphicsEnvironment.getLocalGraphicsEnvironment() + .getAvailableFontFamilyNames(); + return true; + } catch (Throwable t) { + return false; + } + } + /** * Скрытый текст не выводится: правило 9 (HiddenTextNormalizer) вырезает * раны с прямым truthy vanish и с rStyle на vanish-стиль; falsy vanish @@ -2607,9 +2618,13 @@ class WordPdfConverterTest { } /** - * OMML-формула (§22.1) рисуется вектором (jeuclid-fop): чернила страницы - * с дробью a/b заметно плотнее чернил того же текста без формулы - * (замер аудита: +150 px при 150 dpi; текст формулы из PDF не извлекается). + * OMML-формула (§22.1): на хосте с fontconfig рисуется вектором + * (jeuclid-fop) — чернила страницы с дробью a/b заметно плотнее чернил + * того же текста без формулы (замер аудита: +150 px при 150 dpi; текст + * формулы из PDF не извлекается). Без fontconfig (контейнерный рантайм, + * arm64-хост без /etc/fonts) JEuclid недоступен: формула обязана + * деградировать в текст (MathFallbackNormalizer), а не валить конвертацию + * InternalError'ом — чернил становится больше, чем у маркера. */ @Test void ommlMath_drawnAsVectors() throws IOException { @@ -2620,7 +2635,12 @@ class WordPdfConverterTest { + "b"; int plainPx = countPixels(minimalDocx(marker), false); int mathPx = countPixels(minimalDocx(math), false); - assertTrue(mathPx - plainPx >= 100, "math=" + mathPx + " plain=" + plainPx); + if (awtFontsAvailable()) { + assertTrue(mathPx - plainPx >= 100, "math=" + mathPx + " plain=" + plainPx); + } else { + assertTrue(mathPx > plainPx, + "формула не деградировала в текст: math=" + mathPx + " plain=" + plainPx); + } } /** diff --git a/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/MathFallbackNormalizerTest.java b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/MathFallbackNormalizerTest.java new file mode 100644 index 0000000..d30471d --- /dev/null +++ b/wordpdf-core/src/test/java/ru/pjandro/wordpdf/internal/MathFallbackNormalizerTest.java @@ -0,0 +1,59 @@ +package ru.pjandro.wordpdf.internal; + +import org.junit.jupiter.api.Test; + +import static org.junit.jupiter.api.Assertions.assertEquals; +import static org.junit.jupiter.api.Assertions.assertFalse; +import static org.junit.jupiter.api.Assertions.assertNull; + +/** Юниты правила 11: OMML → текст без fontconfig (MathFallbackNormalizer). */ +class MathFallbackNormalizerTest { + + private static final String M_NS = + "http://schemas.openxmlformats.org/officeDocument/2006/math"; + + @Test + void flatten_inlineMath_becomesRunWithText() { + String xml = "ДО" + + "xy" + + "2" + + "ПОСЛЕ"; + assertEquals("ДО" + + "xy2" + + "ПОСЛЕ", + MathFallbackNormalizer.flatten(xml)); + } + + @Test + void flatten_mathPara_removedBeforeInline() { + String xml = "" + + "a" + + "b" + + ""; + String out = MathFallbackNormalizer.flatten(xml); + assertEquals("ab", out); + assertFalse(out.contains("m:oMath"), out); + } + + @Test + void flatten_selfClosingMath_removed() { + assertEquals("ДОПОСЛЕ", + MathFallbackNormalizer.flatten("ДОПОСЛЕ")); + } + + @Test + void flatten_emptyMath_removed() { + assertEquals("ДОПОСЛЕ", + MathFallbackNormalizer.flatten("ДОПОСЛЕ")); + } + + @Test + void flatten_noMath_returnsNull() { + assertNull(MathFallbackNormalizer.flatten("ТЕКСТ")); + } + + @Test + void rewrite_noMath_returnsNullWithoutProbe() { + assertNull(MathFallbackNormalizer.rewrite("ТЕКСТ")); + } +}