OMML без fontconfig: текстовая деградация + контейнерный прогон без fontconfig #103

Merged
pjandro merged 2 commits from fix/arm64-omml-text-fallback into main 2026-11-10 01:23:47 +03:00
9 changed files with 295 additions and 7 deletions
Showing only changes of commit 5631c9e0c0 - Show all commits
+9
View File
@@ -43,6 +43,15 @@ jobs:
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
run: mvn -B -s .ci/maven-settings.xml clean verify
- name: Build and test without fontconfig
env:
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
run: |
DOCKER_BUILDKIT=0 docker build \
-f Containerfile.test \
--build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \
.
- name: Coverage summary
if: always()
run: |
+9
View File
@@ -42,6 +42,15 @@ jobs:
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
run: mvn -B -s .ci/maven-settings.xml clean verify
- name: Build and test without fontconfig
env:
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
run: |
DOCKER_BUILDKIT=0 docker build \
-f Containerfile.test \
--build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \
.
- name: Coverage summary
if: always()
run: |
+43
View File
@@ -0,0 +1,43 @@
# Тестовый образ «без fontconfig»: mvn clean verify там, где AWT-менеджер
# шрифтов недоступен (нет libfontconfig и /etc/fonts). На хостах с fontconfig
# ветка деградации OMML не исполняется — этот образ её прогоняет всегда.
# База — maven:3.9-eclipse-temurin-17, а не alpine: alpine-теги maven/temurin
# публикуются только под amd64, на arm64-хосте образ не собрать.
FROM docker.io/library/maven:3.9-eclipse-temurin-17
WORKDIR /build
# Удаляем fontconfig и системные шрифты; проверяем, что удалить удалось.
RUN set -eux; \
rm -rf /etc/fonts /usr/share/fonts /var/cache/fontconfig; \
find /usr/lib /lib -name 'libfontconfig.so*' -delete 2>/dev/null || true; \
if [ -e /etc/fonts ] || find /usr/lib /lib -name 'libfontconfig.so*' | grep -q .; then \
echo 'fontconfig остался в тестовом образе' >&2; exit 1; fi
# Жёсткий гейт: проба ядра (та же, что в MathMlSupport) обязана падать.
RUN set -eux; mkdir -p /tmp/probe; \
printf '%s\n' \
'public class Probe {' \
' public static void main(String[] a) {' \
' try {' \
' java.awt.GraphicsEnvironment.getLocalGraphicsEnvironment()' \
' .getAvailableFontFamilyNames();' \
' System.exit(0);' \
' } catch (Throwable t) {' \
' System.exit(1);' \
' }' \
' }' \
'}' > /tmp/probe/Probe.java; \
javac -d /tmp/probe /tmp/probe/Probe.java; \
if java -Djava.awt.headless=true -cp /tmp/probe Probe; then \
echo 'AWT-шрифты доступны: fontconfig не удалён' >&2; exit 1; fi; \
echo 'fontconfig отсутствует: AWT-шрифты недоступны (ожидаемо)'; \
rm -rf /tmp/probe
# Зеркало Nexus (в CI приходит --build-arg MAVEN_MIRROR_URL из Gitea Variable).
ARG MAVEN_MIRROR_URL=
ENV MAVEN_MIRROR_URL=${MAVEN_MIRROR_URL}
COPY .ci/maven-settings.xml /tmp/ci-maven-settings.xml
RUN if [ -n "$MAVEN_MIRROR_URL" ]; then mkdir -p /root/.m2 && cp /tmp/ci-maven-settings.xml /root/.m2/settings.xml; fi
COPY pom.xml .
COPY wordpdf-core/pom.xml wordpdf-core/
COPY wordpdf-app/pom.xml wordpdf-app/
RUN HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= mvn -B -q dependency:go-offline
COPY . .
RUN HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= mvn -B clean verify
+4
View File
@@ -14,6 +14,10 @@ _.python.venv = { path = "prod-autotests/.venv", create = true }
description = "mvn clean verify — полный гейт перед push (тесты + PMD + JaCoCo)"
run = "mvn clean verify"
[tasks.verify-nofontconfig]
description = "mvn clean verify в контейнере без fontconfig (нет libfontconfig и /etc/fonts)"
run = "podman build -f Containerfile.test ."
[tasks.app-package]
description = "Исполняемый jar бэкенда"
run = "mvn -pl wordpdf-app -am package"
@@ -15,8 +15,8 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
/**
* Единый zip-проход переписывания XML-частей (.docx) вместо отдельных
* проходов нормализаторов: к каждой записи {@code word/*.xml} применяются
* все десять рерайтов в фиксированном порядке
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby.
* все одиннадцать рерайтов в фиксированном порядке
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby→MathFallback.
* Порядок значим: Strict первым — дальше части в transitional-виде
* (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage
* режет раны по финальному тексту рана (после Symbol/Invisible); Hidden
@@ -52,7 +52,7 @@ public final class DocxRewritePipeline {
public static final DocxNormalizer STEP = DocxRewritePipeline::normalize;
/**
* Применяет десять рерайтов к каждой записи {@code word/*.xml} за один
* Применяет одиннадцать рерайтов к каждой записи {@code word/*.xml} за один
* проход zip.
*
* @param docx байты .docx (валидный zip)
@@ -133,6 +133,10 @@ public final class DocxRewritePipeline {
if (next != null) {
cur = next;
}
next = MathFallbackNormalizer.rewrite(cur);
if (next != null) {
cur = next;
}
if (cur != xml) {
changed = true;
rewritten = cur.getBytes(StandardCharsets.UTF_8);
@@ -0,0 +1,92 @@
package ru.pjandro.wordpdf.internal;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/**
* Деградация OMML-формул (§22.1) в текст на хостах без fontconfig.
*
* <p>docx4j превращает {@code m:oMath}/{@code m:oMathPara} в
* {@code fo:instream-foreign-object} с MathML, а FOP рисует его через
* jeuclid-fop. JEuclid при первой формуле обращается к AWT-менеджеру шрифтов,
* которому на Linux нужен fontconfig; без него конвертация падает
* {@code InternalError: Fontconfig head is null} (репро: arm64 без /etc/fonts;
* контейнерный рантайм проекта тоже без fontconfig — Containerfile).
* Поэтому до загрузки docx4j формулы заменяются обычными ранами с текстом
* {@code m:t} (конкатенация, как в штатном фолбэке docx4j
* {@code XsltFOFunctions.mathText}) — формула видна, приложение не падает.
*
* <p>На хосте с fontconfig рерайт не срабатывает (возвращается {@code null},
* пайплайн отдаёт тот же массив). Позиция в цепочке — после Ruby (правило 11):
* {@code m:oMathPara} содержит {@code m:oMath}, поэтому блок para заменяется
* первым, иначе остался бы несбалансированный каркас. Префикс {@code m:}
* предполагается (Word и strict-OOXML используют его; StrictOoxmlNormalizer
* его не переименовывает).
*
* <p>Регрессия — WordPdfConverterTest#ommlMath_drawnAsVectors.
*/
final class MathFallbackNormalizer {
/** {@code m:oMathPara} ... {@code </m:oMathPara>} — блок формулы. */
private static final Pattern MATH_PARA = Pattern.compile(
"<m:oMathPara(?:\\s[^>]*)?>.*?</m:oMathPara>", Pattern.DOTALL);
/** Самозакрывающийся {@code <m:oMathPara/>}. */
private static final Pattern MATH_PARA_SELF = Pattern.compile(
"<m:oMathPara(?:\\s[^>]*)?/>");
/** {@code m:oMath} ... {@code </m:oMath>} — встроенная формула. */
private static final Pattern MATH_INLINE = Pattern.compile(
"<m:oMath(?:\\s[^>]*)?>.*?</m:oMath>", Pattern.DOTALL);
/** Самозакрывающийся {@code <m:oMath/>}. */
private static final Pattern MATH_INLINE_SELF = Pattern.compile(
"<m:oMath(?:\\s[^>]*)?/>");
/** Текстовый узел OMML; содержимое — уже экранированный XML-текст. */
private static final Pattern MATH_TEXT = Pattern.compile(
"<m:t(?:\\s[^>]*)?>(.*?)</m:t>", Pattern.DOTALL);
private MathFallbackNormalizer() {
}
/**
* Рерайт одной XML-части: формулы → текст, если AWT-шрифтов нет.
* Формул нет / шрифты есть / ничего не изменилось → {@code null}.
*/
static String rewrite(String xml) {
if (!xml.contains("<m:oMath")) {
return null;
}
return MathMlSupport.awtFontsAvailable() ? null : flatten(xml);
}
/**
* Замена всех формул на раны с текстом (без проверки доступности шрифтов).
* Формул нет → {@code null}. Package-private — прямой юнит-тест
* детерминирован на любом хосте.
*/
static String flatten(String xml) {
String out = MATH_PARA.matcher(xml).replaceAll(m -> run(text(m.group())));
out = MATH_PARA_SELF.matcher(out).replaceAll("");
out = MATH_INLINE.matcher(out).replaceAll(m -> run(text(m.group())));
out = MATH_INLINE_SELF.matcher(out).replaceAll("");
return out.equals(xml) ? null : out;
}
/** Текст формулы: конкатенация содержимого всех {@code m:t} (как docx4j mathText). */
private static String text(String block) {
Matcher m = MATH_TEXT.matcher(block);
StringBuilder sb = new StringBuilder();
while (m.find()) {
sb.append(m.group(1));
}
return sb.toString();
}
/** Ран с текстом формулы; пустая формула удаляется. */
private static String run(String text) {
return text.isEmpty() ? ""
: "<w:r><w:t xml:space=\"preserve\">" + text + "</w:t></w:r>";
}
}
@@ -0,0 +1,48 @@
package ru.pjandro.wordpdf.internal;
import java.awt.GraphicsEnvironment;
import java.util.logging.Logger;
/**
* Проба доступности AWT-шрифтового менеджера (fontconfig) в текущем JVM.
*
* <p>JEuclid (jeuclid-fop), которым docx4j рисует OMML (§22.1), при первой
* отрисовке формулы вызывает {@code GraphicsEnvironment.getAvailableFontFamilyNames()}.
* На Linux без libfontconfig/конфигурации шрифтов это падает
* {@code InternalError → RuntimeException: Fontconfig head is null}
* (репро: arm64 без /etc/fonts). Проба выполняется лениво и один раз:
* результат определяет, оставлять ли MathML (вектор) или деградировать
* формулу в текст в {@link MathFallbackNormalizer}.
*
* <p>Проба намеренно ловит {@link Throwable}: отказ приходит как
* {@code java.lang.InternalError}, а не RuntimeException.
*
* <p>Регрессия — WordPdfConverterTest#ommlMath_drawnAsVectors.
*/
final class MathMlSupport {
private static final Logger LOGGER = Logger.getLogger(MathMlSupport.class.getName());
private MathMlSupport() {
}
/** Доступен ли AWT-менеджер шрифтов (fontconfig); проба — один раз на JVM. */
static boolean awtFontsAvailable() {
return Holder.AVAILABLE;
}
private static final class Holder {
private static final boolean AVAILABLE = probe();
}
private static boolean probe() {
try {
GraphicsEnvironment.getLocalGraphicsEnvironment().getAvailableFontFamilyNames();
return true;
} catch (Throwable t) {
LOGGER.info("AWT-менеджер шрифтов недоступен (нет fontconfig): "
+ "OMML-формулы будут отрисованы текстом: " + t);
return false;
}
}
}
@@ -2343,6 +2343,17 @@ class WordPdfConverterTest {
}
}
/** Доступен ли AWT-менеджер шрифтов (fontconfig) — та же проба, что в ядре. */
private static boolean awtFontsAvailable() {
try {
java.awt.GraphicsEnvironment.getLocalGraphicsEnvironment()
.getAvailableFontFamilyNames();
return true;
} catch (Throwable t) {
return false;
}
}
/**
* Скрытый текст не выводится: правило 9 (HiddenTextNormalizer) вырезает
* раны с прямым truthy vanish и с rStyle на vanish-стиль; falsy vanish
@@ -2607,9 +2618,13 @@ class WordPdfConverterTest {
}
/**
* OMML-формула (§22.1) рисуется вектором (jeuclid-fop): чернила страницы
* с дробью a/b заметно плотнее чернил того же текста без формулы
* (замер аудита: +150 px при 150 dpi; текст формулы из PDF не извлекается).
* OMML-формула (§22.1): на хосте с fontconfig рисуется вектором
* (jeuclid-fop) — чернила страницы с дробью a/b заметно плотнее чернил
* того же текста без формулы (замер аудита: +150 px при 150 dpi; текст
* формулы из PDF не извлекается). Без fontconfig (контейнерный рантайм,
* arm64-хост без /etc/fonts) JEuclid недоступен: формула обязана
* деградировать в текст (MathFallbackNormalizer), а не валить конвертацию
* InternalError'ом — чернил становится больше, чем у маркера.
*/
@Test
void ommlMath_drawnAsVectors() throws IOException {
@@ -2620,7 +2635,12 @@ class WordPdfConverterTest {
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:oMath></w:p>";
int plainPx = countPixels(minimalDocx(marker), false);
int mathPx = countPixels(minimalDocx(math), false);
assertTrue(mathPx - plainPx >= 100, "math=" + mathPx + " plain=" + plainPx);
if (awtFontsAvailable()) {
assertTrue(mathPx - plainPx >= 100, "math=" + mathPx + " plain=" + plainPx);
} else {
assertTrue(mathPx > plainPx,
"формула не деградировала в текст: math=" + mathPx + " plain=" + plainPx);
}
}
/**
@@ -0,0 +1,59 @@
package ru.pjandro.wordpdf.internal;
import org.junit.jupiter.api.Test;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertFalse;
import static org.junit.jupiter.api.Assertions.assertNull;
/** Юниты правила 11: OMML → текст без fontconfig (MathFallbackNormalizer). */
class MathFallbackNormalizerTest {
private static final String M_NS =
"http://schemas.openxmlformats.org/officeDocument/2006/math";
@Test
void flatten_inlineMath_becomesRunWithText() {
String xml = "<w:p><w:r><w:t>ДО</w:t></w:r><m:oMath xmlns:m=\"" + M_NS + "\">"
+ "<m:r><m:t>x</m:t></m:r><m:sSup><m:e><m:r><m:t>y</m:t></m:r></m:e>"
+ "<m:sup><m:r><m:t>2</m:t></m:r></m:sup></m:sSup></m:oMath>"
+ "<w:r><w:t>ПОСЛЕ</w:t></w:r></w:p>";
assertEquals("<w:p><w:r><w:t>ДО</w:t></w:r>"
+ "<w:r><w:t xml:space=\"preserve\">xy2</w:t></w:r>"
+ "<w:r><w:t>ПОСЛЕ</w:t></w:r></w:p>",
MathFallbackNormalizer.flatten(xml));
}
@Test
void flatten_mathPara_removedBeforeInline() {
String xml = "<w:p><m:oMathPara xmlns:m=\"" + M_NS + "\"><m:oMath>"
+ "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f>"
+ "</m:oMath></m:oMathPara></w:p>";
String out = MathFallbackNormalizer.flatten(xml);
assertEquals("<w:p><w:r><w:t xml:space=\"preserve\">ab</w:t></w:r></w:p>", out);
assertFalse(out.contains("m:oMath"), out);
}
@Test
void flatten_selfClosingMath_removed() {
assertEquals("ДОПОСЛЕ",
MathFallbackNormalizer.flatten("ДО<m:oMath/>ПОСЛЕ"));
}
@Test
void flatten_emptyMath_removed() {
assertEquals("ДОПОСЛЕ",
MathFallbackNormalizer.flatten("ДО<m:oMath></m:oMath>ПОСЛЕ"));
}
@Test
void flatten_noMath_returnsNull() {
assertNull(MathFallbackNormalizer.flatten("<w:r><w:t>ТЕКСТ</w:t></w:r>"));
}
@Test
void rewrite_noMath_returnsNullWithoutProbe() {
assertNull(MathFallbackNormalizer.rewrite("<w:r><w:t>ТЕКСТ</w:t></w:r>"));
}
}