OMML без fontconfig: текстовая деградация формул вместо InternalError
На хостах без fontconfig (arm64 без /etc/fonts) jeuclid-fop при первой OMML-формуле падает InternalError: Fontconfig head is null — проба MathMlSupport фиксирует недоступность AWT-шрифтов один раз на JVM, MathFallbackNormalizer (правило 11, после Ruby) заменяет m:oMath/ m:oMathPara ранами с конкатенацией m:t (как docx4j mathText). С fontconfig поведение не меняется (вектор). Контейнер Containerfile.test (maven:3.9-temurin-17 без fontconfig с JVM-гейтом) прогоняет mvn clean verify по этой ветке всегда: задача mise verify-nofontconfig и шаг CI в pr.yml/main.yml.
This commit is contained in:
@@ -43,6 +43,15 @@ jobs:
|
||||
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
|
||||
run: mvn -B -s .ci/maven-settings.xml clean verify
|
||||
|
||||
- name: Build and test without fontconfig
|
||||
env:
|
||||
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
|
||||
run: |
|
||||
DOCKER_BUILDKIT=0 docker build \
|
||||
-f Containerfile.test \
|
||||
--build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \
|
||||
.
|
||||
|
||||
- name: Coverage summary
|
||||
if: always()
|
||||
run: |
|
||||
|
||||
@@ -42,6 +42,15 @@ jobs:
|
||||
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
|
||||
run: mvn -B -s .ci/maven-settings.xml clean verify
|
||||
|
||||
- name: Build and test without fontconfig
|
||||
env:
|
||||
MAVEN_MIRROR_URL: ${{ vars.MAVEN_MIRROR_URL }}
|
||||
run: |
|
||||
DOCKER_BUILDKIT=0 docker build \
|
||||
-f Containerfile.test \
|
||||
--build-arg MAVEN_MIRROR_URL="$MAVEN_MIRROR_URL" \
|
||||
.
|
||||
|
||||
- name: Coverage summary
|
||||
if: always()
|
||||
run: |
|
||||
|
||||
@@ -0,0 +1,43 @@
|
||||
# Тестовый образ «без fontconfig»: mvn clean verify там, где AWT-менеджер
|
||||
# шрифтов недоступен (нет libfontconfig и /etc/fonts). На хостах с fontconfig
|
||||
# ветка деградации OMML не исполняется — этот образ её прогоняет всегда.
|
||||
# База — maven:3.9-eclipse-temurin-17, а не alpine: alpine-теги maven/temurin
|
||||
# публикуются только под amd64, на arm64-хосте образ не собрать.
|
||||
FROM docker.io/library/maven:3.9-eclipse-temurin-17
|
||||
WORKDIR /build
|
||||
# Удаляем fontconfig и системные шрифты; проверяем, что удалить удалось.
|
||||
RUN set -eux; \
|
||||
rm -rf /etc/fonts /usr/share/fonts /var/cache/fontconfig; \
|
||||
find /usr/lib /lib -name 'libfontconfig.so*' -delete 2>/dev/null || true; \
|
||||
if [ -e /etc/fonts ] || find /usr/lib /lib -name 'libfontconfig.so*' | grep -q .; then \
|
||||
echo 'fontconfig остался в тестовом образе' >&2; exit 1; fi
|
||||
# Жёсткий гейт: проба ядра (та же, что в MathMlSupport) обязана падать.
|
||||
RUN set -eux; mkdir -p /tmp/probe; \
|
||||
printf '%s\n' \
|
||||
'public class Probe {' \
|
||||
' public static void main(String[] a) {' \
|
||||
' try {' \
|
||||
' java.awt.GraphicsEnvironment.getLocalGraphicsEnvironment()' \
|
||||
' .getAvailableFontFamilyNames();' \
|
||||
' System.exit(0);' \
|
||||
' } catch (Throwable t) {' \
|
||||
' System.exit(1);' \
|
||||
' }' \
|
||||
' }' \
|
||||
'}' > /tmp/probe/Probe.java; \
|
||||
javac -d /tmp/probe /tmp/probe/Probe.java; \
|
||||
if java -Djava.awt.headless=true -cp /tmp/probe Probe; then \
|
||||
echo 'AWT-шрифты доступны: fontconfig не удалён' >&2; exit 1; fi; \
|
||||
echo 'fontconfig отсутствует: AWT-шрифты недоступны (ожидаемо)'; \
|
||||
rm -rf /tmp/probe
|
||||
# Зеркало Nexus (в CI приходит --build-arg MAVEN_MIRROR_URL из Gitea Variable).
|
||||
ARG MAVEN_MIRROR_URL=
|
||||
ENV MAVEN_MIRROR_URL=${MAVEN_MIRROR_URL}
|
||||
COPY .ci/maven-settings.xml /tmp/ci-maven-settings.xml
|
||||
RUN if [ -n "$MAVEN_MIRROR_URL" ]; then mkdir -p /root/.m2 && cp /tmp/ci-maven-settings.xml /root/.m2/settings.xml; fi
|
||||
COPY pom.xml .
|
||||
COPY wordpdf-core/pom.xml wordpdf-core/
|
||||
COPY wordpdf-app/pom.xml wordpdf-app/
|
||||
RUN HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= mvn -B -q dependency:go-offline
|
||||
COPY . .
|
||||
RUN HTTP_PROXY= http_proxy= HTTPS_PROXY= https_proxy= mvn -B clean verify
|
||||
@@ -14,6 +14,10 @@ _.python.venv = { path = "prod-autotests/.venv", create = true }
|
||||
description = "mvn clean verify — полный гейт перед push (тесты + PMD + JaCoCo)"
|
||||
run = "mvn clean verify"
|
||||
|
||||
[tasks.verify-nofontconfig]
|
||||
description = "mvn clean verify в контейнере без fontconfig (нет libfontconfig и /etc/fonts)"
|
||||
run = "podman build -f Containerfile.test ."
|
||||
|
||||
[tasks.app-package]
|
||||
description = "Исполняемый jar бэкенда"
|
||||
run = "mvn -pl wordpdf-app -am package"
|
||||
|
||||
@@ -15,8 +15,8 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
|
||||
/**
|
||||
* Единый zip-проход переписывания XML-частей (.docx) вместо отдельных
|
||||
* проходов нормализаторов: к каждой записи {@code word/*.xml} применяются
|
||||
* все десять рерайтов в фиксированном порядке
|
||||
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby.
|
||||
* все одиннадцать рерайтов в фиксированном порядке
|
||||
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby→MathFallback.
|
||||
* Порядок значим: Strict первым — дальше части в transitional-виде
|
||||
* (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage
|
||||
* режет раны по финальному тексту рана (после Symbol/Invisible); Hidden
|
||||
@@ -52,7 +52,7 @@ public final class DocxRewritePipeline {
|
||||
public static final DocxNormalizer STEP = DocxRewritePipeline::normalize;
|
||||
|
||||
/**
|
||||
* Применяет десять рерайтов к каждой записи {@code word/*.xml} за один
|
||||
* Применяет одиннадцать рерайтов к каждой записи {@code word/*.xml} за один
|
||||
* проход zip.
|
||||
*
|
||||
* @param docx байты .docx (валидный zip)
|
||||
@@ -133,6 +133,10 @@ public final class DocxRewritePipeline {
|
||||
if (next != null) {
|
||||
cur = next;
|
||||
}
|
||||
next = MathFallbackNormalizer.rewrite(cur);
|
||||
if (next != null) {
|
||||
cur = next;
|
||||
}
|
||||
if (cur != xml) {
|
||||
changed = true;
|
||||
rewritten = cur.getBytes(StandardCharsets.UTF_8);
|
||||
|
||||
@@ -0,0 +1,92 @@
|
||||
package ru.pjandro.wordpdf.internal;
|
||||
|
||||
import java.util.regex.Matcher;
|
||||
import java.util.regex.Pattern;
|
||||
|
||||
/**
|
||||
* Деградация OMML-формул (§22.1) в текст на хостах без fontconfig.
|
||||
*
|
||||
* <p>docx4j превращает {@code m:oMath}/{@code m:oMathPara} в
|
||||
* {@code fo:instream-foreign-object} с MathML, а FOP рисует его через
|
||||
* jeuclid-fop. JEuclid при первой формуле обращается к AWT-менеджеру шрифтов,
|
||||
* которому на Linux нужен fontconfig; без него конвертация падает
|
||||
* {@code InternalError: Fontconfig head is null} (репро: arm64 без /etc/fonts;
|
||||
* контейнерный рантайм проекта тоже без fontconfig — Containerfile).
|
||||
* Поэтому до загрузки docx4j формулы заменяются обычными ранами с текстом
|
||||
* {@code m:t} (конкатенация, как в штатном фолбэке docx4j
|
||||
* {@code XsltFOFunctions.mathText}) — формула видна, приложение не падает.
|
||||
*
|
||||
* <p>На хосте с fontconfig рерайт не срабатывает (возвращается {@code null},
|
||||
* пайплайн отдаёт тот же массив). Позиция в цепочке — после Ruby (правило 11):
|
||||
* {@code m:oMathPara} содержит {@code m:oMath}, поэтому блок para заменяется
|
||||
* первым, иначе остался бы несбалансированный каркас. Префикс {@code m:}
|
||||
* предполагается (Word и strict-OOXML используют его; StrictOoxmlNormalizer
|
||||
* его не переименовывает).
|
||||
*
|
||||
* <p>Регрессия — WordPdfConverterTest#ommlMath_drawnAsVectors.
|
||||
*/
|
||||
final class MathFallbackNormalizer {
|
||||
|
||||
/** {@code m:oMathPara} ... {@code </m:oMathPara>} — блок формулы. */
|
||||
private static final Pattern MATH_PARA = Pattern.compile(
|
||||
"<m:oMathPara(?:\\s[^>]*)?>.*?</m:oMathPara>", Pattern.DOTALL);
|
||||
|
||||
/** Самозакрывающийся {@code <m:oMathPara/>}. */
|
||||
private static final Pattern MATH_PARA_SELF = Pattern.compile(
|
||||
"<m:oMathPara(?:\\s[^>]*)?/>");
|
||||
|
||||
/** {@code m:oMath} ... {@code </m:oMath>} — встроенная формула. */
|
||||
private static final Pattern MATH_INLINE = Pattern.compile(
|
||||
"<m:oMath(?:\\s[^>]*)?>.*?</m:oMath>", Pattern.DOTALL);
|
||||
|
||||
/** Самозакрывающийся {@code <m:oMath/>}. */
|
||||
private static final Pattern MATH_INLINE_SELF = Pattern.compile(
|
||||
"<m:oMath(?:\\s[^>]*)?/>");
|
||||
|
||||
/** Текстовый узел OMML; содержимое — уже экранированный XML-текст. */
|
||||
private static final Pattern MATH_TEXT = Pattern.compile(
|
||||
"<m:t(?:\\s[^>]*)?>(.*?)</m:t>", Pattern.DOTALL);
|
||||
|
||||
private MathFallbackNormalizer() {
|
||||
}
|
||||
|
||||
/**
|
||||
* Рерайт одной XML-части: формулы → текст, если AWT-шрифтов нет.
|
||||
* Формул нет / шрифты есть / ничего не изменилось → {@code null}.
|
||||
*/
|
||||
static String rewrite(String xml) {
|
||||
if (!xml.contains("<m:oMath")) {
|
||||
return null;
|
||||
}
|
||||
return MathMlSupport.awtFontsAvailable() ? null : flatten(xml);
|
||||
}
|
||||
|
||||
/**
|
||||
* Замена всех формул на раны с текстом (без проверки доступности шрифтов).
|
||||
* Формул нет → {@code null}. Package-private — прямой юнит-тест
|
||||
* детерминирован на любом хосте.
|
||||
*/
|
||||
static String flatten(String xml) {
|
||||
String out = MATH_PARA.matcher(xml).replaceAll(m -> run(text(m.group())));
|
||||
out = MATH_PARA_SELF.matcher(out).replaceAll("");
|
||||
out = MATH_INLINE.matcher(out).replaceAll(m -> run(text(m.group())));
|
||||
out = MATH_INLINE_SELF.matcher(out).replaceAll("");
|
||||
return out.equals(xml) ? null : out;
|
||||
}
|
||||
|
||||
/** Текст формулы: конкатенация содержимого всех {@code m:t} (как docx4j mathText). */
|
||||
private static String text(String block) {
|
||||
Matcher m = MATH_TEXT.matcher(block);
|
||||
StringBuilder sb = new StringBuilder();
|
||||
while (m.find()) {
|
||||
sb.append(m.group(1));
|
||||
}
|
||||
return sb.toString();
|
||||
}
|
||||
|
||||
/** Ран с текстом формулы; пустая формула удаляется. */
|
||||
private static String run(String text) {
|
||||
return text.isEmpty() ? ""
|
||||
: "<w:r><w:t xml:space=\"preserve\">" + text + "</w:t></w:r>";
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,48 @@
|
||||
package ru.pjandro.wordpdf.internal;
|
||||
|
||||
import java.awt.GraphicsEnvironment;
|
||||
import java.util.logging.Logger;
|
||||
|
||||
/**
|
||||
* Проба доступности AWT-шрифтового менеджера (fontconfig) в текущем JVM.
|
||||
*
|
||||
* <p>JEuclid (jeuclid-fop), которым docx4j рисует OMML (§22.1), при первой
|
||||
* отрисовке формулы вызывает {@code GraphicsEnvironment.getAvailableFontFamilyNames()}.
|
||||
* На Linux без libfontconfig/конфигурации шрифтов это падает
|
||||
* {@code InternalError → RuntimeException: Fontconfig head is null}
|
||||
* (репро: arm64 без /etc/fonts). Проба выполняется лениво и один раз:
|
||||
* результат определяет, оставлять ли MathML (вектор) или деградировать
|
||||
* формулу в текст в {@link MathFallbackNormalizer}.
|
||||
*
|
||||
* <p>Проба намеренно ловит {@link Throwable}: отказ приходит как
|
||||
* {@code java.lang.InternalError}, а не RuntimeException.
|
||||
*
|
||||
* <p>Регрессия — WordPdfConverterTest#ommlMath_drawnAsVectors.
|
||||
*/
|
||||
final class MathMlSupport {
|
||||
|
||||
private static final Logger LOGGER = Logger.getLogger(MathMlSupport.class.getName());
|
||||
|
||||
private MathMlSupport() {
|
||||
}
|
||||
|
||||
/** Доступен ли AWT-менеджер шрифтов (fontconfig); проба — один раз на JVM. */
|
||||
static boolean awtFontsAvailable() {
|
||||
return Holder.AVAILABLE;
|
||||
}
|
||||
|
||||
private static final class Holder {
|
||||
private static final boolean AVAILABLE = probe();
|
||||
}
|
||||
|
||||
private static boolean probe() {
|
||||
try {
|
||||
GraphicsEnvironment.getLocalGraphicsEnvironment().getAvailableFontFamilyNames();
|
||||
return true;
|
||||
} catch (Throwable t) {
|
||||
LOGGER.info("AWT-менеджер шрифтов недоступен (нет fontconfig): "
|
||||
+ "OMML-формулы будут отрисованы текстом: " + t);
|
||||
return false;
|
||||
}
|
||||
}
|
||||
}
|
||||
@@ -2343,6 +2343,17 @@ class WordPdfConverterTest {
|
||||
}
|
||||
}
|
||||
|
||||
/** Доступен ли AWT-менеджер шрифтов (fontconfig) — та же проба, что в ядре. */
|
||||
private static boolean awtFontsAvailable() {
|
||||
try {
|
||||
java.awt.GraphicsEnvironment.getLocalGraphicsEnvironment()
|
||||
.getAvailableFontFamilyNames();
|
||||
return true;
|
||||
} catch (Throwable t) {
|
||||
return false;
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Скрытый текст не выводится: правило 9 (HiddenTextNormalizer) вырезает
|
||||
* раны с прямым truthy vanish и с rStyle на vanish-стиль; falsy vanish
|
||||
@@ -2607,9 +2618,13 @@ class WordPdfConverterTest {
|
||||
}
|
||||
|
||||
/**
|
||||
* OMML-формула (§22.1) рисуется вектором (jeuclid-fop): чернила страницы
|
||||
* с дробью a/b заметно плотнее чернил того же текста без формулы
|
||||
* (замер аудита: +150 px при 150 dpi; текст формулы из PDF не извлекается).
|
||||
* OMML-формула (§22.1): на хосте с fontconfig рисуется вектором
|
||||
* (jeuclid-fop) — чернила страницы с дробью a/b заметно плотнее чернил
|
||||
* того же текста без формулы (замер аудита: +150 px при 150 dpi; текст
|
||||
* формулы из PDF не извлекается). Без fontconfig (контейнерный рантайм,
|
||||
* arm64-хост без /etc/fonts) JEuclid недоступен: формула обязана
|
||||
* деградировать в текст (MathFallbackNormalizer), а не валить конвертацию
|
||||
* InternalError'ом — чернил становится больше, чем у маркера.
|
||||
*/
|
||||
@Test
|
||||
void ommlMath_drawnAsVectors() throws IOException {
|
||||
@@ -2620,7 +2635,12 @@ class WordPdfConverterTest {
|
||||
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:oMath></w:p>";
|
||||
int plainPx = countPixels(minimalDocx(marker), false);
|
||||
int mathPx = countPixels(minimalDocx(math), false);
|
||||
assertTrue(mathPx - plainPx >= 100, "math=" + mathPx + " plain=" + plainPx);
|
||||
if (awtFontsAvailable()) {
|
||||
assertTrue(mathPx - plainPx >= 100, "math=" + mathPx + " plain=" + plainPx);
|
||||
} else {
|
||||
assertTrue(mathPx > plainPx,
|
||||
"формула не деградировала в текст: math=" + mathPx + " plain=" + plainPx);
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
|
||||
+59
@@ -0,0 +1,59 @@
|
||||
package ru.pjandro.wordpdf.internal;
|
||||
|
||||
import org.junit.jupiter.api.Test;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.assertEquals;
|
||||
import static org.junit.jupiter.api.Assertions.assertFalse;
|
||||
import static org.junit.jupiter.api.Assertions.assertNull;
|
||||
|
||||
/** Юниты правила 11: OMML → текст без fontconfig (MathFallbackNormalizer). */
|
||||
class MathFallbackNormalizerTest {
|
||||
|
||||
private static final String M_NS =
|
||||
"http://schemas.openxmlformats.org/officeDocument/2006/math";
|
||||
|
||||
@Test
|
||||
void flatten_inlineMath_becomesRunWithText() {
|
||||
String xml = "<w:p><w:r><w:t>ДО</w:t></w:r><m:oMath xmlns:m=\"" + M_NS + "\">"
|
||||
+ "<m:r><m:t>x</m:t></m:r><m:sSup><m:e><m:r><m:t>y</m:t></m:r></m:e>"
|
||||
+ "<m:sup><m:r><m:t>2</m:t></m:r></m:sup></m:sSup></m:oMath>"
|
||||
+ "<w:r><w:t>ПОСЛЕ</w:t></w:r></w:p>";
|
||||
assertEquals("<w:p><w:r><w:t>ДО</w:t></w:r>"
|
||||
+ "<w:r><w:t xml:space=\"preserve\">xy2</w:t></w:r>"
|
||||
+ "<w:r><w:t>ПОСЛЕ</w:t></w:r></w:p>",
|
||||
MathFallbackNormalizer.flatten(xml));
|
||||
}
|
||||
|
||||
@Test
|
||||
void flatten_mathPara_removedBeforeInline() {
|
||||
String xml = "<w:p><m:oMathPara xmlns:m=\"" + M_NS + "\"><m:oMath>"
|
||||
+ "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
|
||||
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f>"
|
||||
+ "</m:oMath></m:oMathPara></w:p>";
|
||||
String out = MathFallbackNormalizer.flatten(xml);
|
||||
assertEquals("<w:p><w:r><w:t xml:space=\"preserve\">ab</w:t></w:r></w:p>", out);
|
||||
assertFalse(out.contains("m:oMath"), out);
|
||||
}
|
||||
|
||||
@Test
|
||||
void flatten_selfClosingMath_removed() {
|
||||
assertEquals("ДОПОСЛЕ",
|
||||
MathFallbackNormalizer.flatten("ДО<m:oMath/>ПОСЛЕ"));
|
||||
}
|
||||
|
||||
@Test
|
||||
void flatten_emptyMath_removed() {
|
||||
assertEquals("ДОПОСЛЕ",
|
||||
MathFallbackNormalizer.flatten("ДО<m:oMath></m:oMath>ПОСЛЕ"));
|
||||
}
|
||||
|
||||
@Test
|
||||
void flatten_noMath_returnsNull() {
|
||||
assertNull(MathFallbackNormalizer.flatten("<w:r><w:t>ТЕКСТ</w:t></w:r>"));
|
||||
}
|
||||
|
||||
@Test
|
||||
void rewrite_noMath_returnsNullWithoutProbe() {
|
||||
assertNull(MathFallbackNormalizer.rewrite("<w:r><w:t>ТЕКСТ</w:t></w:r>"));
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user