Fix: поддержка strict-OOXML (.docx в ISO 29500 strict)

Word в strict пишет проценты строками (a:shade val="50%",
w14:fillToRect w14:t="130%") и w:start/w:end вместо w:left/w:right —
JAXB-разбор docx4j падает на NumberFormatException (в mc-preprocessor.xslt
ветка % закомментирована, start/end не маппятся). Новый байтовый
StrictOoxmlNormalizer первым в цепочке нормализаторов приводит strict к
transitional-байту; mc-preprocessor доделывает namespaces и pt.

- StrictOoxmlNormalizer: %-атрибуты a:/w14:fillToRect -> тысячные (x1000),
  текст wp14:pctWidth/pctHeight, элементы/атрибуты w:start/w:end ->
  w:left/w:right (кроме w:lvl/w:start в numbering.xml), значения start/end
  у w:jc/w:tab; transitional-документы — no-op (assertSame)
- WordPdfValidator: lightweight-путь читает атрибуты по локальному имени
  (attrLocal) — иначе в strict не засчитываются w:br type="page";
  pageCountOf при провале JAXB-разбора бросает ConversionException вместо NPE
- тесты: StrictOoxmlNormalizerTest (13), регрессии
  strictOoxml_convertsNotRejected (in-memory strict-zip),
  pageCount_strictBreaksCountedLightweight; AGENTS.md обновлён

Реальный develop/openxml.docx: 11 страниц как в эталоне Word, диаграммы
и SmartArt рендерятся. mvn clean verify: core 104 + app 20, BUILD SUCCESS.
This commit is contained in:
Pjandro
2026-10-15 20:52:20 +00:00
parent bd9b4751bf
commit 2af4db90f6
7 changed files with 569 additions and 17 deletions
@@ -15,6 +15,7 @@ import ru.pjandro.wordpdf.internal.DocxOnOffNormalizer;
import ru.pjandro.wordpdf.internal.FieldNormalizer;
import ru.pjandro.wordpdf.internal.GlyphCoverageNormalizer;
import ru.pjandro.wordpdf.internal.FopFallbackFonts;
import ru.pjandro.wordpdf.internal.StrictOoxmlNormalizer;
import ru.pjandro.wordpdf.internal.SymbolFontNormalizer;
import java.io.ByteArrayInputStream;
@@ -117,10 +118,14 @@ public final class WordPdfConverter {
// em-dash (U+2000–U+2EFF) остаётся на шрифте ранa вместо fallback.
BundledFonts.restrictToBundled();
// 2. Загрузка документа. Предварительно нормализуем w:val="off"/"on"
// в "false"/"true": docx4j 11.x теряет атрибуты "off"/"on"
// при JAXB-разборе (см. DocxOnOffNormalizer).
byte[] docxBytes = DocxOnOffNormalizer.normalize(rawDocxBytes);
// 2. Загрузка документа. Первым strict-OOXML: Word в strict пишет
// проценты строками ("130%") и w:start/w:end вместо w:left/
// w:right — JAXB падает на int-биндингах (см. StrictOoxmlNormalizer);
// дальше по конвейеру лежит уже transitional-байт.
byte[] docxBytes = StrictOoxmlNormalizer.normalize(rawDocxBytes);
// ...затем w:val="off"/"on" в "false"/"true": docx4j 11.x теряет
// атрибуты "off"/"on" при JAXB-разборе (см. DocxOnOffNormalizer).
docxBytes = DocxOnOffNormalizer.normalize(docxBytes);
// ...и символьные шрифты Symbol/Wingdings: их коды из PUA экспорт
// в FO не понимает и рисует «#» (см. SymbolFontNormalizer).
docxBytes = SymbolFontNormalizer.normalize(docxBytes);
@@ -248,7 +248,15 @@ public final class WordPdfValidator {
// docPropsExtended может быть не полностью инициализирован —
// тогда остаётся оценка по разрывам.
}
var body = pkg.getMainDocumentPart().getJaxbElement().getBody();
// getJaxbElement() возвращает null, когда JAXB-разбор части провалился
// (docx4j пишет в лог «Problem with part» и «gives up») — без проверки
// здесь была бы NPE вместо внятной ошибки.
var document = pkg.getMainDocumentPart() == null
? null : pkg.getMainDocumentPart().getJaxbElement();
if (document == null || document.getBody() == null) {
throw new ConversionException("Не удалось разобрать word/document.xml");
}
var body = document.getBody();
var content = body.getContent();
int explicit = 1; // сам документ — минимум одна страница
for (Object child : content) {
@@ -456,7 +464,7 @@ public final class WordPdfValidator {
}
case "type" -> {
if (inBodySectPr && "sectPr".equals(parent)) {
sectTypeVal = xr.getAttributeValue(WML_NS, "val");
sectTypeVal = attrLocal(xr, "val");
}
}
default -> {
@@ -515,19 +523,31 @@ public final class WordPdfValidator {
return f;
}
/**
* Значение атрибута по локальному имени, без привязки к namespace:
* lightweight-путь читает сырые байты до нормализации, а в strict-OOXML
* те же атрибуты стоят в namespace {@code purl.oclc.org} —
* {@code getAttributeValue(transitionalURI, …)} там вернул бы null.
*/
private static String attrLocal(XMLStreamReader xr, String localName) {
for (int i = 0; i < xr.getAttributeCount(); i++) {
if (xr.getAttributeName(i).getLocalPart().equals(localName)) {
return xr.getAttributeValue(i);
}
}
return null;
}
private static boolean isPageBreak(XMLStreamReader xr) {
return "page".equals(xr.getAttributeValue(WML_NS, "type"));
return "page".equals(attrLocal(xr, "type"));
}
private static boolean truthy(XMLStreamReader xr) {
String v = xr.getAttributeValue(WML_NS, "val");
String v = attrLocal(xr, "val");
return v == null || v.equals("true") || v.equals("1") || v.equals("on");
}
private static boolean inside(Deque<String> path, String ancestor) {
return path.contains(ancestor);
}
private static final String WML_NS =
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
}
@@ -0,0 +1,235 @@
package ru.pjandro.wordpdf.internal;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream;
/**
* Нормализация strict-OOXML документов (.docx, сохранённые Word в формате
* ISO 29500 strict, namespaces {@code http://purl.oclc.org/ooxml/*}) перед
* загрузкой docx4j.
*
* <p>docx4j читает strict через {@code org/docx4j/jaxb/mc-preprocessor.xslt}
* (перебивает strict-namespace'ы в transitional, конвертит {@code pt} в
* twips/half-points), но в этом XSLT ветка перевода процентов в тысячные
* доли закомментирована, а strict-переименования {@code w:start}/{@code w:end}
* в {@code w:left}/{@code w:right} он не делает вовсе. Word в strict пишет:
* <ul>
* <li>проценты строками в атрибутах с int-биндингами JAXB —
* {@code a:shade val="50%"}, {@code a:gs pos="14%"},
* {@code w14:fillToRect w14:t="130%"} — JAXB падает на
* {@code NumberFormatException: Not a number: 130%};</li>
* <li>текстовые проценты в {@code wp14:pctWidth}/{@code wp14:pctHeight};</li>
* <li>границы и отступы в элементах {@code w:start}/{@code w:end}
* (в transitional они называются {@code w:left}/{@code w:right}) —
* JAXB сообщает «unexpected element» и границы теряются;</li>
* <li>атрибуты {@code w:start}/{@code w:end} у {@code w:ind} и значения
* {@code start}/{@code end} у {@code w:jc}/{@code w:tab} — в
* transitional таких имён/значений нет, JAXB их отбрасывает.</li>
* </ul>
*
* <p>Полный strict→transitional рерайт не делается: mc-preprocessor уже
* перебивает namespaces и {@code pt}-значения, а собственный рерайт URI
* сломал бы его конвертацию {@code pt} (FOP получил бы {@code "10pt"}).
* Здесь только те правки, которых в XSLT нет. Атрибуты {@code w:} с процентом
* ({@code w:tblW w:w="50%" w:type="pct"}) не трогаем: они в docx4j связаны
* строковым типом, и экспортёр в FO понимает {@code %} сам.
*
* <p>В {@code word/numbering.xml} переименование элементов {@code w:start}
* пропускается: там {@code w:lvl/w:start} — легитимный transitional-элемент
* (стартовое значение счётчика), регрессия — StrictOoxmlNormalizerTest.
*
* <p>Transitional-документы (Word пишет {@code a:}-проценты целыми, {@code
* w:start} вне numbering.xml и {@code w:jc val="start"} не бывает) проходят
* без изменений: если правок не было, возвращается исходный массив.
*
* Регрессия — WordPdfConverterTest#strictOoxml_convertsNotRejected.
*/
public final class StrictOoxmlNormalizer {
/** Открывающий тег элемента префикса {@code a:} (DrawingML). */
private static final Pattern A_TAG = Pattern.compile("<a:[A-Za-z]+\\b[^>]*>");
/** Открывающий тег {@code w14:fillToRect} — единственный носитель %-атрибутов в w14. */
private static final Pattern FILL_TO_RECT_TAG = Pattern.compile("<w14:fillToRect\\b[^>]*>");
/** Атрибут со строковым процентом: {@code name="130%"}, {@code pos="-30.5%"}. */
private static final Pattern PERCENT_ATTR =
Pattern.compile("([A-Za-z0-9:]+)=\"(-?\\d+(?:\\.\\d+)?)%\"");
/** Текстовый процент у {@code wp14:pctWidth}/{@code wp14:pctHeight} (int-биндинг docx4j). */
private static final Pattern PERCENT_TEXT = Pattern.compile(
"(<wp14:pct(?:Width|Height)\\b[^>]*>)(-?\\d+(?:\\.\\d+)?)%<");
/** Элемент {@code <w:start} с обязательной границей имени — иначе покалечит {@code <w:endnote*}. */
private static final Pattern START_ELEMENT = Pattern.compile("<w:start(?=[\\s/>])");
private static final Pattern END_ELEMENT = Pattern.compile("<w:end(?=[\\s/>])");
/** Значения {@code start}/{@code end} у {@code w:jc}/{@code w:tab}. */
private static final Pattern JC_TAB_VALUE = Pattern.compile(
"(<w:(?:jc|tab)\\b[^>]*?w:val=\")(start|end)\"");
private StrictOoxmlNormalizer() {
}
/**
* Приводит strict-OOXML в XML-частях docx (word/*.xml) к виду, который
* разбирает JAXB-модель transitional (детали — в javadoc класса).
*
* @param docx байты .docx (zip)
* @return те же или переупакованные байты
*/
public static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false;
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
ZipOutputStream zos = new ZipOutputStream(out)) {
ZipEntry entry;
while ((entry = zis.getNextEntry()) != null) {
byte[] data = zis.readAllBytes();
String name = entry.getName();
if (name.startsWith("word/") && name.endsWith(".xml")) {
// в numbering.xml w:start — элемент стартового значения
// счётчика, его не переименовываем
String fixed = rewrite(new String(data, StandardCharsets.UTF_8),
!name.equals("word/numbering.xml"));
if (fixed != null) {
changed = true;
data = fixed.getBytes(StandardCharsets.UTF_8);
}
}
zos.putNextEntry(new ZipEntry(name));
zos.write(data);
zos.closeEntry();
}
}
return changed ? out.toByteArray() : docx;
}
/**
* Применяет к XML-строке все правила, включая переименование элементов
* {@code w:start}/{@code w:end}.
*
* @return новая строка либо null, если правок не было
*/
static String rewrite(String xml) {
return rewrite(xml, true);
}
/**
* Правила нормализации strict-OOXML.
*
* @param renameStartEnd переименовывать ли элементы {@code w:start}/
* {@code w:end} (false для word/numbering.xml)
* @return новая строка либо null, если правок не было
*/
private static String rewrite(String xml, boolean renameStartEnd) {
String r = xml;
if (r.indexOf('%') >= 0) {
r = percentTags(r, A_TAG);
r = percentTags(r, FILL_TO_RECT_TAG);
r = percentText(r);
}
if (renameStartEnd
&& (r.contains("<w:start") || r.contains("</w:start>")
|| r.contains("<w:end") || r.contains("</w:end>"))) {
r = renameStartEndElements(r);
}
if (r.contains(" w:start=\"") || r.contains(" w:end=\"")) {
r = r.replace(" w:start=\"", " w:left=\"").replace(" w:end=\"", " w:right=\"");
}
if (r.contains("w:val=\"start\"") || r.contains("w:val=\"end\"")) {
r = jcTabValues(r);
}
return r.equals(xml) ? null : r;
}
/**
* Переименование элементов {@code w:start}/{@code w:end} в
* {@code w:left}/{@code w:right} только с границей имени:
* {@code <w:endnote>}/{@code <w:endParens} остаются как были
* (буквальная замена без границы их калечит).
*/
private static String renameStartEndElements(String xml) {
String r = START_ELEMENT.matcher(xml).replaceAll("<w:left");
r = r.replace("</w:start>", "</w:left>");
r = END_ELEMENT.matcher(r).replaceAll("<w:right");
return r.replace("</w:end>", "</w:right>");
}
/** Заменяет {@code name="NN%"} на {@code name="NNNNN"} (×1000) внутри открывающих тегов. */
private static String percentTags(String xml, Pattern tagPattern) {
Matcher tags = tagPattern.matcher(xml);
StringBuilder sb = null;
while (tags.find()) {
String fixed = percentAttrs(tags.group());
if (!fixed.equals(tags.group())) {
if (sb == null) {
sb = new StringBuilder(xml.length());
}
tags.appendReplacement(sb, Matcher.quoteReplacement(fixed));
}
}
if (sb == null) {
return xml;
}
tags.appendTail(sb);
return sb.toString();
}
/** Все процентные атрибуты одного тега (несколько за проход — иначе теряются со второго). */
private static String percentAttrs(String tag) {
Matcher a = PERCENT_ATTR.matcher(tag);
if (!a.find()) {
return tag;
}
StringBuilder sb = new StringBuilder(tag.length());
do {
long value = Math.round(Double.parseDouble(a.group(2)) * 1000);
a.appendReplacement(sb,
Matcher.quoteReplacement(a.group(1) + "=\"" + value + "\""));
} while (a.find());
a.appendTail(sb);
return sb.toString();
}
/** Текстовый процент {@code <wp14:pctWidth>100%</...>} → {@code 100000}. */
private static String percentText(String xml) {
Matcher m = PERCENT_TEXT.matcher(xml);
if (!m.find()) {
return xml;
}
m.reset();
StringBuilder sb = new StringBuilder(xml.length());
while (m.find()) {
long value = Math.round(Double.parseDouble(m.group(2)) * 1000);
m.appendReplacement(sb,
Matcher.quoteReplacement(m.group(1) + value + "<"));
}
m.appendTail(sb);
return sb.toString();
}
/** Значения {@code start}/{@code end} у {@code w:jc}/{@code w:tab} → {@code left}/{@code right}. */
private static String jcTabValues(String xml) {
Matcher m = JC_TAB_VALUE.matcher(xml);
if (!m.find()) {
return xml;
}
m.reset();
StringBuilder sb = new StringBuilder(xml.length());
while (m.find()) {
String value = m.group(2).equals("start") ? "left" : "right";
m.appendReplacement(sb,
Matcher.quoteReplacement(m.group(1) + value + "\""));
}
m.appendTail(sb);
return sb.toString();
}
}