Fix: поддержка strict-OOXML (.docx в ISO 29500 strict)

Word в strict пишет проценты строками (a:shade val="50%",
w14:fillToRect w14:t="130%") и w:start/w:end вместо w:left/w:right —
JAXB-разбор docx4j падает на NumberFormatException (в mc-preprocessor.xslt
ветка % закомментирована, start/end не маппятся). Новый байтовый
StrictOoxmlNormalizer первым в цепочке нормализаторов приводит strict к
transitional-байту; mc-preprocessor доделывает namespaces и pt.

- StrictOoxmlNormalizer: %-атрибуты a:/w14:fillToRect -> тысячные (x1000),
  текст wp14:pctWidth/pctHeight, элементы/атрибуты w:start/w:end ->
  w:left/w:right (кроме w:lvl/w:start в numbering.xml), значения start/end
  у w:jc/w:tab; transitional-документы — no-op (assertSame)
- WordPdfValidator: lightweight-путь читает атрибуты по локальному имени
  (attrLocal) — иначе в strict не засчитываются w:br type="page";
  pageCountOf при провале JAXB-разбора бросает ConversionException вместо NPE
- тесты: StrictOoxmlNormalizerTest (13), регрессии
  strictOoxml_convertsNotRejected (in-memory strict-zip),
  pageCount_strictBreaksCountedLightweight; AGENTS.md обновлён

Реальный develop/openxml.docx: 11 страниц как в эталоне Word, диаграммы
и SmartArt рендерятся. mvn clean verify: core 104 + app 20, BUILD SUCCESS.
This commit is contained in:
Pjandro
2026-10-15 20:52:20 +00:00
parent bd9b4751bf
commit 2af4db90f6
7 changed files with 569 additions and 17 deletions
@@ -9,6 +9,8 @@ import org.apache.pdfbox.pdmodel.font.PDFont;
import org.apache.pdfbox.text.PDFTextStripper;
import org.junit.jupiter.api.Test;
import java.io.ByteArrayOutputStream;
import java.nio.charset.StandardCharsets;
import java.io.IOException;
import java.io.InputStream;
import java.nio.file.Files;
@@ -16,6 +18,8 @@ import java.nio.file.Path;
import java.util.List;
import java.util.Set;
import java.util.TreeSet;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;
import static org.junit.jupiter.api.Assertions.*;
@@ -450,4 +454,56 @@ class WordPdfConverterTest {
"заголовок PDF должен браться из параметра title");
}
}
/**
* Strict-OOXML-документ (namespaces purl.oclc.org, проценты строками,
* w:start/w:end вместо w:left/w:right, w:jc val="start") конвертируется,
* а не отваливается на JAXB-разборе. Пакет минимальный, in-memory:
* реальный develop/openxml.docx — персональные данные, в фикстуры не берём.
* Регрессия — StrictOoxmlNormalizer.
*/
@Test
void strictOoxml_convertsNotRejected() throws Exception {
String strictW = "http://purl.oclc.org/ooxml/wordprocessingml/main";
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
putZip(zos, "[Content_Types].xml",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
+ "<Override PartName=\"/word/document.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml\"/>"
+ "</Types>");
putZip(zos, "_rels/.rels",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
+ "<Relationship Id=\"rId1\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/officeDocument\" Target=\"word/document.xml\"/>"
+ "</Relationships>");
putZip(zos, "word/document.xml",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<w:document xmlns:w=\"" + strictW + "\"><w:body>"
+ "<w:p><w:pPr><w:spacing w:before=\"12pt\"/>"
+ "<w:jc w:val=\"start\"/><w:ind w:start=\"18pt\"/></w:pPr>"
+ "<w:r><w:t>СТРОГИЙМАРКЕР</w:t></w:r></w:p>"
+ "<w:tbl><w:tblPr><w:tblBorders>"
+ "<w:start w:val=\"single\"/><w:end w:val=\"single\"/>"
+ "</w:tblBorders></w:tblPr>"
+ "<w:tr><w:tc><w:tcPr><w:tcBorders>"
+ "<w:start w:val=\"double\"/></w:tcBorders></w:tcPr>"
+ "<w:p><w:r><w:t>таблица</w:t></w:r></w:p></w:tc></w:tr></w:tbl>"
+ "<w:sectPr><w:pgSz w:w=\"11906\" w:h=\"16838\"/></w:sectPr>"
+ "</w:body></w:document>");
}
Path pdf = convertPdf(out.toByteArray(), "strict");
String text = norm(pdfText(pdf));
assertTrue(text.contains("СТРОГИЙМАРКЕР"), "текст PDF: " + text);
assertTrue(text.contains("таблица"), "текст PDF: " + text);
}
private static void putZip(ZipOutputStream zos, String name, String xml) throws IOException {
zos.putNextEntry(new ZipEntry(name));
zos.write(xml.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
}
}
@@ -8,6 +8,9 @@ import org.docx4j.openpackaging.packages.WordprocessingMLPackage;
import org.junit.jupiter.api.Test;
import java.io.ByteArrayOutputStream;
import java.nio.charset.StandardCharsets;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;
import static org.junit.jupiter.api.Assertions.*;
@@ -323,4 +326,37 @@ class WordPdfValidatorTest {
assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCountLightweight((byte[]) null));
}
/**
* Lightweight-путь читает сырые байты до нормализации и обязан видеть
* разрывы {@code w:br w:type="page"} в strict-namespace'ах
* (атрибуты по локальному имени, без привязки к transitional-URI).
* Регрессия — WordPdfValidator#attrLocal.
*/
@Test
void pageCount_strictBreaksCountedLightweight() throws Exception {
String strictW = "http://purl.oclc.org/ooxml/wordprocessingml/main";
StringBuilder body = new StringBuilder();
for (int i = 0; i < 3; i++) {
body.append("<w:p><w:r><w:t>p").append(i)
.append("</w:t><w:br w:type=\"page\"/></w:r></w:p>");
}
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
zos.putNextEntry(new ZipEntry("word/document.xml"));
zos.write(("<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
+ "<w:document xmlns:w=\"" + strictW + "\"><w:body>" + body
+ "<w:sectPr/></w:body></w:document>")
.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
}
byte[] docx = out.toByteArray();
// 3 разрыва + первая страница = не менее 4; до фикса lightweight
// не видел разрывы в strict-namespace и возвращал 1
assertDoesNotThrow(() -> WordPdfValidator.checkPageCountLightweight(docx, 4));
ConversionException ex = assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCountLightweight(docx, 3));
assertTrue(ex.getMessage().contains("не менее 4"), ex.getMessage());
}
}
@@ -0,0 +1,200 @@
package ru.pjandro.wordpdf.internal;
import org.junit.jupiter.api.Test;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream;
import static org.junit.jupiter.api.Assertions.*;
/**
* Нормализация strict-OOXML (проценты строками, w:start/w:end вместо
* w:left/w:right, значения start/end у w:jc/w:tab — см. StrictOoxmlNormalizer).
*/
class StrictOoxmlNormalizerTest {
private static final String STRICT_W =
"http://purl.oclc.org/ooxml/wordprocessingml/main";
private static byte[] makeDocx(String... namesAndXml) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
for (int i = 0; i < namesAndXml.length; i += 2) {
zos.putNextEntry(new ZipEntry(namesAndXml[i]));
zos.write(namesAndXml[i + 1].getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
}
}
return out.toByteArray();
}
private static String readEntry(byte[] zip, String name) throws IOException {
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(zip))) {
ZipEntry e;
while ((e = zis.getNextEntry()) != null) {
if (e.getName().equals(name)) {
return new String(zis.readAllBytes(), StandardCharsets.UTF_8);
}
}
}
throw new AssertionError("нет записи " + name);
}
@Test
void rewriteWithoutMatchesIsNull() {
// transitional-документ: a:-проценты целыми, w:left/w:right, jc=left
assertNull(StrictOoxmlNormalizer.rewrite(
"<w:document><w:p><w:pPr><w:jc w:val=\"left\"/></w:pPr>"
+ "<w:r><w:t>текст</w:t></w:r></w:p></w:document>"));
assertNull(StrictOoxmlNormalizer.rewrite(
"<a:sp><a:shade val=\"50000\"/></a:sp>"));
// процент в текстовом содержимом — не атрибут, править нельзя
assertNull(StrictOoxmlNormalizer.rewrite("<a:t>50%</a:t>"));
// w:-проценты (tblW/tcW type="pct") экспортёр FO понимает сам
assertNull(StrictOoxmlNormalizer.rewrite(
"<w:tblW w:w=\"50%\" w:type=\"pct\"/>"));
}
@Test
void drawingPercentAttrsScaled() {
String r = StrictOoxmlNormalizer.rewrite(
"<a:sp><a:shade fmt=\"scene\" val=\"50%\"/>"
+ "<a:gs pos=\"14%\"><a:srgbClr val=\"FF0000\"/></a:gs></a:sp>");
assertNotNull(r);
assertTrue(r.contains("val=\"50000\""), r);
assertTrue(r.contains("pos=\"14000\""), r);
assertTrue(r.contains("fmt=\"scene\""), r);
}
@Test
void multiplePercentAttrsInOneTag() {
// классическая ловушка жадного regex — теряется второй %-атрибут тега
String r = StrictOoxmlNormalizer.rewrite(
"<w14:fillToRect w14:t=\"130%\" w14:b=\"-30%\" w14:l=\"7%\"/>");
assertNotNull(r);
assertTrue(r.contains("w14:t=\"130000\""), r);
assertTrue(r.contains("w14:b=\"-30000\""), r);
assertTrue(r.contains("w14:l=\"7000\""), r);
}
@Test
void decimalPercentRounded() {
String r = StrictOoxmlNormalizer.rewrite("<a:gs pos=\"14.5%\"/>");
assertNotNull(r);
assertTrue(r.contains("pos=\"14500\""), r);
}
@Test
void pctWidthTextScaled() {
String r = StrictOoxmlNormalizer.rewrite(
"<wp14:pctWidth>100%</wp14:pctWidth>"
+ "<wp14:pctHeight>42.5%</wp14:pctHeight>");
assertNotNull(r);
assertTrue(r.contains("<wp14:pctWidth>100000<"), r);
assertTrue(r.contains("<wp14:pctHeight>42500<"), r);
}
@Test
void startEndElementsRenamed() {
String r = StrictOoxmlNormalizer.rewrite(
"<w:tcBorders><w:start w:val=\"single\"/><w:end w:val=\"double\"/></w:tcBorders>"
+ "<w:pBdr><w:start/><w:end/></w:pBdr>");
assertNotNull(r);
assertTrue(r.contains("<w:left w:val=\"single\"/>"), r);
assertTrue(r.contains("<w:right w:val=\"double\"/>"), r);
assertTrue(r.contains("<w:left/><w:right/>"), r);
assertFalse(r.contains("w:start"), r);
assertFalse(r.contains("w:end"), r);
}
@Test
void endnoteAndEndParensNotTouched() {
// переименование w:end без границы имени калечит <w:endnote*>/<w:endParens
String r = StrictOoxmlNormalizer.rewrite(
"<w:footnotePr><w:endnote w:id=\"0\"/></w:footnotePr>"
+ "<w:endParens/><w:endnoteRef/>"
+ "<w:tcBorders><w:end w:val=\"single\"/></w:tcBorders>");
assertNotNull(r);
assertTrue(r.contains("<w:endnote w:id=\"0\"/>"), r);
assertTrue(r.contains("<w:endParens/>"), r);
assertTrue(r.contains("<w:endnoteRef/>"), r);
assertTrue(r.contains("<w:right w:val=\"single\"/>"), r);
}
@Test
void indAttributesRenamed() {
String r = StrictOoxmlNormalizer.rewrite(
"<w:ind w:start=\"18pt\" w:end=\"36pt\"/>");
assertNotNull(r);
assertTrue(r.contains("w:left=\"18pt\""), r);
assertTrue(r.contains("w:right=\"36pt\""), r);
}
@Test
void jcTabValuesRenamed() {
String r = StrictOoxmlNormalizer.rewrite(
"<w:jc w:val=\"end\"/>"
+ "<w:tab w:val=\"start\" w:leader=\"dot\" w:pos=\"9026\"/>");
assertNotNull(r);
assertTrue(r.contains("<w:jc w:val=\"right\"/>"), r);
assertTrue(r.contains("<w:tab w:val=\"left\" w:leader=\"dot\" w:pos=\"9026\"/>"), r);
}
@Test
void rewritesStrictDocumentInZip() throws Exception {
byte[] docx = makeDocx(
"[Content_Types].xml", "<Types/>",
"word/document.xml",
"<w:document xmlns:w=\"" + STRICT_W + "\"><w:body>"
+ "<w:p><w:pPr><w:jc w:val=\"start\"/><w:ind w:start=\"18pt\"/></w:pPr></w:p>"
+ "<w:p><w:r><w:t>50%</w:t></w:r></w:p>"
+ "</w:body></w:document>");
String document = readEntry(StrictOoxmlNormalizer.normalize(docx), "word/document.xml");
assertTrue(document.contains("<w:jc w:val=\"left\"/>"), document);
assertTrue(document.contains("w:left=\"18pt\""), document);
// процент в текстовом содержимом <w:t> не тронут
assertTrue(document.contains("<w:t>50%</w:t>"), document);
}
@Test
void nonWordPartsNotTouched() throws Exception {
byte[] docx = makeDocx(
"[Content_Types].xml", "<a:shade val=\"50%\"/>",
"word/document.xml", "<w:document/>");
byte[] result = StrictOoxmlNormalizer.normalize(docx);
assertEquals("<a:shade val=\"50%\"/>", readEntry(result, "[Content_Types].xml"));
}
@Test
void noMatchesReturnsOriginalArray() throws Exception {
byte[] docx = makeDocx(
"[Content_Types].xml", "<Types/>",
"word/document.xml",
"<w:document><w:p><w:pPr><w:jc w:val=\"left\"/></w:pPr></w:p></w:document>");
assertSame(docx, StrictOoxmlNormalizer.normalize(docx));
}
@Test
void numberingStartValuePreserved() throws Exception {
// w:lvl/w:start — легитимный transitional-элемент (стартовое значение
// счётчика): в numbering.xml элементы не переименовываем,
// остальные правила (значения w:tab) — применяем
byte[] docx = makeDocx(
"[Content_Types].xml", "<Types/>",
"word/numbering.xml",
"<w:numbering><w:lvl><w:start w:val=\"1\"/><w:tab w:val=\"start\"/>"
+ "<w:lvlText w:val=\"%1.\"/></w:lvl></w:numbering>");
String numbering = readEntry(StrictOoxmlNormalizer.normalize(docx), "word/numbering.xml");
assertTrue(numbering.contains("<w:start w:val=\"1\"/>"), numbering);
assertTrue(numbering.contains("<w:tab w:val=\"left\"/>"), numbering);
}
}