Fix: поддержка strict-OOXML (.docx в ISO 29500 strict)
Word в strict пишет проценты строками (a:shade val="50%", w14:fillToRect w14:t="130%") и w:start/w:end вместо w:left/w:right — JAXB-разбор docx4j падает на NumberFormatException (в mc-preprocessor.xslt ветка % закомментирована, start/end не маппятся). Новый байтовый StrictOoxmlNormalizer первым в цепочке нормализаторов приводит strict к transitional-байту; mc-preprocessor доделывает namespaces и pt. - StrictOoxmlNormalizer: %-атрибуты a:/w14:fillToRect -> тысячные (x1000), текст wp14:pctWidth/pctHeight, элементы/атрибуты w:start/w:end -> w:left/w:right (кроме w:lvl/w:start в numbering.xml), значения start/end у w:jc/w:tab; transitional-документы — no-op (assertSame) - WordPdfValidator: lightweight-путь читает атрибуты по локальному имени (attrLocal) — иначе в strict не засчитываются w:br type="page"; pageCountOf при провале JAXB-разбора бросает ConversionException вместо NPE - тесты: StrictOoxmlNormalizerTest (13), регрессии strictOoxml_convertsNotRejected (in-memory strict-zip), pageCount_strictBreaksCountedLightweight; AGENTS.md обновлён Реальный develop/openxml.docx: 11 страниц как в эталоне Word, диаграммы и SmartArt рендерятся. mvn clean verify: core 104 + app 20, BUILD SUCCESS.
This commit is contained in:
@@ -15,6 +15,7 @@ import ru.pjandro.wordpdf.internal.DocxOnOffNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.FieldNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.GlyphCoverageNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.FopFallbackFonts;
|
||||
import ru.pjandro.wordpdf.internal.StrictOoxmlNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.SymbolFontNormalizer;
|
||||
|
||||
import java.io.ByteArrayInputStream;
|
||||
@@ -117,10 +118,14 @@ public final class WordPdfConverter {
|
||||
// em-dash (U+2000–U+2EFF) остаётся на шрифте ранa вместо fallback.
|
||||
BundledFonts.restrictToBundled();
|
||||
|
||||
// 2. Загрузка документа. Предварительно нормализуем w:val="off"/"on"
|
||||
// в "false"/"true": docx4j 11.x теряет атрибуты "off"/"on"
|
||||
// при JAXB-разборе (см. DocxOnOffNormalizer).
|
||||
byte[] docxBytes = DocxOnOffNormalizer.normalize(rawDocxBytes);
|
||||
// 2. Загрузка документа. Первым strict-OOXML: Word в strict пишет
|
||||
// проценты строками ("130%") и w:start/w:end вместо w:left/
|
||||
// w:right — JAXB падает на int-биндингах (см. StrictOoxmlNormalizer);
|
||||
// дальше по конвейеру лежит уже transitional-байт.
|
||||
byte[] docxBytes = StrictOoxmlNormalizer.normalize(rawDocxBytes);
|
||||
// ...затем w:val="off"/"on" в "false"/"true": docx4j 11.x теряет
|
||||
// атрибуты "off"/"on" при JAXB-разборе (см. DocxOnOffNormalizer).
|
||||
docxBytes = DocxOnOffNormalizer.normalize(docxBytes);
|
||||
// ...и символьные шрифты Symbol/Wingdings: их коды из PUA экспорт
|
||||
// в FO не понимает и рисует «#» (см. SymbolFontNormalizer).
|
||||
docxBytes = SymbolFontNormalizer.normalize(docxBytes);
|
||||
|
||||
@@ -248,7 +248,15 @@ public final class WordPdfValidator {
|
||||
// docPropsExtended может быть не полностью инициализирован —
|
||||
// тогда остаётся оценка по разрывам.
|
||||
}
|
||||
var body = pkg.getMainDocumentPart().getJaxbElement().getBody();
|
||||
// getJaxbElement() возвращает null, когда JAXB-разбор части провалился
|
||||
// (docx4j пишет в лог «Problem with part» и «gives up») — без проверки
|
||||
// здесь была бы NPE вместо внятной ошибки.
|
||||
var document = pkg.getMainDocumentPart() == null
|
||||
? null : pkg.getMainDocumentPart().getJaxbElement();
|
||||
if (document == null || document.getBody() == null) {
|
||||
throw new ConversionException("Не удалось разобрать word/document.xml");
|
||||
}
|
||||
var body = document.getBody();
|
||||
var content = body.getContent();
|
||||
int explicit = 1; // сам документ — минимум одна страница
|
||||
for (Object child : content) {
|
||||
@@ -456,7 +464,7 @@ public final class WordPdfValidator {
|
||||
}
|
||||
case "type" -> {
|
||||
if (inBodySectPr && "sectPr".equals(parent)) {
|
||||
sectTypeVal = xr.getAttributeValue(WML_NS, "val");
|
||||
sectTypeVal = attrLocal(xr, "val");
|
||||
}
|
||||
}
|
||||
default -> {
|
||||
@@ -515,19 +523,31 @@ public final class WordPdfValidator {
|
||||
return f;
|
||||
}
|
||||
|
||||
/**
|
||||
* Значение атрибута по локальному имени, без привязки к namespace:
|
||||
* lightweight-путь читает сырые байты до нормализации, а в strict-OOXML
|
||||
* те же атрибуты стоят в namespace {@code purl.oclc.org} —
|
||||
* {@code getAttributeValue(transitionalURI, …)} там вернул бы null.
|
||||
*/
|
||||
private static String attrLocal(XMLStreamReader xr, String localName) {
|
||||
for (int i = 0; i < xr.getAttributeCount(); i++) {
|
||||
if (xr.getAttributeName(i).getLocalPart().equals(localName)) {
|
||||
return xr.getAttributeValue(i);
|
||||
}
|
||||
}
|
||||
return null;
|
||||
}
|
||||
|
||||
private static boolean isPageBreak(XMLStreamReader xr) {
|
||||
return "page".equals(xr.getAttributeValue(WML_NS, "type"));
|
||||
return "page".equals(attrLocal(xr, "type"));
|
||||
}
|
||||
|
||||
private static boolean truthy(XMLStreamReader xr) {
|
||||
String v = xr.getAttributeValue(WML_NS, "val");
|
||||
String v = attrLocal(xr, "val");
|
||||
return v == null || v.equals("true") || v.equals("1") || v.equals("on");
|
||||
}
|
||||
|
||||
private static boolean inside(Deque<String> path, String ancestor) {
|
||||
return path.contains(ancestor);
|
||||
}
|
||||
|
||||
private static final String WML_NS =
|
||||
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
|
||||
}
|
||||
|
||||
@@ -0,0 +1,235 @@
|
||||
package ru.pjandro.wordpdf.internal;
|
||||
|
||||
import java.io.ByteArrayInputStream;
|
||||
import java.io.ByteArrayOutputStream;
|
||||
import java.io.IOException;
|
||||
import java.nio.charset.StandardCharsets;
|
||||
import java.util.regex.Matcher;
|
||||
import java.util.regex.Pattern;
|
||||
import java.util.zip.ZipEntry;
|
||||
import java.util.zip.ZipInputStream;
|
||||
import java.util.zip.ZipOutputStream;
|
||||
|
||||
/**
|
||||
* Нормализация strict-OOXML документов (.docx, сохранённые Word в формате
|
||||
* ISO 29500 strict, namespaces {@code http://purl.oclc.org/ooxml/*}) перед
|
||||
* загрузкой docx4j.
|
||||
*
|
||||
* <p>docx4j читает strict через {@code org/docx4j/jaxb/mc-preprocessor.xslt}
|
||||
* (перебивает strict-namespace'ы в transitional, конвертит {@code pt} в
|
||||
* twips/half-points), но в этом XSLT ветка перевода процентов в тысячные
|
||||
* доли закомментирована, а strict-переименования {@code w:start}/{@code w:end}
|
||||
* в {@code w:left}/{@code w:right} он не делает вовсе. Word в strict пишет:
|
||||
* <ul>
|
||||
* <li>проценты строками в атрибутах с int-биндингами JAXB —
|
||||
* {@code a:shade val="50%"}, {@code a:gs pos="14%"},
|
||||
* {@code w14:fillToRect w14:t="130%"} — JAXB падает на
|
||||
* {@code NumberFormatException: Not a number: 130%};</li>
|
||||
* <li>текстовые проценты в {@code wp14:pctWidth}/{@code wp14:pctHeight};</li>
|
||||
* <li>границы и отступы в элементах {@code w:start}/{@code w:end}
|
||||
* (в transitional они называются {@code w:left}/{@code w:right}) —
|
||||
* JAXB сообщает «unexpected element» и границы теряются;</li>
|
||||
* <li>атрибуты {@code w:start}/{@code w:end} у {@code w:ind} и значения
|
||||
* {@code start}/{@code end} у {@code w:jc}/{@code w:tab} — в
|
||||
* transitional таких имён/значений нет, JAXB их отбрасывает.</li>
|
||||
* </ul>
|
||||
*
|
||||
* <p>Полный strict→transitional рерайт не делается: mc-preprocessor уже
|
||||
* перебивает namespaces и {@code pt}-значения, а собственный рерайт URI
|
||||
* сломал бы его конвертацию {@code pt} (FOP получил бы {@code "10pt"}).
|
||||
* Здесь только те правки, которых в XSLT нет. Атрибуты {@code w:} с процентом
|
||||
* ({@code w:tblW w:w="50%" w:type="pct"}) не трогаем: они в docx4j связаны
|
||||
* строковым типом, и экспортёр в FO понимает {@code %} сам.
|
||||
*
|
||||
* <p>В {@code word/numbering.xml} переименование элементов {@code w:start}
|
||||
* пропускается: там {@code w:lvl/w:start} — легитимный transitional-элемент
|
||||
* (стартовое значение счётчика), регрессия — StrictOoxmlNormalizerTest.
|
||||
*
|
||||
* <p>Transitional-документы (Word пишет {@code a:}-проценты целыми, {@code
|
||||
* w:start} вне numbering.xml и {@code w:jc val="start"} не бывает) проходят
|
||||
* без изменений: если правок не было, возвращается исходный массив.
|
||||
*
|
||||
* Регрессия — WordPdfConverterTest#strictOoxml_convertsNotRejected.
|
||||
*/
|
||||
public final class StrictOoxmlNormalizer {
|
||||
|
||||
/** Открывающий тег элемента префикса {@code a:} (DrawingML). */
|
||||
private static final Pattern A_TAG = Pattern.compile("<a:[A-Za-z]+\\b[^>]*>");
|
||||
|
||||
/** Открывающий тег {@code w14:fillToRect} — единственный носитель %-атрибутов в w14. */
|
||||
private static final Pattern FILL_TO_RECT_TAG = Pattern.compile("<w14:fillToRect\\b[^>]*>");
|
||||
|
||||
/** Атрибут со строковым процентом: {@code name="130%"}, {@code pos="-30.5%"}. */
|
||||
private static final Pattern PERCENT_ATTR =
|
||||
Pattern.compile("([A-Za-z0-9:]+)=\"(-?\\d+(?:\\.\\d+)?)%\"");
|
||||
|
||||
/** Текстовый процент у {@code wp14:pctWidth}/{@code wp14:pctHeight} (int-биндинг docx4j). */
|
||||
private static final Pattern PERCENT_TEXT = Pattern.compile(
|
||||
"(<wp14:pct(?:Width|Height)\\b[^>]*>)(-?\\d+(?:\\.\\d+)?)%<");
|
||||
|
||||
/** Элемент {@code <w:start} с обязательной границей имени — иначе покалечит {@code <w:endnote*}. */
|
||||
private static final Pattern START_ELEMENT = Pattern.compile("<w:start(?=[\\s/>])");
|
||||
private static final Pattern END_ELEMENT = Pattern.compile("<w:end(?=[\\s/>])");
|
||||
|
||||
/** Значения {@code start}/{@code end} у {@code w:jc}/{@code w:tab}. */
|
||||
private static final Pattern JC_TAB_VALUE = Pattern.compile(
|
||||
"(<w:(?:jc|tab)\\b[^>]*?w:val=\")(start|end)\"");
|
||||
|
||||
private StrictOoxmlNormalizer() {
|
||||
}
|
||||
|
||||
/**
|
||||
* Приводит strict-OOXML в XML-частях docx (word/*.xml) к виду, который
|
||||
* разбирает JAXB-модель transitional (детали — в javadoc класса).
|
||||
*
|
||||
* @param docx байты .docx (zip)
|
||||
* @return те же или переупакованные байты
|
||||
*/
|
||||
public static byte[] normalize(byte[] docx) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||
boolean changed = false;
|
||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||
ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
ZipEntry entry;
|
||||
while ((entry = zis.getNextEntry()) != null) {
|
||||
byte[] data = zis.readAllBytes();
|
||||
String name = entry.getName();
|
||||
if (name.startsWith("word/") && name.endsWith(".xml")) {
|
||||
// в numbering.xml w:start — элемент стартового значения
|
||||
// счётчика, его не переименовываем
|
||||
String fixed = rewrite(new String(data, StandardCharsets.UTF_8),
|
||||
!name.equals("word/numbering.xml"));
|
||||
if (fixed != null) {
|
||||
changed = true;
|
||||
data = fixed.getBytes(StandardCharsets.UTF_8);
|
||||
}
|
||||
}
|
||||
zos.putNextEntry(new ZipEntry(name));
|
||||
zos.write(data);
|
||||
zos.closeEntry();
|
||||
}
|
||||
}
|
||||
return changed ? out.toByteArray() : docx;
|
||||
}
|
||||
|
||||
/**
|
||||
* Применяет к XML-строке все правила, включая переименование элементов
|
||||
* {@code w:start}/{@code w:end}.
|
||||
*
|
||||
* @return новая строка либо null, если правок не было
|
||||
*/
|
||||
static String rewrite(String xml) {
|
||||
return rewrite(xml, true);
|
||||
}
|
||||
|
||||
/**
|
||||
* Правила нормализации strict-OOXML.
|
||||
*
|
||||
* @param renameStartEnd переименовывать ли элементы {@code w:start}/
|
||||
* {@code w:end} (false для word/numbering.xml)
|
||||
* @return новая строка либо null, если правок не было
|
||||
*/
|
||||
private static String rewrite(String xml, boolean renameStartEnd) {
|
||||
String r = xml;
|
||||
if (r.indexOf('%') >= 0) {
|
||||
r = percentTags(r, A_TAG);
|
||||
r = percentTags(r, FILL_TO_RECT_TAG);
|
||||
r = percentText(r);
|
||||
}
|
||||
if (renameStartEnd
|
||||
&& (r.contains("<w:start") || r.contains("</w:start>")
|
||||
|| r.contains("<w:end") || r.contains("</w:end>"))) {
|
||||
r = renameStartEndElements(r);
|
||||
}
|
||||
if (r.contains(" w:start=\"") || r.contains(" w:end=\"")) {
|
||||
r = r.replace(" w:start=\"", " w:left=\"").replace(" w:end=\"", " w:right=\"");
|
||||
}
|
||||
if (r.contains("w:val=\"start\"") || r.contains("w:val=\"end\"")) {
|
||||
r = jcTabValues(r);
|
||||
}
|
||||
return r.equals(xml) ? null : r;
|
||||
}
|
||||
|
||||
/**
|
||||
* Переименование элементов {@code w:start}/{@code w:end} в
|
||||
* {@code w:left}/{@code w:right} только с границей имени:
|
||||
* {@code <w:endnote>}/{@code <w:endParens} остаются как были
|
||||
* (буквальная замена без границы их калечит).
|
||||
*/
|
||||
private static String renameStartEndElements(String xml) {
|
||||
String r = START_ELEMENT.matcher(xml).replaceAll("<w:left");
|
||||
r = r.replace("</w:start>", "</w:left>");
|
||||
r = END_ELEMENT.matcher(r).replaceAll("<w:right");
|
||||
return r.replace("</w:end>", "</w:right>");
|
||||
}
|
||||
|
||||
/** Заменяет {@code name="NN%"} на {@code name="NNNNN"} (×1000) внутри открывающих тегов. */
|
||||
private static String percentTags(String xml, Pattern tagPattern) {
|
||||
Matcher tags = tagPattern.matcher(xml);
|
||||
StringBuilder sb = null;
|
||||
while (tags.find()) {
|
||||
String fixed = percentAttrs(tags.group());
|
||||
if (!fixed.equals(tags.group())) {
|
||||
if (sb == null) {
|
||||
sb = new StringBuilder(xml.length());
|
||||
}
|
||||
tags.appendReplacement(sb, Matcher.quoteReplacement(fixed));
|
||||
}
|
||||
}
|
||||
if (sb == null) {
|
||||
return xml;
|
||||
}
|
||||
tags.appendTail(sb);
|
||||
return sb.toString();
|
||||
}
|
||||
|
||||
/** Все процентные атрибуты одного тега (несколько за проход — иначе теряются со второго). */
|
||||
private static String percentAttrs(String tag) {
|
||||
Matcher a = PERCENT_ATTR.matcher(tag);
|
||||
if (!a.find()) {
|
||||
return tag;
|
||||
}
|
||||
StringBuilder sb = new StringBuilder(tag.length());
|
||||
do {
|
||||
long value = Math.round(Double.parseDouble(a.group(2)) * 1000);
|
||||
a.appendReplacement(sb,
|
||||
Matcher.quoteReplacement(a.group(1) + "=\"" + value + "\""));
|
||||
} while (a.find());
|
||||
a.appendTail(sb);
|
||||
return sb.toString();
|
||||
}
|
||||
|
||||
/** Текстовый процент {@code <wp14:pctWidth>100%</...>} → {@code 100000}. */
|
||||
private static String percentText(String xml) {
|
||||
Matcher m = PERCENT_TEXT.matcher(xml);
|
||||
if (!m.find()) {
|
||||
return xml;
|
||||
}
|
||||
m.reset();
|
||||
StringBuilder sb = new StringBuilder(xml.length());
|
||||
while (m.find()) {
|
||||
long value = Math.round(Double.parseDouble(m.group(2)) * 1000);
|
||||
m.appendReplacement(sb,
|
||||
Matcher.quoteReplacement(m.group(1) + value + "<"));
|
||||
}
|
||||
m.appendTail(sb);
|
||||
return sb.toString();
|
||||
}
|
||||
|
||||
/** Значения {@code start}/{@code end} у {@code w:jc}/{@code w:tab} → {@code left}/{@code right}. */
|
||||
private static String jcTabValues(String xml) {
|
||||
Matcher m = JC_TAB_VALUE.matcher(xml);
|
||||
if (!m.find()) {
|
||||
return xml;
|
||||
}
|
||||
m.reset();
|
||||
StringBuilder sb = new StringBuilder(xml.length());
|
||||
while (m.find()) {
|
||||
String value = m.group(2).equals("start") ? "left" : "right";
|
||||
m.appendReplacement(sb,
|
||||
Matcher.quoteReplacement(m.group(1) + value + "\""));
|
||||
}
|
||||
m.appendTail(sb);
|
||||
return sb.toString();
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user