fix: результаты ревью — chart-DoS-потолки, нормализаторы, 405/415, инфраструктура #54

Merged
pjandro merged 9 commits from fix/review-findings into main 2026-10-26 03:22:39 +03:00
3 changed files with 238 additions and 25 deletions
Showing only changes of commit eec35b7600 - Show all commits
@@ -30,8 +30,10 @@ import java.util.zip.ZipOutputStream;
* (в transitional они называются {@code w:left}/{@code w:right}) — * (в transitional они называются {@code w:left}/{@code w:right}) —
* JAXB сообщает «unexpected element» и границы теряются;</li> * JAXB сообщает «unexpected element» и границы теряются;</li>
* <li>атрибуты {@code w:start}/{@code w:end} у {@code w:ind} и значения * <li>атрибуты {@code w:start}/{@code w:end} у {@code w:ind} и значения
* {@code start}/{@code end} у {@code w:jc}/{@code w:tab} — в * {@code start}/{@code end} у {@code w:jc}/{@code w:tab} — в strict-модели
* transitional таких имён/значений нет, JAXB их отбрасывает.</li> * это единственные имена, а transitional-модель docx4j их не принимает
* (значения {@code w:tab} — и подавно: enum {@code STTabJc} в docx4j
* 17.3.2 содержит только left/right).</li>
* </ul> * </ul>
* *
* <p>Полный strict→transitional рерайт не делается: mc-preprocessor уже * <p>Полный strict→transitional рерайт не делается: mc-preprocessor уже
@@ -45,9 +47,27 @@ import java.util.zip.ZipOutputStream;
* пропускается: там {@code w:lvl/w:start} — легитимный transitional-элемент * пропускается: там {@code w:lvl/w:start} — легитимный transitional-элемент
* (стартовое значение счётчика), регрессия — StrictOoxmlNormalizerTest. * (стартовое значение счётчика), регрессия — StrictOoxmlNormalizerTest.
* *
* <p>Transitional-документы (Word пишет {@code a:}-проценты целыми, {@code * <p>Правила применяются с учётом направления документа (часть strict, только
* w:start} вне numbering.xml и {@code w:jc val="start"} не бывает) проходят * если содержит URI {@code http://purl.oclc.org}):
* без изменений: если правок не было, возвращается исходный массив. * <ul>
* <li>атрибуты {@code w:start}/{@code w:end} переименовываются только внутри
* открывающего тега и только когда в том же теге нет {@code w:left}/
* {@code w:right}: transitional {@code CT_Ind} допускает сосуществование
* (Word пишет обе пары), слепая глобальная замена порождала дубль
* атрибута — не well-formed XML (регрессия —
* StrictOoxmlNormalizerTest#indCoexistLeftStartUntouched,
* WordPdfConverterTest#indCoexistForms_convertsNotRejected);</li>
* <li>элементы {@code w:start}/{@code w:end} переименовываются глобально
* только в strict-частях; в transitional — лишь внутри {@code w:tcMar}/
* {@code w:tblCellMar} и лишь при отсутствии одноимённого {@code w:left}/
* {@code w:right}-ребёнка (transitional-схема допускает обе пары детей,
* {@code maxOccurs=1} на left — дубль ломает JAXB);</li>
* <li>значения {@code start}/{@code end} у {@code w:jc} правятся только в
* strict: transitional {@code JcEnumeration} docx4j их содержит, экспортёр
* пишет {@code fo:text-align} как есть, а FOP разрешает start/end по
* направлению абзаца (FO 1.1) — замена на left ломала RTL; значения
* {@code w:tab} правятся всегда (enum без start/end).</li>
* </ul>
* *
* Регрессия — WordPdfConverterTest#strictOoxml_convertsNotRejected. * Регрессия — WordPdfConverterTest#strictOoxml_convertsNotRejected.
*/ */
@@ -71,9 +91,27 @@ public final class StrictOoxmlNormalizer {
private static final Pattern START_ELEMENT = Pattern.compile("<w:start(?=[\\s/>])"); private static final Pattern START_ELEMENT = Pattern.compile("<w:start(?=[\\s/>])");
private static final Pattern END_ELEMENT = Pattern.compile("<w:end(?=[\\s/>])"); private static final Pattern END_ELEMENT = Pattern.compile("<w:end(?=[\\s/>])");
/** Значения {@code start}/{@code end} у {@code w:jc}/{@code w:tab}. */ /** URI strict-пакета (ECMA-376 1-е изд.); его наличие в части — признак strict. */
private static final Pattern JC_TAB_VALUE = Pattern.compile( private static final String STRICT_NS = "http://purl.oclc.org";
"(<w:(?:jc|tab)\\b[^>]*?w:val=\")(start|end)\"");
/** Открывающий тег любого элемента — носитель атрибутов для точечного рерайта. */
private static final Pattern OPEN_TAG = Pattern.compile("<[A-Za-z][A-Za-z0-9:]*\\b[^>]*>");
/**
* Блок {@code w:tcMar}/{@code w:tblCellMar}: единственное место transitional,
* где элементы {@code w:start}/{@code w:end} легальны (CT_TcMar допускает их
* наравне с {@code w:left}/{@code w:right}).
*/
private static final Pattern MAR_BLOCK = Pattern.compile(
"<(w:tcMar|w:tblCellMar)\\b[^>]*>.*?</\\1>", Pattern.DOTALL);
/** Значения {@code start}/{@code end} у {@code w:jc} (правятся только в strict). */
private static final Pattern JC_VALUE = Pattern.compile(
"(<w:jc\\b[^>]*?w:val=\")(start|end)\"");
/** Значения {@code start}/{@code end} у {@code w:tab} (правятся всегда). */
private static final Pattern TAB_VALUE = Pattern.compile(
"(<w:tab\\b[^>]*?w:val=\")(start|end)\"");
private StrictOoxmlNormalizer() { private StrictOoxmlNormalizer() {
} }
@@ -99,9 +137,11 @@ public final class StrictOoxmlNormalizer {
String name = entry.getName(); String name = entry.getName();
if (name.startsWith("word/") && name.endsWith(".xml")) { if (name.startsWith("word/") && name.endsWith(".xml")) {
// в numbering.xml w:start — элемент стартового значения // в numbering.xml w:start — элемент стартового значения
// счётчика, его не переименовываем // счётчика, его не переименовываем; направление части — по
String fixed = rewrite(new String(data, StandardCharsets.UTF_8), // наличию strict-URI (transitional-правила мягче)
!"word/numbering.xml".equals(name)); String xml = new String(data, StandardCharsets.UTF_8);
String fixed = rewrite(xml, !"word/numbering.xml".equals(name),
xml.contains(STRICT_NS));
if (fixed != null) { if (fixed != null) {
changed = true; changed = true;
data = fixed.getBytes(StandardCharsets.UTF_8); data = fixed.getBytes(StandardCharsets.UTF_8);
@@ -116,43 +156,122 @@ public final class StrictOoxmlNormalizer {
} }
/** /**
* Применяет к XML-строке все правила, включая переименование элементов * Применяет к XML-строке все правила в strict-режиме, включая переименование
* {@code w:start}/{@code w:end}. * элементов {@code w:start}/{@code w:end} (хук юнит-тестов).
* *
* @return новая строка либо null, если правок не было * @return новая строка либо null, если правок не было
*/ */
static String rewrite(String xml) { static String rewrite(String xml) {
return rewrite(xml, true); return rewrite(xml, true, true);
} }
/** /**
* Правила нормализации strict-OOXML. * Правила нормализации (javadoc класса).
* *
* @param renameStartEnd переименовывать ли элементы {@code w:start}/ * @param renameStartEnd переименовывать ли элементы {@code w:start}/
* {@code w:end} (false для word/numbering.xml) * {@code w:end} (false для word/numbering.xml)
* @param strict strict-часть (URI {@code http://purl.oclc.org}):
* глобальный рерайт элементов и значений {@code w:jc};
* в transitional — только guard-правила
* @return новая строка либо null, если правок не было * @return новая строка либо null, если правок не было
*/ */
private static String rewrite(String xml, boolean renameStartEnd) { static String rewrite(String xml, boolean renameStartEnd, boolean strict) {
String r = xml; String r = xml;
if (r.indexOf('%') >= 0) { if (r.indexOf('%') >= 0) {
r = percentTags(r, A_TAG); r = percentTags(r, A_TAG);
r = percentTags(r, FILL_TO_RECT_TAG); r = percentTags(r, FILL_TO_RECT_TAG);
r = percentText(r); r = percentText(r);
} }
if (renameStartEnd if (strict) {
&& (r.contains("<w:start") || r.contains("</w:start>") if (renameStartEnd
|| r.contains("<w:end") || r.contains("</w:end>"))) { && (r.contains("<w:start") || r.contains("</w:start>")
r = renameStartEndElements(r); || r.contains("<w:end") || r.contains("</w:end>"))) {
r = renameStartEndElements(r);
}
} else {
r = renameMarBlockElements(r);
} }
if (r.contains(" w:start=\"") || r.contains(" w:end=\"")) { if (r.contains(" w:start=\"") || r.contains(" w:end=\"")) {
r = r.replace(" w:start=\"", " w:left=\"").replace(" w:end=\"", " w:right=\""); r = renameStartEndAttrs(r);
} }
if (r.contains("w:val=\"start\"") || r.contains("w:val=\"end\"")) { if (r.contains("w:val=\"start\"") || r.contains("w:val=\"end\"")) {
r = jcTabValues(r); if (strict) {
r = renameValues(r, JC_VALUE);
}
r = renameValues(r, TAB_VALUE);
} }
return r.equals(xml) ? null : r; return r.equals(xml) ? null : r;
} }
/**
* Атрибуты {@code w:start→w:left}/{@code w:end→w:right} только внутри
* открывающего тега и только при отсутствии в нём {@code w:left}/{@code
* w:right}: CT_Ind (transitional) допускает обе пары, дубль атрибута —
* не well-formed XML; литеральный текст {@code w:val}-вида в {@code w:t}
* не затрагивается.
*/
private static String renameStartEndAttrs(String xml) {
Matcher tags = OPEN_TAG.matcher(xml);
StringBuilder sb = null;
while (tags.find()) {
String tag = tags.group();
String fixed = tag;
if (fixed.contains(" w:start=\"") && !fixed.contains(" w:left=\"")) {
fixed = fixed.replace(" w:start=\"", " w:left=\"");
}
if (fixed.contains(" w:end=\"") && !fixed.contains(" w:right=\"")) {
fixed = fixed.replace(" w:end=\"", " w:right=\"");
}
if (!fixed.equals(tag)) {
if (sb == null) {
sb = new StringBuilder(xml.length());
}
tags.appendReplacement(sb, Matcher.quoteReplacement(fixed));
}
}
if (sb == null) {
return xml;
}
tags.appendTail(sb);
return sb.toString();
}
/**
* Transitional-частичный рерайт элементов: только внутри {@code w:tcMar}/
* {@code w:tblCellMar} и только когда одноимённого {@code w:left}/{@code
* w:right}-ребёнка в блоке нет (иначе дубль с maxOccurs=1 ломает JAXB).
*/
private static String renameMarBlockElements(String xml) {
if (!xml.contains("<w:start") && !xml.contains("<w:end")) {
return xml;
}
Matcher blocks = MAR_BLOCK.matcher(xml);
StringBuilder sb = null;
while (blocks.find()) {
String block = blocks.group();
String fixed = block;
if (fixed.contains("<w:start") && !fixed.contains("<w:left")) {
fixed = START_ELEMENT.matcher(fixed).replaceAll("<w:left");
fixed = fixed.replace("</w:start>", "</w:left>");
}
if (fixed.contains("<w:end") && !fixed.contains("<w:right")) {
fixed = END_ELEMENT.matcher(fixed).replaceAll("<w:right");
fixed = fixed.replace("</w:end>", "</w:right>");
}
if (!fixed.equals(block)) {
if (sb == null) {
sb = new StringBuilder(xml.length());
}
blocks.appendReplacement(sb, Matcher.quoteReplacement(fixed));
}
}
if (sb == null) {
return xml;
}
blocks.appendTail(sb);
return sb.toString();
}
/** /**
* Переименование элементов {@code w:start}/{@code w:end} в * Переименование элементов {@code w:start}/{@code w:end} в
* {@code w:left}/{@code w:right} только с границей имени: * {@code w:left}/{@code w:right} только с границей имени:
@@ -219,9 +338,9 @@ public final class StrictOoxmlNormalizer {
return sb.toString(); return sb.toString();
} }
/** Значения {@code start}/{@code end} у {@code w:jc}/{@code w:tab} → {@code left}/{@code right}. */ /** Значения {@code start}/{@code end} по паттерну тега → {@code left}/{@code right}. */
private static String jcTabValues(String xml) { private static String renameValues(String xml, Pattern tagValue) {
Matcher m = JC_TAB_VALUE.matcher(xml); Matcher m = tagValue.matcher(xml);
if (!m.find()) { if (!m.find()) {
return xml; return xml;
} }
@@ -619,6 +619,21 @@ class WordPdfConverterTest {
assertTrue(text.contains("таблица"), "текст PDF: " + text); assertTrue(text.contains("таблица"), "текст PDF: " + text);
} }
/**
* Transitional-документ с обеими формами отступа (Word пишет
* {@code w:ind w:left w:start} одновременно): до guard'а глобальная замена
* {@code w:start→w:left} порождала дубль атрибута — не well-formed XML,
* конвертация падала (500). Регрессия — StrictOoxmlNormalizer.
*/
@Test
void indCoexistForms_convertsNotRejected() throws Exception {
byte[] docx = minimalDocx(
"<w:p><w:pPr><w:ind w:left=\"720\" w:start=\"720\"/></w:pPr>"
+ "<w:r><w:t>СОСУЩЕСТВОВАНИЕ</w:t></w:r></w:p>");
Path pdf = convertPdf(docx, "coexist");
assertTrue(norm(pdfText(pdf)).contains("СОСУЩЕСТВОВАНИЕ"), "текст пропал");
}
/** /**
* Абзац только из невидимых символов (U+0085/U+2028/U+2029/U+2060/U+FEFF) * Абзац только из невидимых символов (U+0085/U+2028/U+2029/U+2060/U+FEFF)
* не раздувает PDF: FOP превращает первые три в принудительные переносы * не раздувает PDF: FOP превращает первые три в принудительные переносы
@@ -238,4 +238,83 @@ class StrictOoxmlNormalizerTest {
assertNull(StrictOoxmlNormalizer.rewrite("<w:ind w:val=\"start\"/>")); assertNull(StrictOoxmlNormalizer.rewrite("<w:ind w:val=\"start\"/>"));
assertNull(StrictOoxmlNormalizer.rewrite("<w:lvlText w:val=\"end\"/>")); assertNull(StrictOoxmlNormalizer.rewrite("<w:lvlText w:val=\"end\"/>"));
} }
/**
* Transitional CT_Ind допускает сосуществование w:left+w:start (Word пишет
* обе пары): глобальная замена порождала дубль атрибута — не well-formed
* XML. Регрессия — WordPdfConverterTest#indCoexistForms_convertsNotRejected.
*/
@Test
void indCoexistLeftStartUntouched() {
assertNull(StrictOoxmlNormalizer.rewrite(
"<w:ind w:left=\"720\" w:start=\"720\"/>", true, true));
assertNull(StrictOoxmlNormalizer.rewrite(
"<w:ind w:left=\"720\" w:start=\"720\"/>", true, false));
assertNull(StrictOoxmlNormalizer.rewrite(
"<w:ind w:right=\"360\" w:end=\"360\"/>", true, false));
}
/** Только w:start (без w:left) — рерайт и в transitional (иначе отступ теряется). */
@Test
void indStartOnlyRenamedTransitional() {
String r = StrictOoxmlNormalizer.rewrite("<w:ind w:start=\"720\"/>", true, false);
assertNotNull(r);
assertTrue(r.contains("w:left=\"720\""), r);
}
/** CT_TcMar transitional допускает одновременных start+left детей — блок как есть. */
@Test
void tcMarCoexistKept() {
assertNull(StrictOoxmlNormalizer.rewrite(
"<w:tcMar><w:start w:w=\"100\" w:type=\"dxa\"/>"
+ "<w:left w:w=\"200\" w:type=\"dxa\"/></w:tcMar>", true, false));
}
/** Только start/end в блоке tcMar — рерайт и в transitional. */
@Test
void tcMarStartOnlyRenamedTransitional() {
String r = StrictOoxmlNormalizer.rewrite(
"<w:tblCellMar><w:start w:w=\"100\" w:type=\"dxa\"/>"
+ "<w:end w:w=\"300\" w:type=\"dxa\"/></w:tblCellMar>", true, false);
assertNotNull(r);
assertTrue(r.contains("<w:left w:w=\"100\""), r);
assertTrue(r.contains("<w:right w:w=\"300\""), r);
}
/** Вне tcMar/tblCellMar элементы transitional не переименовываются (JAXB их парсит). */
@Test
void tcBordersElementsKeptTransitional() {
assertNull(StrictOoxmlNormalizer.rewrite(
"<w:tcBorders><w:start w:val=\"single\"/></w:tcBorders>", true, false));
}
/**
* w:jc val="start" в transitional — JcEnumeration docx4j содержит START/END,
* FOP разрешает их по направлению (FO 1.1): рерайт ломал RTL, значение
* остаётся как есть.
*/
@Test
void jcStartKeptTransitional() {
assertNull(StrictOoxmlNormalizer.rewrite("<w:jc w:val=\"start\"/>", true, false));
}
/** А w:tab val="start" правится всегда: STTabJc docx4j 17.3.2 — только left/right. */
@Test
void tabStartRenamedTransitional() {
String r = StrictOoxmlNormalizer.rewrite(
"<w:tab w:val=\"start\" w:pos=\"1\"/>", true, false);
assertNotNull(r);
assertTrue(r.contains("<w:tab w:val=\"left\" w:pos=\"1\"/>"), r);
}
/** Transitional-документ с обеими формами атрибута — исходный массив байтов. */
@Test
void transitionalCoexistReturnsOriginalArray() throws Exception {
byte[] docx = makeDocx(
"[Content_Types].xml", "<Types/>",
"word/document.xml",
"<w:document xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\">"
+ "<w:p><w:pPr><w:ind w:left=\"1\" w:start=\"1\"/></w:pPr></w:p></w:document>");
assertSame(docx, StrictOoxmlNormalizer.normalize(docx));
}
} }