Аудит .docx-путей по ECMA-376: vanish/ruby/move фиксы + пиннинг фич #85

Merged
pjandro merged 1 commits from fix/docx-vanish-ruby-move into main 2026-11-02 02:10:51 +03:00
9 changed files with 1315 additions and 34 deletions
+16 -13
View File
File diff suppressed because one or more lines are too long
@@ -100,8 +100,10 @@ public final class WordPdfConverter {
* {@code options.maxPages()} — при отказе байтов результата нет. Страницы
* считаются ровно раз по сырому входу, до аллокаций docx4j: для .docx —
* lightweight-скан по zip, для .doc — по чистому бинарному документу до
* конвертации. Повторного скана по нормализованным байтам нет: правила 1–8
* {@code DocxRewritePipeline} число учитываемых разрывов не меняют, а скан
* конвертации. Повторного скана по нормализованным байтам нет: правила
* 1–10 {@code DocxRewritePipeline} число учитываемых разрывов не
* увеличивают (правило 9 способно только убрать разрыв внутри скрытого
* рана — счёт по сырому входу остаётся верхней оценкой лимита), а скан
* внутри живой JAXB-модели удваивал бы пиковую память.
*
* @param docxBytes байты .docx или бинарного .doc
@@ -221,7 +223,7 @@ public final class WordPdfConverter {
}
/**
* Нормализация входных байтов (цепочка {@link #normalizers}: правила 1–8
* Нормализация входных байтов (цепочка {@link #normalizers}: правила 1–10
* одним zip-проходом {@code DocxRewritePipeline} + условная OLE-вычистка)
* и {@code WordprocessingMLPackage.load} полученного transitional-байта.
* Нормализация переиспользует слот {@code bytes}: каждая замена массива
@@ -240,8 +242,10 @@ public final class WordPdfConverter {
* Конвейер байтовой нормализации docx. Порядок фиксирован: сначала один
* zip-проход переписывания XML-частей (внутри части порядок рерайтов
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→
* NumberingSuffix значим: Strict первым — дальше transitional-байт;
* GlyphCoverage — по финальному тексту рана), затем OleObjectNormalizer
* NumberingSuffix→Hidden→Ruby значим: Strict первым — дальше transitional-байт;
* GlyphCoverage — по финальному тексту рана; Hidden — вырезает скрытые
* раны по финальному содержимому; Ruby — разворачивает руби-разметку,
* которую схема docx4j не биндит), затем OleObjectNormalizer
* (меняет части, а не XML ранов).
* Регрессии каждого рерайта — в javadoc соответствующего нормализатора.
*/
@@ -249,8 +253,8 @@ public final class WordPdfConverter {
return List.of(
// один zip-проход: strict→transitional, on/off, Symbol-PUA,
// поля PAGE/NUMPAGES, невидимки, покрытие глифов, tblInd при
// jc≠left, suff=space — порядок рерайтов внутри части
// фиксирован (DocxRewritePipeline)
// jc≠left, suff=space, скрытый текст (vanish) — порядок
// рерайтов внутри части фиксирован (DocxRewritePipeline)
DocxRewritePipeline.STEP,
// OLE-объекты: при выключенном errorOnOle тихо удаляем
// (часть/rels/w:object), при включённом — DrawingFoundException
@@ -5,6 +5,7 @@ import java.io.IOException;
import java.io.InputStream;
import java.nio.charset.StandardCharsets;
import java.util.Collections;
import java.util.Set;
import org.apache.commons.compress.archivers.zip.ZipArchiveEntry;
import org.apache.commons.compress.archivers.zip.ZipArchiveOutputStream;
@@ -14,17 +15,20 @@ import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
/**
* Единый zip-проход переписывания XML-частей (.docx) вместо отдельных
* проходов нормализаторов: к каждой записи {@code word/*.xml} применяются
* все восемь рерайтов в фиксированном порядке
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix.
* все десять рерайтов в фиксированном порядке
* Strict→OnOff→Symbol→Field→Invisible→GlyphCoverage→TableIndent→NumberingSuffix→Hidden→Ruby.
* Порядок значим: Strict первым — дальше части в transitional-виде
* (TableIndent читает transitional-атрибуты {@code w:}); GlyphCoverage
* режет раны по финальному тексту рана (после Symbol/Invisible). Каждый
* режет раны по финальному тексту рана (после Symbol/Invisible); Hidden
* последним — вырезает уже финальные раны (после Symbol/GLYPH-разбиений),
* а его OnOff-форма vanish читается после правила 2. Каждый
* рерайт работает только содержимым одной части, поэтому по-частная
* цепочка эквивалентна последовательным полным проходам. Правило 7
* (TableIndent) — исключение из «по-частности»: у header/footer-частей
* своей sectPr нет, ширина полосы передаётся из document.xml (один
* дополнительный inflate до цикла; многосекционный документ — полоса
* неоднозначна, header/footer пропускаются).
* цепочка эквивалентна последовательным полным проходам. Исключения из
* «по-частности» — контексты, читаемые один раз до цикла: правило 7
* (TableIndent) — у header/footer-частей своей sectPr нет, ширина полосы
* передаётся из document.xml (многосекционный документ — полоса
* неоднозначна, header/footer пропускаются); правило 9 (Hidden) —
* стилевые vanish читаются из word/styles.xml (цепочка w:basedOn).
*
* <p>Неизменённые записи (медиа, rels, прочее) переносятся raw-копией
* сжатых байтов — без inflate/deflate; прочие (редкие методы сжатия,
@@ -48,7 +52,7 @@ public final class DocxRewritePipeline {
public static final DocxNormalizer STEP = DocxRewritePipeline::normalize;
/**
* Применяет восемь рерайтов к каждой записи {@code word/*.xml} за один
* Применяет десять рерайтов к каждой записи {@code word/*.xml} за один
* проход zip.
*
* @param docx байты .docx (валидный zip)
@@ -72,6 +76,16 @@ public final class DocxRewritePipeline {
new String(zf.getInputStream(docEntry).readAllBytes(),
StandardCharsets.UTF_8));
}
// Стилевые vanish для правила 9 (скрытый текст): часть стилевой
// цепочки w:basedOn вычисляется один раз до цикла. Записи нет →
// пустое множество, рерайт работает по прямому vanish.
Set<String> hiddenStyles = Set.of();
ZipArchiveEntry stylesEntry = zf.getEntry("word/styles.xml");
if (stylesEntry != null) {
hiddenStyles = HiddenTextNormalizer.vanishStyles(
new String(zf.getInputStream(stylesEntry).readAllBytes(),
StandardCharsets.UTF_8));
}
for (ZipArchiveEntry entry : Collections.list(zf.getEntries())) {
String name = entry.getName();
byte[] rewritten = null;
@@ -111,6 +125,14 @@ public final class DocxRewritePipeline {
if (next != null) {
cur = next;
}
next = HiddenTextNormalizer.rewritePart(name, cur, hiddenStyles);
if (next != null) {
cur = next;
}
next = RubyNormalizer.rewrite(cur);
if (next != null) {
cur = next;
}
if (cur != xml) {
changed = true;
rewritten = cur.getBytes(StandardCharsets.UTF_8);
@@ -0,0 +1,390 @@
package ru.pjandro.wordpdf.internal;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.ArrayDeque;
import java.util.ArrayList;
import java.util.Comparator;
import java.util.Deque;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream;
import org.apache.commons.compress.archivers.zip.ZipArchiveEntry;
import org.apache.commons.compress.archivers.zip.ZipFile;
import org.apache.commons.compress.utils.SeekableInMemoryByteChannel;
/**
* Вырезание скрытых ранов ({@code w:rPr/w:vanish}, Part 1 §17.3.2.30) из
* XML-частей — до загрузки docx4j.
*
* <p>Word по умолчанию не выводит скрытый текст ни на экран, ни на печать,
* ни в PDF-export; XSL-FO-стилист docx4j {@code w:vanish} не читает вовсе
* (ни templates, ни реестр {@code org.docx4j.model.properties.run.*}), поэтому
* без этого шага скрытое содержимое утекает в PDF. Единственный слой, где
* это чичится без правки jar/FOP — байтовый нормализатор.
*
* <p>Скрытым считается ран, у которого в <b>собственном</b> {@code w:rPr}
* стоит truthy {@code w:vanish} (атрибут {@code w:val} опущен, {@code true},
* {@code 1}, {@code on}; falsy — {@code false}/{@code 0}/{@code off}; OnOff-
* правило 2 к моменту запуска уже привело on/off к true/false, но обе формы
* принимаются) либо {@code w:rStyle} ссылается на стиль с vanish — по
* цепочке {@code w:basedOn} (капа 16, цикл — обрыв; тот же приём, что
* {@code internal/doc/Styles}). Прямой vanish ранa перекрывает стилевой;
* вложенные раны ({@code w:rubyBase}/{@code w:rt}, текстовые боксы)
* оцениваются независимо, но ран внутри уже удалённого внешнего не
* вырезается повторно (диапазоны сливаются при сборке).
*
* <p>Ран с защищённым содержимым ({@code w:fldChar}, {@code w:instrText},
* {@code w:footnoteReference}, {@code w:endnoteReference}, {@code w:drawing},
* {@code w:pict}, {@code w:object}, {@code w:txbxContent}) не трогается:
* удаление спаренных {@code begin…separate…end} сломало бы корректное поле,
* а ссылки/объекты в скрытом ране — редкость, деградация «скрытое поле
* осталось» безопаснее битого документа.
*
* <p>Ссылка {@code w:br type="page"} внутри скрытого рана удаляется вместе с
* раном (в Word скрытое содержимое не набирается и не разрывает страницу);
* валидатор считает страницы по сырому входу, оценка остаётся верхней —
* лимиту это не вредит.
*
* <p>В конвейере подключается девятым рерайтом в {@link DocxRewritePipeline}
* (после NumberingSuffix, чинить порядок 1–8 незачем) с контекстом —
* множеством vanish-стилей из {@code word/styles.xml}; в
* {@code WordPdfConverter#normalizers} напрямую не вызывается, как и
* остальные rewrite-нормализаторы.
*
* <p>Регрессия — WordPdfConverterTest#hiddenText_notPrinted.
*/
public final class HiddenTextNormalizer {
/** Капа цепочки {@code w:basedOn} (образец — {@code doc.Styles.MAX_CHAIN}). */
private static final int MAX_CHAIN = 16;
/** Закрывающий слэш самозакрывающегося тега. */
private static final char SELF_CLOSE = '/';
/** Открывающий/закрывающий тег рана; {@code <w:rPr>}/{@code <w:rStyle>} и прочее не матчатся по границе имени. */
private static final Pattern RUN_TOKEN = Pattern.compile("<w:r(?=[ >/])|</w:r>");
/** Атрибут {@code w:val="..."} внутри тега. */
private static final Pattern VAL_ATTR = Pattern.compile("w:val=\"([^\"]*)\"");
/** Стилевой рана внутри rPr. */
private static final Pattern RSTYLE = Pattern.compile("<w:rStyle[^>]*w:val=\"([^\"]+)\"");
/** Открывающий {@code w:style} с capture'ом styleId. */
private static final Pattern STYLE_OPEN =
Pattern.compile("<w:style\\b[^>]*w:styleId=\"([^\"]*)\"[^>]*>");
/** Стиль-предок. */
private static final Pattern BASED_ON = Pattern.compile("<w:basedOn[^>]*w:val=\"([^\"]+)\"");
/** Содержимое, при котором ран не вырезается (парные поля, ссылки, объекты). */
private static final String[] PROTECTED = {
"<w:fldChar", "<w:instrText", "<w:footnoteReference", "<w:endnoteReference",
"<w:drawing", "<w:pict", "<w:object", "<w:txbxContent",
};
private HiddenTextNormalizer() {
}
/** Шаг конвейера WordPdfConverter#normalizers: этот нормализатор как DocxNormalizer. */
public static final DocxNormalizer STEP = HiddenTextNormalizer::normalize;
/**
* Вырезает скрытые раны (только прямой {@code w:vanish}) из XML-частей
* docx; {@code word/styles.xml}/{@code word/numbering.xml} пропускаются.
*
* @param docx байты .docx (zip)
* @return те же или переупакованные байты
*/
public static byte[] normalize(byte[] docx) throws IOException {
Set<String> vanishStyles = Set.of();
try (ZipFile zf = new ZipFile(new SeekableInMemoryByteChannel(docx))) {
ZipArchiveEntry styles = zf.getEntry("word/styles.xml");
if (styles != null) {
vanishStyles = vanishStyles(new String(
zf.getInputStream(styles).readAllBytes(), StandardCharsets.UTF_8));
}
} catch (IOException brokenCatalog) {
// не-zip/битый центральный каталог — снисходительно, как остальные
// нормализаторы (полную проверку входа делает WordPdfValidator)
vanishStyles = Set.of();
}
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false;
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
ZipOutputStream zos = new ZipOutputStream(out)) {
ZipEntry entry;
while ((entry = zis.getNextEntry()) != null) {
byte[] data = zis.readAllBytes();
String name = entry.getName();
if (name.startsWith("word/") && name.endsWith(".xml")) {
String fixed = rewritePart(name,
new String(data, StandardCharsets.UTF_8), vanishStyles);
if (fixed != null) {
changed = true;
data = fixed.getBytes(StandardCharsets.UTF_8);
}
}
zos.putNextEntry(new ZipEntry(name));
zos.write(data);
zos.closeEntry();
}
}
return changed ? out.toByteArray() : docx;
}
/**
* Рерайт с контекстом стилевой части: {@code word/styles.xml} и
* {@code word/numbering.xml} пропускаются (ранов там нет, а vanish в
* {@code styles.xml} — входные данные, не править их).
*
* @return новая строка либо null, если менять нечего
*/
static String rewritePart(String name, String xml, Set<String> vanishStyleIds) {
if ("word/styles.xml".equals(name) || "word/numbering.xml".equals(name)) {
return null;
}
return rewrite(vanishStyleIds, xml);
}
/** Рерайт только по прямому vanish (юнит-контракт). */
static String rewrite(String xml) {
return rewrite(Set.of(), xml);
}
/**
* Вырезает раны с truthy {@code w:vanish} (прямой или стилевой из
* {@code vanishStyleIds}).
*
* @return новая строка либо null, если менять нечего
*/
static String rewrite(Set<String> vanishStyleIds, String xml) {
Matcher m = RUN_TOKEN.matcher(xml);
List<Integer> starts = new ArrayList<>();
List<Boolean> closes = new ArrayList<>();
while (m.find()) {
starts.add(m.start());
closes.add(m.group().charAt(1) == '/');
}
if (starts.isEmpty()) {
return null;
}
Deque<int[]> stack = new ArrayDeque<>(); // [start, tagEnd, vanish(0/1)]
List<int[]> ranges = new ArrayList<>();
for (int t = 0; t < starts.size(); t++) {
int pos = starts.get(t);
if (closes.get(t)) {
int[] frame = stack.pollFirst();
if (frame == null) {
continue; // разбалансированный закрывающий — молча
}
if (frame[2] == 1 && !hasProtected(xml, frame[1], pos)) {
ranges.add(new int[] {frame[0], pos + "</w:r>".length()});
}
continue;
}
int tagEnd = xml.indexOf('>', pos + 4);
if (tagEnd < 0) {
return null; // битый XML — ничего не правим
}
if (xml.charAt(tagEnd - 1) == SELF_CLOSE) {
// пустой ран <w:r/> — вырезать нечего
continue;
}
int windowEnd = t + 1 < starts.size() ? starts.get(t + 1) : xml.length();
boolean vanish = runVanished(xml, tagEnd, windowEnd, vanishStyleIds);
stack.addFirst(new int[] {pos, tagEnd, vanish ? 1 : 0});
}
if (ranges.isEmpty()) {
return null;
}
ranges.sort(Comparator.comparingInt(r -> r[0]));
StringBuilder sb = new StringBuilder(xml.length());
int last = 0;
int coveredUntil = 0;
for (int[] r : ranges) {
if (r[0] < coveredUntil) {
continue; // вложенный ран уже удалён внешним диапазоном
}
sb.append(xml, last, r[0]);
last = r[1];
coveredUntil = r[1];
}
sb.append(xml, last, xml.length());
return sb.toString();
}
/**
* Множество {@code w:styleId} стилей с truthy vanish — своих или
* предка по {@code w:basedOn} (капа {@value #MAX_CHAIN}, цикл — обрыв).
* Битый/пустой вход → пустое множество (снисходительно, образец —
* {@code doc.Styles}).
*/
static Set<String> vanishStyles(String stylesXml) {
if (stylesXml == null || stylesXml.isEmpty()) {
return Set.of();
}
Map<String, String> parents = new HashMap<>();
Set<String> ownVanish = new HashSet<>();
Matcher sm = STYLE_OPEN.matcher(stylesXml);
List<String> ids = new ArrayList<>();
List<Integer> blockStarts = new ArrayList<>();
List<Integer> blockEnds = new ArrayList<>();
while (sm.find()) {
ids.add(sm.group(1));
blockStarts.add(sm.end());
blockEnds.add(-1);
}
for (int i = 0; i < ids.size(); i++) {
int blockStart = blockStarts.get(i);
int blockEnd = i + 1 < ids.size() ? startsOfStyleTag(stylesXml, blockStart) : -1;
if (blockEnd < 0) {
int close = stylesXml.indexOf("</w:styles>", blockStart);
blockEnd = close < 0 ? stylesXml.length() : close;
}
String block = stylesXml.substring(blockStart, blockEnd);
Matcher b = BASED_ON.matcher(block);
if (b.find()) {
parents.putIfAbsent(ids.get(i), b.group(1));
}
if (rprRegionAndVanished(stylesXml, blockStart, blockEnd)) {
ownVanish.add(ids.get(i));
}
}
Set<String> result = new HashSet<>();
for (String id : parents.keySet()) {
String cur = id;
int hops = 0;
Set<String> seen = new HashSet<>();
while (cur != null && hops++ < MAX_CHAIN && seen.add(cur)) {
if (ownVanish.contains(cur)) {
result.add(id);
break;
}
cur = parents.get(cur);
}
}
result.addAll(ownVanish);
return Set.copyOf(result);
}
/** Позиция следующего открывающего {@code <w:style}, или −1. */
private static int startsOfStyleTag(String xml, int from) {
Matcher m = Pattern.compile("<w:style\\b").matcher(xml);
return m.find(from) ? m.start() : -1;
}
/** Есть ли truthy vanish в собственном rPr блока [from, to). */
private static boolean rprRegionAndVanished(String xml, int from, int to) {
int rpr = findRprStart(xml, from, to);
if (rpr < 0) {
return false;
}
String region = rprRegion(xml, rpr, to);
return region != null && hasTruthyVanish(region);
}
/** Скрыт ли ран: truthy vanish в его собственном rPr или rStyle ∈ set. */
private static boolean runVanished(String xml, int windowStart, int windowEnd,
Set<String> vanishStyleIds) {
int rpr = findRprStart(xml, windowStart, windowEnd);
if (rpr < 0) {
return false;
}
String region = rprRegion(xml, rpr, windowEnd);
if (region == null) {
return false;
}
if (hasTruthyVanish(region)) {
return true;
}
if (!vanishStyleIds.isEmpty()) {
Matcher r = RSTYLE.matcher(region);
if (r.find() && vanishStyleIds.contains(r.group(1))) {
return true;
}
}
return false;
}
/** Начало собственного {@code <w:rPr>} в окне (граница имени обязательна). */
private static int findRprStart(String xml, int from, int to) {
int i = xml.indexOf("<w:rPr", from);
while (i >= 0 && i < to) {
char after = i + "<w:rPr".length() < to ? xml.charAt(i + "<w:rPr".length()) : ' ';
if (after == ' ' || after == '>' || after == '/' || after == '\t' || after == '\n') {
return i;
}
i = xml.indexOf("<w:rPr", i + 1);
}
return -1;
}
/**
* Тело собственного rPr: до парного {@code </w:rPr>} внутри окна либо
* самозакрывающийся {@code <w:rPr/>}; закрывающий тег потомка (за окном)
* не принимается — иначе в окно попал бы чужой vanish.
*/
private static String rprRegion(String xml, int rprStart, int windowEnd) {
int closing = xml.indexOf("</w:rPr>", rprStart);
if (closing >= 0 && closing < windowEnd) {
return xml.substring(rprStart, closing + "</w:rPr>".length());
}
int gt = xml.indexOf('>', rprStart);
if (gt >= 0 && gt < windowEnd && xml.charAt(gt - 1) == '/') {
return xml.substring(rprStart, gt + 1);
}
return null;
}
/** Есть ли в регионе truthy {@code w:vanish}. */
private static boolean hasTruthyVanish(String region) {
int i = region.indexOf("<w:vanish");
while (i >= 0) {
int after = i + "<w:vanish".length();
if (after < region.length()) {
char c = region.charAt(after);
if (c == ' ' || c == '>' || c == '/' || c == '\t' || c == '\n' || c == '\r') {
int end = region.indexOf('>', i);
String tag = end < 0 ? region.substring(i) : region.substring(i, end + 1);
Matcher v = VAL_ATTR.matcher(tag);
if (!v.find()) {
return true; // вал опущен — default true (Part 1 §17.3.2.30)
}
if (truthy(v.group(1))) {
return true;
}
}
}
i = region.indexOf("<w:vanish", i + 1);
}
return false;
}
/** truthy по Part 1 §17.18.69 ST_OnOff: false/0/off — выключено, прочее — включено. */
private static boolean truthy(String val) {
return !"false".equalsIgnoreCase(val) && !"0".equals(val) && !"off".equalsIgnoreCase(val);
}
/** Есть ли защищённый элемент в содержимом рана [from, to). */
private static boolean hasProtected(String xml, int from, int to) {
for (String p : PROTECTED) {
int i = xml.indexOf(p, from);
if (i >= 0 && i < to) {
return true;
}
}
return false;
}
}
@@ -0,0 +1,104 @@
package ru.pjandro.wordpdf.internal;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.regex.Pattern;
import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream;
/**
* Разбор руби-разметки ({@code w:rubyBase}/{@code w:rt}/{@code w:rubyPr},
* Part 1 §17.3.3.19/.20/.21) в байтах до загрузки docx4j.
*
* <p>Джинябиндованные схемы docx4j 17.3.2 {@code w:rubyBase}/{@code w:rt}
* в {@code w:r} <b>не содержат</b> (unmarshaller сообщает «unexpected
* element» и складывает содержимое в sidecar-DOM, невидимый XSLT), поэтому
* текст базы руби теряется ещё до стилиста — шаблон в XSLT тут бессилен
* (в отличие от {@code w:moveFrom}/{@code w:moveTo}/{@code w:bdo}/{@code w:dir},
* которые схема знает). Единственный слой починки — байтовый нормализатор.
*
* <p>Деградация принята: база ({@code w:rubyBase}/{@code w:rubyBaseText})
* разворачивается в обычные раны ранa — текст печатается; надстрочница
* ({@code w:rt}) и форматирование руби ({@code w:rubyPr}, {@code w:rubyAlign})
* удаляются вместе с содержимым — ruby-разметки в XSL-FO у FOP нет, а потеря
* текста хуже потери аннотации.
*
* <p>В конвейере подключается десятым рерайтом в {@link DocxRewritePipeline}
* (после Hidden; порядок 1–8 не перенумеровать); в
* {@code WordPdfConverter#normalizers} напрямую не вызывается, как и
* остальные rewrite-нормализаторы.
*
* <p>Регрессия — WordPdfConverterTest#rubyBase_textPrinted.
*/
public final class RubyNormalizer {
private RubyNormalizer() {
}
/** Блок {@code w:rt} (содержимое выбрасывается) — парный или самозакрывающийся. */
private static final Pattern RT_BLOCK =
Pattern.compile("<w:rt(?:\\s[^>]*)?(?:/>|>.*?</w:rt>)", Pattern.DOTALL);
/** Блок {@code w:rubyPr} (форматирование руби) — парный или самозакрывающийся. */
private static final Pattern RUBY_PR_BLOCK =
Pattern.compile("<w:rubyPr(?:\\s[^>]*)?(?:/>|>.*?</w:rubyPr>)", Pattern.DOTALL);
/** Одиночный {@code w:rubyPr}. */
private static final Pattern RUBY_ALIGN =
Pattern.compile("<w:rubyAlign(?:\\s[^>]*)?(?:/>|>\\s*</w:rubyAlign>)", Pattern.DOTALL);
private static final Pattern RUBY_BASE_OPEN =
Pattern.compile("<w:rubyBase(?:\\s[^>]*)?>");
private static final Pattern RUBY_BASE_TEXT_OPEN =
Pattern.compile("<w:rubyBaseText(?:\\s[^>]*)?>");
/**
* Рерайт одной XML-строки: разворачивает {@code w:rubyBase}/
* {@code w:rubyBaseText}, вырезает {@code w:rt}/{@code w:rubyPr}/
* {@code w:rubyAlign}. Руби-токенов нет / ничего не поменялось → {@code null}.
*/
static String rewrite(String xml) {
if (!xml.contains("<w:ruby") && !xml.contains("<w:rt")) {
return null;
}
String out = RT_BLOCK.matcher(xml).replaceAll("");
out = RUBY_PR_BLOCK.matcher(out).replaceAll("");
out = RUBY_ALIGN.matcher(out).replaceAll("");
out = RUBY_BASE_TEXT_OPEN.matcher(out).replaceAll("");
out = out.replace("</w:rubyBaseText>", "");
out = RUBY_BASE_OPEN.matcher(out).replaceAll("");
out = out.replace("</w:rubyBase>", "");
return out.equals(xml) ? null : out;
}
/**
* Индивидуальный контракт {@link DocxNormalizer} (тесты); в конвейере
* {@link DocxRewritePipeline} вызывает {@link #rewrite} в общем проходе.
*/
public static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false;
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
ZipOutputStream zos = new ZipOutputStream(out)) {
ZipEntry entry;
while ((entry = zis.getNextEntry()) != null) {
byte[] data = zis.readAllBytes();
String name = entry.getName();
if (name.startsWith("word/") && name.endsWith(".xml")) {
String fixed = rewrite(new String(data, StandardCharsets.UTF_8));
if (fixed != null) {
changed = true;
data = fixed.getBytes(StandardCharsets.UTF_8);
}
}
zos.putNextEntry(new ZipEntry(name));
zos.write(data);
zos.closeEntry();
}
}
return changed ? out.toByteArray() : docx;
}
}
@@ -1156,6 +1156,25 @@
<xsl:template match="m:oMath">
<xsl:copy-of select="java:org.docx4j.convert.out.fo.XsltFOFunctions.mathToFO($conversionContext, .)" />
</xsl:template>
<!-- AUDIT-FIX-2 start: штатный catch-all match="*" глотает w:moveFrom/w:moveTo
(§17.13.5.15/.17) и w:bdo/w:dir (§17.3.2.4/.7) — текст терялся безвозвратно.
Патч: перемещаемый текст печатается (plain-text passthrough, move-правки не
раскрашиваются: их «принятое» состояние и есть перемещённый текст);
bidi-направление — принятая деградация (complex-script в FOP-форке нет).
Руби (w:rubyBase/w:rt, §17.3.3.19/.20/.21) тут не чинится: схема docx4j
не биндит эти элементы, unmarshaller выбрасывает их до XSLT — разбор
делает RubyNormalizer (правило 10) в байтах.
Регрессии — WordPdfConverterTest#movedRevision_textPrinted, #bdoDir_textPrinted. -->
<xsl:template match="w:moveFrom">
<xsl:apply-templates select="*|text()"/>
</xsl:template>
<xsl:template match="w:moveTo">
<xsl:apply-templates select="*|text()"/>
</xsl:template>
<xsl:template match="w:bdo|w:dir">
<xsl:apply-templates select="*|text()"/>
</xsl:template>
<!-- AUDIT-FIX-2 end -->
<xsl:template match="*">
<xsl:copy-of
@@ -11,6 +11,7 @@ import org.apache.pdfbox.pdmodel.graphics.image.PDImageXObject;
import org.apache.pdfbox.pdmodel.interactive.action.PDActionURI;
import org.apache.pdfbox.pdmodel.interactive.annotation.PDAnnotation;
import org.apache.pdfbox.pdmodel.interactive.annotation.PDAnnotationLink;
import org.apache.pdfbox.rendering.PDFRenderer;
import org.apache.pdfbox.text.PDFTextStripper;
import org.apache.poi.poifs.filesystem.POIFSFileSystem;
import org.junit.jupiter.api.Test;
@@ -26,7 +27,9 @@ import java.nio.file.Files;
import java.nio.file.Path;
import java.util.ArrayList;
import java.util.HashSet;
import java.util.LinkedHashMap;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.TreeSet;
import java.util.zip.ZipEntry;
@@ -1050,10 +1053,12 @@ class WordPdfConverterTest {
/**
* Дрейф-гейт: вендорный xslt/docx2fo.xslt = копия
* org/docx4j/convert/out/fo/docx2fo.xslt из docx4j-export-fo +
* AUDIT-FIX-патч (w:rPr position). Возврат патч-региона к исходному
* вызову {@code createBlockForRPr} (взят из jar'а) обязан дать
* побайтовое равенство со стилистом jar'а — ловит и апгрейд docx4j,
* и случайную правку вендорной копии вне патча.
* AUDIT-FIX-патчи. Регион 1 (w:rPr position) возвращается к исходному
* вызову {@code createBlockForRPr} (взят из jar'а), регион 2
* (AUDIT-FIX-2 start…end — ruby/move/bdo-dir перед catch-all) вырезается
* целиком; после этого обязано быть побайтовое равенство со стилистом
* jar'а — ловит и апгрейд docx4j, и случайную правку вендорной копии
* вне патчей.
*/
@Test
void vendoredXsltTracksJarCopy() throws Exception {
@@ -1075,8 +1080,11 @@ class WordPdfConverterTest {
String restored = vendored.replaceFirst(
"(?s)[ \\t]*<!-- AUDIT-FIX position.*?\\t\\t\\t\\t \\t</xsl:choose>",
java.util.regex.Matcher.quoteReplacement(call.group()));
restored = restored.replaceFirst(
"(?sm)^[ ]*<!--[ \t]*AUDIT-FIX-2 start.*?<!--[ \t]*AUDIT-FIX-2 end -->[ \t]*\n",
"");
assertEquals(jar, restored, "вендорный xslt/docx2fo.xslt отличается от копии"
+ " docx4j-export-fo вне AUDIT-FIX-региона: перевендорить и перенести патч");
+ " docx4j-export-fo вне AUDIT-FIX-регионов: перевендорить и перенести патчи");
}
/** Правый край (X+ширина) самой правой глифы первой страницы. */
@@ -2202,4 +2210,379 @@ class WordPdfConverterTest {
return out;
}
// ==== Аудит .docx-путей по ECMA-376 (2026-11): фиксы vanish/ruby/move ====
// ==== и пиннинг работающих фич (сноски, поля, titlePg, vMerge, SDT, ====
// ==== текстовые боксы, OMML, highlight/shd) ====
private static final String W_NS =
"http://schemas.openxmlformats.org/wordprocessingml/2006/main";
private static final String REL_NS =
"http://schemas.openxmlformats.org/officeDocument/2006/relationships/";
private static final String XML_PROLOG =
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>";
private static final String A4_SECT =
"<w:sectPr><w:pgSz w:w=\"11906\" w:h=\"16838\"/></w:sectPr>";
/**
* Transitional-docx с произвольными namespace'ами {@code w:document},
* rels центрального документа, Override'ами content-types и доп. частями
* (каркас — {@link #minimalDocx}); {@code docRelsXml}/{@code typeOverrides}
* и {@code parts} — факультативно.
*/
private static byte[] docx(String docXmlns, String bodyXml, String sectPrXml,
String docRelsXml, String typeOverrides, Map<String, String> parts) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
putZip(zos, "[Content_Types].xml", XML_PROLOG
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
+ "<Override PartName=\"/word/document.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml\"/>"
+ (typeOverrides == null ? "" : typeOverrides)
+ "</Types>");
putZip(zos, "_rels/.rels", XML_PROLOG
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
+ "<Relationship Id=\"rId1\" Type=\"" + REL_NS + "officeDocument\" Target=\"word/document.xml\"/>"
+ "</Relationships>");
putZip(zos, "word/document.xml", XML_PROLOG
+ "<w:document " + docXmlns + "><w:body>" + bodyXml + sectPrXml
+ "</w:body></w:document>");
if (docRelsXml != null) {
putZip(zos, "word/_rels/document.xml.rels", docRelsXml);
}
if (parts != null) {
for (Map.Entry<String, String> e : parts.entrySet()) {
putZip(zos, e.getKey(), e.getValue());
}
}
}
return out.toByteArray();
}
/** Обёртка rels центрального документа. */
private static String rels(String... relXmls) {
return XML_PROLOG + "<Relationships xmlns=\""
+ "http://schemas.openxmlformats.org/package/2006/relationships\">"
+ String.join("", relXmls) + "</Relationships>";
}
/** Черный (ink) / желтый пиксели первой страницы при 150 dpi (замеры аудита). */
private static int countPixels(byte[] docx, boolean yellow) throws IOException {
byte[] pdf = WordPdfConverter.convert(docx, "тест");
try (PDDocument d = Loader.loadPDF(pdf)) {
java.awt.image.BufferedImage img = new PDFRenderer(d).renderImageWithDPI(0, 150);
int n = 0;
for (int y = 0; y < img.getHeight(); y++) {
for (int x = 0; x < img.getWidth(); x++) {
int rgb = img.getRGB(x, y);
int r = (rgb >> 16) & 0xFF;
int g = (rgb >> 8) & 0xFF;
int b = rgb & 0xFF;
boolean hit = yellow ? (r > 180 && g > 180 && b < 120)
: (r < 128 && g < 128 && b < 128);
if (hit) {
n++;
}
}
}
return n;
}
}
/**
* Скрытый текст не выводится: правило 9 (HiddenTextNormalizer) вырезает
* раны с прямым truthy vanish и с rStyle на vanish-стиль; falsy vanish
* остаётся. Word при печати/PDF-export скрытое не печатает.
* Регрессия — аудит ECMA-376 2026-11 (Part 1 §17.3.2.30).
*/
@Test
void hiddenText_notPrinted() throws IOException {
String body = "<w:p><w:r><w:t>ВИДИМОЕ</w:t></w:r>"
+ "<w:r><w:rPr><w:vanish/></w:rPr><w:t>СКРЫТОЕ</w:t></w:r>"
+ "<w:r><w:rPr><w:rStyle w:val=\"Hidden\"/></w:rPr><w:t>СКРЫТОЕСТИЛЬ</w:t></w:r>"
+ "<w:r><w:rPr><w:vanish w:val=\"false\"/></w:rPr><w:t>НЕТАЙНОЕ</w:t></w:r></w:p>";
String styles = XML_PROLOG + "<w:styles xmlns:w=\"" + W_NS + "\">"
+ "<w:style w:type=\"character\" w:styleId=\"Hidden\"><w:name w:val=\"Hidden\"/>"
+ "<w:rPr><w:vanish/></w:rPr></w:style></w:styles>";
byte[] doc = docx("xmlns:w=\"" + W_NS + "\"", body, A4_SECT,
rels("<Relationship Id=\"rId2\" Type=\"" + REL_NS + "styles\" Target=\"styles.xml\"/>"),
"<Override PartName=\"/word/styles.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.styles+xml\"/>",
Map.of("word/styles.xml", styles));
String t = norm(pdfText(convertPdf(doc, "тест")));
assertFalse(t.contains("СКРЫТОЕ"), t);
assertTrue(t.contains("ВИДИМОЕ"), t);
assertTrue(t.contains("НЕТАЙНОЕ"), t);
}
/**
* База руби печатается (правило 10, RubyNormalizer): схема docx4j не
* биндит {@code w:rubyBase}/{@code w:rt} — unmarshaller терял их до
* XSLT. Надстрочница удаляется (принятая деградация, §17.3.3.19/.20 —
* ruby-разметки в FOP нет) и пинится негативом.
*/
@Test
void rubyBase_textPrinted() throws IOException {
String body = "<w:p><w:r><w:t>ДО</w:t></w:r>"
+ "<w:r><w:rubyPr/><w:rubyBase><w:r><w:t>РУБИБАЗА</w:t></w:r></w:rubyBase>"
+ "<w:rt><w:r><w:t>РУБИБАШКА</w:t></w:r></w:rt></w:r>"
+ "<w:r><w:t>ПОСЛЕ</w:t></w:r></w:p>";
String t = norm(pdfText(convertPdf(minimalDocx(body), "тест")));
assertTrue(t.contains("РУБИБАЗА"), t);
assertFalse(t.contains("РУБИБАШКА"), t);
assertTrue(t.contains("ДО") && t.contains("ПОСЛЕ"), t);
}
/**
* {@code w:bdo}/{@code w:dir} (§17.3.2.4/.7): текст печатается
* (AUDIT-FIX-2 в вендорном XSLT, до патча ловил catch-all);
* bidi-направление — принятая деградация.
*/
@Test
void bdoDir_textPrinted() throws IOException {
String body = "<w:p><w:bdo val=\"rtl\"><w:r><w:t>БДООТЕКСТ</w:t></w:r></w:bdo>"
+ "<w:dir val=\"ltr\"><w:r><w:t>ДИРОТЕКСТ</w:t></w:r></w:dir></w:p>";
String t = norm(pdfText(convertPdf(minimalDocx(body), "тест")));
assertTrue(t.contains("БДООТЕКСТ"), t);
assertTrue(t.contains("ДИРОТЕКСТ"), t);
}
/**
* Текст перемещённых правок ({@code w:moveFrom}/{@code w:moveTo},
* §17.13.5.15/.17) печатается (AUDIT-FIX-2): до патча терялся целиком.
*/
@Test
void movedRevision_textPrinted() throws IOException {
String body = "<w:p><w:r><w:t>БЫЛО</w:t></w:r></w:p>"
+ "<w:p><w:moveFrom w:id=\"1\"><w:r><w:t>ПЕРЕМЕЩЕНООТСКАДА</w:t></w:r></w:moveFrom></w:p>"
+ "<w:p><w:moveTo w:id=\"1\"><w:r><w:t>ПЕРЕМЕЩЕНОКУДА</w:t></w:r></w:moveTo></w:p>";
String t = norm(pdfText(convertPdf(minimalDocx(body), "тест")));
assertTrue(t.contains("ПЕРЕМЕЩЕНООТСКАДА"), t);
assertTrue(t.contains("ПЕРЕМЕЩЕНОКУДА"), t);
}
/** Сноска (§17.11.10) с номером рисуется под текстом страницы. */
@Test
void footnote_rendersAtPageBottom() throws IOException {
String body = "<w:p><w:r><w:t>ТЕКСТСОСНОСКОЙ</w:t></w:r>"
+ "<w:r><w:footnoteReference w:id=\"2\"/></w:r></w:p>";
String footnotes = XML_PROLOG + "<w:footnotes xmlns:w=\"" + W_NS + "\">"
+ "<w:footnote w:type=\"separator\" w:id=\"-1\"><w:p>"
+ "<w:pPr><w:spacing w:after=\"0\" w:line=\"240\" w:lineRule=\"auto\"/></w:pPr>"
+ "<w:r><w:separator/></w:r></w:p></w:footnote>"
+ "<w:footnote w:type=\"continuationSeparator\" w:id=\"0\"><w:p>"
+ "<w:pPr><w:spacing w:after=\"0\" w:line=\"240\" w:lineRule=\"auto\"/></w:pPr>"
+ "<w:r><w:continuationSeparator/></w:r></w:p></w:footnote>"
+ "<w:footnote w:id=\"2\"><w:p><w:r><w:footnoteRef/>"
+ "<w:t xml:space=\"preserve\"> СНОСКАТЕКСТ</w:t></w:r></w:p></w:footnote>"
+ "</w:footnotes>";
byte[] doc = docx("xmlns:w=\"" + W_NS + "\"", body, A4_SECT,
rels("<Relationship Id=\"rId2\" Type=\"" + REL_NS + "footnotes\" Target=\"footnotes.xml\"/>"),
"<Override PartName=\"/word/footnotes.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.footnotes+xml\"/>",
Map.of("word/footnotes.xml", footnotes));
String t = norm(pdfText(convertPdf(doc, "тест")));
assertTrue(t.contains("ТЕКСТСОСНОСКОЙ"), t);
assertTrue(t.contains("СНОСКАТЕКСТ"), t);
}
/** Концевая сноска (§17.11.3) — после основного текста, с заголовком docx4j. */
@Test
void endnote_rendersAtDocumentEnd() throws IOException {
String body = "<w:p><w:r><w:t>ТЕКСТСКОНЕВОЙ</w:t></w:r>"
+ "<w:r><w:endnoteReference w:id=\"2\"/></w:r></w:p>";
String endnotes = XML_PROLOG + "<w:endnotes xmlns:w=\"" + W_NS + "\">"
+ "<w:endnote w:type=\"separator\" w:id=\"-1\"><w:p>"
+ "<w:pPr><w:spacing w:after=\"0\" w:line=\"240\" w:lineRule=\"auto\"/></w:pPr>"
+ "<w:r><w:separator/></w:r></w:p></w:endnote>"
+ "<w:endnote w:type=\"continuationSeparator\" w:id=\"0\"><w:p>"
+ "<w:pPr><w:spacing w:after=\"0\" w:line=\"240\" w:lineRule=\"auto\"/></w:pPr>"
+ "<w:r><w:continuationSeparator/></w:r></w:p></w:endnote>"
+ "<w:endnote w:id=\"2\"><w:p><w:r><w:endnoteRef/>"
+ "<w:t xml:space=\"preserve\"> КОНЕВКАТЕКСТ</w:t></w:r></w:p></w:endnote>"
+ "</w:endnotes>";
byte[] doc = docx("xmlns:w=\"" + W_NS + "\"", body, A4_SECT,
rels("<Relationship Id=\"rId2\" Type=\"" + REL_NS + "endnotes\" Target=\"endnotes.xml\"/>"),
"<Override PartName=\"/word/endnotes.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.endnotes+xml\"/>",
Map.of("word/endnotes.xml", endnotes));
String t = norm(pdfText(convertPdf(doc, "тест")));
assertTrue(t.contains("ТЕКСТСКОНЕВОЙ"), t);
assertTrue(t.contains("КОНЕВКАТЕКСТ"), t);
}
/** Внешняя гиперссылка (§17.12.23): текст + PDF-аннотация /URI. */
@Test
void docxHyperlink_uriAnnotation() throws IOException {
String body = "<w:p><w:r><w:t>ДО</w:t></w:r>"
+ "<w:hyperlink r:id=\"rId9\"><w:r><w:rPr><w:u w:val=\"single\"/></w:rPr>"
+ "<w:t>ССЫЛКАТЕКСТ</w:t></w:r></w:hyperlink></w:p>";
byte[] doc = docx("xmlns:w=\"" + W_NS + "\" xmlns:r=\"" + REL_NS.substring(0, REL_NS.length() - 1) + "\"",
body, A4_SECT,
rels("<Relationship Id=\"rId9\" Type=\"" + REL_NS + "hyperlink\""
+ " Target=\"https://example.com/anchor\" TargetMode=\"External\"/>"),
null, null);
Path pdf = convertPdf(doc, "тест");
assertTrue(norm(pdfText(pdf)).contains("ССЫЛКАТЕКСТ"));
assertTrue(linkUris(pdf).contains("https://example.com/anchor"), linkUris(pdf).toString());
}
/**
* Поля страниц живут: {@code PAGEREF} (complex и вложенный в результат
* {@code TOC}) подменяет кэш живым номером страницы закладки
* (зонд аудита: кэш «9001»/«7777» исчезает, номер актуален).
*/
@Test
void pageRefField_liveNotCached() throws IOException {
String body = "<w:p><w:r><w:t>РЕФC:</w:t></w:r>"
+ "<w:r><w:fldChar w:fldCharType=\"begin\"/></w:r>"
+ "<w:r><w:instrText xml:space=\"preserve\"> PAGEREF _T1 \\h </w:instrText></w:r>"
+ "<w:r><w:fldChar w:fldCharType=\"separate\"/></w:r>"
+ "<w:r><w:t>9001</w:t></w:r>"
+ "<w:r><w:fldChar w:fldCharType=\"end\"/></w:r></w:p>"
+ "<w:p><w:bookmarkStart w:id=\"1\" w:name=\"_T1\"/>"
+ "<w:bookmarkEnd w:id=\"1\"/>"
+ "<w:r><w:t>ЯКОРЬСТРАНИЦА</w:t></w:r></w:p>"
+ "<w:p><w:r><w:fldChar w:fldCharType=\"begin\"/></w:r>"
+ "<w:r><w:instrText xml:space=\"preserve\"> TOC \\o \"1-3\" </w:instrText></w:r>"
+ "<w:r><w:fldChar w:fldCharType=\"separate\"/></w:r></w:p>"
+ "<w:p><w:r><w:t>ГЛАВА</w:t></w:r>"
+ "<w:r><w:fldChar w:fldCharType=\"begin\"/></w:r>"
+ "<w:r><w:instrText xml:space=\"preserve\"> PAGEREF _T1 </w:instrText></w:r>"
+ "<w:r><w:fldChar w:fldCharType=\"separate\"/></w:r>"
+ "<w:r><w:t>7777</w:t></w:r>"
+ "<w:r><w:fldChar w:fldCharType=\"end\"/></w:r></w:p>"
+ "<w:p><w:r><w:fldChar w:fldCharType=\"end\"/></w:r></w:p>";
String t = norm(pdfText(convertPdf(minimalDocx(body), "тест")));
assertFalse(t.contains("9001"), t);
assertFalse(t.contains("7777"), t);
assertTrue(t.matches("(?s).*РЕФC: ?1.*"), t);
assertTrue(t.contains("ГЛАВА"), t);
}
/** Поле {@code DATE} пересчитывается: устаревший кэш из docx не выводится. */
@Test
void dateField_notStaleCache() throws IOException {
String body = "<w:p><w:r><w:t>ДАТА:</w:t></w:r>"
+ "<w:r><w:fldChar w:fldCharType=\"begin\"/></w:r>"
+ "<w:r><w:instrText xml:space=\"preserve\"> DATE \\@ \"dd.MM.yyyy\" "
+ "\\* MERGEFORMAT </w:instrText></w:r>"
+ "<w:r><w:fldChar w:fldCharType=\"separate\"/></w:r>"
+ "<w:r><w:t>01.02.2003</w:t></w:r>"
+ "<w:r><w:fldChar w:fldCharType=\"end\"/></w:r></w:p>";
String t = norm(pdfText(convertPdf(minimalDocx(body), "тест")));
assertFalse(t.contains("01.02.2003"), t);
assertTrue(t.matches("(?s).*ДАТА: ?\\d{2}\\.\\d{2}\\.\\d{4}.*"), t);
}
/**
* {@code titlePg} (§17.13.1.35): первая страница получает колонтитук
* {@code type="first"}, остальные — {@code default}.
*/
@Test
void titlePg_firstPageHeader() throws IOException {
String body = "<w:p><w:r><w:t>СТРАНИЦА1</w:t></w:r></w:p>"
+ "<w:p><w:r><w:br w:type=\"page\"/></w:r></w:p>"
+ "<w:p><w:r><w:t>СТРАНИЦА2</w:t></w:r></w:p>";
String sect = "<w:sectPr>"
+ "<w:headerReference w:type=\"first\" r:id=\"rId5\"/>"
+ "<w:headerReference w:type=\"default\" r:id=\"rId6\"/>"
+ "<w:pgSz w:w=\"11906\" w:h=\"16838\"/><w:titlePg/></w:sectPr>";
String hdr = "ШАПКА";
Map<String, String> parts = new LinkedHashMap<>();
parts.put("word/header1.xml", XML_PROLOG + "<w:hdr xmlns:w=\"" + W_NS + "\"><w:p><w:r><w:t>"
+ hdr + "ФИРСТ</w:t></w:r></w:p></w:hdr>");
parts.put("word/header2.xml", XML_PROLOG + "<w:hdr xmlns:w=\"" + W_NS + "\"><w:p><w:r><w:t>"
+ hdr + "ДЕФОЛТ</w:t></w:r></w:p></w:hdr>");
byte[] doc = docx("xmlns:w=\"" + W_NS + "\" xmlns:r=\"" + REL_NS.substring(0, REL_NS.length() - 1) + "\"",
body, sect,
rels("<Relationship Id=\"rId5\" Type=\"" + REL_NS + "header\" Target=\"header1.xml\"/>"
+ "<Relationship Id=\"rId6\" Type=\"" + REL_NS + "header\" Target=\"header2.xml\"/>"),
"<Override PartName=\"/word/header1.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.header+xml\"/>"
+ "<Override PartName=\"/word/header2.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.header+xml\"/>",
parts);
Path pdf = convertPdf(doc, "тест");
String p1 = norm(pdfPageText(pdf, 1));
String p2 = norm(pdfPageText(pdf, 2));
assertTrue(p1.contains("ШАПКАФИРСТ"), p1);
assertFalse(p1.contains("ШАПКАДЕФОЛТ"), p1);
assertTrue(p2.contains("ШАПКАДЕФОЛТ"), p2);
assertFalse(p2.contains("ШАПКАФИРСТ"), p2);
}
/** {@code vMerge} (§17.4.70): текст restarted-ячейки один раз, continue — пусто. */
@Test
void vMergeCell_spansRows() throws IOException {
String body = "<w:tbl><w:tblPr><w:tblW w:w=\"4800\" w:type=\"dxa\"/></w:tblPr>"
+ "<w:tblGrid><w:gridCol w:w=\"4800\"/></w:tblGrid>"
+ "<w:tr><w:tc><w:tcPr><w:tcW w:w=\"4800\" w:type=\"dxa\"/>"
+ "<w:vMerge w:val=\"restart\"/></w:tcPr>"
+ "<w:p><w:r><w:t>СЛИЯНОЯЧЕЙКА</w:t></w:r></w:p></w:tc></w:tr>"
+ "<w:tr><w:tc><w:tcPr><w:tcW w:w=\"4800\" w:type=\"dxa\"/><w:vMerge/></w:tcPr>"
+ "<w:p/></w:tc></w:tr></w:tbl>";
String t = norm(pdfText(convertPdf(minimalDocx(body), "тест")));
assertEquals(1, t.split("СЛИЯНОЯЧЕЙКА", -1).length - 1, t);
assertFalse(t.contains("#"), t);
}
/** Блочный {@code w:sdt} (§17.5.2): контент структурного тега рендерится. */
@Test
void sdtContent_rendered() throws IOException {
String body = "<w:sdt><w:sdtPr><w:alias w:val=\"Тег\"/></w:sdtPr><w:sdtContent>"
+ "<w:p><w:r><w:t>СДТКОНТЕНТ</w:t></w:r></w:p></w:sdtContent></w:sdt>";
String t = norm(pdfText(convertPdf(minimalDocx(body), "тест")));
assertTrue(t.contains("СДТКОНТЕНТ"), t);
}
/** DrawingML-текстовый бокс ({@code wps:txbx}, §17.3.3.23): текст в PDF. */
@Test
void drawingTextBox_textPrinted() throws IOException {
String body = "<w:p><w:r><w:drawing><wp:inline distT=\"0\" distB=\"0\" distL=\"0\" distR=\"0\">"
+ "<wp:extent cx=\"1000000\" cy=\"600000\"/><wp:docPr id=\"1\" name=\"b1\"/>"
+ "<a:graphic xmlns:a=\"http://schemas.openxmlformats.org/drawingml/2006/main\">"
+ "<a:graphicData uri=\"http://schemas.openxmlformats.org/drawingml/2006/wordprocessingShape\">"
+ "<wps:wsp xmlns:wps=\"http://schemas.microsoft.com/office/word/2010/wordprocessingShape\">"
+ "<wps:spPr><a:xfrm><a:off x=\"0\" y=\"0\"/>"
+ "<a:ext cx=\"1000000\" cy=\"600000\"/></a:xfrm>"
+ "<a:prstGeom prst=\"rect\"><a:avLst/></a:prstGeom></wps:spPr>"
+ "<wps:txbx><w:txbxContent><w:p><w:r><w:t>ТЕКСТБОКСА</w:t></w:r></w:p>"
+ "</w:txbxContent></wps:txbx></wps:wsp></a:graphicData></a:graphic></wp:inline>"
+ "</w:drawing></w:r></w:p>";
byte[] doc = docx("xmlns:w=\"" + W_NS + "\""
+ " xmlns:wp=\"http://schemas.openxmlformats.org/drawingml/2006/wordprocessingDrawing\"",
body, A4_SECT, null, null, null);
String t = norm(pdfText(convertPdf(doc, "тест")));
assertTrue(t.contains("ТЕКСТБОКСА"), t);
}
/**
* OMML-формула (§22.1) рисуется вектором (jeuclid-fop): чернила страницы
* с дробью a/b заметно плотнее чернил того же текста без формулы
* (замер аудита: +150 px при 150 dpi; текст формулы из PDF не извлекается).
*/
@Test
void ommlMath_drawnAsVectors() throws IOException {
String marker = "<w:p><w:r><w:t>МАТЕМАРКЕР</w:t></w:r></w:p>";
String math = marker + "<w:p><m:oMath"
+ " xmlns:m=\"http://schemas.openxmlformats.org/officeDocument/2006/math\">"
+ "<m:f><m:num><m:r><m:t>a</m:t></m:r></m:num>"
+ "<m:den><m:r><m:t>b</m:t></m:r></m:den></m:f></m:oMath></w:p>";
int plainPx = countPixels(minimalDocx(marker), false);
int mathPx = countPixels(minimalDocx(math), false);
assertTrue(mathPx - plainPx >= 100, "math=" + mathPx + " plain=" + plainPx);
}
/**
* {@code w:highlight} и run-{@code w:shd} (§17.3.2.16/.29) рисуют фон —
* вопреки прежней записи аудита о «фоном не обладающем fo:inline»
* (замер: 1130 жёлтых px@150dpi против 0 без фона).
*/
@Test
void highlightAndShading_backgroundDrawn() throws IOException {
String body = "<w:p><w:r><w:rPr><w:highlight w:val=\"yellow\"/></w:rPr>"
+ "<w:t>ХАЙЛАЙТЖЕЛТЫЙ</w:t></w:r></w:p>"
+ "<w:p><w:r><w:rPr><w:shd w:val=\"clear\" w:color=\"auto\" w:fill=\"FFFF00\"/></w:rPr>"
+ "<w:t>ЗАТЕНЕНИЕЖЕЛТОЕ</w:t></w:r></w:p>";
assertTrue(countPixels(minimalDocx(body), true) > 0);
assertEquals(0, countPixels(
minimalDocx("<w:p><w:r><w:t>ХАЙЛАЙТЖЕЛТЫЙ</w:t></w:r></w:p>"), true));
}
}
@@ -0,0 +1,228 @@
package ru.pjandro.wordpdf.internal;
import org.junit.jupiter.api.Test;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.LinkedHashMap;
import java.util.Map;
import java.util.Set;
import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertFalse;
import static org.junit.jupiter.api.Assertions.assertNotSame;
import static org.junit.jupiter.api.Assertions.assertNull;
import static org.junit.jupiter.api.Assertions.assertSame;
import static org.junit.jupiter.api.Assertions.assertTrue;
/**
* Юниты {@link HiddenTextNormalizer}: вырезание ранов с truthy
* {@code w:vanish} (прямой и стилевой по цепочке {@code w:basedOn},
* Part 1 §17.3.2.30 / §17.18.69).
*/
class HiddenTextNormalizerTest {
/** Параграф с произвольными ранами. */
private static String para(String runs) {
return "<?xml version=\"1.0\"?><w:document xmlns:w=\"http://schemas.openxmlformats.org"
+ "/wordprocessingml/2006/main\"><w:p>" + runs + "</w:p></w:document>";
}
/** Ран с опциональным rPr и текстом. */
private static String run(String rpr, String text) {
return "<w:r>" + (rpr == null || rpr.isEmpty() ? "" : "<w:rPr>" + rpr + "</w:rPr>")
+ "<w:t>" + text + "</w:t></w:r>";
}
/** Прямой truthy vanish — ран вырезан, видимый остался. */
@Test
void vanishRun_removed() {
String xml = para(run("<w:vanish/>", "СКРЫТОЕ") + run("", "ВИДИМОЕ"));
String fixed = HiddenTextNormalizer.rewrite(xml);
assertFalse(fixed.contains("СКРЫТОЕ"), fixed);
assertTrue(fixed.contains("ВИДИМОЕ"), fixed);
}
/** val="false" — ран остаётся (ST_OnOff §17.18.69). */
@Test
void vanishValFalse_kept() {
String xml = para(run("<w:vanish w:val=\"false\"/>", "НЕТАЙНОЕ"));
assertNull(HiddenTextNormalizer.rewrite(xml));
}
/** val="0" — тоже falsy. */
@Test
void vanishValZero_kept() {
String xml = para(run("<w:vanish w:val=\"0\"/>", "НЕТАЙНОЕ"));
assertNull(HiddenTextNormalizer.rewrite(xml));
}
/** on/off (форма до правила 2) — on скрыт, off оставлен. */
@Test
void vanishOnOff_formsAccepted() {
String xml = para(run("<w:vanish w:val=\"on\"/>", "СКРЫТОЕ")
+ run("<w:vanish w:val=\"off\"/>", "НЕТАЙНОЕ"));
String fixed = HiddenTextNormalizer.rewrite(xml);
assertFalse(fixed.contains("СКРЫТОЕ"), fixed);
assertTrue(fixed.contains("НЕТАЙНОЕ"), fixed);
}
/** rStyle на стиль из множества vanish — ран вырезан (2-arg хук). */
@Test
void vanishStyleViaRStyle_removed() {
String xml = para(run("<w:rStyle w:val=\"Hidden\"/>", "СКРЫТОЕСТИЛЬ")
+ run("", "ВИДИМОЕ"));
String fixed = HiddenTextNormalizer.rewrite(Set.of("Hidden"), xml);
assertFalse(fixed.contains("СКРЫТОЕСТИЛЬ"), fixed);
assertTrue(fixed.contains("ВИДИМОЕ"), fixed);
}
/** Стиль без vanish не участвует: один только rStyle не скрывает. */
@Test
void plainStyle_notRemovedWithoutContext() {
String xml = para(run("<w:rStyle w:val=\"Normal\"/>", "ТЕКСТ"));
assertNull(HiddenTextNormalizer.rewrite(xml));
}
/** Таблица стилей: vanish предка накрывает потомка по basedOn. */
@Test
void vanishStyleBasedOnChain_removed() {
String styles = "<w:styles><w:style w:type=\"character\" w:styleId=\"Base\">"
+ "<w:rPr><w:vanish/></w:rPr></w:style>"
+ "<w:style w:type=\"character\" w:styleId=\"Derived\">"
+ "<w:basedOn w:val=\"Base\"/></w:style></w:styles>";
Set<String> hidden = HiddenTextNormalizer.vanishStyles(styles);
assertTrue(hidden.contains("Base"), hidden.toString());
assertTrue(hidden.contains("Derived"), hidden.toString());
}
/** Цикл basedOn A→B→A — обрыв без зависания, vanish достижим. */
@Test
void vanishStyleCycleTerminates() {
String styles = "<w:styles><w:style w:type=\"character\" w:styleId=\"A\">"
+ "<w:basedOn w:val=\"B\"/></w:style>"
+ "<w:style w:type=\"character\" w:styleId=\"B\">"
+ "<w:basedOn w:val=\"A\"/></w:style></w:styles>";
assertTrue(HiddenTextNormalizer.vanishStyles(styles).isEmpty());
}
/** Битый/пустой STSH — пустое множество (снисходительно). */
@Test
void brokenStyles_emptySet() {
assertTrue(HiddenTextNormalizer.vanishStyles(null).isEmpty());
assertTrue(HiddenTextNormalizer.vanishStyles("<w:styles>").isEmpty());
}
/** Ран с fldChar не вырезается — не ломать спаренное поле. */
@Test
void protectedRun_fldCharKept() {
String xml = "<w:document><w:p><w:r><w:rPr><w:vanish/></w:rPr>"
+ "<w:fldChar w:fldCharType=\"begin\"/></w:r>"
+ "<w:r><w:instrText>PAGE</w:instrText></w:r>"
+ "<w:r><w:rPr><w:vanish/></w:rPr><w:fldChar w:fldCharType=\"end\"/></w:r>"
+ "</w:p></w:document>";
assertNull(HiddenTextNormalizer.rewrite(xml));
}
/** Ран с drawing не вырезается. */
@Test
void protectedRun_drawingKept() {
String xml = "<w:document><w:p><w:r><w:rPr><w:vanish/></w:rPr><w:drawing/></w:r></w:p>"
+ "</w:document>";
assertNull(HiddenTextNormalizer.rewrite(xml));
}
/** Внешний vanish-ран с вложенным раном выносится целиком. */
@Test
void nestedRun_innerWithoutVanish_outerRemoved() {
String xml = "<w:document><w:p><w:r><w:rPr><w:vanish/></w:rPr>"
+ "<w:rubyBase><w:r><w:t>РУБИБАЗА</w:t></w:r></w:rubyBase></w:r>"
+ "<w:r><w:t>ВИДИМОЕ</w:t></w:r></w:p></w:document>";
String fixed = HiddenTextNormalizer.rewrite(xml);
assertFalse(fixed.contains("РУБИБАЗА"), fixed);
assertTrue(fixed.contains("ВИДИМОЕ"), fixed);
}
/** Вложенный vanish-ран внутри нескрытого внешнего — выносится вложенный. */
@Test
void nestedRun_innerVanishOnly() {
String xml = "<w:document><w:p><w:r>"
+ "<w:rubyBase><w:r><w:rPr><w:vanish/></w:rPr><w:t>СКРЫТОЕ</w:t></w:r>"
+ "</w:rubyBase><w:t>ВИДИМОЕ</w:t></w:r></w:p></w:document>";
String fixed = HiddenTextNormalizer.rewrite(xml);
assertFalse(fixed.contains("СКРЫТОЕ"), fixed);
assertTrue(fixed.contains("ВИДИМОЕ"), fixed);
}
/** Нет vanish — null (контракт «нечего менять»). */
@Test
void noVanish_returnsNull() {
assertNull(HiddenTextNormalizer.rewrite(para(run("<w:b/>", "ТЕКСТ"))));
}
/** styles.xml/numbering.xml — name-guard: не переписываются. */
@Test
void styleAndNumberingParts_skipped() {
String xml = para(run("<w:vanish/>", "СКРЫТОЕ"));
assertNull(HiddenTextNormalizer.rewritePart("word/styles.xml", xml, Set.of()));
assertNull(HiddenTextNormalizer.rewritePart("word/numbering.xml", xml, Set.of()));
}
private static byte[] zip(Map<String, String> parts) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
for (Map.Entry<String, String> e : parts.entrySet()) {
zos.putNextEntry(new ZipEntry(e.getKey()));
zos.write(e.getValue().getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
}
}
return out.toByteArray();
}
private static Map<String, String> unzip(byte[] zip) throws IOException {
Map<String, String> out = new LinkedHashMap<>();
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(zip))) {
ZipEntry entry;
while ((entry = zis.getNextEntry()) != null) {
out.put(entry.getName(),
new String(zis.readAllBytes(), StandardCharsets.UTF_8));
}
}
return out;
}
/** normalize: vanish-ран вырезан из document.xml, styles.xml целая. */
@Test
void normalize_rewritesDocumentKeepsStyles() throws IOException {
Map<String, String> parts = new LinkedHashMap<>();
parts.put("[Content_Types].xml", "<Types/>");
parts.put("word/document.xml", para(run("<w:vanish/>", "СКРЫТОЕ")
+ run("<w:rStyle w:val=\"Hidden\"/>", "СКРЫТОЕСТИЛЬ") + run("", "ВИДИМОЕ")));
parts.put("word/styles.xml", "<w:styles><w:style w:type=\"character\" w:styleId=\"Hidden\">"
+ "<w:rPr><w:vanish/></w:rPr></w:style></w:styles>");
byte[] src = zip(parts);
byte[] fixed = HiddenTextNormalizer.normalize(src);
assertNotSame(src, fixed);
Map<String, String> got = unzip(fixed);
assertEquals("<Types/>", got.get("[Content_Types].xml"));
assertTrue(got.get("word/styles.xml").contains("<w:vanish/>"), "стили не правим");
String doc = got.get("word/document.xml");
assertFalse(doc.contains("СКРЫТОЕ"), doc);
assertTrue(doc.contains("ВИДИМОЕ"), doc);
}
/** normalize: нечего менять → тот же массив. */
@Test
void normalize_noChange_returnsSameArray() throws IOException {
byte[] src = zip(Map.of(
"[Content_Types].xml", "<Types/>",
"word/document.xml", para(run("", "ТЕКСТ"))));
assertSame(src, HiddenTextNormalizer.normalize(src));
}
}
@@ -0,0 +1,128 @@
package ru.pjandro.wordpdf.internal;
import org.junit.jupiter.api.Test;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertFalse;
import static org.junit.jupiter.api.Assertions.assertNull;
import static org.junit.jupiter.api.Assertions.assertSame;
import static org.junit.jupiter.api.Assertions.assertTrue;
/**
* Юниты правила 10: разворот {@code w:rubyBase}/{@code w:rubyBaseText},
* вырезание {@code w:rt}/{@code w:rubyPr}/{@code w:rubyAlign}
* (Part 1 §17.3.3.18/.19/.20/.21).
*/
class RubyNormalizerTest {
@Test
void rubyBase_unwrapped() {
String xml = "<w:r><w:rubyBase><w:r><w:t>БАЗА</w:t></w:r></w:rubyBase></w:r>";
assertEquals("<w:r><w:r><w:t>БАЗА</w:t></w:r></w:r>", RubyNormalizer.rewrite(xml));
}
@Test
void rubyBaseWithAttrs_unwrapped() {
String xml = "<w:rubyBase w:some=\"1\"><w:r><w:t>Б</w:t></w:r></w:rubyBase>";
assertEquals("<w:r><w:t>Б</w:t></w:r>", RubyNormalizer.rewrite(xml));
}
@Test
void rubyBaseText_unwrapped() {
String xml = "<w:rubyBase><w:rubyBaseText><w:r><w:t>Т</w:t></w:r></w:rubyBaseText>"
+ "</w:rubyBase>";
assertEquals("<w:r><w:t>Т</w:t></w:r>", RubyNormalizer.rewrite(xml));
}
@Test
void rtBlock_removed() {
String xml = "<w:r><w:rt><w:r><w:t>АННОТАЦИЯ</w:t></w:r></w:rt><w:t>ОСТАЛСЯ</w:t></w:r>";
String out = RubyNormalizer.rewrite(xml);
assertEquals("<w:r><w:t>ОСТАЛСЯ</w:t></w:r>", out);
}
@Test
void rtSelfClosing_removed() {
String xml = "А<w:rt/>Б";
assertEquals("АБ", RubyNormalizer.rewrite(xml));
}
@Test
void rubyPrSelfClosing_removed() {
String xml = "<w:r><w:rubyPr/><w:rubyBase><w:r><w:t>Б</w:t></w:r></w:rubyBase></w:r>";
assertEquals("<w:r><w:r><w:t>Б</w:t></w:r></w:r>", RubyNormalizer.rewrite(xml));
}
@Test
void rubyPrPairedWithChildren_removed() {
String xml = "<w:rubyPr><w:rubyAlign w:val=\"center\"/><w:rubyPosZ w:val=\"1\"/></w:rubyPr>";
assertEquals("", RubyNormalizer.rewrite(xml));
}
@Test
void loneRubyAlign_removed() {
String xml = "А<w:rubyAlign w:val=\"left\"/>Б";
assertEquals("АБ", RubyNormalizer.rewrite(xml));
}
@Test
void noRuby_returnsNull() {
String xml = "<w:r><w:rPr><w:b/></w:rPr><w:t>ТЕКСТ</w:t></w:r>";
assertNull(RubyNormalizer.rewrite(xml));
}
@Test
void rubyRunWithVanish_marks() {
String xml = "<w:r><w:rPr><w:vanish/></w:rPr><w:rubyBase><w:r><w:t>Б</w:t></w:r>"
+ "</w:rubyBase></w:r>";
assertTrue(RubyNormalizer.rewrite(xml).startsWith("<w:r><w:rPr><w:vanish/></w:rPr><w:r>"));
}
@Test
void unchanged_returnsOriginalArray() throws IOException {
byte[] doc = docx("word/document.xml",
"<w:document><w:body><w:r><w:t>ТЕКСТ</w:t></w:r></w:body></w:document>");
assertSame(doc, RubyNormalizer.normalize(doc));
}
@Test
void rubyRewritten_viaNormalize() throws IOException {
byte[] doc = docx("word/document.xml",
"<w:document><w:body><w:rubyBase><w:r><w:t>Б</w:t></w:r></w:rubyBase>"
+ "<w:rt><w:r><w:t>А</w:t></w:r></w:rt></w:body></w:document>");
byte[] out = RubyNormalizer.normalize(doc);
String xml = entry(out, "word/document.xml");
assertTrue(xml.contains("<w:r><w:t>Б</w:t></w:r>"), xml);
assertFalse(xml.contains("w:rt"), xml);
}
private static byte[] docx(String name, String xml) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
zos.putNextEntry(new ZipEntry(name));
zos.write(xml.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
}
return out.toByteArray();
}
private static String entry(byte[] zip, String name) throws IOException {
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(zip))) {
ZipEntry e;
while ((e = zis.getNextEntry()) != null) {
if (e.getName().equals(name)) {
return new String(zis.readAllBytes(), StandardCharsets.UTF_8);
}
}
}
throw new AssertionError("no entry " + name);
}
}