Удаление невидимых символов из w:t: FOP больше не рисует пустые строки и боксы
PR checks / web (pull_request) Successful in 39s
PR checks / java (pull_request) Successful in 58s
Main: tests, deploy, autotests / web (push) Successful in 41s
Main: tests, deploy, autotests / java (push) Successful in 53s
Main: tests, deploy, autotests / images-web (push) Successful in 32s
Main: tests, deploy, autotests / images-app (push) Successful in 3m50s
Main: tests, deploy, autotests / deploy (push) Successful in 1m31s
Main: tests, deploy, autotests / autotests (push) Successful in 49s
Main: tests, deploy, autotests / rollback (push) Has been skipped

This commit was merged in pull request #38.
This commit is contained in:
Pjandro
2026-10-25 00:01:17 +00:00
parent 086199f734
commit e356c36e45
4 changed files with 428 additions and 0 deletions
@@ -14,6 +14,7 @@ import ru.pjandro.wordpdf.internal.chart.DrawingPreRenderer;
import ru.pjandro.wordpdf.internal.DocxOnOffNormalizer;
import ru.pjandro.wordpdf.internal.FieldNormalizer;
import ru.pjandro.wordpdf.internal.GlyphCoverageNormalizer;
import ru.pjandro.wordpdf.internal.InvisibleCharNormalizer;
import ru.pjandro.wordpdf.internal.OleObjectNormalizer;
import ru.pjandro.wordpdf.internal.FopFallbackFonts;
import ru.pjandro.wordpdf.internal.StrictOoxmlNormalizer;
@@ -141,6 +142,11 @@ public final class WordPdfConverter {
// ...и поля PAGE/NUMPAGES из fldChar делаем w:fldSimple, иначе
// в колонтитулах печатается кэш docx (см. FieldNormalizer).
docxBytes = FieldNormalizer.normalize(docxBytes);
// ...и невидимые символы (U+0085/U+2028/U+2029, U+2060/U+FEFF,
// bidi-метки): FOP превращает первые три в принудительные переносы
// — пустые строки, а Arimo/Tinos рисуют для них видимые боксы;
// в Word они невидимы (см. InvisibleCharNormalizer).
docxBytes = InvisibleCharNormalizer.normalize(docxBytes);
// ...и раны со знаками, которых нет в их шрифте: без этого
// FOP рисует «#» (docx4j проверяет покрытие не для всех знаков
// и кэширует фолбэк на группу Юникода, см. GlyphCoverageNormalizer).
@@ -0,0 +1,154 @@
package ru.pjandro.wordpdf.internal;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream;
/**
* Вырезание невидимых символов из текста {@code w:t} — до загрузки docx4j.
*
* В Word эти знаки невидимы и вёрстку не меняют, а в нашем PDF они портят
* layout двумя способами:
* <ul>
* <li>FOP считает U+0085/U+2028/U+2029 «явными переносами»
* ({@code CharUtilities.isExplicitBreak} → {@code processLinebreak}
* в {@code TextLayoutManager}) — в PDF появляются пустые строки;
* U+0085 не покрыт ни одним шрифтом бандла, поэтому уходит в перенос
* всегда;</li>
* <li>Arimo/Tinos содержат для U+2028/U+2029/U+2060/U+FEFF/U+202A–U+202E
* видимые глифы-боксы (cmap → ненулевой GID), поэтому
* {@link GlyphCoverageNormalizer} считает их «покрытыми» и не уводит
* в невидимый DejaVu — FOP рисует «тофу» прямо в тексте.</li>
* </ul>
*
* Zero-width знаки, значимые для shaping и переносов (U+00A0, U+00AD,
* U+200B, U+200C, U+200D), НЕ трогаем: во всех шрифтах бандла они
* нулевой ширины и пустых строк не создают.
*
* Правим байты zip до JAXB-разбора, как остальные нормализаторы; запускается
* до {@link GlyphCoverageNormalizer}, чтобы тот не искал шрифт для уже
* удалённых знаков.
*
* Регрессия — WordPdfConverterTest#invisibleChars_noEmptyLines,
* WordPdfConverterTest#invisibleChars_arimoBoxesNotDrawn.
*/
public final class InvisibleCharNormalizer {
/**
* Коды на вырезание: явные переносы FOP (U+0085, U+2028, U+2029),
* невидимые в Word форматирующие нулевые (U+2060, U+FEFF) и bidi-метки
* (U+200E, U+200F, U+202A–U+202E), которые Arimo/Tinos рисуют боксами.
*/
private static final int[] INVISIBLE = {
0x0085, 0x2028, 0x2029, 0x200E, 0x200F,
0x202A, 0x202B, 0x202C, 0x202D, 0x202E,
0x2060, 0xFEFF,
};
/** {@code <w:t ...>текст</w:t>} — правим только тело. */
private static final Pattern TEXT_ELEMENT = Pattern.compile(
"<w:t\\b([^>]*)>(.*?)</w:t>", Pattern.DOTALL);
/** Десятичные числовые сущности набора (&#8232;). */
private static final Pattern ENTITY_DEC;
/** Шестнадцатеричные числовые сущности набора (&#x2028;). */
private static final Pattern ENTITY_HEX;
/** Литеральные коды набора. */
private static final Pattern LITERAL;
static {
StringBuilder dec = new StringBuilder("&#(");
StringBuilder hex = new StringBuilder("&#x(");
StringBuilder lit = new StringBuilder("[");
for (int i = 0; i < INVISIBLE.length; i++) {
if (i > 0) {
dec.append('|');
hex.append('|');
}
dec.append(INVISIBLE[i]);
hex.append(Integer.toHexString(INVISIBLE[i]));
lit.append(String.format("\\u%04X", INVISIBLE[i]));
}
ENTITY_DEC = Pattern.compile(dec.append(");").toString());
ENTITY_HEX = Pattern.compile(hex.append(");").toString(),
Pattern.CASE_INSENSITIVE);
LITERAL = Pattern.compile(lit.append("]").toString());
}
private InvisibleCharNormalizer() {
}
/**
* Вырезает невидимые символы из текстовых узлов XML-частей docx
* (word/*.xml).
*
* @param docx байты .docx (zip)
* @return те же или переупакованные байты
*/
public static byte[] normalize(byte[] docx) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
boolean changed = false;
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
ZipOutputStream zos = new ZipOutputStream(out)) {
ZipEntry entry;
while ((entry = zis.getNextEntry()) != null) {
byte[] data = zis.readAllBytes();
String name = entry.getName();
if (name.startsWith("word/") && name.endsWith(".xml")) {
String fixed = rewrite(new String(data, StandardCharsets.UTF_8));
if (fixed != null) {
changed = true;
data = fixed.getBytes(StandardCharsets.UTF_8);
}
}
zos.putNextEntry(new ZipEntry(name));
zos.write(data);
zos.closeEntry();
}
}
return changed ? out.toByteArray() : docx;
}
/**
* Вырезает набор из тел {@code w:t}: сначала числовые сущности, потом
* литеральные коды. Теги и атрибуты не трогаем.
*
* @return новая строка либо null, если менять нечего
*/
static String rewrite(String xml) {
Matcher m = TEXT_ELEMENT.matcher(xml);
StringBuilder sb = null;
int last = 0;
while (m.find()) {
String body = m.group(2);
String cleaned = clean(body);
if (!cleaned.equals(body)) {
if (sb == null) {
sb = new StringBuilder(xml.length());
}
sb.append(xml, last, m.start(2)).append(cleaned);
last = m.end(2);
}
}
if (sb == null) {
return null;
}
sb.append(xml, last, xml.length());
return sb.toString();
}
/** Очистка одного текстового узла от сущностей и литералов набора. */
private static String clean(String body) {
String s = ENTITY_DEC.matcher(body).replaceAll("");
s = ENTITY_HEX.matcher(s).replaceAll("");
return LITERAL.matcher(s).replaceAll("");
}
}