Удаление невидимых символов из w:t: FOP больше не рисует пустые строки и боксы
PR checks / web (pull_request) Successful in 39s
PR checks / java (pull_request) Successful in 58s
Main: tests, deploy, autotests / web (push) Successful in 41s
Main: tests, deploy, autotests / java (push) Successful in 53s
Main: tests, deploy, autotests / images-web (push) Successful in 32s
Main: tests, deploy, autotests / images-app (push) Successful in 3m50s
Main: tests, deploy, autotests / deploy (push) Successful in 1m31s
Main: tests, deploy, autotests / autotests (push) Successful in 49s
Main: tests, deploy, autotests / rollback (push) Has been skipped
PR checks / web (pull_request) Successful in 39s
PR checks / java (pull_request) Successful in 58s
Main: tests, deploy, autotests / web (push) Successful in 41s
Main: tests, deploy, autotests / java (push) Successful in 53s
Main: tests, deploy, autotests / images-web (push) Successful in 32s
Main: tests, deploy, autotests / images-app (push) Successful in 3m50s
Main: tests, deploy, autotests / deploy (push) Successful in 1m31s
Main: tests, deploy, autotests / autotests (push) Successful in 49s
Main: tests, deploy, autotests / rollback (push) Has been skipped
This commit was merged in pull request #38.
This commit is contained in:
@@ -14,6 +14,7 @@ import ru.pjandro.wordpdf.internal.chart.DrawingPreRenderer;
|
||||
import ru.pjandro.wordpdf.internal.DocxOnOffNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.FieldNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.GlyphCoverageNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.InvisibleCharNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.OleObjectNormalizer;
|
||||
import ru.pjandro.wordpdf.internal.FopFallbackFonts;
|
||||
import ru.pjandro.wordpdf.internal.StrictOoxmlNormalizer;
|
||||
@@ -141,6 +142,11 @@ public final class WordPdfConverter {
|
||||
// ...и поля PAGE/NUMPAGES из fldChar делаем w:fldSimple, иначе
|
||||
// в колонтитулах печатается кэш docx (см. FieldNormalizer).
|
||||
docxBytes = FieldNormalizer.normalize(docxBytes);
|
||||
// ...и невидимые символы (U+0085/U+2028/U+2029, U+2060/U+FEFF,
|
||||
// bidi-метки): FOP превращает первые три в принудительные переносы
|
||||
// — пустые строки, а Arimo/Tinos рисуют для них видимые боксы;
|
||||
// в Word они невидимы (см. InvisibleCharNormalizer).
|
||||
docxBytes = InvisibleCharNormalizer.normalize(docxBytes);
|
||||
// ...и раны со знаками, которых нет в их шрифте: без этого
|
||||
// FOP рисует «#» (docx4j проверяет покрытие не для всех знаков
|
||||
// и кэширует фолбэк на группу Юникода, см. GlyphCoverageNormalizer).
|
||||
|
||||
@@ -0,0 +1,154 @@
|
||||
package ru.pjandro.wordpdf.internal;
|
||||
|
||||
import java.io.ByteArrayInputStream;
|
||||
import java.io.ByteArrayOutputStream;
|
||||
import java.io.IOException;
|
||||
import java.nio.charset.StandardCharsets;
|
||||
import java.util.regex.Matcher;
|
||||
import java.util.regex.Pattern;
|
||||
import java.util.zip.ZipEntry;
|
||||
import java.util.zip.ZipInputStream;
|
||||
import java.util.zip.ZipOutputStream;
|
||||
|
||||
/**
|
||||
* Вырезание невидимых символов из текста {@code w:t} — до загрузки docx4j.
|
||||
*
|
||||
* В Word эти знаки невидимы и вёрстку не меняют, а в нашем PDF они портят
|
||||
* layout двумя способами:
|
||||
* <ul>
|
||||
* <li>FOP считает U+0085/U+2028/U+2029 «явными переносами»
|
||||
* ({@code CharUtilities.isExplicitBreak} → {@code processLinebreak}
|
||||
* в {@code TextLayoutManager}) — в PDF появляются пустые строки;
|
||||
* U+0085 не покрыт ни одним шрифтом бандла, поэтому уходит в перенос
|
||||
* всегда;</li>
|
||||
* <li>Arimo/Tinos содержат для U+2028/U+2029/U+2060/U+FEFF/U+202A–U+202E
|
||||
* видимые глифы-боксы (cmap → ненулевой GID), поэтому
|
||||
* {@link GlyphCoverageNormalizer} считает их «покрытыми» и не уводит
|
||||
* в невидимый DejaVu — FOP рисует «тофу» прямо в тексте.</li>
|
||||
* </ul>
|
||||
*
|
||||
* Zero-width знаки, значимые для shaping и переносов (U+00A0, U+00AD,
|
||||
* U+200B, U+200C, U+200D), НЕ трогаем: во всех шрифтах бандла они
|
||||
* нулевой ширины и пустых строк не создают.
|
||||
*
|
||||
* Правим байты zip до JAXB-разбора, как остальные нормализаторы; запускается
|
||||
* до {@link GlyphCoverageNormalizer}, чтобы тот не искал шрифт для уже
|
||||
* удалённых знаков.
|
||||
*
|
||||
* Регрессия — WordPdfConverterTest#invisibleChars_noEmptyLines,
|
||||
* WordPdfConverterTest#invisibleChars_arimoBoxesNotDrawn.
|
||||
*/
|
||||
public final class InvisibleCharNormalizer {
|
||||
|
||||
/**
|
||||
* Коды на вырезание: явные переносы FOP (U+0085, U+2028, U+2029),
|
||||
* невидимые в Word форматирующие нулевые (U+2060, U+FEFF) и bidi-метки
|
||||
* (U+200E, U+200F, U+202A–U+202E), которые Arimo/Tinos рисуют боксами.
|
||||
*/
|
||||
private static final int[] INVISIBLE = {
|
||||
0x0085, 0x2028, 0x2029, 0x200E, 0x200F,
|
||||
0x202A, 0x202B, 0x202C, 0x202D, 0x202E,
|
||||
0x2060, 0xFEFF,
|
||||
};
|
||||
|
||||
/** {@code <w:t ...>текст</w:t>} — правим только тело. */
|
||||
private static final Pattern TEXT_ELEMENT = Pattern.compile(
|
||||
"<w:t\\b([^>]*)>(.*?)</w:t>", Pattern.DOTALL);
|
||||
|
||||
/** Десятичные числовые сущности набора (
). */
|
||||
private static final Pattern ENTITY_DEC;
|
||||
|
||||
/** Шестнадцатеричные числовые сущности набора (
). */
|
||||
private static final Pattern ENTITY_HEX;
|
||||
|
||||
/** Литеральные коды набора. */
|
||||
private static final Pattern LITERAL;
|
||||
|
||||
static {
|
||||
StringBuilder dec = new StringBuilder("&#(");
|
||||
StringBuilder hex = new StringBuilder("&#x(");
|
||||
StringBuilder lit = new StringBuilder("[");
|
||||
for (int i = 0; i < INVISIBLE.length; i++) {
|
||||
if (i > 0) {
|
||||
dec.append('|');
|
||||
hex.append('|');
|
||||
}
|
||||
dec.append(INVISIBLE[i]);
|
||||
hex.append(Integer.toHexString(INVISIBLE[i]));
|
||||
lit.append(String.format("\\u%04X", INVISIBLE[i]));
|
||||
}
|
||||
ENTITY_DEC = Pattern.compile(dec.append(");").toString());
|
||||
ENTITY_HEX = Pattern.compile(hex.append(");").toString(),
|
||||
Pattern.CASE_INSENSITIVE);
|
||||
LITERAL = Pattern.compile(lit.append("]").toString());
|
||||
}
|
||||
|
||||
private InvisibleCharNormalizer() {
|
||||
}
|
||||
|
||||
/**
|
||||
* Вырезает невидимые символы из текстовых узлов XML-частей docx
|
||||
* (word/*.xml).
|
||||
*
|
||||
* @param docx байты .docx (zip)
|
||||
* @return те же или переупакованные байты
|
||||
*/
|
||||
public static byte[] normalize(byte[] docx) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream(docx.length);
|
||||
boolean changed = false;
|
||||
try (ZipInputStream zis = new ZipInputStream(new ByteArrayInputStream(docx));
|
||||
ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
ZipEntry entry;
|
||||
while ((entry = zis.getNextEntry()) != null) {
|
||||
byte[] data = zis.readAllBytes();
|
||||
String name = entry.getName();
|
||||
if (name.startsWith("word/") && name.endsWith(".xml")) {
|
||||
String fixed = rewrite(new String(data, StandardCharsets.UTF_8));
|
||||
if (fixed != null) {
|
||||
changed = true;
|
||||
data = fixed.getBytes(StandardCharsets.UTF_8);
|
||||
}
|
||||
}
|
||||
zos.putNextEntry(new ZipEntry(name));
|
||||
zos.write(data);
|
||||
zos.closeEntry();
|
||||
}
|
||||
}
|
||||
return changed ? out.toByteArray() : docx;
|
||||
}
|
||||
|
||||
/**
|
||||
* Вырезает набор из тел {@code w:t}: сначала числовые сущности, потом
|
||||
* литеральные коды. Теги и атрибуты не трогаем.
|
||||
*
|
||||
* @return новая строка либо null, если менять нечего
|
||||
*/
|
||||
static String rewrite(String xml) {
|
||||
Matcher m = TEXT_ELEMENT.matcher(xml);
|
||||
StringBuilder sb = null;
|
||||
int last = 0;
|
||||
while (m.find()) {
|
||||
String body = m.group(2);
|
||||
String cleaned = clean(body);
|
||||
if (!cleaned.equals(body)) {
|
||||
if (sb == null) {
|
||||
sb = new StringBuilder(xml.length());
|
||||
}
|
||||
sb.append(xml, last, m.start(2)).append(cleaned);
|
||||
last = m.end(2);
|
||||
}
|
||||
}
|
||||
if (sb == null) {
|
||||
return null;
|
||||
}
|
||||
sb.append(xml, last, xml.length());
|
||||
return sb.toString();
|
||||
}
|
||||
|
||||
/** Очистка одного текстового узла от сущностей и литералов набора. */
|
||||
private static String clean(String body) {
|
||||
String s = ENTITY_DEC.matcher(body).replaceAll("");
|
||||
s = ENTITY_HEX.matcher(s).replaceAll("");
|
||||
return LITERAL.matcher(s).replaceAll("");
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user