Символьные шрифты: Symbol/Wingdings -> Unicode (маркеры списков вместо «#»)

Word задаёт маркеры списков кодами из PUA (U+F0xx), а глиф выбирается по
имени шрифта. Экспорт docx4j в XSL-FO эти шрифты не знает: код уходит в
fallback-семейство, глифа там нет, FOP рисует .notdef — в PDF решётка «#».

SymbolFontNormalizer (шаг перед JAXB, как DocxOnOffNormalizer) меняет код
на Unicode, а имя шрифта — на DejaVu Sans. Таблица кодов — SymbolMapper из
docx4j 17.x, отфильтрована по наличию глифа в DejaVu; совпадение с экспортом
Word сверено по references/word.pdf. Обрабатываются w:lvl (numbering.xml),
w:r и w:sym — ран с w:sym разрезается, т.к. у символа собственный w:font.

В эталонном документе пропали все 19 решёток в маркированных списках
(− • ▪ ❖ ➢ ✓ ♥) и поправились два w:sym.
This commit is contained in:
Pjandro
2026-10-05 21:10:36 +00:00
parent 87c79d6776
commit 660bc19da7
7 changed files with 708 additions and 4 deletions
@@ -6,7 +6,15 @@ import org.apache.poi.xwpf.usermodel.XWPFParagraph;
import org.apache.poi.xwpf.usermodel.XWPFRun;
import org.apache.poi.xwpf.usermodel.XWPFTable;
import org.apache.poi.xwpf.usermodel.XWPFTableCell;
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTAbstractNum;
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTFonts;
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTLvl;
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTNumPr;
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTPPr;
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTSym;
import org.openxmlformats.schemas.wordprocessingml.x2006.main.STNumberFormat;
import org.apache.poi.xwpf.usermodel.XWPFAbstractNum;
import org.apache.poi.xwpf.usermodel.XWPFNumbering;
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTR;
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTRPr;
@@ -17,6 +25,7 @@ import java.awt.image.BufferedImage;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.math.BigInteger;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.List;
@@ -51,6 +60,7 @@ public final class SampleDocxGenerator {
ruEnMixed(dir.resolve("ru-en-mixed.docx"));
ruTimes(dir.resolve("ru-times.docx"));
ruTableImage(dir.resolve("ru-table-image.docx"));
symbolBullets(dir.resolve("symbol-bullets.docx"));
System.out.println("Готово: " + dir.toAbsolutePath());
}
@@ -181,6 +191,63 @@ public final class SampleDocxGenerator {
}
}
/**
* Маркеры списков из символьных шрифтов: {@code w:lvlText} кодами из
* PUA (U+F0xx) + {@code w:rFonts} = Symbol/Wingdings, символьный шрифт
* прямо в ране и отдельный {@code w:sym}. Без SymbolFontNormalizer все
* они превращаются в «#».
*/
private static void symbolBullets(Path out) throws Exception {
try (XWPFDocument doc = new XWPFDocument()) {
heading(doc, "Символьные шрифты", "Times New Roman");
XWPFNumbering numbering = doc.createNumbering();
CTAbstractNum abstractNum = CTAbstractNum.Factory.newInstance();
abstractNum.setAbstractNumId(BigInteger.ONE);
String[][] markers = {
{"Wingdings", "F0A7"}, // ▪
{"Symbol", "F0B7"}, // •
{"Symbol", "F02D"}, // −
{"Wingdings", "F076"}, // ❖
};
for (int i = 0; i < markers.length; i++) {
CTLvl lvl = abstractNum.addNewLvl();
lvl.setIlvl(BigInteger.valueOf(i));
lvl.addNewStart().setVal(BigInteger.ONE);
lvl.addNewNumFmt().setVal(STNumberFormat.BULLET);
lvl.addNewLvlText().setVal(
String.valueOf((char) Integer.parseInt(markers[i][1], 16)));
CTFonts fonts = lvl.addNewRPr().addNewRFonts();
fonts.setAscii(markers[i][0]);
fonts.setHAnsi(markers[i][0]);
}
BigInteger numId = numbering.addNum(
numbering.addAbstractNum(new XWPFAbstractNum(abstractNum)));
for (int i = 0; i < markers.length; i++) {
XWPFParagraph p = doc.createParagraph();
CTPPr pPr = p.getCTP().isSetPPr() ? p.getCTP().getPPr() : p.getCTP().addNewPPr();
CTNumPr numPr = pPr.addNewNumPr();
numPr.addNewIlvl().setVal(BigInteger.valueOf(i));
numPr.addNewNumId().setVal(numId);
run(p, "Пункт " + (i + 1) + " со списочным маркером",
"Times New Roman", false, false);
}
XWPFParagraph p = doc.createParagraph();
run(p, "\uF0B7 маркер в ране Symbol", "Symbol", false, false);
run(p, " и обычный текст Times New Roman", "Times New Roman", false, false);
p = doc.createParagraph();
CTSym sym = p.createRun().getCTR().addNewSym();
sym.setFont("Symbol");
sym.setChar(new byte[]{(byte) 0xF0, (byte) 0xA9}); // ♥
run(p, " это был символ w:sym", "Times New Roman", false, false);
save(doc, out);
}
}
// ================== Вспомогательные ==================
/** Абзац-заголовок: POI 5.5 не имеет createHeading, поэтому
@@ -14,6 +14,7 @@ import java.io.InputStream;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.StandardCopyOption;
import java.util.List;
import java.util.Set;
import java.util.TreeSet;
@@ -104,6 +105,27 @@ class WordPdfConverterTest {
"ожидались 4 растра (SmartArt + 3 графика), найдено: " + imageCount(pdf));
}
/**
* Маркеры списков из символьных шрифтов (Symbol/Wingdings, коды из
* PUA U+F0xx) экспорт в FO не понимает и рисует .notdef — решётку «#».
* SymbolFontNormalizer заменяет их Unicode-эквивалентами, поэтому
* маркеры остаются маркерами.
*/
@Test
void symbolFonts_bulletsAreNotHash() throws Exception {
Path in = extractSample("symbol-bullets.docx");
String text = norm(pdfText(convert(in)));
for (String marker : List.of("▪", "•", "−", "❖", "♥")) {
assertTrue(text.contains(marker),
"нет маркера «" + marker + "»: " + text);
}
assertFalse(text.contains("#"),
"в PDF остались .notdef-решётки вместо маркеров: " + text);
assertTrue(text.contains("Пункт 1 со списочным маркером"),
"пропал текст пункта списка: " + text);
}
@Test
void ruPlain_cyrillicAndStyles() throws Exception {
Path in = extractSample("ru-plain.docx");
@@ -0,0 +1,159 @@
package ru.pjandro.wordpdf.internal;
import org.junit.jupiter.api.Test;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream;
import java.util.zip.ZipOutputStream;
import static org.junit.jupiter.api.Assertions.*;
/**
* Замена символьных шрифтов Symbol/Wingdings на Unicode + бандл-шрифт
* (см. SymbolFontNormalizer). Коды берутся из SymbolMapper docx4j 17.x и
* сверяются с экспортом Word (references/word.pdf).
*/
class SymbolFontNormalizerTest {
/** Маркеры списков: Wingdings F0A7 -> ▪, Symbol F0B7 -> •, F02D -> −. */
private static final String NUMBERING_XML =
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
+ "<w:numbering xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\">"
+ "<w:abstractNum w:abstractNumId=\"1\">"
+ "<w:lvl w:ilvl=\"0\"><w:numFmt w:val=\"bullet\"/>"
+ "<w:lvlText w:val=\"\uF0A7\"/>"
+ "<w:rPr><w:rFonts w:ascii=\"Wingdings\" w:hAnsi=\"Wingdings\" w:hint=\"default\"/></w:rPr></w:lvl>"
+ "<w:lvl w:ilvl=\"1\"><w:numFmt w:val=\"bullet\"/>"
+ "<w:lvlText w:val=\"\uF0B7\"/>"
+ "<w:rPr><w:rFonts w:ascii=\"Symbol\" w:hAnsi=\"Symbol\"/></w:rPr></w:lvl>"
+ "<w:lvl w:ilvl=\"2\"><w:numFmt w:val=\"bullet\"/>"
+ "<w:lvlText w:val=\"%1.\"/>"
+ "<w:rPr><w:rFonts w:ascii=\"Times New Roman\"/></w:rPr></w:lvl>"
+ "</w:abstractNum></w:numbering>";
/** Символьный шрифт в ране + w:sym с собственным w:font. */
private static final String DOCUMENT_XML =
"<w:document xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\"><w:body>"
+ "<w:r><w:rPr><w:rFonts w:ascii=\"Symbol\" w:hAnsi=\"Symbol\"/></w:rPr>"
+ "<w:t>\uF0B7 хвостик</w:t></w:r>"
+ "<w:r><w:rPr><w:rFonts w:ascii=\"Times New Roman\"/><w:sz w:val=\"28\"/></w:rPr>"
+ "<w:t xml:space=\"preserve\">до </w:t><w:sym w:font=\"Symbol\" w:char=\"F0A9\"/>"
+ "<w:t xml:space=\"preserve\"> после</w:t></w:r>"
+ "<w:r><w:rPr><w:rFonts w:ascii=\"Times New Roman\"/></w:rPr>"
+ "<w:t>обычный текст</w:t></w:r>"
+ "</w:body></w:document>";
private static byte[] makeDocx(String documentXml, String numberingXml) throws IOException {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
zos.putNextEntry(new ZipEntry("[Content_Types].xml"));
zos.write("\uF0A7".getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
zos.putNextEntry(new ZipEntry("word/document.xml"));
zos.write(documentXml.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
if (numberingXml != null) {
zos.putNextEntry(new ZipEntry("word/numbering.xml"));
zos.write(numberingXml.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
}
}
return out.toByteArray();
}
private static String readEntry(byte[] zip, String name) throws IOException {
try (ZipInputStream zis = new ZipInputStream(
new java.io.ByteArrayInputStream(zip))) {
ZipEntry e;
while ((e = zis.getNextEntry()) != null) {
if (e.getName().equals(name)) {
return new String(zis.readAllBytes(), StandardCharsets.UTF_8);
}
}
}
throw new AssertionError("нет записи " + name);
}
@Test
void listMarkersBecomeUnicode() throws Exception {
byte[] result = SymbolFontNormalizer.normalize(makeDocx("<w:document/>", NUMBERING_XML));
String numbering = readEntry(result, "word/numbering.xml");
assertTrue(numbering.contains("<w:lvlText w:val=\"▪\"/>"),
"Wingdings F0A7 не стал ▪: " + numbering);
assertTrue(numbering.contains("<w:lvlText w:val=\"•\"/>"),
"Symbol F0B7 не стал •: " + numbering);
assertTrue(numbering.contains("<w:lvlText w:val=\"%1.\"/>"),
"уровень без символьного шрифта изменён: " + numbering);
assertFalse(numbering.contains("Wingdings"), "имя шрифта не заменено: " + numbering);
assertTrue(numbering.contains("w:ascii=\"" + SymbolFontNormalizer.REPLACEMENT_FAMILY + "\""),
"fallback-семейство не проставлено: " + numbering);
}
@Test
void symbolFontInRunIsReplaced() throws Exception {
byte[] result = SymbolFontNormalizer.normalize(makeDocx(DOCUMENT_XML, null));
String document = readEntry(result, "word/document.xml");
assertTrue(document.contains("<w:t>• хвостик</w:t>"),
"PUA в ране не заменён: " + document);
assertFalse(document.contains("=\"Symbol\""),
"Symbol остался в w:rFonts: " + document);
assertTrue(document.contains("<w:t>обычный текст</w:t>"),
"чужой ран изменён: " + document);
}
/**
* w:sym имеет собственный w:font, поэтому ран разрезается: символ
* уходит в fallback-шрифт, соседний текст сохраняет Times New Roman.
*/
@Test
void symElementSplitsRunAndKeepsNeighbourFont() throws Exception {
byte[] result = SymbolFontNormalizer.normalize(makeDocx(DOCUMENT_XML, null));
String document = readEntry(result, "word/document.xml");
assertTrue(document.contains("♥"), "w:sym F0A9 не стал ♥: " + document);
assertFalse(document.contains("<w:sym"), "w:sym не заменён: " + document);
assertTrue(document.contains("<w:t xml:space=\"preserve\">до </w:t>"),
"текст до w:sym потерян: " + document);
assertTrue(document.contains("<w:t xml:space=\"preserve\"> после</w:t>"),
"текст после w:sym потерян: " + document);
// Соседний текст остался на своём шрифте, символ — на fallback
assertTrue(document.contains("w:ascii=\"Times New Roman\""),
"шрифт соседнего текста изменён: " + document);
assertTrue(document.contains("♥"), "символ потерян: " + document);
}
@Test
void nothingToChangeReturnsOriginalArray() throws Exception {
byte[] docx = makeDocx("<w:document><w:t>обычный текст</w:t></w:document>", null);
assertSame(docx, SymbolFontNormalizer.normalize(docx));
}
/** Часть вне word/*.xml не трогаем (та же политика, что у DocxOnOffNormalizer). */
@Test
void nonWordPartsNotTouched() throws Exception {
byte[] result = SymbolFontNormalizer.normalize(makeDocx("<w:document/>", NUMBERING_XML));
assertEquals("\uF0A7", readEntry(result, "[Content_Types].xml"));
}
@Test
void rewriteWithoutMatchesIsNull() {
assertNull(SymbolFontNormalizer.rewrite("<w:document><w:t>текст</w:t></w:document>"));
assertNull(SymbolFontNormalizer.rewrite("<w:r><w:t>нет символных шрифтов</w:t></w:r>"));
}
/** Символьный шрифт без кодов из PUA и коды из PUA без шрифта — не трогаем. */
@Test
void fontWithoutPuaAndPuaWithoutFontUntouched() {
assertNull(SymbolFontNormalizer.rewrite(
"<w:r><w:rPr><w:rFonts w:ascii=\"Wingdings\"/></w:rPr><w:t>текст</w:t></w:r>"));
assertNull(SymbolFontNormalizer.rewrite(
"<w:r><w:rPr><w:rFonts w:ascii=\"Arial\"/></w:rPr><w:t>\uF0A7</w:t></w:r>"));
}
}