Символьные шрифты: Symbol/Wingdings -> Unicode (маркеры списков вместо «#»)
Word задаёт маркеры списков кодами из PUA (U+F0xx), а глиф выбирается по имени шрифта. Экспорт docx4j в XSL-FO эти шрифты не знает: код уходит в fallback-семейство, глифа там нет, FOP рисует .notdef — в PDF решётка «#». SymbolFontNormalizer (шаг перед JAXB, как DocxOnOffNormalizer) меняет код на Unicode, а имя шрифта — на DejaVu Sans. Таблица кодов — SymbolMapper из docx4j 17.x, отфильтрована по наличию глифа в DejaVu; совпадение с экспортом Word сверено по references/word.pdf. Обрабатываются w:lvl (numbering.xml), w:r и w:sym — ран с w:sym разрезается, т.к. у символа собственный w:font. В эталонном документе пропали все 19 решёток в маркированных списках (− • ▪ ❖ ➢ ✓ ♥) и поправились два w:sym.
This commit is contained in:
@@ -6,7 +6,15 @@ import org.apache.poi.xwpf.usermodel.XWPFParagraph;
|
||||
import org.apache.poi.xwpf.usermodel.XWPFRun;
|
||||
import org.apache.poi.xwpf.usermodel.XWPFTable;
|
||||
import org.apache.poi.xwpf.usermodel.XWPFTableCell;
|
||||
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTAbstractNum;
|
||||
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTFonts;
|
||||
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTLvl;
|
||||
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTNumPr;
|
||||
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTPPr;
|
||||
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTSym;
|
||||
import org.openxmlformats.schemas.wordprocessingml.x2006.main.STNumberFormat;
|
||||
import org.apache.poi.xwpf.usermodel.XWPFAbstractNum;
|
||||
import org.apache.poi.xwpf.usermodel.XWPFNumbering;
|
||||
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTR;
|
||||
import org.openxmlformats.schemas.wordprocessingml.x2006.main.CTRPr;
|
||||
|
||||
@@ -17,6 +25,7 @@ import java.awt.image.BufferedImage;
|
||||
import java.io.ByteArrayOutputStream;
|
||||
import java.io.File;
|
||||
import java.io.FileOutputStream;
|
||||
import java.math.BigInteger;
|
||||
import java.nio.file.Path;
|
||||
import java.nio.file.Paths;
|
||||
import java.util.List;
|
||||
@@ -51,6 +60,7 @@ public final class SampleDocxGenerator {
|
||||
ruEnMixed(dir.resolve("ru-en-mixed.docx"));
|
||||
ruTimes(dir.resolve("ru-times.docx"));
|
||||
ruTableImage(dir.resolve("ru-table-image.docx"));
|
||||
symbolBullets(dir.resolve("symbol-bullets.docx"));
|
||||
|
||||
System.out.println("Готово: " + dir.toAbsolutePath());
|
||||
}
|
||||
@@ -181,6 +191,63 @@ public final class SampleDocxGenerator {
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Маркеры списков из символьных шрифтов: {@code w:lvlText} кодами из
|
||||
* PUA (U+F0xx) + {@code w:rFonts} = Symbol/Wingdings, символьный шрифт
|
||||
* прямо в ране и отдельный {@code w:sym}. Без SymbolFontNormalizer все
|
||||
* они превращаются в «#».
|
||||
*/
|
||||
private static void symbolBullets(Path out) throws Exception {
|
||||
try (XWPFDocument doc = new XWPFDocument()) {
|
||||
heading(doc, "Символьные шрифты", "Times New Roman");
|
||||
|
||||
XWPFNumbering numbering = doc.createNumbering();
|
||||
CTAbstractNum abstractNum = CTAbstractNum.Factory.newInstance();
|
||||
abstractNum.setAbstractNumId(BigInteger.ONE);
|
||||
String[][] markers = {
|
||||
{"Wingdings", "F0A7"}, // ▪
|
||||
{"Symbol", "F0B7"}, // •
|
||||
{"Symbol", "F02D"}, // −
|
||||
{"Wingdings", "F076"}, // ❖
|
||||
};
|
||||
for (int i = 0; i < markers.length; i++) {
|
||||
CTLvl lvl = abstractNum.addNewLvl();
|
||||
lvl.setIlvl(BigInteger.valueOf(i));
|
||||
lvl.addNewStart().setVal(BigInteger.ONE);
|
||||
lvl.addNewNumFmt().setVal(STNumberFormat.BULLET);
|
||||
lvl.addNewLvlText().setVal(
|
||||
String.valueOf((char) Integer.parseInt(markers[i][1], 16)));
|
||||
CTFonts fonts = lvl.addNewRPr().addNewRFonts();
|
||||
fonts.setAscii(markers[i][0]);
|
||||
fonts.setHAnsi(markers[i][0]);
|
||||
}
|
||||
BigInteger numId = numbering.addNum(
|
||||
numbering.addAbstractNum(new XWPFAbstractNum(abstractNum)));
|
||||
|
||||
for (int i = 0; i < markers.length; i++) {
|
||||
XWPFParagraph p = doc.createParagraph();
|
||||
CTPPr pPr = p.getCTP().isSetPPr() ? p.getCTP().getPPr() : p.getCTP().addNewPPr();
|
||||
CTNumPr numPr = pPr.addNewNumPr();
|
||||
numPr.addNewIlvl().setVal(BigInteger.valueOf(i));
|
||||
numPr.addNewNumId().setVal(numId);
|
||||
run(p, "Пункт " + (i + 1) + " со списочным маркером",
|
||||
"Times New Roman", false, false);
|
||||
}
|
||||
|
||||
XWPFParagraph p = doc.createParagraph();
|
||||
run(p, "\uF0B7 маркер в ране Symbol", "Symbol", false, false);
|
||||
run(p, " и обычный текст Times New Roman", "Times New Roman", false, false);
|
||||
|
||||
p = doc.createParagraph();
|
||||
CTSym sym = p.createRun().getCTR().addNewSym();
|
||||
sym.setFont("Symbol");
|
||||
sym.setChar(new byte[]{(byte) 0xF0, (byte) 0xA9}); // ♥
|
||||
run(p, " это был символ w:sym", "Times New Roman", false, false);
|
||||
|
||||
save(doc, out);
|
||||
}
|
||||
}
|
||||
|
||||
// ================== Вспомогательные ==================
|
||||
|
||||
/** Абзац-заголовок: POI 5.5 не имеет createHeading, поэтому
|
||||
|
||||
@@ -14,6 +14,7 @@ import java.io.InputStream;
|
||||
import java.nio.file.Files;
|
||||
import java.nio.file.Path;
|
||||
import java.nio.file.StandardCopyOption;
|
||||
import java.util.List;
|
||||
import java.util.Set;
|
||||
import java.util.TreeSet;
|
||||
|
||||
@@ -104,6 +105,27 @@ class WordPdfConverterTest {
|
||||
"ожидались 4 растра (SmartArt + 3 графика), найдено: " + imageCount(pdf));
|
||||
}
|
||||
|
||||
/**
|
||||
* Маркеры списков из символьных шрифтов (Symbol/Wingdings, коды из
|
||||
* PUA U+F0xx) экспорт в FO не понимает и рисует .notdef — решётку «#».
|
||||
* SymbolFontNormalizer заменяет их Unicode-эквивалентами, поэтому
|
||||
* маркеры остаются маркерами.
|
||||
*/
|
||||
@Test
|
||||
void symbolFonts_bulletsAreNotHash() throws Exception {
|
||||
Path in = extractSample("symbol-bullets.docx");
|
||||
String text = norm(pdfText(convert(in)));
|
||||
|
||||
for (String marker : List.of("▪", "•", "−", "❖", "♥")) {
|
||||
assertTrue(text.contains(marker),
|
||||
"нет маркера «" + marker + "»: " + text);
|
||||
}
|
||||
assertFalse(text.contains("#"),
|
||||
"в PDF остались .notdef-решётки вместо маркеров: " + text);
|
||||
assertTrue(text.contains("Пункт 1 со списочным маркером"),
|
||||
"пропал текст пункта списка: " + text);
|
||||
}
|
||||
|
||||
@Test
|
||||
void ruPlain_cyrillicAndStyles() throws Exception {
|
||||
Path in = extractSample("ru-plain.docx");
|
||||
|
||||
@@ -0,0 +1,159 @@
|
||||
package ru.pjandro.wordpdf.internal;
|
||||
|
||||
import org.junit.jupiter.api.Test;
|
||||
|
||||
import java.io.ByteArrayOutputStream;
|
||||
import java.io.IOException;
|
||||
import java.nio.charset.StandardCharsets;
|
||||
import java.util.zip.ZipEntry;
|
||||
import java.util.zip.ZipInputStream;
|
||||
import java.util.zip.ZipOutputStream;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.*;
|
||||
|
||||
/**
|
||||
* Замена символьных шрифтов Symbol/Wingdings на Unicode + бандл-шрифт
|
||||
* (см. SymbolFontNormalizer). Коды берутся из SymbolMapper docx4j 17.x и
|
||||
* сверяются с экспортом Word (references/word.pdf).
|
||||
*/
|
||||
class SymbolFontNormalizerTest {
|
||||
|
||||
/** Маркеры списков: Wingdings F0A7 -> ▪, Symbol F0B7 -> •, F02D -> −. */
|
||||
private static final String NUMBERING_XML =
|
||||
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
|
||||
+ "<w:numbering xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\">"
|
||||
+ "<w:abstractNum w:abstractNumId=\"1\">"
|
||||
+ "<w:lvl w:ilvl=\"0\"><w:numFmt w:val=\"bullet\"/>"
|
||||
+ "<w:lvlText w:val=\"\uF0A7\"/>"
|
||||
+ "<w:rPr><w:rFonts w:ascii=\"Wingdings\" w:hAnsi=\"Wingdings\" w:hint=\"default\"/></w:rPr></w:lvl>"
|
||||
+ "<w:lvl w:ilvl=\"1\"><w:numFmt w:val=\"bullet\"/>"
|
||||
+ "<w:lvlText w:val=\"\uF0B7\"/>"
|
||||
+ "<w:rPr><w:rFonts w:ascii=\"Symbol\" w:hAnsi=\"Symbol\"/></w:rPr></w:lvl>"
|
||||
+ "<w:lvl w:ilvl=\"2\"><w:numFmt w:val=\"bullet\"/>"
|
||||
+ "<w:lvlText w:val=\"%1.\"/>"
|
||||
+ "<w:rPr><w:rFonts w:ascii=\"Times New Roman\"/></w:rPr></w:lvl>"
|
||||
+ "</w:abstractNum></w:numbering>";
|
||||
|
||||
/** Символьный шрифт в ране + w:sym с собственным w:font. */
|
||||
private static final String DOCUMENT_XML =
|
||||
"<w:document xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\"><w:body>"
|
||||
+ "<w:r><w:rPr><w:rFonts w:ascii=\"Symbol\" w:hAnsi=\"Symbol\"/></w:rPr>"
|
||||
+ "<w:t>\uF0B7 хвостик</w:t></w:r>"
|
||||
+ "<w:r><w:rPr><w:rFonts w:ascii=\"Times New Roman\"/><w:sz w:val=\"28\"/></w:rPr>"
|
||||
+ "<w:t xml:space=\"preserve\">до </w:t><w:sym w:font=\"Symbol\" w:char=\"F0A9\"/>"
|
||||
+ "<w:t xml:space=\"preserve\"> после</w:t></w:r>"
|
||||
+ "<w:r><w:rPr><w:rFonts w:ascii=\"Times New Roman\"/></w:rPr>"
|
||||
+ "<w:t>обычный текст</w:t></w:r>"
|
||||
+ "</w:body></w:document>";
|
||||
|
||||
private static byte[] makeDocx(String documentXml, String numberingXml) throws IOException {
|
||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||
zos.putNextEntry(new ZipEntry("[Content_Types].xml"));
|
||||
zos.write("\uF0A7".getBytes(StandardCharsets.UTF_8));
|
||||
zos.closeEntry();
|
||||
zos.putNextEntry(new ZipEntry("word/document.xml"));
|
||||
zos.write(documentXml.getBytes(StandardCharsets.UTF_8));
|
||||
zos.closeEntry();
|
||||
if (numberingXml != null) {
|
||||
zos.putNextEntry(new ZipEntry("word/numbering.xml"));
|
||||
zos.write(numberingXml.getBytes(StandardCharsets.UTF_8));
|
||||
zos.closeEntry();
|
||||
}
|
||||
}
|
||||
return out.toByteArray();
|
||||
}
|
||||
|
||||
private static String readEntry(byte[] zip, String name) throws IOException {
|
||||
try (ZipInputStream zis = new ZipInputStream(
|
||||
new java.io.ByteArrayInputStream(zip))) {
|
||||
ZipEntry e;
|
||||
while ((e = zis.getNextEntry()) != null) {
|
||||
if (e.getName().equals(name)) {
|
||||
return new String(zis.readAllBytes(), StandardCharsets.UTF_8);
|
||||
}
|
||||
}
|
||||
}
|
||||
throw new AssertionError("нет записи " + name);
|
||||
}
|
||||
|
||||
@Test
|
||||
void listMarkersBecomeUnicode() throws Exception {
|
||||
byte[] result = SymbolFontNormalizer.normalize(makeDocx("<w:document/>", NUMBERING_XML));
|
||||
|
||||
String numbering = readEntry(result, "word/numbering.xml");
|
||||
assertTrue(numbering.contains("<w:lvlText w:val=\"▪\"/>"),
|
||||
"Wingdings F0A7 не стал ▪: " + numbering);
|
||||
assertTrue(numbering.contains("<w:lvlText w:val=\"•\"/>"),
|
||||
"Symbol F0B7 не стал •: " + numbering);
|
||||
assertTrue(numbering.contains("<w:lvlText w:val=\"%1.\"/>"),
|
||||
"уровень без символьного шрифта изменён: " + numbering);
|
||||
assertFalse(numbering.contains("Wingdings"), "имя шрифта не заменено: " + numbering);
|
||||
assertTrue(numbering.contains("w:ascii=\"" + SymbolFontNormalizer.REPLACEMENT_FAMILY + "\""),
|
||||
"fallback-семейство не проставлено: " + numbering);
|
||||
}
|
||||
|
||||
@Test
|
||||
void symbolFontInRunIsReplaced() throws Exception {
|
||||
byte[] result = SymbolFontNormalizer.normalize(makeDocx(DOCUMENT_XML, null));
|
||||
|
||||
String document = readEntry(result, "word/document.xml");
|
||||
assertTrue(document.contains("<w:t>• хвостик</w:t>"),
|
||||
"PUA в ране не заменён: " + document);
|
||||
assertFalse(document.contains("=\"Symbol\""),
|
||||
"Symbol остался в w:rFonts: " + document);
|
||||
assertTrue(document.contains("<w:t>обычный текст</w:t>"),
|
||||
"чужой ран изменён: " + document);
|
||||
}
|
||||
|
||||
/**
|
||||
* w:sym имеет собственный w:font, поэтому ран разрезается: символ
|
||||
* уходит в fallback-шрифт, соседний текст сохраняет Times New Roman.
|
||||
*/
|
||||
@Test
|
||||
void symElementSplitsRunAndKeepsNeighbourFont() throws Exception {
|
||||
byte[] result = SymbolFontNormalizer.normalize(makeDocx(DOCUMENT_XML, null));
|
||||
|
||||
String document = readEntry(result, "word/document.xml");
|
||||
assertTrue(document.contains("♥"), "w:sym F0A9 не стал ♥: " + document);
|
||||
assertFalse(document.contains("<w:sym"), "w:sym не заменён: " + document);
|
||||
assertTrue(document.contains("<w:t xml:space=\"preserve\">до </w:t>"),
|
||||
"текст до w:sym потерян: " + document);
|
||||
assertTrue(document.contains("<w:t xml:space=\"preserve\"> после</w:t>"),
|
||||
"текст после w:sym потерян: " + document);
|
||||
// Соседний текст остался на своём шрифте, символ — на fallback
|
||||
assertTrue(document.contains("w:ascii=\"Times New Roman\""),
|
||||
"шрифт соседнего текста изменён: " + document);
|
||||
assertTrue(document.contains("♥"), "символ потерян: " + document);
|
||||
}
|
||||
|
||||
@Test
|
||||
void nothingToChangeReturnsOriginalArray() throws Exception {
|
||||
byte[] docx = makeDocx("<w:document><w:t>обычный текст</w:t></w:document>", null);
|
||||
|
||||
assertSame(docx, SymbolFontNormalizer.normalize(docx));
|
||||
}
|
||||
|
||||
/** Часть вне word/*.xml не трогаем (та же политика, что у DocxOnOffNormalizer). */
|
||||
@Test
|
||||
void nonWordPartsNotTouched() throws Exception {
|
||||
byte[] result = SymbolFontNormalizer.normalize(makeDocx("<w:document/>", NUMBERING_XML));
|
||||
|
||||
assertEquals("\uF0A7", readEntry(result, "[Content_Types].xml"));
|
||||
}
|
||||
|
||||
@Test
|
||||
void rewriteWithoutMatchesIsNull() {
|
||||
assertNull(SymbolFontNormalizer.rewrite("<w:document><w:t>текст</w:t></w:document>"));
|
||||
assertNull(SymbolFontNormalizer.rewrite("<w:r><w:t>нет символных шрифтов</w:t></w:r>"));
|
||||
}
|
||||
|
||||
/** Символьный шрифт без кодов из PUA и коды из PUA без шрифта — не трогаем. */
|
||||
@Test
|
||||
void fontWithoutPuaAndPuaWithoutFontUntouched() {
|
||||
assertNull(SymbolFontNormalizer.rewrite(
|
||||
"<w:r><w:rPr><w:rFonts w:ascii=\"Wingdings\"/></w:rPr><w:t>текст</w:t></w:r>"));
|
||||
assertNull(SymbolFontNormalizer.rewrite(
|
||||
"<w:r><w:rPr><w:rFonts w:ascii=\"Arial\"/></w:rPr><w:t>\uF0A7</w:t></w:r>"));
|
||||
}
|
||||
}
|
||||
Binary file not shown.
Reference in New Issue
Block a user