Экзотические глифы: решётка «#» вместо .notdef
Знак без глифа в шрифте ранa FOP рисовал .notdef — в эталонном references/word.docx таких оставалось 28. - Noto Naskh Arabic и Noto Sans Armenian (SIL OFL, 278 КБ) в бандле: FontFallback.selectCovering перебирает весь реестр PhysicalFonts и находит их сам — арабские дополнения и армянские Unicode 16 рисуются без нашего кода. - GlyphCoverageNormalizer режет ран по покрытию глифов и пишет семейство в w:rFonts. Нужен из-за двух дыр docx4j: needsCoverage=false для «латинской» группы (римские цифры U+2150–U+218F) и кэш fallbackByScript на всю группу Юникода (армянские U+058D/U+058E получали DejaVu Serif). - FopFallbackFonts.declare декларирует все бандл-семейства: FOP встраивает только задекларированные, а font-family в FO может запросить любое. В эталоне осталось 2 решёток: U+2188 и U+218A есть только в GNU FreeSerif (GPL-3+ с Font Exception), которого в бандле нет намеренно.
This commit is contained in:
@@ -67,6 +67,7 @@ public final class SampleDocxGenerator {
|
||||
ruTableImage(dir.resolve("ru-table-image.docx"));
|
||||
symbolBullets(dir.resolve("symbol-bullets.docx"));
|
||||
pageNumbers(dir.resolve("page-numbers.docx"));
|
||||
exoticGlyphs(dir.resolve("exotic-glyphs.docx"));
|
||||
|
||||
System.out.println("Готово: " + dir.toAbsolutePath());
|
||||
}
|
||||
@@ -301,6 +302,30 @@ public final class SampleDocxGenerator {
|
||||
.setFldCharType(STFldCharType.END);
|
||||
}
|
||||
|
||||
/**
|
||||
* Знаки без глифа в шрифте ранa: римские цифры и дроби (U+2150–U+218F,
|
||||
* которые docx4j вообще не проверяет на покрытие), армянские знаки
|
||||
* Unicode 16 рядом с обычными армянскими (столкновение кэша фолбэка
|
||||
* docx4j на группе Юникода) и арабские дополнения. Всё в Times New Roman
|
||||
* — в нём этих глифов нет.
|
||||
*/
|
||||
private static void exoticGlyphs(Path out) throws Exception {
|
||||
try (XWPFDocument doc = new XWPFDocument()) {
|
||||
heading(doc, "Экзотические глифы", "Times New Roman");
|
||||
|
||||
String[] font = {"Times New Roman"};
|
||||
run(doc.createParagraph(), "Числовые символы \u2152\u2155\u215E "
|
||||
+ "\u2161\u216A\u216D\u2174\u2181\u2183\u2182", font[0], false, false);
|
||||
run(doc.createParagraph(), "Армянский: \u054A\u054C\u054B\u057F "
|
||||
+ "\u058D\u058E", font[0], false, false);
|
||||
run(doc.createParagraph(), "Арабский: \u08E1\u08EC\u08ED "
|
||||
+ "\u076E\u0770", font[0], false, false);
|
||||
run(doc.createParagraph(), "Обычный текст 123, кириллица и em-dash —",
|
||||
font[0], false, false);
|
||||
save(doc, out);
|
||||
}
|
||||
}
|
||||
|
||||
// ================== Вспомогательные ==================
|
||||
|
||||
/** Абзац-заголовок: POI 5.5 не имеет createHeading, поэтому
|
||||
|
||||
@@ -159,6 +159,38 @@ class WordPdfConverterTest {
|
||||
"пропал текст пункта списка: " + text);
|
||||
}
|
||||
|
||||
/**
|
||||
* Знаки, у которых нет глифа в шрифте ранa (римские цифры и дроби,
|
||||
* армянские знаки Unicode 16, арабские дополнения), FOP рисовал
|
||||
* {@code .notdef} — решётку «#». Docx4j сам ищет покрывающий шрифт,
|
||||
* но не проверяет покрытие для «латинской» группы и кэширует фолбэк на
|
||||
* всю группу Юникода. GlyphCoverageNormalizer разрезает такой ран и
|
||||
* явно назначает семейство для каждой части.
|
||||
*/
|
||||
@Test
|
||||
void exoticGlyphs_drawnNotHash() throws Exception {
|
||||
Path in = extractSample("exotic-glyphs.docx");
|
||||
Path pdf = convert(in);
|
||||
String text = norm(pdfText(pdf));
|
||||
|
||||
for (String ch : List.of("\u2152", "\u2181", "\u058D", "\u08E1")) {
|
||||
assertTrue(text.contains(ch), "нет символа U+"
|
||||
+ Integer.toHexString(ch.charAt(0)) + ": " + text);
|
||||
}
|
||||
assertFalse(text.contains("#"),
|
||||
"в PDF остались .notdef-решётки: " + text);
|
||||
|
||||
// Римская цифра — вшитым DejaVu Serif, а не базовым Helvetica
|
||||
assertTrue(fontNameOf(pdf, '\u2181').contains("DejaVuSerif"),
|
||||
"римская цифра нарисована не DejaVu Serif");
|
||||
// Армянский знак Unicode 16 — Noto Sans Armenian
|
||||
assertTrue(fontNameOf(pdf, '\u058D').contains("NotoSansArmenian"),
|
||||
"армянский знак нарисован не Noto Sans Armenian");
|
||||
// Соседний обычный текст не уехал в подставленное семейство
|
||||
assertTrue(fontNameOf(pdf, 'ы').contains("Tinos"),
|
||||
"кириллица уехала с Tinos");
|
||||
}
|
||||
|
||||
/**
|
||||
* Поля PAGE/NUMPAGES Word пишет как {@code fldChar} + {@code instrText}
|
||||
* + закэшированный результат. Экспорт docx4j в FO инструкцию игнорирует
|
||||
|
||||
+181
@@ -0,0 +1,181 @@
|
||||
package ru.pjandro.wordpdf.internal;
|
||||
|
||||
import org.junit.jupiter.api.BeforeAll;
|
||||
import org.junit.jupiter.api.Test;
|
||||
import ru.pjandro.wordpdf.fonts.BundledFontMapper;
|
||||
import ru.pjandro.wordpdf.fonts.BundledFonts;
|
||||
|
||||
import java.util.List;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.*;
|
||||
|
||||
/**
|
||||
* Разрезание ранов по покрытию глифов (см. GlyphCoverageNormalizer).
|
||||
*
|
||||
* Покрытие берётся из реальных TTF бандла, поэтому перед тестами
|
||||
* шрифты инициализируются ровно так же, как в конвертере.
|
||||
*/
|
||||
class GlyphCoverageNormalizerTest {
|
||||
|
||||
private static final String NS =
|
||||
"<w:document xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\"><w:body>";
|
||||
|
||||
/** Римская цифра: в Tinos глифа нет, в DejaVu Serif есть. */
|
||||
private static final String ROMAN = "\u2181";
|
||||
/** Знак, которого нет ни в одном бандл-шрифте. */
|
||||
private static final String NOWHERE = "\u2188";
|
||||
/** Обычная кириллица — есть в Tinos. */
|
||||
private static final String CYRILLIC = "ы";
|
||||
|
||||
@BeforeAll
|
||||
static void initFonts() {
|
||||
new BundledFontMapper();
|
||||
BundledFonts.init();
|
||||
BundledFonts.restrictToBundled();
|
||||
}
|
||||
|
||||
private static String run(String rPr, String body) {
|
||||
return NS + "<w:r>" + rPr + body + "</w:r></w:body></w:document>";
|
||||
}
|
||||
|
||||
private static String timesRPr() {
|
||||
return "<w:rPr><w:rFonts w:ascii=\"Times New Roman\" w:hAnsi=\"Times New Roman\""
|
||||
+ " w:cs=\"Times New Roman\"/><w:sz w:val=\"28\"/></w:rPr>";
|
||||
}
|
||||
|
||||
/** Знак без глифа в шрифте ранa уезжает в отдельный ран со своим w:rFonts. */
|
||||
@Test
|
||||
void splitsRunForUncoveredGlyph() {
|
||||
String xml = run(timesRPr(), "<w:t>ы" + ROMAN + "ы</w:t>");
|
||||
|
||||
String out = GlyphCoverageNormalizer.rewrite(xml);
|
||||
|
||||
assertNotNull(out, "ран с римской цифрой не разрезан");
|
||||
assertTrue(out.contains("<w:rFonts w:ascii=\"DejaVu Serif\" w:hAnsi=\"DejaVu Serif\"/>"),
|
||||
"нет подставленного семейства: " + out);
|
||||
assertTrue(out.contains("w:cs=\"Times New Roman\""),
|
||||
"потеряны остальные атрибуты w:rFonts: " + out);
|
||||
assertTrue(out.contains("<w:sz w:val=\"28\"/>"),
|
||||
"потеряно начертание рана: " + out);
|
||||
assertEquals(3, occurrences(out, "<w:r>"), "ожидалось три рана: " + out);
|
||||
assertTrue(out.contains(ROMAN), "пропал сам знак: " + out);
|
||||
}
|
||||
|
||||
/** Порядок частей сохраняется: сначала обычный текст, потом подстановка. */
|
||||
@Test
|
||||
void keepsSegmentOrder() {
|
||||
String out = GlyphCoverageNormalizer.rewrite(
|
||||
run(timesRPr(), "<w:t>ы" + ROMAN + "ы</w:t>"));
|
||||
|
||||
assertNotNull(out);
|
||||
int substituted = out.indexOf("DejaVu Serif");
|
||||
int tail = out.lastIndexOf("ы");
|
||||
assertTrue(out.indexOf("<w:t>") < substituted && substituted < tail,
|
||||
"части идут не в исходном порядке: " + out);
|
||||
}
|
||||
|
||||
/** Всё, что рисует штатный шрифт, остаётся нетронутым. */
|
||||
@Test
|
||||
void coveredRunUntouched() {
|
||||
String xml = run(timesRPr(), "<w:t>обычный текст 1234</w:t>");
|
||||
|
||||
assertNull(GlyphCoverageNormalizer.rewrite(xml));
|
||||
}
|
||||
|
||||
/** Ран без w:rFonts получает шрифт из стилей — угадывать нечем. */
|
||||
@Test
|
||||
void runWithoutExplicitFontUntouched() {
|
||||
String xml = run("", "<w:t>" + ROMAN + "</w:t>");
|
||||
|
||||
assertNull(GlyphCoverageNormalizer.rewrite(xml));
|
||||
}
|
||||
|
||||
/** Составной ран (несколько детей в w:r) не трогаем. */
|
||||
@Test
|
||||
void compoundRunUntouched() {
|
||||
String xml = run(timesRPr(), "<w:tab/><w:t>" + ROMAN + "</w:t>");
|
||||
|
||||
assertNull(GlyphCoverageNormalizer.rewrite(xml));
|
||||
}
|
||||
|
||||
/** Знака нет ни в одном бандл-шрифте: решётку не прячем за случайный шрифт. */
|
||||
@Test
|
||||
void glyphMissingEverywhereUntouched() {
|
||||
String xml = run(timesRPr(), "<w:t>" + NOWHERE + "</w:t>");
|
||||
|
||||
assertNull(GlyphCoverageNormalizer.rewrite(xml));
|
||||
}
|
||||
|
||||
/** Часть с пробелами по краям обязана остаться с xml:space="preserve". */
|
||||
@Test
|
||||
void addsXmlSpacePreserve() {
|
||||
String out = GlyphCoverageNormalizer.rewrite(
|
||||
run(timesRPr(), "<w:t>" + ROMAN + " ы</w:t>"));
|
||||
|
||||
assertNotNull(out);
|
||||
assertTrue(out.contains("<w:t xml:space=\"preserve\"> ы</w:t>"),
|
||||
"часть с пробелами потеряла xml:space: " + out);
|
||||
assertTrue(out.contains("<w:t>" + ROMAN + "</w:t>"),
|
||||
"часть без пробелов получила лишний xml:space: " + out);
|
||||
}
|
||||
|
||||
/** Исходный xml:space не дублируется. */
|
||||
@Test
|
||||
void keepsExistingXmlSpace() {
|
||||
String out = GlyphCoverageNormalizer.rewrite(
|
||||
run(timesRPr(), "<w:t xml:space=\"preserve\">" + ROMAN + " ы</w:t>"));
|
||||
|
||||
assertNotNull(out);
|
||||
assertEquals(2, occurrences(out, "xml:space=\"preserve\""),
|
||||
"xml:space задублирован: " + out);
|
||||
}
|
||||
|
||||
/** Числовые сущности разбираются, а не разрезаются по буквам. */
|
||||
@Test
|
||||
void decodesNumericEntities() {
|
||||
String out = GlyphCoverageNormalizer.rewrite(
|
||||
run(timesRPr(), "<w:t>⅒⅕</w:t>"));
|
||||
|
||||
assertNotNull(out, "сущности не разобраны: U+2152 требует подстановки");
|
||||
assertTrue(out.contains("DejaVu Serif"), "нет подстановки: " + out);
|
||||
}
|
||||
|
||||
/** Экранирование обратимо: & не превращается в &amp;. */
|
||||
@Test
|
||||
void escapesTextBack() {
|
||||
String out = GlyphCoverageNormalizer.rewrite(
|
||||
run(timesRPr(), "<w:t>Tom & Jerry " + ROMAN + "</w:t>"));
|
||||
|
||||
assertNotNull(out);
|
||||
assertTrue(out.contains("Tom & Jerry"), "сломано экранирование: " + out);
|
||||
assertFalse(out.contains("&amp;"), "двойное экранирование: " + out);
|
||||
}
|
||||
|
||||
/** Serif-ран уходит в serif-семейство, а не в sans fallback. */
|
||||
@Test
|
||||
void serifRunPrefersSerifFamily() {
|
||||
List<GlyphCoverageNormalizer.Segment> segments =
|
||||
GlyphCoverageNormalizer.split("ы" + ROMAN, "tinos");
|
||||
|
||||
assertNotNull(segments);
|
||||
assertEquals("dejavu serif", segments.get(1).family);
|
||||
}
|
||||
|
||||
/** Sans-ран уходит в sans fallback. */
|
||||
@Test
|
||||
void sansRunPrefersSansFamily() {
|
||||
List<GlyphCoverageNormalizer.Segment> segments =
|
||||
GlyphCoverageNormalizer.split("ы" + ROMAN, "carlito");
|
||||
|
||||
assertNotNull(segments);
|
||||
assertEquals("dejavu sans", segments.get(1).family);
|
||||
}
|
||||
|
||||
private static int occurrences(String s, String needle) {
|
||||
int count = 0;
|
||||
for (int i = s.indexOf(needle); i >= 0; i = s.indexOf(needle, i + 1)) {
|
||||
count++;
|
||||
}
|
||||
return count;
|
||||
}
|
||||
}
|
||||
Binary file not shown.
Reference in New Issue
Block a user