Экзотические глифы: решётка «#» вместо .notdef

Знак без глифа в шрифте ранa FOP рисовал .notdef — в эталонном
references/word.docx таких оставалось 28.

- Noto Naskh Arabic и Noto Sans Armenian (SIL OFL, 278 КБ) в бандле:
  FontFallback.selectCovering перебирает весь реестр PhysicalFonts и
  находит их сам — арабские дополнения и армянские Unicode 16 рисуются
  без нашего кода.
- GlyphCoverageNormalizer режет ран по покрытию глифов и пишет семейство
  в w:rFonts. Нужен из-за двух дыр docx4j: needsCoverage=false для
  «латинской» группы (римские цифры U+2150–U+218F) и кэш fallbackByScript
  на всю группу Юникода (армянские U+058D/U+058E получали DejaVu Serif).
- FopFallbackFonts.declare декларирует все бандл-семейства: FOP встраивает
  только задекларированные, а font-family в FO может запросить любое.

В эталоне осталось 2 решёток: U+2188 и U+218A есть только в GNU FreeSerif
(GPL-3+ с Font Exception), которого в бандле нет намеренно.
This commit is contained in:
Pjandro
2026-10-05 22:29:10 +00:00
parent 0c10bae3cf
commit ae31f27a27
15 changed files with 865 additions and 24 deletions
@@ -67,6 +67,7 @@ public final class SampleDocxGenerator {
ruTableImage(dir.resolve("ru-table-image.docx"));
symbolBullets(dir.resolve("symbol-bullets.docx"));
pageNumbers(dir.resolve("page-numbers.docx"));
exoticGlyphs(dir.resolve("exotic-glyphs.docx"));
System.out.println("Готово: " + dir.toAbsolutePath());
}
@@ -301,6 +302,30 @@ public final class SampleDocxGenerator {
.setFldCharType(STFldCharType.END);
}
/**
* Знаки без глифа в шрифте ранa: римские цифры и дроби (U+2150–U+218F,
* которые docx4j вообще не проверяет на покрытие), армянские знаки
* Unicode 16 рядом с обычными армянскими (столкновение кэша фолбэка
* docx4j на группе Юникода) и арабские дополнения. Всё в Times New Roman
* — в нём этих глифов нет.
*/
private static void exoticGlyphs(Path out) throws Exception {
try (XWPFDocument doc = new XWPFDocument()) {
heading(doc, "Экзотические глифы", "Times New Roman");
String[] font = {"Times New Roman"};
run(doc.createParagraph(), "Числовые символы \u2152\u2155\u215E "
+ "\u2161\u216A\u216D\u2174\u2181\u2183\u2182", font[0], false, false);
run(doc.createParagraph(), "Армянский: \u054A\u054C\u054B\u057F "
+ "\u058D\u058E", font[0], false, false);
run(doc.createParagraph(), "Арабский: \u08E1\u08EC\u08ED "
+ "\u076E\u0770", font[0], false, false);
run(doc.createParagraph(), "Обычный текст 123, кириллица и em-dash —",
font[0], false, false);
save(doc, out);
}
}
// ================== Вспомогательные ==================
/** Абзац-заголовок: POI 5.5 не имеет createHeading, поэтому
@@ -159,6 +159,38 @@ class WordPdfConverterTest {
"пропал текст пункта списка: " + text);
}
/**
* Знаки, у которых нет глифа в шрифте ранa (римские цифры и дроби,
* армянские знаки Unicode 16, арабские дополнения), FOP рисовал
* {@code .notdef} — решётку «#». Docx4j сам ищет покрывающий шрифт,
* но не проверяет покрытие для «латинской» группы и кэширует фолбэк на
* всю группу Юникода. GlyphCoverageNormalizer разрезает такой ран и
* явно назначает семейство для каждой части.
*/
@Test
void exoticGlyphs_drawnNotHash() throws Exception {
Path in = extractSample("exotic-glyphs.docx");
Path pdf = convert(in);
String text = norm(pdfText(pdf));
for (String ch : List.of("\u2152", "\u2181", "\u058D", "\u08E1")) {
assertTrue(text.contains(ch), "нет символа U+"
+ Integer.toHexString(ch.charAt(0)) + ": " + text);
}
assertFalse(text.contains("#"),
"в PDF остались .notdef-решётки: " + text);
// Римская цифра — вшитым DejaVu Serif, а не базовым Helvetica
assertTrue(fontNameOf(pdf, '\u2181').contains("DejaVuSerif"),
"римская цифра нарисована не DejaVu Serif");
// Армянский знак Unicode 16 — Noto Sans Armenian
assertTrue(fontNameOf(pdf, '\u058D').contains("NotoSansArmenian"),
"армянский знак нарисован не Noto Sans Armenian");
// Соседний обычный текст не уехал в подставленное семейство
assertTrue(fontNameOf(pdf, 'ы').contains("Tinos"),
"кириллица уехала с Tinos");
}
/**
* Поля PAGE/NUMPAGES Word пишет как {@code fldChar} + {@code instrText}
* + закэшированный результат. Экспорт docx4j в FO инструкцию игнорирует
@@ -0,0 +1,181 @@
package ru.pjandro.wordpdf.internal;
import org.junit.jupiter.api.BeforeAll;
import org.junit.jupiter.api.Test;
import ru.pjandro.wordpdf.fonts.BundledFontMapper;
import ru.pjandro.wordpdf.fonts.BundledFonts;
import java.util.List;
import static org.junit.jupiter.api.Assertions.*;
/**
* Разрезание ранов по покрытию глифов (см. GlyphCoverageNormalizer).
*
* Покрытие берётся из реальных TTF бандла, поэтому перед тестами
* шрифты инициализируются ровно так же, как в конвертере.
*/
class GlyphCoverageNormalizerTest {
private static final String NS =
"<w:document xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\"><w:body>";
/** Римская цифра: в Tinos глифа нет, в DejaVu Serif есть. */
private static final String ROMAN = "\u2181";
/** Знак, которого нет ни в одном бандл-шрифте. */
private static final String NOWHERE = "\u2188";
/** Обычная кириллица — есть в Tinos. */
private static final String CYRILLIC = "ы";
@BeforeAll
static void initFonts() {
new BundledFontMapper();
BundledFonts.init();
BundledFonts.restrictToBundled();
}
private static String run(String rPr, String body) {
return NS + "<w:r>" + rPr + body + "</w:r></w:body></w:document>";
}
private static String timesRPr() {
return "<w:rPr><w:rFonts w:ascii=\"Times New Roman\" w:hAnsi=\"Times New Roman\""
+ " w:cs=\"Times New Roman\"/><w:sz w:val=\"28\"/></w:rPr>";
}
/** Знак без глифа в шрифте ранa уезжает в отдельный ран со своим w:rFonts. */
@Test
void splitsRunForUncoveredGlyph() {
String xml = run(timesRPr(), "<w:t>ы" + ROMAN + "ы</w:t>");
String out = GlyphCoverageNormalizer.rewrite(xml);
assertNotNull(out, "ран с римской цифрой не разрезан");
assertTrue(out.contains("<w:rFonts w:ascii=\"DejaVu Serif\" w:hAnsi=\"DejaVu Serif\"/>"),
"нет подставленного семейства: " + out);
assertTrue(out.contains("w:cs=\"Times New Roman\""),
"потеряны остальные атрибуты w:rFonts: " + out);
assertTrue(out.contains("<w:sz w:val=\"28\"/>"),
"потеряно начертание рана: " + out);
assertEquals(3, occurrences(out, "<w:r>"), "ожидалось три рана: " + out);
assertTrue(out.contains(ROMAN), "пропал сам знак: " + out);
}
/** Порядок частей сохраняется: сначала обычный текст, потом подстановка. */
@Test
void keepsSegmentOrder() {
String out = GlyphCoverageNormalizer.rewrite(
run(timesRPr(), "<w:t>ы" + ROMAN + "ы</w:t>"));
assertNotNull(out);
int substituted = out.indexOf("DejaVu Serif");
int tail = out.lastIndexOf("ы");
assertTrue(out.indexOf("<w:t>") < substituted && substituted < tail,
"части идут не в исходном порядке: " + out);
}
/** Всё, что рисует штатный шрифт, остаётся нетронутым. */
@Test
void coveredRunUntouched() {
String xml = run(timesRPr(), "<w:t>обычный текст 1234</w:t>");
assertNull(GlyphCoverageNormalizer.rewrite(xml));
}
/** Ран без w:rFonts получает шрифт из стилей — угадывать нечем. */
@Test
void runWithoutExplicitFontUntouched() {
String xml = run("", "<w:t>" + ROMAN + "</w:t>");
assertNull(GlyphCoverageNormalizer.rewrite(xml));
}
/** Составной ран (несколько детей в w:r) не трогаем. */
@Test
void compoundRunUntouched() {
String xml = run(timesRPr(), "<w:tab/><w:t>" + ROMAN + "</w:t>");
assertNull(GlyphCoverageNormalizer.rewrite(xml));
}
/** Знака нет ни в одном бандл-шрифте: решётку не прячем за случайный шрифт. */
@Test
void glyphMissingEverywhereUntouched() {
String xml = run(timesRPr(), "<w:t>" + NOWHERE + "</w:t>");
assertNull(GlyphCoverageNormalizer.rewrite(xml));
}
/** Часть с пробелами по краям обязана остаться с xml:space="preserve". */
@Test
void addsXmlSpacePreserve() {
String out = GlyphCoverageNormalizer.rewrite(
run(timesRPr(), "<w:t>" + ROMAN + " ы</w:t>"));
assertNotNull(out);
assertTrue(out.contains("<w:t xml:space=\"preserve\"> ы</w:t>"),
"часть с пробелами потеряла xml:space: " + out);
assertTrue(out.contains("<w:t>" + ROMAN + "</w:t>"),
"часть без пробелов получила лишний xml:space: " + out);
}
/** Исходный xml:space не дублируется. */
@Test
void keepsExistingXmlSpace() {
String out = GlyphCoverageNormalizer.rewrite(
run(timesRPr(), "<w:t xml:space=\"preserve\">" + ROMAN + " ы</w:t>"));
assertNotNull(out);
assertEquals(2, occurrences(out, "xml:space=\"preserve\""),
"xml:space задублирован: " + out);
}
/** Числовые сущности разбираются, а не разрезаются по буквам. */
@Test
void decodesNumericEntities() {
String out = GlyphCoverageNormalizer.rewrite(
run(timesRPr(), "<w:t>&#8530;&#8533;</w:t>"));
assertNotNull(out, "сущности не разобраны: U+2152 требует подстановки");
assertTrue(out.contains("DejaVu Serif"), "нет подстановки: " + out);
}
/** Экранирование обратимо: &amp; не превращается в &amp;amp;. */
@Test
void escapesTextBack() {
String out = GlyphCoverageNormalizer.rewrite(
run(timesRPr(), "<w:t>Tom &amp; Jerry " + ROMAN + "</w:t>"));
assertNotNull(out);
assertTrue(out.contains("Tom &amp; Jerry"), "сломано экранирование: " + out);
assertFalse(out.contains("&amp;amp;"), "двойное экранирование: " + out);
}
/** Serif-ран уходит в serif-семейство, а не в sans fallback. */
@Test
void serifRunPrefersSerifFamily() {
List<GlyphCoverageNormalizer.Segment> segments =
GlyphCoverageNormalizer.split("ы" + ROMAN, "tinos");
assertNotNull(segments);
assertEquals("dejavu serif", segments.get(1).family);
}
/** Sans-ран уходит в sans fallback. */
@Test
void sansRunPrefersSansFamily() {
List<GlyphCoverageNormalizer.Segment> segments =
GlyphCoverageNormalizer.split("ы" + ROMAN, "carlito");
assertNotNull(segments);
assertEquals("dejavu sans", segments.get(1).family);
}
private static int occurrences(String s, String needle) {
int count = 0;
for (int i = s.indexOf(needle); i >= 0; i = s.indexOf(needle, i + 1)) {
count++;
}
return count;
}
}