feat: конвертация бинарного .doc (Word 97-2003) в PDF (POI HWPF + FOP)
This commit is contained in:
@@ -0,0 +1,234 @@
|
||||
package ru.pjandro.wordpdf;
|
||||
|
||||
import org.apache.pdfbox.Loader;
|
||||
import org.apache.pdfbox.cos.COSName;
|
||||
import org.apache.pdfbox.pdmodel.PDDocument;
|
||||
import org.apache.pdfbox.pdmodel.PDPage;
|
||||
import org.apache.pdfbox.pdmodel.PDResources;
|
||||
import org.apache.pdfbox.pdmodel.font.PDFont;
|
||||
import org.apache.pdfbox.pdmodel.graphics.PDXObject;
|
||||
import org.apache.pdfbox.pdmodel.graphics.image.PDImageXObject;
|
||||
import org.apache.pdfbox.text.PDFTextStripper;
|
||||
import org.apache.pdfbox.text.TextPosition;
|
||||
import org.junit.jupiter.api.Test;
|
||||
|
||||
import java.io.IOException;
|
||||
import java.io.InputStream;
|
||||
import java.nio.file.Files;
|
||||
import java.nio.file.Path;
|
||||
import java.util.ArrayList;
|
||||
import java.util.IdentityHashMap;
|
||||
import java.util.List;
|
||||
import java.util.Set;
|
||||
import java.util.TreeSet;
|
||||
|
||||
import static org.junit.jupiter.api.Assertions.*;
|
||||
|
||||
/**
|
||||
* Конвертация бинарного .doc (Word 97-2003, OLE2) через ветку
|
||||
* {@code internal.DocToPdfRenderer} (POI HWPF -> XSL-FO -> FOP).
|
||||
* Фикстура — закоммиченный samples/legacy-doc.doc (создан Word'ом,
|
||||
* POI .doc не пишет — не перезагенерировать).
|
||||
*
|
||||
* <p>Ассерты только на фактическое содержимое фикстуры и на раны,
|
||||
* ушедшие в Tinos (аналог Times New Roman): текст ран, ушедших в
|
||||
* DejaVu-fallback, PDFBox на машинах с установленным DejaVu «чинит»
|
||||
* по системному шрифту и извлекает «#» — такие строки не ассертятся
|
||||
* (экзотические глифы фикстуры — принятая деградация .doc-ветки:
|
||||
* аналога GlyphCoverageNormalizer здесь нет).
|
||||
*/
|
||||
class DocToPdfTest {
|
||||
|
||||
private static byte[] sampleBytes(String name) throws IOException {
|
||||
try (InputStream in = DocToPdfTest.class.getClassLoader()
|
||||
.getResourceAsStream("samples/" + name)) {
|
||||
assertNotNull(in, "Нет тестового документа: samples/" + name);
|
||||
return in.readAllBytes();
|
||||
}
|
||||
}
|
||||
|
||||
private static Path convertPdf(byte[] docBytes, String title) throws IOException {
|
||||
Path out = Files.createTempFile("converted-doc-", ".pdf");
|
||||
Files.write(out, WordPdfConverter.convert(docBytes, title));
|
||||
return out;
|
||||
}
|
||||
|
||||
private static String norm(String s) {
|
||||
return s.replaceAll("\\s+", "");
|
||||
}
|
||||
|
||||
private static String pdfPageText(Path pdf, int page) throws IOException {
|
||||
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
||||
PDFTextStripper stripper = new PDFTextStripper();
|
||||
stripper.setStartPage(page);
|
||||
stripper.setEndPage(page);
|
||||
return stripper.getText(doc);
|
||||
}
|
||||
}
|
||||
|
||||
/** Строка страницы: базовая линия y (от верха страницы, PDFBox YDirAdj) и текст. */
|
||||
private record Line(float y, String text) {
|
||||
}
|
||||
|
||||
/** Непустые строки страницы с базовыми линиями (порядок по позиции). */
|
||||
private static List<Line> pageLines(Path pdf, int page) throws IOException {
|
||||
List<Line> lines = new ArrayList<>();
|
||||
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
||||
PDFTextStripper stripper = new PDFTextStripper() {
|
||||
@Override
|
||||
protected void writeString(String text, List<TextPosition> textPositions)
|
||||
throws IOException {
|
||||
super.writeString(text, textPositions);
|
||||
if (!textPositions.isEmpty() && !norm(text).isEmpty()) {
|
||||
lines.add(new Line(textPositions.get(0).getYDirAdj(), text));
|
||||
}
|
||||
}
|
||||
};
|
||||
stripper.setStartPage(page);
|
||||
stripper.setEndPage(page);
|
||||
stripper.setSortByPosition(true);
|
||||
stripper.getText(doc);
|
||||
}
|
||||
return lines;
|
||||
}
|
||||
|
||||
/** y базовой линии первой строки, содержащей needle (после norm); null если нет. */
|
||||
private static Float lineY(Path pdf, int page, String needle) throws IOException {
|
||||
String n = norm(needle);
|
||||
for (Line l : pageLines(pdf, page)) {
|
||||
if (norm(l.text()).contains(n)) {
|
||||
return l.y();
|
||||
}
|
||||
}
|
||||
return null;
|
||||
}
|
||||
|
||||
/** Максимум y по всем непустым строкам страницы (самая нижняя базовая линия). */
|
||||
private static float maxLineY(Path pdf, int page) throws IOException {
|
||||
float max = Float.MIN_VALUE;
|
||||
for (Line l : pageLines(pdf, page)) {
|
||||
max = Math.max(max, l.y());
|
||||
}
|
||||
return max;
|
||||
}
|
||||
|
||||
/** BaseFont-имена вшитых шрифтов PDF (например "EAAAAA+Tinos-Bold"). */
|
||||
private static Set<String> embeddedFontNames(Path pdf) throws IOException {
|
||||
Set<String> names = new TreeSet<>();
|
||||
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
||||
for (PDPage page : doc.getPages()) {
|
||||
PDResources res = page.getResources();
|
||||
for (COSName name : res.getFontNames()) {
|
||||
PDFont font = res.getFont(name);
|
||||
if (font != null) {
|
||||
names.add(font.getName());
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
return names;
|
||||
}
|
||||
|
||||
/** Число уникальных Image XObject в PDF (наследованные ресурсы — один объект). */
|
||||
private static int imageCount(Path pdf) throws IOException {
|
||||
Set<PDXObject> seen = java.util.Collections.newSetFromMap(new IdentityHashMap<>());
|
||||
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
||||
for (PDPage page : doc.getPages()) {
|
||||
PDResources res = page.getResources();
|
||||
for (COSName name : res.getXObjectNames()) {
|
||||
PDXObject xo = res.getXObject(name);
|
||||
if (xo instanceof PDImageXObject) {
|
||||
seen.add(xo);
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
return seen.size();
|
||||
}
|
||||
|
||||
/**
|
||||
* .doc конвертируется в PDF: текст кириллический, таблицы и картинки
|
||||
* на месте, шрифт — встроенный Tinos (аналог Times New Roman),
|
||||
* базовый Helvetica не используется.
|
||||
* Регрессия — WordPdfConverter#isOle2 + internal.DocToPdfRenderer,
|
||||
* фикстура samples/legacy-doc.doc.
|
||||
*/
|
||||
@Test
|
||||
void legacyDoc_convertsToPdf() throws Exception {
|
||||
Path pdf = convertPdf(sampleBytes("legacy-doc.doc"), "testDoc");
|
||||
String text;
|
||||
int pages;
|
||||
try (PDDocument doc = Loader.loadPDF(pdf.toFile())) {
|
||||
pages = doc.getNumberOfPages();
|
||||
text = norm(new PDFTextStripper().getText(doc));
|
||||
}
|
||||
assertTrue(pages >= 10, "страниц меньше ожидаемого: " + pages);
|
||||
assertTrue(text.contains("Предметдоговора"), "нет заголовка раздела");
|
||||
assertTrue(text.contains("Договорарендыпомещения"), "нет заголовка");
|
||||
for (String font : embeddedFontNames(pdf)) {
|
||||
assertFalse(font.contains("Helvetica"), "базовый шрифт в PDF: " + font);
|
||||
}
|
||||
assertTrue(embeddedFontNames(pdf).stream().anyMatch(n -> n.contains("Tinos")),
|
||||
"нет Tinos (аналога Times New Roman): " + embeddedFontNames(pdf));
|
||||
assertTrue(imageCount(pdf) >= 1, "картинок нет");
|
||||
}
|
||||
|
||||
/**
|
||||
* Колонтитулы, которых POI в FO не пишет, дописываются в FO-DOM:
|
||||
* текст odd-footer («Нижний колонтитул») и номер страницы из PAGE-поля
|
||||
* на каждой странице.
|
||||
* Регрессия — DocToPdfRenderer#injectHeadersAndFooters,
|
||||
* фикстура samples/legacy-doc.doc.
|
||||
*/
|
||||
@Test
|
||||
void legacyDoc_footersCarryPageNumbers() throws Exception {
|
||||
Path pdf = convertPdf(sampleBytes("legacy-doc.doc"), "testDoc");
|
||||
String page1 = norm(pdfPageText(pdf, 1));
|
||||
String page5 = norm(pdfPageText(pdf, 5));
|
||||
assertTrue(page5.contains("Нижнийколонтитул"), "нет текста футера на стр. 5");
|
||||
assertTrue(page1.startsWith("1"), "нет номера страницы на стр. 1: "
|
||||
+ page1.substring(0, Math.min(20, page1.length())));
|
||||
assertTrue(page5.contains("5"), "нет номера страницы на стр. 5");
|
||||
}
|
||||
|
||||
/**
|
||||
* Текст body не наезжает на области колонтитулов: заголовок первой
|
||||
* строки лежит ниже header-региона (extent = верхнее поле 0.7875in =
|
||||
* 56.7pt), под строкой футера ничего нет. Форк FOP не вычитает
|
||||
* extent'ы регионов из body-области (area.Page = page-area минус
|
||||
* собственные margin'ы region-body), поэтому разводка body и
|
||||
* колонтитулов — только margin'ами region-body; их обнуление
|
||||
* растягивает body на всю страницу, и текст лезет в колонтитулы.
|
||||
* Регрессия — DocToPdfRenderer#injectHeadersAndFooters,
|
||||
* фикстура samples/legacy-doc.doc.
|
||||
*/
|
||||
@Test
|
||||
void legacyDoc_bodyClearsHeaderFooterRegions() throws Exception {
|
||||
Path pdf = convertPdf(sampleBytes("legacy-doc.doc"), "testDoc");
|
||||
Float titleY = lineY(pdf, 1, "Договор аренды");
|
||||
assertNotNull(titleY, "нет заголовка на стр. 1");
|
||||
assertTrue(titleY > 50f, "заголовок внутри header-региона: y=" + titleY);
|
||||
Float footerY = lineY(pdf, 1, "Нижний колонтитул");
|
||||
assertNotNull(footerY, "нет футера на стр. 1");
|
||||
float lowest = maxLineY(pdf, 1);
|
||||
assertTrue(lowest <= footerY + 1f,
|
||||
"строка ниже футера: y=" + lowest + " > y футера " + footerY);
|
||||
}
|
||||
|
||||
/**
|
||||
* OLE2-магик + мусор: и валидатор, и конвертер обязаны отвергнуть
|
||||
* документ (не молча отдать пустой PDF).
|
||||
* Регрессия — DocToPdfRenderer#render, WordPdfValidator#checkDocPageCountLightweight.
|
||||
*/
|
||||
@Test
|
||||
void ole2Junk_rejected() {
|
||||
byte[] junk = new byte[1024];
|
||||
byte[] magic = {(byte) 0xD0, (byte) 0xCF, 0x11, (byte) 0xE0,
|
||||
(byte) 0xA1, (byte) 0xB1, 0x1A, (byte) 0xE1};
|
||||
System.arraycopy(magic, 0, junk, 0, magic.length);
|
||||
assertThrows(ConversionException.class,
|
||||
() -> WordPdfValidator.checkDocPageCountLightweight(junk));
|
||||
assertThrows(ConversionException.class,
|
||||
() -> WordPdfConverter.convert(junk, "junk"));
|
||||
}
|
||||
}
|
||||
@@ -449,18 +449,19 @@ class WordPdfConverterTest {
|
||||
}
|
||||
|
||||
/**
|
||||
* Вход без zip-подписи — отказ как некорректный вход (ValidationException),
|
||||
* а не ошибка рендера: вход конвертера прогоняет тот же
|
||||
* {@link WordPdfValidator#validate(byte[], ConvertOptions)}, что и приложение до очереди.
|
||||
* Регрессия — WordPdfValidatorTest#validate_notAZip.
|
||||
* Вход без подписи контейнера (ни zip, ни OLE2) — отказ как некорректный
|
||||
* вход (ValidationException), а не ошибка рендера: вход конвертера
|
||||
* прогоняет тот же {@link WordPdfValidator#validate(byte[], ConvertOptions)},
|
||||
* что и приложение до очереди. Регрессия —
|
||||
* WordPdfValidatorTest#validate_neitherDocxNorDoc.
|
||||
*/
|
||||
@Test
|
||||
void inputNotAZip_rejectedBeforeRender() {
|
||||
byte[] junk = {1, 2, 3, 4, 5, 6, 7, 8};
|
||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||
WordPdfConverter.convert(junk, "junk"));
|
||||
assertTrue(ex.getMessage().contains("не zip-архив"),
|
||||
"сообщение должно упоминать zip-подпись: " + ex.getMessage());
|
||||
assertTrue(ex.getMessage().contains("не похоже на .docx или .doc"),
|
||||
"сообщение должно упоминать подписи контейнера: " + ex.getMessage());
|
||||
}
|
||||
|
||||
/**
|
||||
|
||||
@@ -276,12 +276,12 @@ class WordPdfValidatorTest {
|
||||
}
|
||||
|
||||
@Test
|
||||
void validate_notAZip() {
|
||||
void validate_neitherDocxNorDoc() {
|
||||
byte[] junk = {1, 2, 3, 4, 5};
|
||||
ValidationException ex = assertThrows(ValidationException.class,
|
||||
() -> WordPdfValidator.validate(junk, ConvertOptions.defaults()));
|
||||
assertTrue(ex.getMessage().contains("не zip-архив"),
|
||||
"сообщение должно упоминать zip-подпись: " + ex.getMessage());
|
||||
assertTrue(ex.getMessage().contains("не похоже на .docx или .doc"),
|
||||
"сообщение должно упоминать обе подписи контейнера: " + ex.getMessage());
|
||||
}
|
||||
|
||||
@Test
|
||||
@@ -332,4 +332,49 @@ class WordPdfValidatorTest {
|
||||
() -> WordPdfValidator.checkPageCount(docx, 3));
|
||||
assertTrue(ex.getMessage().contains("не менее 4"), ex.getMessage());
|
||||
}
|
||||
|
||||
/** Фикстура бинарного .doc (закоммичена, создана Word'ом — POI .doc не пишет). */
|
||||
private static byte[] legacyDocBytes() throws Exception {
|
||||
try (var in = WordPdfValidatorTest.class.getClassLoader()
|
||||
.getResourceAsStream("samples/legacy-doc.doc")) {
|
||||
assertNotNull(in, "Нет тестового документа: samples/legacy-doc.doc");
|
||||
return in.readAllBytes();
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Число страниц .doc — кэш SummaryInformation (для фикстуры 11):
|
||||
* лимит 10 должен отвергать, 20 — пропускать.
|
||||
* Регрессия — WordPdfValidator#checkDocPageCountLightweight,
|
||||
* фикстура samples/legacy-doc.doc.
|
||||
*/
|
||||
@Test
|
||||
void checkDocPageCountLightweight_overLimitRejected() throws Exception {
|
||||
ConversionException ex = assertThrows(ConversionException.class,
|
||||
() -> WordPdfValidator.checkDocPageCountLightweight(legacyDocBytes(), 10));
|
||||
assertTrue(ex.getMessage().contains("не менее 11"), ex.getMessage());
|
||||
}
|
||||
|
||||
@Test
|
||||
void checkDocPageCountLightweight_underLimitPasses() throws Exception {
|
||||
byte[] doc = legacyDocBytes();
|
||||
assertDoesNotThrow(() -> WordPdfValidator.checkDocPageCountLightweight(doc, 20));
|
||||
assertDoesNotThrow(() -> WordPdfValidator.checkDocPageCountLightweight(doc));
|
||||
}
|
||||
|
||||
@Test
|
||||
void checkDocPageCountLightweight_junkRejected() {
|
||||
byte[] junk = new byte[1024];
|
||||
byte[] magic = {(byte) 0xD0, (byte) 0xCF, 0x11, (byte) 0xE0,
|
||||
(byte) 0xA1, (byte) 0xB1, 0x1A, (byte) 0xE1};
|
||||
System.arraycopy(magic, 0, junk, 0, magic.length);
|
||||
assertThrows(ConversionException.class,
|
||||
() -> WordPdfValidator.checkDocPageCountLightweight(junk));
|
||||
}
|
||||
|
||||
@Test
|
||||
void checkDocPageCountLightweight_bytesNull() {
|
||||
assertThrows(ConversionException.class,
|
||||
() -> WordPdfValidator.checkDocPageCountLightweight((byte[]) null));
|
||||
}
|
||||
}
|
||||
|
||||
Binary file not shown.
Reference in New Issue
Block a user