Валидатор: лимиты 5 МиБ и 100 страниц, отказ до рендера и без артефактов

- WordPdfValidator (новый): MAX_INPUT_BYTES/MAX_PAGES, три нижние оценки
  страниц (кэш app.xml недостоверен — реальный кейс <Pages>1</Pages> при
  110 маркерах lastRenderedPageBreak); lightweight zip/StAX-путь.
- convert(Path,Path): неполный PDF удаляется при отказе, но только если
  поток вывода реально открылся (чужой read-only файл не стирается);
  checkPageCount внутри try — finally чистит temp-файлы шрифтов.
- lightweight: continuous-секции не считаются страницами; w:type —
  дочерний элемент, классификация на закрытии sectPr; мёртвый
  атрибутный перегруз startsNewPage удалён.
- Фикстуры too-many-pages.docx (151 страница) и stale-cache.docx
  (кэш 1 при 110 маркерах) + регрессии tooManyPages,
  staleCachePageCountRejectedBeforeRender, inputTooLarge,
  oversizedInputReturnsError, pageCount_continuousSectionsNotCountedLightweight.
- SampleDocxGenerator: точный поиск <w:t (не матчить <w:tbl/<w:tc),
  константа STALE_CACHE_UNMARKED_RUNS вместо литерала.
- AGENTS.md переписан; .gitignore += /diff/ и /word-export.*.

mvn clean verify: 95/95; fat-jar проверен java -jar (код 0/2, артефактов нет).
This commit is contained in:
Pjandro
2026-10-13 15:29:23 +00:00
parent ae31f27a27
commit aec4dbffe7
18 changed files with 1264 additions and 76 deletions
@@ -27,6 +27,7 @@ import javax.imageio.ImageIO;
import java.awt.Color;
import java.awt.Graphics2D;
import java.awt.image.BufferedImage;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.FileOutputStream;
@@ -68,6 +69,8 @@ public final class SampleDocxGenerator {
symbolBullets(dir.resolve("symbol-bullets.docx"));
pageNumbers(dir.resolve("page-numbers.docx"));
exoticGlyphs(dir.resolve("exotic-glyphs.docx"));
tooManyPages(dir.resolve("too-many-pages.docx"));
staleCache(dir.resolve("stale-cache.docx"));
System.out.println("Готово: " + dir.toAbsolutePath());
}
@@ -326,6 +329,108 @@ public final class SampleDocxGenerator {
}
}
/**
* Документ длиннее лимита страниц: 150 абзацев с принудительным
* {@code w:br type="page"} → нижняя оценка по явным разрывам
* = 1 + 150 = 151 > 100. Используется как фикстура для проверки
* постраничного лимита в {@code WordPdfValidator}.
*/
private static void tooManyPages(Path out) throws Exception {
try (XWPFDocument doc = new XWPFDocument()) {
heading(doc, "Слишком много страниц", "Times New Roman");
for (int i = 1; i <= 150; i++) {
XWPFParagraph p = doc.createParagraph();
run(p, "Страница " + i, "Times New Roman", false, false);
p.createRun().addBreak(org.apache.poi.xwpf.usermodel.BreakType.PAGE);
}
save(doc, out);
}
}
/**
* Документ с устаревшим кэшем страниц — как Word сохраняет файл,
* доработанный другим редактором: 111 абзацев, разделённых маркерами
* {@code w:lastRenderedPageBreak} (110 границ страниц, то есть
* ~111 страница), и при этом в {@code docProps/app.xml} записан кэш
* {@code <Pages>1</Pages>}. Явных разрывов нет ни одного.
*
* <p>Регрессия для {@code WordPdfValidator}: кэш больше не приоритетный
* источник, оценка по маркерам (111) должна победить кэш (1) и
* документ должен быть отвергнут до рендера.
*/
private static void staleCache(Path out) throws Exception {
try (XWPFDocument doc = new XWPFDocument()) {
doc.getProperties().getExtendedProperties()
.getUnderlyingProperties().setPages(1);
heading(doc, "Устаревший кэш страниц", "Calibri");
for (int i = 1; i <= 110; i++) {
XWPFParagraph p = doc.createParagraph();
run(p, "Абзац " + i, "Calibri", false, false);
}
ByteArrayOutputStream bos = new ByteArrayOutputStream();
doc.write(bos);
insertLastRenderedMarkers(bos.toByteArray(), out);
}
}
/**
* Переупаковывает .docx, вставляя {@code w:lastRenderedPageBreak}
* перед каждым текстовым тегом {@code w:t} в {@code word/document.xml},
* кроме первых {@value #STALE_CACHE_UNMARKED_RUNS} (первый абзац
* остаётся без маркера). Тег ищется точно ({@code <w:t>} /
* {@code <w:t }): префикс {@code <w:t} — это также {@code w:tab},
* {@code w:tbl}, {@code w:tc}, маркеры в которые недопустимы по схеме
* (вне CT_R → невалидный docx). Позиция корректна по схеме CT_R:
* rPr, затем маркер, затем текст.
*/
private static void insertLastRenderedMarkers(byte[] docx, Path out) throws Exception {
final int unmarked = STALE_CACHE_UNMARKED_RUNS;
try (java.util.zip.ZipInputStream zin =
new java.util.zip.ZipInputStream(new ByteArrayInputStream(docx));
java.util.zip.ZipOutputStream zout =
new java.util.zip.ZipOutputStream(new FileOutputStream(out.toFile()))) {
java.util.zip.ZipEntry e;
while ((e = zin.getNextEntry()) != null) {
byte[] data = zin.readAllBytes();
if (e.getName().equals("word/document.xml")) {
String xml = new String(data, java.nio.charset.StandardCharsets.UTF_8);
StringBuilder sb = new StringBuilder(xml.length() + 4096);
int i = 0;
int seen = 0;
while (true) {
int at = xml.indexOf("<w:t", i);
if (at < 0) {
sb.append(xml, i, xml.length());
break;
}
sb.append(xml, i, at);
int end = at + "<w:t".length();
char next = end < xml.length() ? xml.charAt(end) : '<';
if (next != '>' && next != ' ') {
// <w:tab/<w:tbl/<w:tc/... — не текстовый тег
sb.append(xml, at, end);
i = end;
continue;
}
if (seen >= unmarked) {
sb.append("<w:lastRenderedPageBreak/>");
}
seen++;
sb.append(xml, at, end);
i = end;
}
data = sb.toString().getBytes(java.nio.charset.StandardCharsets.UTF_8);
}
zout.putNextEntry(new java.util.zip.ZipEntry(e.getName()));
zout.write(data);
zout.closeEntry();
}
}
}
/** Сколько {@code w:t} в фикстуре stale-cache остаются без маркера. */
private static final int STALE_CACHE_UNMARKED_RUNS = 1;
// ================== Вспомогательные ==================
/** Абзац-заголовок: POI 5.5 не имеет createHeading, поэтому
@@ -378,4 +378,74 @@ class WordPdfConverterTest {
assertEquals(expected, out);
assertTrue(Files.isRegularFile(out), "PDF не создан: " + out);
}
/**
* Лимит на размер входного .docx: больше 5 MiB — отказ до рендера.
* Проверяется через обе формы convert.
*/
@Test
void inputTooLarge() throws Exception {
Path tooBig = Files.createTempFile("too-big-", ".docx");
Path out = Files.createTempFile("too-big-out-", ".pdf");
try {
// Пишем чуть больше лимита (5 MiB + 1 байт)
byte[] filler = new byte[(int) WordPdfValidator.MAX_INPUT_BYTES + 1];
Files.write(tooBig, filler);
assertThrows(ConversionException.class,
() -> WordPdfConverter.convert(tooBig));
assertFalse(Files.exists(Path.of(
tooBig.toString().replaceFirst("\\.docx$", "") + ".pdf")),
"отказ по размеру не должен создавать PDF рядом со входом");
assertThrows(ConversionException.class,
() -> WordPdfConverter.convert(tooBig, out));
assertEquals(0L, Files.size(out),
"отказ по размеру — до открытия потока вывода, "
+ "выходной файл не должен быть затронут");
} finally {
Files.deleteIfExists(tooBig);
Files.deleteIfExists(out);
}
}
/**
* Лимит на число страниц: документ с 150 явными разрывами страниц
* (фикстура too-many-pages.docx, нижняя оценка 151) должен
* отвергаться до рендеринга. PDF не создаётся — в том числе пустой
* файл-артефакт от уже открытого потока вывода.
*/
@Test
void tooManyPages() throws Exception {
Path in = extractSample("too-many-pages.docx");
Path out = Files.createTempFile("too-many-out-", ".pdf");
Files.deleteIfExists(out);
ConversionException ex = assertThrows(ConversionException.class,
() -> WordPdfConverter.convert(in, out));
assertTrue(ex.getMessage().contains("100"),
"сообщение должно упоминать лимит: " + ex.getMessage());
assertFalse(Files.exists(out),
"отказ по страницам не должен оставлять PDF: " + out);
}
/**
* Документ с устаревшим кэшем {@code <Pages>1</Pages>} и 110 маркерами
* {@code w:lastRenderedPageBreak} (фикстура stale-cache.docx — модель
* реального документа пользователя «110 страниц.docx»): конвертер
* обязан отвергнуть его до рендера и не оставить PDF.
*/
@Test
void staleCachePageCountRejectedBeforeRender() throws Exception {
Path in = extractSample("stale-cache.docx");
Path out = Files.createTempFile("stale-cache-out-", ".pdf");
Files.deleteIfExists(out);
ConversionException ex = assertThrows(ConversionException.class,
() -> WordPdfConverter.convert(in, out));
assertTrue(ex.getMessage().contains("100"),
"сообщение должно упоминать лимит: " + ex.getMessage());
assertFalse(Files.exists(out),
"отказ по страницам не должен оставлять PDF: " + out);
}
}
@@ -0,0 +1,353 @@
package ru.pjandro.wordpdf;
import org.apache.poi.xwpf.usermodel.BreakType;
import org.apache.poi.xwpf.usermodel.XWPFDocument;
import org.apache.poi.xwpf.usermodel.XWPFParagraph;
import org.apache.poi.xwpf.usermodel.XWPFTable;
import org.docx4j.openpackaging.packages.WordprocessingMLPackage;
import org.junit.jupiter.api.Test;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import static org.junit.jupiter.api.Assertions.*;
/**
* Юнит-тесты валидатора: размер (Path и byte[]) и число страниц
* (Path, byte[] и уже загруженный пакет).
*/
class WordPdfValidatorTest {
private static Path bigDocx(long size) throws IOException {
Path tmp = Files.createTempFile("validator-", ".docx");
Files.write(tmp, new byte[(int) size]);
return tmp;
}
private static byte[] docxWithPageBreaks(int count) throws Exception {
try (XWPFDocument doc = new XWPFDocument()) {
for (int i = 0; i < count; i++) {
XWPFParagraph p = doc.createParagraph();
p.createRun().setText("p" + i);
p.createRun().addBreak(BreakType.PAGE);
}
ByteArrayOutputStream bos = new ByteArrayOutputStream();
doc.write(bos);
return bos.toByteArray();
}
}
@Test
void checkInput_pathWithinLimit() throws IOException {
Path p = bigDocx(1024);
try {
assertDoesNotThrow(() -> WordPdfValidator.checkInput(p));
} finally {
Files.deleteIfExists(p);
}
}
@Test
void checkInput_pathOverLimit() throws IOException {
Path p = bigDocx(WordPdfValidator.MAX_INPUT_BYTES + 1);
try {
ConversionException ex = assertThrows(ConversionException.class,
() -> WordPdfValidator.checkInput(p));
assertTrue(ex.getMessage().contains("5 МБ"),
"сообщение должно упоминать лимит: " + ex.getMessage());
} finally {
Files.deleteIfExists(p);
}
}
@Test
void checkInput_pathNull() {
assertThrows(ConversionException.class,
() -> WordPdfValidator.checkInput((Path) null));
}
@Test
void checkInput_bytesWithinLimit() {
assertDoesNotThrow(() ->
WordPdfValidator.checkInput(new byte[1024]));
}
@Test
void checkInput_bytesOverLimit() {
byte[] big = new byte[(int) WordPdfValidator.MAX_INPUT_BYTES + 1];
ConversionException ex = assertThrows(ConversionException.class,
() -> WordPdfValidator.checkInput(big));
assertTrue(ex.getMessage().contains("5 МБ"),
"сообщение должно упоминать лимит: " + ex.getMessage());
}
@Test
void checkInput_bytesNull() {
assertThrows(ConversionException.class,
() -> WordPdfValidator.checkInput((byte[]) null));
}
@Test
void checkPageCount_pkgWithinLimit() throws Exception {
byte[] bytes = docxWithPageBreaks(5); // 1 + 5 = 6 страниц по оценке
WordprocessingMLPackage pkg = WordprocessingMLPackage.load(
new java.io.ByteArrayInputStream(bytes));
assertDoesNotThrow(() -> WordPdfValidator.checkPageCount(pkg));
}
@Test
void checkPageCount_pkgOverLimit() throws Exception {
byte[] bytes = docxWithPageBreaks(120); // 1 + 120 = 121
WordprocessingMLPackage pkg = WordprocessingMLPackage.load(
new java.io.ByteArrayInputStream(bytes));
ConversionException ex = assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCount(pkg));
assertTrue(ex.getMessage().contains("100"),
"сообщение должно упоминать лимит: " + ex.getMessage());
}
@Test
void checkPageCount_bytesOverLimit() throws Exception {
byte[] bytes = docxWithPageBreaks(120);
ConversionException ex = assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCount(bytes));
assertTrue(ex.getMessage().contains("100"),
"сообщение должно упоминать лимит: " + ex.getMessage());
}
@Test
void checkPageCount_bytesNull() {
assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCount((byte[]) null));
}
@Test
void checkPageCount_pkgNull() {
assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCount((WordprocessingMLPackage) null));
}
// ---- lightweight (zip/StAX, без docx4j) ----
@Test
void checkPageCountLightweight_bytesWithinLimit() throws Exception {
byte[] bytes = docxWithPageBreaks(5);
assertDoesNotThrow(() -> WordPdfValidator.checkPageCountLightweight(bytes));
}
@Test
void checkPageCountLightweight_bytesOverLimit() throws Exception {
byte[] bytes = docxWithPageBreaks(120);
ConversionException ex = assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCountLightweight(bytes));
assertTrue(ex.getMessage().contains("100"),
"сообщение должно упоминать лимит: " + ex.getMessage());
}
@Test
void checkPageCountLightweight_pathOverLimit() throws Exception {
Path tmp = Files.createTempFile("validator-lw-", ".docx");
Files.write(tmp, docxWithPageBreaks(120));
try {
ConversionException ex = assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCountLightweight(tmp));
assertTrue(ex.getMessage().contains("100"),
"сообщение должно упоминать лимит: " + ex.getMessage());
} finally {
Files.deleteIfExists(tmp);
}
}
@Test
void checkPageCountLightweight_agreesWithJaxbPath() throws Exception {
// на фикстурах без кэша Pages оба пути обязаны совпадать,
// включая границу лимита: 99 разрывов = 100 страниц (проходит),
// 100/101 = 101/102 (отказ)
for (int breaks : new int[]{0, 3, 99, 100, 101}) {
byte[] bytes = docxWithPageBreaks(breaks);
WordprocessingMLPackage pkg = WordprocessingMLPackage.load(
new java.io.ByteArrayInputStream(bytes));
int jaxb = WordPdfValidator.pageCountOf(pkg);
// lightweight-путь приватный; проверяем через границу лимита:
// 1+breaks совпадает с оценкой JAXB
assertEquals(1 + breaks, jaxb, "JAXB-оценка для " + breaks + " разрывов");
if (breaks < 100) {
assertDoesNotThrow(() -> WordPdfValidator.checkPageCountLightweight(bytes));
} else {
ConversionException ex = assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCountLightweight(bytes));
assertTrue(ex.getMessage().contains("не менее " + (1 + breaks)),
"оценка lightweight должна совпадать с JAXB: " + ex.getMessage());
}
}
}
/**
* Секция {@code type="continuous"} по OOXML новую страницу не
* начинает — lightweight-путь (zip/StAX) не обязан её считать, а
* последняя body-direct секция (финальная) не считается никогда.
* Случай A: 100 {@code nextPage} + финальная {@code continuous} —
* 101 страница, отказ (старый код считал «все минус одна» без
* учёта типа: 101−1=100 и пропускал). Случай B: 101
* {@code continuous} + финальная {@code nextPage} — 1 страница,
* проходит (старый код раздувал до 102 и отвергал). В JAXB-модели
* body-direct sectPr не видны (docx4j оставляет только финальную
* в {@code body.getSectPr()}, {@code getContent()} пуст), поэтому
* расхождение lightweight здесь — допустимое завышение.
* Регрессия — WordPdfValidator#scanDocument.
*/
@Test
void pageCount_continuousSectionsNotCountedLightweight() throws Exception {
java.util.List<String> typesA = new java.util.ArrayList<>();
for (int i = 0; i < 100; i++) {
typesA.add("nextPage");
}
typesA.add("continuous"); // финальная секция — непрерывная
byte[] overLimit = docxWithBodySections(typesA);
ConversionException exLwA = assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCountLightweight(overLimit));
assertTrue(exLwA.getMessage().contains("не менее 101"),
"оценка = 1 + 100 межсекционных nextPage: " + exLwA.getMessage());
java.util.List<String> typesB = new java.util.ArrayList<>();
for (int i = 0; i < 101; i++) {
typesB.add("continuous");
}
typesB.add("nextPage"); // финальная секция
byte[] ok = docxWithBodySections(typesB);
assertDoesNotThrow(() -> WordPdfValidator.checkPageCountLightweight(ok),
"continuous-границы не страницы");
}
/**
* docx от POI, в {@code word/document.xml} которого перед закрытием
* {@code w:body} вставлены {@code w:sectPr} прямо в {@code body} с
* указанными {@code w:type} (последняя из них — финальная секция;
* POI сам финальный sectPr не пишет).
*/
private static byte[] docxWithBodySections(java.util.List<String> types)
throws Exception {
byte[] base = docxWithPageBreaks(0);
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (java.util.zip.ZipInputStream zin = new java.util.zip.ZipInputStream(
new java.io.ByteArrayInputStream(base));
java.util.zip.ZipOutputStream zout = new java.util.zip.ZipOutputStream(out)) {
java.util.zip.ZipEntry e;
while ((e = zin.getNextEntry()) != null) {
byte[] data = zin.readAllBytes();
if (e.getName().equals("word/document.xml")) {
String xml = new String(data, java.nio.charset.StandardCharsets.UTF_8);
StringBuilder sb = new StringBuilder();
for (String t : types) {
sb.append("<w:sectPr><w:type w:val=\"").append(t)
.append("\"/></w:sectPr>");
}
// POI не пишет финальный sectPr — последняя вставленная
// секция и есть финальная (в JAXB уйдёт в body.getSectPr());
// пустой body сериализуется самозакрывающимся тегом
int at = xml.indexOf("</w:body>");
if (at >= 0) {
xml = xml.substring(0, at) + sb + xml.substring(at);
} else {
at = xml.indexOf("<w:body/>");
assertTrue(at >= 0, "в document.xml нет w:body");
xml = xml.substring(0, at) + "<w:body>" + sb + "</w:body>"
+ xml.substring(at + "<w:body/>".length());
}
data = xml.getBytes(java.nio.charset.StandardCharsets.UTF_8);
}
zout.putNextEntry(new java.util.zip.ZipEntry(e.getName()));
zout.write(data);
zout.closeEntry();
}
}
return out.toByteArray();
}
// ---- устаревший кэш <Pages> ----
private static byte[] staleCacheFixture() throws Exception {
try (java.io.InputStream in = WordPdfValidatorTest.class.getClassLoader()
.getResourceAsStream("samples/stale-cache.docx")) {
assertNotNull(in, "Нет фикстуры samples/stale-cache.docx");
return in.readAllBytes();
}
}
/**
* Кэш Word {@code <Pages>1</Pages>} в документе с 110 маркерами
* {@code w:lastRenderedPageBreak}: кэш больше не приоритетный источник,
* оценка по маркерам (111) обязана победить и документ — быть
* отвергнутым. Это регрессия на реальном документе пользователя
* («110 страниц.docx»: кэш 1, маркеров 110, явных разрывов 0).
*/
@Test
void pageCount_staleCacheLosesToLastRenderedMarkers() throws Exception {
byte[] bytes = staleCacheFixture();
WordprocessingMLPackage pkg = WordprocessingMLPackage.load(
new java.io.ByteArrayInputStream(bytes));
assertEquals(111, WordPdfValidator.pageCountOf(pkg),
"оценка = max(кэш 1, разрывы 1, маркеры 110+1)");
ConversionException ex = assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCount(pkg));
assertTrue(ex.getMessage().contains("100"), ex.getMessage());
// lightweight-путь обязан согласовать тот же отказ
assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCountLightweight(bytes));
}
/**
* Явные разрывы внутри таблиц и контентных контролов тоже считаются:
* раньше обходил только прямой контент body, и документ с разрывами в
* ячейках оценивался в 1 страницу.
*/
@Test
void pageCount_breaksInsideTablesAreCounted() throws Exception {
byte[] bytes;
try (XWPFDocument doc = new XWPFDocument()) {
XWPFTable table = doc.createTable(2, 1);
for (int i = 0; i < 120; i++) {
XWPFParagraph p = table.getRow(0).getCell(0).getParagraphs().get(0);
p.createRun().setText("t" + i);
p.createRun().addBreak(BreakType.PAGE);
}
java.io.ByteArrayOutputStream bos = new java.io.ByteArrayOutputStream();
doc.write(bos);
bytes = bos.toByteArray();
}
WordprocessingMLPackage pkg = WordprocessingMLPackage.load(
new java.io.ByteArrayInputStream(bytes));
assertEquals(121, WordPdfValidator.pageCountOf(pkg),
"разрывы в ячейке таблицы должны считаться");
assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCount(bytes));
assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCountLightweight(bytes));
}
@Test
void checkPageCountLightweight_bytesNull() {
assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCountLightweight((byte[]) null));
}
@Test
void checkPageCountLightweight_pathNull() {
assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCountLightweight((Path) null));
}
@Test
void checkPageCountLightweight_notAZip() throws IOException {
Path tmp = Files.createTempFile("validator-lw-bad-", ".docx");
Files.write(tmp, "not a zip at all".getBytes());
try {
assertThrows(ConversionException.class,
() -> WordPdfValidator.checkPageCountLightweight(tmp));
} finally {
Files.deleteIfExists(tmp);
}
}
}