perf(core): стриминговый checkPageCount и потолок площади растра диаграмм #65

Merged
pjandro merged 1 commits from reduce-heap into main 2026-10-27 02:09:40 +03:00
3 changed files with 76 additions and 42 deletions
Showing only changes of commit f698354817 - Show all commits
@@ -9,9 +9,9 @@ import java.io.IOException;
import java.io.InputStream;
import java.nio.charset.StandardCharsets;
import java.util.ArrayDeque;
import java.util.ArrayList;
import java.util.Deque;
import java.util.List;
import java.util.HashSet;
import java.util.Set;
import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream;
@@ -64,6 +64,12 @@ public final class WordPdfValidator {
/** Элемент-контейнер body, внутри которого sectPr — межсекционный разрыв. */
private static final String BODY_ELEMENT = "body";
/** Кэш Word <Pages>. */
private static final String APP_PART = "docProps/app.xml";
/** Тело документа. */
private static final String DOCUMENT_PART = "word/document.xml";
private WordPdfValidator() {
}
@@ -138,28 +144,38 @@ public final class WordPdfValidator {
if (docxBytes == null) {
throw new ValidationException("Не указаны байты входного .docx");
}
int pages;
int cached = 0;
BreakScan scan = new BreakScan(0, 0);
int hfBreaks = 0;
// Дубликаты записей враждебного zip: первая выигрывает (прежняя
// map хранила последнюю). Обе оценки нижние, расхождение — только
// в сторону отказа на враждебном входе.
boolean appSeen = false;
boolean docSeen = false;
Set<String> hfSeen = new HashSet<>();
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docxBytes))) {
java.util.Map<String, byte[]> parts = new java.util.HashMap<>();
List<String> headerFooter = new ArrayList<>();
ZipEntry entry;
while ((entry = zip.getNextEntry()) != null) {
String n = entry.getName();
if ("docProps/app.xml".equals(n) || "word/document.xml".equals(n)
|| isHeaderFooterPart(n)) {
parts.put(n, zip.readAllBytes());
if (isHeaderFooterPart(n)) {
headerFooter.add(n);
if (APP_PART.equals(n)) {
if (!appSeen) {
appSeen = true;
cached = cachedPageCount(noClose(zip));
}
} else if (DOCUMENT_PART.equals(n)) {
if (!docSeen) {
docSeen = true;
scan = scanDocument(noClose(zip));
}
} else if (isHeaderFooterPart(n) && hfSeen.add(n)) {
hfBreaks += countBreaksInFlat(noClose(zip));
}
}
pages = pageCountOfZip(name -> {
byte[] b = parts.get(name);
return b == null ? null : new ByteArrayInputStream(b);
}, headerFooter);
} catch (IOException | RuntimeException e) {
throw new ValidationException("Не удалось разобрать байты .docx", e);
}
int pages = Math.max(Math.max(cached, 1 + scan.breaks() + hfBreaks),
scan.lastRendered() + 1);
if (pages > maxPages) {
throw new ValidationException("Документ длиннее " + maxPages
+ " страниц: получено не менее " + pages);
@@ -184,8 +200,8 @@ public final class WordPdfValidator {
* декларация документа wordprocessingml (архив без неё — не .docx);
* zip-бомба отсекается потоковым счётчиком распакованных байт
* ({@link WordPdfSettings#MAX_DECOMPRESSED_MB}) и числом записей
* ({@link WordPdfSettings#MAX_ZIP_ENTRIES}) — до загрузки содержимого
* в память в {@link #checkPageCount(byte[], int)}. Оба лимита —
* ({@link WordPdfSettings#MAX_ZIP_ENTRIES}) — до разбора содержимого
* в {@link #checkPageCount(byte[], int)}. Оба лимита —
* защитные пороги, {@link ConvertOptions} их не переопределяет.
* Регрессии — {@code WordPdfValidatorTest#validate_plainZipRejected},
* {@code #validate_xlsxRenamedRejected}, {@code #validate_zipBombRejected},
@@ -206,7 +222,7 @@ public final class WordPdfValidator {
/**
* Один потоковый проход по zip: суммарный распакованный размер и число
* записей (защита от zip-бомбы — отсечение ДО {@code readAllBytes}
* записей (защита от zip-бомбы — отсечение ДО чтения содержимого
* в {@link #checkPageCount(byte[], int)}) и наличие в
* {@code [Content_Types].xml} декларации документа wordprocessingml
* (архив без неё — не .docx: обычный zip, переименованный .xlsx/.pptx).
@@ -276,11 +292,6 @@ public final class WordPdfValidator {
return false;
}
/** Поставщик потока по имени части zip; null — части нет. */
private interface PartStream {
InputStream open(String name) throws IOException;
}
/** {@code word/headerN.xml} / {@code word/footerN.xml} (не .rels). */
private static boolean isHeaderFooterPart(String name) {
return (name.startsWith("word/header") || name.startsWith("word/footer"))
@@ -288,21 +299,19 @@ public final class WordPdfValidator {
}
/**
* Лёгкий расчёт числа страниц прямо по zip-пакету .docx, без docx4j.
* Максимум кэша {@code docProps/app.xml <Pages>}, явных разрывов и
* {@code w:lastRenderedPageBreak}. Считаются все колонтитулы
* ({@code word/header*.xml}, {@code word/footer*.xml}) — там Word тоже
* держит {@code w:br type="page"}.
* Обёртка, глушащая {@code close()}: {@code cachedPageCount},
* {@code scanDocument} и {@code countBreaksInFlat} закрывают
* переданный поток в {@code finally}, а закрывать {@code ZipInputStream}
* в середине обхода нельзя — переход к следующей записи делает цикл
* в {@code checkPageCount}.
*/
private static int pageCountOfZip(PartStream parts, List<String> headerFooterParts)
throws IOException {
int cached = cachedPageCount(parts.open("docProps/app.xml"));
BreakScan scan = scanDocument(parts.open("word/document.xml"));
int explicit = 1 + scan.breaks(); // сам документ — минимум одна страница
for (String part : headerFooterParts) {
explicit += countBreaksInFlat(parts.open(part));
}
return Math.max(Math.max(cached, explicit), scan.lastRendered() + 1);
private static InputStream noClose(InputStream in) {
return new java.io.FilterInputStream(in) {
@Override
public void close() {
// намеренно не закрываем базовый ZipInputStream
}
};
}
/** Результат разбора word/document.xml: явные разрывы и маркеры. */
@@ -33,6 +33,14 @@ final class ChartRenderer {
/** Разрешение растра: 300 dpi, чтобы подписи не мылились при печати. */
static final int DPI = 300;
/**
* Потолок площади растра: 4096×4096 ARGB = 64 МБ (против 208 МБ при
* 24″ × 300 dpi — верхняя граница {@code DrawingPreRenderer.MAX_EXTENT_EMU}).
* Превышение — понижение эффективного dpi ({@link #fitDpi}), геометрия
* не меняется.
*/
static final long MAX_PIXELS = 16_777_216L;
/** Поля вокруг chartSpace от рамки графика. Auto-layout Word — Word-эмпирика. */
private static final double PADDING = 4.0;
@@ -57,10 +65,26 @@ final class ChartRenderer {
private ChartRenderer() {
}
/**
* Эффективный dpi растра: {@link #DPI}, либо пониженный так, чтобы
* площадь не превысила {@link #MAX_PIXELS}. Понижение uniform — все
* размеры в пунктах под одним {@code g.scale}, безразмерные пропорции
* рендера сохраняются.
*/
static double fitDpi(double widthPt, double heightPt) {
double w = Math.max(16, Math.round(widthPt * DPI / 72.0));
double h = Math.max(16, Math.round(heightPt * DPI / 72.0));
if (w * h <= MAX_PIXELS) {
return DPI;
}
return DPI * Math.sqrt(MAX_PIXELS / (w * h));
}
static BufferedImage render(ChartSpec spec, double widthPt, double heightPt,
DrawMlColor colors) {
int w = Math.max(16, (int) Math.round(widthPt * DPI / 72.0));
int h = Math.max(16, (int) Math.round(heightPt * DPI / 72.0));
double dpi = fitDpi(widthPt, heightPt);
int w = Math.max(16, (int) Math.round(widthPt * dpi / 72.0));
int h = Math.max(16, (int) Math.round(heightPt * dpi / 72.0));
BufferedImage img = new BufferedImage(w, h, BufferedImage.TYPE_INT_ARGB);
Graphics2D g = img.createGraphics();
try {
@@ -70,7 +94,7 @@ final class ChartRenderer {
RenderingHints.VALUE_TEXT_ANTIALIAS_ON);
g.setRenderingHint(RenderingHints.KEY_STROKE_CONTROL,
RenderingHints.VALUE_STROKE_PURE);
g.scale(DPI / 72.0, DPI / 72.0);
g.scale(dpi / 72.0, dpi / 72.0);
drawFrame(g, spec, widthPt, heightPt);
Rectangle2D box = new Rectangle2D.Double(PADDING, PADDING,
@@ -79,8 +79,9 @@ final class SmartArtRenderer {
double widthPt, double heightPt) {
List<Item> items = new ArrayList<>();
collect(drawing.getSpTree().getSpOrGrpSp(), new AffineTransform(), items);
int w = Math.max(16, (int) Math.round(widthPt * DPI / 72.0));
int h = Math.max(16, (int) Math.round(heightPt * DPI / 72.0));
double dpi = ChartRenderer.fitDpi(widthPt, heightPt);
int w = Math.max(16, (int) Math.round(widthPt * dpi / 72.0));
int h = Math.max(16, (int) Math.round(heightPt * dpi / 72.0));
BufferedImage img = new BufferedImage(w, h, BufferedImage.TYPE_INT_ARGB);
Graphics2D g = img.createGraphics();
try {
@@ -90,7 +91,7 @@ final class SmartArtRenderer {
RenderingHints.VALUE_TEXT_ANTIALIAS_ON);
g.setRenderingHint(RenderingHints.KEY_STROKE_CONTROL,
RenderingHints.VALUE_STROKE_PURE);
g.scale(DPI / 72.0, DPI / 72.0);
g.scale(dpi / 72.0, dpi / 72.0);
if (items.isEmpty()) {
return img;
}