From 07028d15099154c0d4d22a92cff0316e41d1e427 Mon Sep 17 00:00:00 2001 From: Pjandro Date: Sun, 1 Nov 2026 03:44:35 +0000 Subject: [PATCH] core: reduce peak memory of conversion (single page-count scan, early input/stream release, streamed document.xml, eager raster flush); app: reject oversized upload before getBytes() --- AGENTS.md | 3 +- .../wordpdf/app/ConvertController.java | 9 +++ .../ru/pjandro/wordpdf/WordPdfConverter.java | 57 +++++++++++-------- .../internal/chart/DrawingPreRenderer.java | 5 ++ .../pjandro/wordpdf/internal/doc/DocFile.java | 16 +++++- .../wordpdf/internal/doc/DocToDocx.java | 8 ++- .../wordpdf/internal/doc/DocxWriter.java | 18 +++++- 7 files changed, 84 insertions(+), 32 deletions(-) diff --git a/AGENTS.md b/AGENTS.md index fe27dea..61c9450 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -23,7 +23,6 @@ | 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j | | 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера добавляет системные шрифты в глобальный реестр `PhysicalFonts`; `init()` вызывает `dropNonBundled()` **до** регистрации бандла (`addPhysicalFont` не перезаписывает занятый ключ — иначе системный Calibri ломает em-dash-fallback) | | 2 | `DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load` | Один zip-проход переписывания XML-частей (правила 1–8, см. ниже) + условная OLE-вычистка (правило 9) | -| 2.5 | `WordPdfValidator.checkPageCount(normalizedBytes, maxPages)` | Lightweight-оценка страниц по zip, до рендера | | 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF | | 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет) | | 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные | @@ -33,7 +32,7 @@ | 6 | `Docx4J.toFO(foSettings, os, FLAG_EXPORT_PREFER_XSL)` | XSL-FO → PDF | | 7 | `finally` → `getFontTablePart().deleteEmbeddedFontTempFiles()` | В docx4j 17.x `OpcPackage.close()` нет — пакет в памяти | -Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + явные разрывы)`; явные — 0x0C в основном тексте + `sprmPFPageBreakBefore` из PAPX. Тот же метод — вход приложения. +Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + явные разрывы)`; явные — 0x0C в основном тексте + `sprmPFPageBreakBefore` из PAPX. Тот же метод — вход приложения. Повторный скан по нормализованным байтам удалён — правила 1–8 число учитываемых разрывов не меняют, а скан внутри живой JAXB-модели удваивал бы пиковую память; скан выполняется ровно один раз по сырому входу, до аллокаций docx4j. ### Мост `.doc` → `.docx` (`internal/doc`) diff --git a/wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/ConvertController.java b/wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/ConvertController.java index 452f649..fd2949b 100644 --- a/wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/ConvertController.java +++ b/wordpdf-app/src/main/java/ru/pjandro/wordpdf/app/ConvertController.java @@ -85,6 +85,15 @@ final class ConvertController { // .doc (Word 97–2003) переносится в .docx мостом internal.doc throw new ValidationException("Поддерживаются только .docx и .doc: " + name); } + // Размер проверяется до getBytes(): multipart-лимит сервера (100 МБ) + // больше логического лимита входа (wordpdf.max-mb), и без этого гварда + // заведомо oversized-upload сначала материализовался бы в куче. + // Текст — тот же формат, что WordPdfValidator.checkInput. + long maxBytes = maxMb * 1024 * 1024; + if (file.getSize() > maxBytes) { + throw new ValidationException("Файл больше " + maxMb + " МБ: " + + file.getSize() + " байт > " + maxBytes + " байт"); + } byte[] docxBytes; try { docxBytes = file.getBytes(); diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java index 405fe9f..d6722b5 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/WordPdfConverter.java @@ -74,7 +74,8 @@ public final class WordPdfConverter { * {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера: * {@code null} / размер больше {@link WordPdfSettings#MAX_INPUT_MB} (МБ) / zip-подпись / * число страниц больше {@link WordPdfSettings#MAX_PAGES} — при отказе байтов результата нет; - * страницы дополнительно перепроверяются по нормализованным байтам (шаг 2.5). + * страницы считаются ровно раз по сырому входу, повторного скана по + * нормализованным байтам нет (см. javadoc перегрузки с {@link ConvertOptions}). * * @param docxBytes байты .docx или бинарного .doc * @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся @@ -96,10 +97,12 @@ public final class WordPdfConverter { *

Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)} * до рендера — одна проверка на оба формата: {@code null} / размер больше * {@code options.maxMb()} (МБ) / не .docx и не .doc / число страниц больше - * {@code options.maxPages()} — при отказе байтов результата нет. Для .docx - * страницы дополнительно перепроверяются по нормализованным байтам (шаг 2.5); - * для .doc страницы считаются по чистому бинарному документу до конвертации, - * конвертат не перепроверяется. + * {@code options.maxPages()} — при отказе байтов результата нет. Страницы + * считаются ровно раз по сырому входу, до аллокаций docx4j: для .docx — + * lightweight-скан по zip, для .doc — по чистому бинарному документу до + * конвертации. Повторного скана по нормализованным байтам нет: правила 1–8 + * {@code DocxRewritePipeline} число учитываемых разрывов не меняют, а скан + * внутри живой JAXB-модели удваивал бы пиковую память. * * @param docxBytes байты .docx или бинарного .doc * @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся @@ -111,6 +114,11 @@ public final class WordPdfConverter { * документ длиннее {@code options.maxPages()} страниц * @throws ConversionException прочие ошибки (битый .docx, ошибка рендера) */ + // PMD.UnusedAssignment глушится намеренно: зануление docxBytes ниже — + // не «мёртвое присваивание», а детерминированное освобождение массива до + // моста/рендера (точные liveness-карты HotSpot строит только для + // скомпилированных кадров). + @SuppressWarnings("PMD.UnusedAssignment") public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options) throws ConversionException { ConvertOptions opts = options == null ? ConvertOptions.defaults() : options; // Полная проверка входа — одна на оба формата: размер до @@ -120,12 +128,17 @@ public final class WordPdfConverter { WordPdfValidator.validate(docxBytes, opts); boolean fromDoc = WordPdfValidator.isBinaryDoc(docxBytes); // Бинарный .doc (Word 97–2003): мост internal.doc. Сгенерированный - // .docx — собственный артефакт, его штатной валидацией/перепроверкой - // (шаг 2.5) не проверяем. + // .docx — собственный артефакт, его штатной валидацией входа не + // проверяем (вход уже проверен по байтам .doc). byte[] docx = fromDoc ? DocToDocx.convert(docxBytes) : docxBytes; + // Сырой вход (.doc до конвертации в docx тоже был в куче) больше не + // читается — обнуляем явно: точные liveness-карты HotSpot строит + // только для скомпилированных кадров, без этого ссылка доживала бы до + // конца метода, пережив и мост, и FOP-рендер. + docxBytes = null; ByteArrayOutputStream bos = new ByteArrayOutputStream(Math.max(1 << 16, docx.length)); try { - convertToStream(docx, title, opts, bos, fromDoc); + convertToStream(docx, title, opts, bos); } catch (ConversionException e) { // ValidationException (отказ валидации входа) — подтип, уходит // вызывающему без обёртки @@ -141,8 +154,12 @@ public final class WordPdfConverter { * совместимости commons-compress в classpath потребителя (DependencyGuard): * без неё старая версия библиотеки дала бы мутный NoSuchMethodError внутри docx4j. */ + // PMD.UnusedAssignment глушится намеренно: зануление rawDocxBytes/docxBytes + // — детерминированное освобождение байтов входа до load()/рендера, а не + // «мёртвое присваивание» (см. javadoc convert). + @SuppressWarnings("PMD.UnusedAssignment") private static void convertToStream(byte[] rawDocxBytes, String title, ConvertOptions options, - OutputStream os, boolean skipPageRecheck) throws Exception { + OutputStream os) throws Exception { // 0. Совместимость commons-compress: docx4j требует ковариантный // ZipArchiveInputStream.getNextEntry() (>= 1.25.0); ниже — понятный // ConversionException с инструкцией вместо NoSuchMethodError. @@ -164,24 +181,16 @@ public final class WordPdfConverter { for (DocxNormalizer normalizer : normalizers(options)) { docxBytes = normalizer.normalize(docxBytes); } + // Исходные байты до нормализации больше не читаются — освобождаем явно + // (без них при .doc-входе в куче жили бы и .doc, и нормализованный .docx). + rawDocxBytes = null; WordprocessingMLPackage pkg = WordprocessingMLPackage.load( new ByteArrayInputStream(docxBytes)); + // ZipPartStore при load() копирует распакованные байты каждой записи в + // свой реестр, нормализованный zip дальше не читается — освобождаем до + // FOP-рендера (пик: JAXB-модель + FOP + PDF-буфер). + docxBytes = null; try { - // 2.5 Проверка числа страниц по самому .docx: lightweight-оценка - // по zip (кэш docProps/app.xml , явные разрывы, маркеры - // w:lastRenderedPageBreak, включая колонтитулы) — без JAXB-модели. - // Делается до рендера, чтобы не тратить время на заведомо - // длинный документ; внутри try — чтобы и на отказе отработал - // finally с чисткой temp-файлов встроенных шрифтов. - // Для .doc пропущена: страницы уже посчитаны мостом по чистому - // бинарному документу, перепроверять собственный конвертат — - // значит проверять не вход. - if (!skipPageRecheck) { - WordPdfValidator.checkPageCount(docxBytes, options.maxPages()); - } - // после этой строки docxBytes больше не читается — HotSpot с точными - // картами liveness считает его недостижимым, нормализованная копия - // освобождается до FOP-рендера (пик: JAXB-модель + FOP + PDF-буфер) // 3. Привязка маппера: docx4j сопоставляет шрифты документа // с физическими TTF (учитывая и шрифты, встроенные в docx) pkg.setFontMapper(mapper); diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java index 2f6e7c9..2461ec7 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/chart/DrawingPreRenderer.java @@ -293,7 +293,12 @@ public final class DrawingPreRenderer { ByteArrayOutputStream bos = new ByteArrayOutputStream(); ImageIO.write(img, "png", bos); png = bos.toByteArray(); + // растер (TYPE_INT_ARGB, до MAX_PIXELS ≈ 64 МБ) после кодирования + // PNG не используется — освобождается сразу, не переживая остаток + // итерации цикла вызывающего (локальная переменная жива до её конца) + img.flush(); } catch (Exception e) { + img.flush(); LOG.warn("PNG не собран: {}", e.toString()); gd.getAny().clear(); // контракт: упавший рендер — объект удалён return; diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocFile.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocFile.java index 19d755b..0546a56 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocFile.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocFile.java @@ -17,10 +17,10 @@ import ru.pjandro.wordpdf.ValidationException; */ final class DocFile { - private final Map streams; + private Map streams; private final byte[] wordDocument; private final FibHeader fib; - private final byte[] table; + private byte[] table; private final PieceTable pieces; private DocFile(byte[] docBytes) { @@ -47,6 +47,18 @@ final class DocFile { return new DocFile(docBytes); } + /** + * Освобождает сырые потоки после построения индексов: Table-поток больше + * не читается (картинки — только Data, текст — WordDocument через + * {@link PieceTable}), а без зануления Map и Table доживали бы до конца + * конвертации вместе с JAXB-моделью и FOP. {@link #countPages()} — другой + * экземпляр (путь валидатора), этот вызов его не касается. + */ + void releaseRawStreams() { + streams = null; + table = null; + } + /** * Число страниц (нижняя оценка, тот же нижний контур, что lightweight-скан * валидатора для .docx): {@code max(кэш PageCount [MS-OLEPS], 1 + ручные diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocToDocx.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocToDocx.java index e530849..23f924d 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocToDocx.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocToDocx.java @@ -128,8 +128,14 @@ public final class DocToDocx { NUMBERING_REL_TYPE, lists.numberingXml().getBytes(StandardCharsets.UTF_8))); } + // Data нужен DocxBody (sprmCPicLocation → BLIP); CfbReader.stream + // возвращает сам массив из map — после releaseRawStreams он живёт + // только этой ссылкой. Table-поток и остальные потоки освобождать + // можно: все их потребители (FontTable…Headers) отработали выше. + byte[] data = CfbReader.stream(file.streams(), "Data"); + file.releaseRawStreams(); DocxBody body = new DocxBody(file.pieces(), chpx, papx, fonts, styles, lists, - fib.ccpText(), CfbReader.stream(file.streams(), "Data"), parts); + fib.ccpText(), data, parts); List secs = sections.list(); String[] hdrRel = new String[secs.size()]; String[] ftrRel = new String[secs.size()]; diff --git a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocxWriter.java b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocxWriter.java index af56af5..afc0b5e 100644 --- a/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocxWriter.java +++ b/wordpdf-core/src/main/java/ru/pjandro/wordpdf/internal/doc/DocxWriter.java @@ -60,14 +60,16 @@ final class DocxWriter { * нестабильным). */ static byte[] write(String bodyXml, List parts, List hyperlinkTargets) { - String document = XML_DECL + "" - + bodyXml + ""; ByteArrayOutputStream bos = new ByteArrayOutputStream(1 << 14); try (ZipOutputStream zip = new ZipOutputStream(bos, StandardCharsets.UTF_8)) { put(zip, "[Content_Types].xml", contentTypes(parts)); put(zip, "_rels/.rels", ROOT_RELS); put(zip, "word/_rels/document.xml.rels", documentRels(parts, hyperlinkTargets)); - put(zip, "word/document.xml", document); + // document.xml пишется сегментами: конкатенация в String создала + // бы полную копию самого большого XML (bodyXml) при живом List + putSegments(zip, "word/document.xml", + XML_DECL + "", + bodyXml, ""); for (Part part : parts) { zip.putNextEntry(new ZipEntry(part.entry())); zip.write(part.content()); @@ -79,6 +81,16 @@ final class DocxWriter { return bos.toByteArray(); } + /** Несколько строк — в одну zip-запись без промежуточной конкатенации. */ + private static void putSegments(ZipOutputStream zip, String name, String... segments) + throws IOException { + zip.putNextEntry(new ZipEntry(name)); + for (String segment : segments) { + zip.write(segment.getBytes(StandardCharsets.UTF_8)); + } + zip.closeEntry(); + } + /** XML-часть колонтитука: {@code }/{@code } с полным набором имён. */ static byte[] storyPart(String rootElement, String paragraphsXml) { return (XML_DECL + "<" + rootElement + " " + NAMESPACES + ">"