core: reduce peak memory of conversion (single page-count scan, early input/stream release, streamed document.xml, eager raster flush); app: reject oversized upload before getBytes()
PR checks / web (pull_request) Successful in 35s
PR checks / java (pull_request) Successful in 1m11s
Main: tests, deploy, autotests / web (push) Successful in 41s
Main: tests, deploy, autotests / java (push) Successful in 1m16s
Main: tests, deploy, autotests / images-web (push) Successful in 28s
Main: tests, deploy, autotests / images-app (push) Successful in 39s
Main: tests, deploy, autotests / deploy (push) Failing after 4m59s
Main: tests, deploy, autotests / autotests (push) Has been skipped
Main: tests, deploy, autotests / rollback (push) Failing after 2m29s

This commit was merged in pull request #83.
This commit is contained in:
Pjandro
2026-11-01 03:44:35 +00:00
parent 230fe233c0
commit 07028d1509
7 changed files with 84 additions and 32 deletions
+1 -2
View File
@@ -23,7 +23,6 @@
| 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j | | 0 | `DependencyGuard.check()` | API-проба `ZipArchiveInputStream.getNextEntry()` — совместимость commons-compress ≥ 1.25.0; иначе `ConversionException` с инструкцией вместо мутного `NoSuchMethodError` внутри docx4j |
| 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера добавляет системные шрифты в глобальный реестр `PhysicalFonts`; `init()` вызывает `dropNonBundled()` **до** регистрации бандла (`addPhysicalFont` не перезаписывает занятый ключ — иначе системный Calibri ломает em-dash-fallback) | | 1 | `new BundledFontMapper()` → `BundledFonts.init()` → `restrictToBundled()` | Конструктор маппера добавляет системные шрифты в глобальный реестр `PhysicalFonts`; `init()` вызывает `dropNonBundled()` **до** регистрации бандла (`addPhysicalFont` не перезаписывает занятый ключ — иначе системный Calibri ломает em-dash-fallback) |
| 2 | `DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load` | Один zip-проход переписывания XML-частей (правила 1–8, см. ниже) + условная OLE-вычистка (правило 9) | | 2 | `DocxRewritePipeline.STEP` → `OleObjectNormalizer` → `WordprocessingMLPackage.load` | Один zip-проход переписывания XML-частей (правила 1–8, см. ниже) + условная OLE-вычистка (правило 9) |
| 2.5 | `WordPdfValidator.checkPageCount(normalizedBytes, maxPages)` | Lightweight-оценка страниц по zip, до рендера |
| 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF | | 3 | `pkg.setFontMapper(mapper)` | Привязка шрифтов документа к физическим TTF |
| 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет) | | 3.5 | `DrawingPreRenderer.run(pkg, options)` | `c:chart`/`dgm:relIds` → PNG 300 dpi → `pic:pic` (docx2fo.xslt их не умеет) |
| 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные | | 4 | `new FOSettings(pkg)` + `FopFallbackFonts.declare(foSettings)` | В FOP-конфиг добавляются **все** бандл-семейства: FOP встраивает только задекларированные |
@@ -33,7 +32,7 @@
| 6 | `Docx4J.toFO(foSettings, os, FLAG_EXPORT_PREFER_XSL)` | XSL-FO → PDF | | 6 | `Docx4J.toFO(foSettings, os, FLAG_EXPORT_PREFER_XSL)` | XSL-FO → PDF |
| 7 | `finally` → `getFontTablePart().deleteEmbeddedFontTempFiles()` | В docx4j 17.x `OpcPackage.close()` нет — пакет в памяти | | 7 | `finally` → `getFontTablePart().deleteEmbeddedFontTempFiles()` | В docx4j 17.x `OpcPackage.close()` нет — пакет в памяти |
Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + явные разрывы)`; явные — 0x0C в основном тексте + `sprmPFPageBreakBefore` из PAPX. Тот же метод — вход приложения. Вход валидируется **до** `convertToStream`: `WordPdfValidator.validate(bytes, options)` (размер → подпись: zip `PK\x03\x04` или CFB `D0 CF 11 E0` → контейнер → страницы). Для `.doc` страницы считаются **по сырым байтам .doc, до конвертации**: `checkPageCountDoc` = `max(SummaryInfo PageCount, 1 + явные разрывы)`; явные — 0x0C в основном тексте + `sprmPFPageBreakBefore` из PAPX. Тот же метод — вход приложения. Повторный скан по нормализованным байтам удалён — правила 1–8 число учитываемых разрывов не меняют, а скан внутри живой JAXB-модели удваивал бы пиковую память; скан выполняется ровно один раз по сырому входу, до аллокаций docx4j.
### Мост `.doc` → `.docx` (`internal/doc`) ### Мост `.doc` → `.docx` (`internal/doc`)
@@ -85,6 +85,15 @@ final class ConvertController {
// .doc (Word 97–2003) переносится в .docx мостом internal.doc // .doc (Word 97–2003) переносится в .docx мостом internal.doc
throw new ValidationException("Поддерживаются только .docx и .doc: " + name); throw new ValidationException("Поддерживаются только .docx и .doc: " + name);
} }
// Размер проверяется до getBytes(): multipart-лимит сервера (100 МБ)
// больше логического лимита входа (wordpdf.max-mb), и без этого гварда
// заведомо oversized-upload сначала материализовался бы в куче.
// Текст — тот же формат, что WordPdfValidator.checkInput.
long maxBytes = maxMb * 1024 * 1024;
if (file.getSize() > maxBytes) {
throw new ValidationException("Файл больше " + maxMb + " МБ: "
+ file.getSize() + " байт > " + maxBytes + " байт");
}
byte[] docxBytes; byte[] docxBytes;
try { try {
docxBytes = file.getBytes(); docxBytes = file.getBytes();
@@ -74,7 +74,8 @@ public final class WordPdfConverter {
* {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера: * {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера:
* {@code null} / размер больше {@link WordPdfSettings#MAX_INPUT_MB} (МБ) / zip-подпись / * {@code null} / размер больше {@link WordPdfSettings#MAX_INPUT_MB} (МБ) / zip-подпись /
* число страниц больше {@link WordPdfSettings#MAX_PAGES} — при отказе байтов результата нет; * число страниц больше {@link WordPdfSettings#MAX_PAGES} — при отказе байтов результата нет;
* страницы дополнительно перепроверяются по нормализованным байтам (шаг 2.5). * страницы считаются ровно раз по сырому входу, повторного скана по
* нормализованным байтам нет (см. javadoc перегрузки с {@link ConvertOptions}).
* *
* @param docxBytes байты .docx или бинарного .doc * @param docxBytes байты .docx или бинарного .doc
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся * @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
@@ -96,10 +97,12 @@ public final class WordPdfConverter {
* <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)} * <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)}
* до рендера — одна проверка на оба формата: {@code null} / размер больше * до рендера — одна проверка на оба формата: {@code null} / размер больше
* {@code options.maxMb()} (МБ) / не .docx и не .doc / число страниц больше * {@code options.maxMb()} (МБ) / не .docx и не .doc / число страниц больше
* {@code options.maxPages()} — при отказе байтов результата нет. Для .docx * {@code options.maxPages()} — при отказе байтов результата нет. Страницы
* страницы дополнительно перепроверяются по нормализованным байтам (шаг 2.5); * считаются ровно раз по сырому входу, до аллокаций docx4j: для .docx —
* для .doc страницы считаются по чистому бинарному документу до конвертации, * lightweight-скан по zip, для .doc — по чистому бинарному документу до
* конвертат не перепроверяется. * конвертации. Повторного скана по нормализованным байтам нет: правила 1–8
* {@code DocxRewritePipeline} число учитываемых разрывов не меняют, а скан
* внутри живой JAXB-модели удваивал бы пиковую память.
* *
* @param docxBytes байты .docx или бинарного .doc * @param docxBytes байты .docx или бинарного .doc
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся * @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
@@ -111,6 +114,11 @@ public final class WordPdfConverter {
* документ длиннее {@code options.maxPages()} страниц * документ длиннее {@code options.maxPages()} страниц
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера) * @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
*/ */
// PMD.UnusedAssignment глушится намеренно: зануление docxBytes ниже —
// не «мёртвое присваивание», а детерминированное освобождение массива до
// моста/рендера (точные liveness-карты HotSpot строит только для
// скомпилированных кадров).
@SuppressWarnings("PMD.UnusedAssignment")
public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options) throws ConversionException { public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options) throws ConversionException {
ConvertOptions opts = options == null ? ConvertOptions.defaults() : options; ConvertOptions opts = options == null ? ConvertOptions.defaults() : options;
// Полная проверка входа — одна на оба формата: размер до // Полная проверка входа — одна на оба формата: размер до
@@ -120,12 +128,17 @@ public final class WordPdfConverter {
WordPdfValidator.validate(docxBytes, opts); WordPdfValidator.validate(docxBytes, opts);
boolean fromDoc = WordPdfValidator.isBinaryDoc(docxBytes); boolean fromDoc = WordPdfValidator.isBinaryDoc(docxBytes);
// Бинарный .doc (Word 97–2003): мост internal.doc. Сгенерированный // Бинарный .doc (Word 97–2003): мост internal.doc. Сгенерированный
// .docx — собственный артефакт, его штатной валидацией/перепроверкой // .docx — собственный артефакт, его штатной валидацией входа не
// (шаг 2.5) не проверяем. // проверяем (вход уже проверен по байтам .doc).
byte[] docx = fromDoc ? DocToDocx.convert(docxBytes) : docxBytes; byte[] docx = fromDoc ? DocToDocx.convert(docxBytes) : docxBytes;
// Сырой вход (.doc до конвертации в docx тоже был в куче) больше не
// читается — обнуляем явно: точные liveness-карты HotSpot строит
// только для скомпилированных кадров, без этого ссылка доживала бы до
// конца метода, пережив и мост, и FOP-рендер.
docxBytes = null;
ByteArrayOutputStream bos = new ByteArrayOutputStream(Math.max(1 << 16, docx.length)); ByteArrayOutputStream bos = new ByteArrayOutputStream(Math.max(1 << 16, docx.length));
try { try {
convertToStream(docx, title, opts, bos, fromDoc); convertToStream(docx, title, opts, bos);
} catch (ConversionException e) { } catch (ConversionException e) {
// ValidationException (отказ валидации входа) — подтип, уходит // ValidationException (отказ валидации входа) — подтип, уходит
// вызывающему без обёртки // вызывающему без обёртки
@@ -141,8 +154,12 @@ public final class WordPdfConverter {
* совместимости commons-compress в classpath потребителя (DependencyGuard): * совместимости commons-compress в classpath потребителя (DependencyGuard):
* без неё старая версия библиотеки дала бы мутный NoSuchMethodError внутри docx4j. * без неё старая версия библиотеки дала бы мутный NoSuchMethodError внутри docx4j.
*/ */
// PMD.UnusedAssignment глушится намеренно: зануление rawDocxBytes/docxBytes
// — детерминированное освобождение байтов входа до load()/рендера, а не
// «мёртвое присваивание» (см. javadoc convert).
@SuppressWarnings("PMD.UnusedAssignment")
private static void convertToStream(byte[] rawDocxBytes, String title, ConvertOptions options, private static void convertToStream(byte[] rawDocxBytes, String title, ConvertOptions options,
OutputStream os, boolean skipPageRecheck) throws Exception { OutputStream os) throws Exception {
// 0. Совместимость commons-compress: docx4j требует ковариантный // 0. Совместимость commons-compress: docx4j требует ковариантный
// ZipArchiveInputStream.getNextEntry() (>= 1.25.0); ниже — понятный // ZipArchiveInputStream.getNextEntry() (>= 1.25.0); ниже — понятный
// ConversionException с инструкцией вместо NoSuchMethodError. // ConversionException с инструкцией вместо NoSuchMethodError.
@@ -164,24 +181,16 @@ public final class WordPdfConverter {
for (DocxNormalizer normalizer : normalizers(options)) { for (DocxNormalizer normalizer : normalizers(options)) {
docxBytes = normalizer.normalize(docxBytes); docxBytes = normalizer.normalize(docxBytes);
} }
// Исходные байты до нормализации больше не читаются — освобождаем явно
// (без них при .doc-входе в куче жили бы и .doc, и нормализованный .docx).
rawDocxBytes = null;
WordprocessingMLPackage pkg = WordprocessingMLPackage.load( WordprocessingMLPackage pkg = WordprocessingMLPackage.load(
new ByteArrayInputStream(docxBytes)); new ByteArrayInputStream(docxBytes));
// ZipPartStore при load() копирует распакованные байты каждой записи в
// свой реестр, нормализованный zip дальше не читается — освобождаем до
// FOP-рендера (пик: JAXB-модель + FOP + PDF-буфер).
docxBytes = null;
try { try {
// 2.5 Проверка числа страниц по самому .docx: lightweight-оценка
// по zip (кэш docProps/app.xml <Pages>, явные разрывы, маркеры
// w:lastRenderedPageBreak, включая колонтитулы) — без JAXB-модели.
// Делается до рендера, чтобы не тратить время на заведомо
// длинный документ; внутри try — чтобы и на отказе отработал
// finally с чисткой temp-файлов встроенных шрифтов.
// Для .doc пропущена: страницы уже посчитаны мостом по чистому
// бинарному документу, перепроверять собственный конвертат —
// значит проверять не вход.
if (!skipPageRecheck) {
WordPdfValidator.checkPageCount(docxBytes, options.maxPages());
}
// после этой строки docxBytes больше не читается — HotSpot с точными
// картами liveness считает его недостижимым, нормализованная копия
// освобождается до FOP-рендера (пик: JAXB-модель + FOP + PDF-буфер)
// 3. Привязка маппера: docx4j сопоставляет шрифты документа // 3. Привязка маппера: docx4j сопоставляет шрифты документа
// с физическими TTF (учитывая и шрифты, встроенные в docx) // с физическими TTF (учитывая и шрифты, встроенные в docx)
pkg.setFontMapper(mapper); pkg.setFontMapper(mapper);
@@ -293,7 +293,12 @@ public final class DrawingPreRenderer {
ByteArrayOutputStream bos = new ByteArrayOutputStream(); ByteArrayOutputStream bos = new ByteArrayOutputStream();
ImageIO.write(img, "png", bos); ImageIO.write(img, "png", bos);
png = bos.toByteArray(); png = bos.toByteArray();
// растер (TYPE_INT_ARGB, до MAX_PIXELS ≈ 64 МБ) после кодирования
// PNG не используется — освобождается сразу, не переживая остаток
// итерации цикла вызывающего (локальная переменная жива до её конца)
img.flush();
} catch (Exception e) { } catch (Exception e) {
img.flush();
LOG.warn("PNG не собран: {}", e.toString()); LOG.warn("PNG не собран: {}", e.toString());
gd.getAny().clear(); // контракт: упавший рендер — объект удалён gd.getAny().clear(); // контракт: упавший рендер — объект удалён
return; return;
@@ -17,10 +17,10 @@ import ru.pjandro.wordpdf.ValidationException;
*/ */
final class DocFile { final class DocFile {
private final Map<String, byte[]> streams; private Map<String, byte[]> streams;
private final byte[] wordDocument; private final byte[] wordDocument;
private final FibHeader fib; private final FibHeader fib;
private final byte[] table; private byte[] table;
private final PieceTable pieces; private final PieceTable pieces;
private DocFile(byte[] docBytes) { private DocFile(byte[] docBytes) {
@@ -47,6 +47,18 @@ final class DocFile {
return new DocFile(docBytes); return new DocFile(docBytes);
} }
/**
* Освобождает сырые потоки после построения индексов: Table-поток больше
* не читается (картинки — только Data, текст — WordDocument через
* {@link PieceTable}), а без зануления Map и Table доживали бы до конца
* конвертации вместе с JAXB-моделью и FOP. {@link #countPages()} — другой
* экземпляр (путь валидатора), этот вызов его не касается.
*/
void releaseRawStreams() {
streams = null;
table = null;
}
/** /**
* Число страниц (нижняя оценка, тот же нижний контур, что lightweight-скан * Число страниц (нижняя оценка, тот же нижний контур, что lightweight-скан
* валидатора для .docx): {@code max(кэш PageCount [MS-OLEPS], 1 + ручные * валидатора для .docx): {@code max(кэш PageCount [MS-OLEPS], 1 + ручные
@@ -128,8 +128,14 @@ public final class DocToDocx {
NUMBERING_REL_TYPE, NUMBERING_REL_TYPE,
lists.numberingXml().getBytes(StandardCharsets.UTF_8))); lists.numberingXml().getBytes(StandardCharsets.UTF_8)));
} }
// Data нужен DocxBody (sprmCPicLocation → BLIP); CfbReader.stream
// возвращает сам массив из map — после releaseRawStreams он живёт
// только этой ссылкой. Table-поток и остальные потоки освобождать
// можно: все их потребители (FontTable…Headers) отработали выше.
byte[] data = CfbReader.stream(file.streams(), "Data");
file.releaseRawStreams();
DocxBody body = new DocxBody(file.pieces(), chpx, papx, fonts, styles, lists, DocxBody body = new DocxBody(file.pieces(), chpx, papx, fonts, styles, lists,
fib.ccpText(), CfbReader.stream(file.streams(), "Data"), parts); fib.ccpText(), data, parts);
List<Sections.Section> secs = sections.list(); List<Sections.Section> secs = sections.list();
String[] hdrRel = new String[secs.size()]; String[] hdrRel = new String[secs.size()];
String[] ftrRel = new String[secs.size()]; String[] ftrRel = new String[secs.size()];
@@ -60,14 +60,16 @@ final class DocxWriter {
* нестабильным). * нестабильным).
*/ */
static byte[] write(String bodyXml, List<Part> parts, List<String> hyperlinkTargets) { static byte[] write(String bodyXml, List<Part> parts, List<String> hyperlinkTargets) {
String document = XML_DECL + "<w:document " + NAMESPACES + "><w:body>"
+ bodyXml + "</w:body></w:document>";
ByteArrayOutputStream bos = new ByteArrayOutputStream(1 << 14); ByteArrayOutputStream bos = new ByteArrayOutputStream(1 << 14);
try (ZipOutputStream zip = new ZipOutputStream(bos, StandardCharsets.UTF_8)) { try (ZipOutputStream zip = new ZipOutputStream(bos, StandardCharsets.UTF_8)) {
put(zip, "[Content_Types].xml", contentTypes(parts)); put(zip, "[Content_Types].xml", contentTypes(parts));
put(zip, "_rels/.rels", ROOT_RELS); put(zip, "_rels/.rels", ROOT_RELS);
put(zip, "word/_rels/document.xml.rels", documentRels(parts, hyperlinkTargets)); put(zip, "word/_rels/document.xml.rels", documentRels(parts, hyperlinkTargets));
put(zip, "word/document.xml", document); // document.xml пишется сегментами: конкатенация в String создала
// бы полную копию самого большого XML (bodyXml) при живом List<Para>
putSegments(zip, "word/document.xml",
XML_DECL + "<w:document " + NAMESPACES + "><w:body>",
bodyXml, "</w:body></w:document>");
for (Part part : parts) { for (Part part : parts) {
zip.putNextEntry(new ZipEntry(part.entry())); zip.putNextEntry(new ZipEntry(part.entry()));
zip.write(part.content()); zip.write(part.content());
@@ -79,6 +81,16 @@ final class DocxWriter {
return bos.toByteArray(); return bos.toByteArray();
} }
/** Несколько строк — в одну zip-запись без промежуточной конкатенации. */
private static void putSegments(ZipOutputStream zip, String name, String... segments)
throws IOException {
zip.putNextEntry(new ZipEntry(name));
for (String segment : segments) {
zip.write(segment.getBytes(StandardCharsets.UTF_8));
}
zip.closeEntry();
}
/** XML-часть колонтитука: {@code <w:hdr>}/{@code <w:ftr>} с полным набором имён. */ /** XML-часть колонтитука: {@code <w:hdr>}/{@code <w:ftr>} с полным набором имён. */
static byte[] storyPart(String rootElement, String paragraphsXml) { static byte[] storyPart(String rootElement, String paragraphsXml) {
return (XML_DECL + "<" + rootElement + " " + NAMESPACES + ">" return (XML_DECL + "<" + rootElement + " " + NAMESPACES + ">"