core: reduce peak memory of conversion (single page-count scan, early input/stream release, streamed document.xml, eager raster flush); app: reject oversized upload before getBytes()
PR checks / web (pull_request) Successful in 35s
PR checks / java (pull_request) Successful in 1m11s
Main: tests, deploy, autotests / web (push) Successful in 41s
Main: tests, deploy, autotests / java (push) Successful in 1m16s
Main: tests, deploy, autotests / images-web (push) Successful in 28s
Main: tests, deploy, autotests / images-app (push) Successful in 39s
Main: tests, deploy, autotests / deploy (push) Failing after 4m59s
Main: tests, deploy, autotests / autotests (push) Has been skipped
Main: tests, deploy, autotests / rollback (push) Failing after 2m29s
PR checks / web (pull_request) Successful in 35s
PR checks / java (pull_request) Successful in 1m11s
Main: tests, deploy, autotests / web (push) Successful in 41s
Main: tests, deploy, autotests / java (push) Successful in 1m16s
Main: tests, deploy, autotests / images-web (push) Successful in 28s
Main: tests, deploy, autotests / images-app (push) Successful in 39s
Main: tests, deploy, autotests / deploy (push) Failing after 4m59s
Main: tests, deploy, autotests / autotests (push) Has been skipped
Main: tests, deploy, autotests / rollback (push) Failing after 2m29s
This commit was merged in pull request #83.
This commit is contained in:
@@ -74,7 +74,8 @@ public final class WordPdfConverter {
|
||||
* {@link WordPdfValidator#validate(byte[], ConvertOptions)} до рендера:
|
||||
* {@code null} / размер больше {@link WordPdfSettings#MAX_INPUT_MB} (МБ) / zip-подпись /
|
||||
* число страниц больше {@link WordPdfSettings#MAX_PAGES} — при отказе байтов результата нет;
|
||||
* страницы дополнительно перепроверяются по нормализованным байтам (шаг 2.5).
|
||||
* страницы считаются ровно раз по сырому входу, повторного скана по
|
||||
* нормализованным байтам нет (см. javadoc перегрузки с {@link ConvertOptions}).
|
||||
*
|
||||
* @param docxBytes байты .docx или бинарного .doc
|
||||
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
|
||||
@@ -96,10 +97,12 @@ public final class WordPdfConverter {
|
||||
* <p>Вход проверяется {@link WordPdfValidator#validate(byte[], ConvertOptions)}
|
||||
* до рендера — одна проверка на оба формата: {@code null} / размер больше
|
||||
* {@code options.maxMb()} (МБ) / не .docx и не .doc / число страниц больше
|
||||
* {@code options.maxPages()} — при отказе байтов результата нет. Для .docx
|
||||
* страницы дополнительно перепроверяются по нормализованным байтам (шаг 2.5);
|
||||
* для .doc страницы считаются по чистому бинарному документу до конвертации,
|
||||
* конвертат не перепроверяется.
|
||||
* {@code options.maxPages()} — при отказе байтов результата нет. Страницы
|
||||
* считаются ровно раз по сырому входу, до аллокаций docx4j: для .docx —
|
||||
* lightweight-скан по zip, для .doc — по чистому бинарному документу до
|
||||
* конвертации. Повторного скана по нормализованным байтам нет: правила 1–8
|
||||
* {@code DocxRewritePipeline} число учитываемых разрывов не меняют, а скан
|
||||
* внутри живой JAXB-модели удваивал бы пиковую память.
|
||||
*
|
||||
* @param docxBytes байты .docx или бинарного .doc
|
||||
* @param title заголовок PDF (метаданные); {@code null}/пустая — заголовок не задаётся
|
||||
@@ -111,6 +114,11 @@ public final class WordPdfConverter {
|
||||
* документ длиннее {@code options.maxPages()} страниц
|
||||
* @throws ConversionException прочие ошибки (битый .docx, ошибка рендера)
|
||||
*/
|
||||
// PMD.UnusedAssignment глушится намеренно: зануление docxBytes ниже —
|
||||
// не «мёртвое присваивание», а детерминированное освобождение массива до
|
||||
// моста/рендера (точные liveness-карты HotSpot строит только для
|
||||
// скомпилированных кадров).
|
||||
@SuppressWarnings("PMD.UnusedAssignment")
|
||||
public static byte[] convert(byte[] docxBytes, String title, ConvertOptions options) throws ConversionException {
|
||||
ConvertOptions opts = options == null ? ConvertOptions.defaults() : options;
|
||||
// Полная проверка входа — одна на оба формата: размер до
|
||||
@@ -120,12 +128,17 @@ public final class WordPdfConverter {
|
||||
WordPdfValidator.validate(docxBytes, opts);
|
||||
boolean fromDoc = WordPdfValidator.isBinaryDoc(docxBytes);
|
||||
// Бинарный .doc (Word 97–2003): мост internal.doc. Сгенерированный
|
||||
// .docx — собственный артефакт, его штатной валидацией/перепроверкой
|
||||
// (шаг 2.5) не проверяем.
|
||||
// .docx — собственный артефакт, его штатной валидацией входа не
|
||||
// проверяем (вход уже проверен по байтам .doc).
|
||||
byte[] docx = fromDoc ? DocToDocx.convert(docxBytes) : docxBytes;
|
||||
// Сырой вход (.doc до конвертации в docx тоже был в куче) больше не
|
||||
// читается — обнуляем явно: точные liveness-карты HotSpot строит
|
||||
// только для скомпилированных кадров, без этого ссылка доживала бы до
|
||||
// конца метода, пережив и мост, и FOP-рендер.
|
||||
docxBytes = null;
|
||||
ByteArrayOutputStream bos = new ByteArrayOutputStream(Math.max(1 << 16, docx.length));
|
||||
try {
|
||||
convertToStream(docx, title, opts, bos, fromDoc);
|
||||
convertToStream(docx, title, opts, bos);
|
||||
} catch (ConversionException e) {
|
||||
// ValidationException (отказ валидации входа) — подтип, уходит
|
||||
// вызывающему без обёртки
|
||||
@@ -141,8 +154,12 @@ public final class WordPdfConverter {
|
||||
* совместимости commons-compress в classpath потребителя (DependencyGuard):
|
||||
* без неё старая версия библиотеки дала бы мутный NoSuchMethodError внутри docx4j.
|
||||
*/
|
||||
// PMD.UnusedAssignment глушится намеренно: зануление rawDocxBytes/docxBytes
|
||||
// — детерминированное освобождение байтов входа до load()/рендера, а не
|
||||
// «мёртвое присваивание» (см. javadoc convert).
|
||||
@SuppressWarnings("PMD.UnusedAssignment")
|
||||
private static void convertToStream(byte[] rawDocxBytes, String title, ConvertOptions options,
|
||||
OutputStream os, boolean skipPageRecheck) throws Exception {
|
||||
OutputStream os) throws Exception {
|
||||
// 0. Совместимость commons-compress: docx4j требует ковариантный
|
||||
// ZipArchiveInputStream.getNextEntry() (>= 1.25.0); ниже — понятный
|
||||
// ConversionException с инструкцией вместо NoSuchMethodError.
|
||||
@@ -164,24 +181,16 @@ public final class WordPdfConverter {
|
||||
for (DocxNormalizer normalizer : normalizers(options)) {
|
||||
docxBytes = normalizer.normalize(docxBytes);
|
||||
}
|
||||
// Исходные байты до нормализации больше не читаются — освобождаем явно
|
||||
// (без них при .doc-входе в куче жили бы и .doc, и нормализованный .docx).
|
||||
rawDocxBytes = null;
|
||||
WordprocessingMLPackage pkg = WordprocessingMLPackage.load(
|
||||
new ByteArrayInputStream(docxBytes));
|
||||
// ZipPartStore при load() копирует распакованные байты каждой записи в
|
||||
// свой реестр, нормализованный zip дальше не читается — освобождаем до
|
||||
// FOP-рендера (пик: JAXB-модель + FOP + PDF-буфер).
|
||||
docxBytes = null;
|
||||
try {
|
||||
// 2.5 Проверка числа страниц по самому .docx: lightweight-оценка
|
||||
// по zip (кэш docProps/app.xml <Pages>, явные разрывы, маркеры
|
||||
// w:lastRenderedPageBreak, включая колонтитулы) — без JAXB-модели.
|
||||
// Делается до рендера, чтобы не тратить время на заведомо
|
||||
// длинный документ; внутри try — чтобы и на отказе отработал
|
||||
// finally с чисткой temp-файлов встроенных шрифтов.
|
||||
// Для .doc пропущена: страницы уже посчитаны мостом по чистому
|
||||
// бинарному документу, перепроверять собственный конвертат —
|
||||
// значит проверять не вход.
|
||||
if (!skipPageRecheck) {
|
||||
WordPdfValidator.checkPageCount(docxBytes, options.maxPages());
|
||||
}
|
||||
// после этой строки docxBytes больше не читается — HotSpot с точными
|
||||
// картами liveness считает его недостижимым, нормализованная копия
|
||||
// освобождается до FOP-рендера (пик: JAXB-модель + FOP + PDF-буфер)
|
||||
// 3. Привязка маппера: docx4j сопоставляет шрифты документа
|
||||
// с физическими TTF (учитывая и шрифты, встроенные в docx)
|
||||
pkg.setFontMapper(mapper);
|
||||
|
||||
@@ -293,7 +293,12 @@ public final class DrawingPreRenderer {
|
||||
ByteArrayOutputStream bos = new ByteArrayOutputStream();
|
||||
ImageIO.write(img, "png", bos);
|
||||
png = bos.toByteArray();
|
||||
// растер (TYPE_INT_ARGB, до MAX_PIXELS ≈ 64 МБ) после кодирования
|
||||
// PNG не используется — освобождается сразу, не переживая остаток
|
||||
// итерации цикла вызывающего (локальная переменная жива до её конца)
|
||||
img.flush();
|
||||
} catch (Exception e) {
|
||||
img.flush();
|
||||
LOG.warn("PNG не собран: {}", e.toString());
|
||||
gd.getAny().clear(); // контракт: упавший рендер — объект удалён
|
||||
return;
|
||||
|
||||
@@ -17,10 +17,10 @@ import ru.pjandro.wordpdf.ValidationException;
|
||||
*/
|
||||
final class DocFile {
|
||||
|
||||
private final Map<String, byte[]> streams;
|
||||
private Map<String, byte[]> streams;
|
||||
private final byte[] wordDocument;
|
||||
private final FibHeader fib;
|
||||
private final byte[] table;
|
||||
private byte[] table;
|
||||
private final PieceTable pieces;
|
||||
|
||||
private DocFile(byte[] docBytes) {
|
||||
@@ -47,6 +47,18 @@ final class DocFile {
|
||||
return new DocFile(docBytes);
|
||||
}
|
||||
|
||||
/**
|
||||
* Освобождает сырые потоки после построения индексов: Table-поток больше
|
||||
* не читается (картинки — только Data, текст — WordDocument через
|
||||
* {@link PieceTable}), а без зануления Map и Table доживали бы до конца
|
||||
* конвертации вместе с JAXB-моделью и FOP. {@link #countPages()} — другой
|
||||
* экземпляр (путь валидатора), этот вызов его не касается.
|
||||
*/
|
||||
void releaseRawStreams() {
|
||||
streams = null;
|
||||
table = null;
|
||||
}
|
||||
|
||||
/**
|
||||
* Число страниц (нижняя оценка, тот же нижний контур, что lightweight-скан
|
||||
* валидатора для .docx): {@code max(кэш PageCount [MS-OLEPS], 1 + ручные
|
||||
|
||||
@@ -128,8 +128,14 @@ public final class DocToDocx {
|
||||
NUMBERING_REL_TYPE,
|
||||
lists.numberingXml().getBytes(StandardCharsets.UTF_8)));
|
||||
}
|
||||
// Data нужен DocxBody (sprmCPicLocation → BLIP); CfbReader.stream
|
||||
// возвращает сам массив из map — после releaseRawStreams он живёт
|
||||
// только этой ссылкой. Table-поток и остальные потоки освобождать
|
||||
// можно: все их потребители (FontTable…Headers) отработали выше.
|
||||
byte[] data = CfbReader.stream(file.streams(), "Data");
|
||||
file.releaseRawStreams();
|
||||
DocxBody body = new DocxBody(file.pieces(), chpx, papx, fonts, styles, lists,
|
||||
fib.ccpText(), CfbReader.stream(file.streams(), "Data"), parts);
|
||||
fib.ccpText(), data, parts);
|
||||
List<Sections.Section> secs = sections.list();
|
||||
String[] hdrRel = new String[secs.size()];
|
||||
String[] ftrRel = new String[secs.size()];
|
||||
|
||||
@@ -60,14 +60,16 @@ final class DocxWriter {
|
||||
* нестабильным).
|
||||
*/
|
||||
static byte[] write(String bodyXml, List<Part> parts, List<String> hyperlinkTargets) {
|
||||
String document = XML_DECL + "<w:document " + NAMESPACES + "><w:body>"
|
||||
+ bodyXml + "</w:body></w:document>";
|
||||
ByteArrayOutputStream bos = new ByteArrayOutputStream(1 << 14);
|
||||
try (ZipOutputStream zip = new ZipOutputStream(bos, StandardCharsets.UTF_8)) {
|
||||
put(zip, "[Content_Types].xml", contentTypes(parts));
|
||||
put(zip, "_rels/.rels", ROOT_RELS);
|
||||
put(zip, "word/_rels/document.xml.rels", documentRels(parts, hyperlinkTargets));
|
||||
put(zip, "word/document.xml", document);
|
||||
// document.xml пишется сегментами: конкатенация в String создала
|
||||
// бы полную копию самого большого XML (bodyXml) при живом List<Para>
|
||||
putSegments(zip, "word/document.xml",
|
||||
XML_DECL + "<w:document " + NAMESPACES + "><w:body>",
|
||||
bodyXml, "</w:body></w:document>");
|
||||
for (Part part : parts) {
|
||||
zip.putNextEntry(new ZipEntry(part.entry()));
|
||||
zip.write(part.content());
|
||||
@@ -79,6 +81,16 @@ final class DocxWriter {
|
||||
return bos.toByteArray();
|
||||
}
|
||||
|
||||
/** Несколько строк — в одну zip-запись без промежуточной конкатенации. */
|
||||
private static void putSegments(ZipOutputStream zip, String name, String... segments)
|
||||
throws IOException {
|
||||
zip.putNextEntry(new ZipEntry(name));
|
||||
for (String segment : segments) {
|
||||
zip.write(segment.getBytes(StandardCharsets.UTF_8));
|
||||
}
|
||||
zip.closeEntry();
|
||||
}
|
||||
|
||||
/** XML-часть колонтитука: {@code <w:hdr>}/{@code <w:ftr>} с полным набором имён. */
|
||||
static byte[] storyPart(String rootElement, String paragraphsXml) {
|
||||
return (XML_DECL + "<" + rootElement + " " + NAMESPACES + ">"
|
||||
|
||||
Reference in New Issue
Block a user