perf(core): срез декода растра, стримовый OLE-детект; heap -Xms2g -Xmx2g
PR checks / web (pull_request) Successful in 48s
PR checks / java (pull_request) Successful in 1m44s

ChartImageHandler: для не-JPEG без кропа с ppi <= threshold (или без
размера в макете) PictureCompression.compress всегда возвращает null,
но сначала декодирует полный растр ImageIO — решение принимается по
26 байтам заголовка (PNG/GIF/BMP), растр не декодируется вовсе; JPEG
остаётся на штатном пути CR-029 (перекодировка «для размера» сохранена).

OleObjectNormalizer: детект <w:object — потоковым поиском окном 8 KiB
с перекрытием, без readAllBytes()+new String на каждую word/*.xml.

Heap: ENTRYPOINT -Xms2g -Xmx2g (вместо -XX:MaxRAMPercentage=70),
mem_limit 2g -> 3g (compose.yml, compose.dev.yml, прод-heredoc
main.yml) — фиксированный heap + запас под metaspace/native.

Отменённая ветка: переиспользование общей FopFactory между прогонами
копит шрифтовые данные форка FOP на каждый render (замер 2026-11:
после 30 конвертаций ~1,4 ГБ живых byte[] против 17 МБ при
per-conversion сборке, рост live-кучи, Full GC) — фабрика остаётся
per-conversion, инвариант зафиксирован комментарием.

GC-замер (java -jar, -Xms2g -Xmx2g, 30 конвертаций фикстур): young
5 против 7 на main, паузы 12,2 мс против 18,7 мс, Full GC нет на обоих.

Тесты: ChartImageHandlerTest +5 (PNG/GIF/BMP/JPEG/выше порога),
OleObjectNormalizerTest +1 (маркер через границу окна).
This commit is contained in:
Pjandro
2026-11-08 13:17:34 +00:00
parent f41ac54072
commit 8061a2fbe7
10 changed files with 320 additions and 19 deletions
@@ -2,7 +2,6 @@ package ru.pjandro.wordpdf;
import org.apache.fop.apps.FOUserAgent;
import org.apache.fop.apps.FopFactory;
import org.apache.fop.apps.FopFactoryBuilder;
import org.docx4j.Docx4J;
import org.docx4j.XmlUtils;
import org.docx4j.Docx4jProperties;
@@ -330,9 +329,14 @@ public final class WordPdfConverter {
// используется.
foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES);
// 5. Метаданные PDF: заголовок — из параметра title
FopFactoryBuilder builder = FORendererApacheFOP.getFopFactoryBuilder(foSettings);
FopFactory fopFactory = builder.build();
// 5. Метаданные PDF: заголовок — из параметра title. Фабрика
// ОБЯЗАНА собираться на каждую конвертацию: переиспользование
// одной FopFactory между прогонами (put в settings под
// FOP_FACTORY, docx4j это поддерживает) копит шрифтовые данные
// форка FOP на каждый render — замер 2026-11: после 30
// конвертаций ~1,4 ГБ живых byte[] против 17 МБ при per-conversion
// сборке, рост live-кучи и Full GC.
FopFactory fopFactory = FORendererApacheFOP.getFopFactoryBuilder(foSettings).build();
FOUserAgent foUserAgent = FORendererApacheFOP.getFOUserAgent(foSettings, fopFactory);
if (title != null && !title.isEmpty()) {
foUserAgent.setTitle(title);
@@ -4,6 +4,7 @@ import ru.pjandro.wordpdf.DrawingFoundException;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.nio.charset.StandardCharsets;
import java.util.ArrayList;
import java.util.HashMap;
@@ -135,9 +136,46 @@ public final class OleObjectNormalizer {
private static final Logger LOG = Logger.getLogger(OleObjectNormalizer.class.getName());
/** Детект `w:object` по байтам: ASCII-литерал в UTF-8 не может
* встретиться внутри многобайтовой последовательности, поэтому поиск
* по сырым байтам эквивалентен `new String(...).contains(...)`. */
private static final byte[] OBJECT_NEEDLE = "<w:object".getBytes(StandardCharsets.US_ASCII);
private OleObjectNormalizer() {
}
/**
* Поиск ASCII-литерала в потоке окном 8 KiB с перекрытием
* {@code needle.length - 1} байт на границе окна — без материализации
* всей XML-части (document.xml десятки МБ дублировались в память ради
* поиска 9-байтного литерала).
*/
private static boolean containsAscii(InputStream in, byte[] needle) throws IOException {
try (in) {
byte[] window = new byte[8192];
int carried = 0; // байт перенесённого хвоста предыдущего окна
int read;
while ((read = in.read(window, carried, window.length - carried)) > 0) {
int limit = carried + read;
for (int i = 0; i + needle.length <= limit; i++) {
boolean hit = true;
for (int j = 0; j < needle.length; j++) {
if (window[i + j] != needle[j]) {
hit = false;
break;
}
}
if (hit) {
return true;
}
}
carried = Math.min(needle.length - 1, limit);
System.arraycopy(window, limit - carried, window, 0, carried);
}
return false;
}
}
/**
* Вычистляет из docx OLE-объекты: бинарные `.bin`-части с OLE-типом (или
* ложным XML-типом), ссылки на них и oleObject-ссылки (включая External) в
@@ -183,8 +221,7 @@ public final class OleObjectNormalizer {
oleParts.add(name);
}
} else if (!hasObjectMarkup && name.startsWith("word/") && name.endsWith(".xml")
&& new String(zf.getInputStream(entry).readAllBytes(),
StandardCharsets.UTF_8).contains("<w:object")) {
&& containsAscii(zf.getInputStream(entry), OBJECT_NEEDLE)) {
// сам w:object — уже OLE: без bin-части он всё равно роняет docx4j
// (NPE chunkType is null) и обязан быть переписан
hasObjectMarkup = true;
@@ -2,10 +2,13 @@ package ru.pjandro.wordpdf.internal.chart;
import org.docx4j.convert.out.fo.FOConversionImageHandler;
import org.docx4j.model.images.AbstractWordXmlPicture;
import org.docx4j.model.images.PictureCompression;
import org.docx4j.openpackaging.exceptions.Docx4JException;
import org.docx4j.openpackaging.parts.WordprocessingML.BinaryPart;
import org.docx4j.relationships.Relationship;
import java.nio.ByteBuffer;
/**
* Image-обработчик FO-экспорта, отключающий docx4j «Compress Pictures»
* (CR-029) для наших chart-PNG.
@@ -25,13 +28,26 @@ import org.docx4j.relationships.Relationship;
* {@code /word/media/chart-*} возвращаем null (нет варианта), картинка
* уходит в PDF как есть.
*
* Медиа документов (фото/скрины) — не наши части, им остаётся штатный
* docx4j-режим CR-029.
* Медиа документов (фото/скрины) — не наши части, но и для них штатный путь
* дорог: {@code PictureCompression.compress} декодирует полный растр (ImageIO)
* ДО любых решений, а для не-JPEG без кропа с ppi <= threshold (и без размера
* в макете) результат всегда null — декод впустую. Здесь такое решение
* принимается по 26 байтам заголовка (PNG/GIF/BMP), растр не декодируется
* вовсе. JPEG сознательно не ускоряем: Word при ppi <= threshold перекодирует
* его «для размера», вывод должен остаться побайтно прежним.
*
* Регрессия — WordPdfConverterTest#chartMedia_notDownsampled.
* Регрессии — WordPdfConverterTest#chartMedia_notDownsampled,
* ChartImageHandlerTest#plainPngBelowThreshold_returnsNull,
* ChartImageHandlerTest#jpegBelowThreshold_stillDelegates,
* ChartImageHandlerTest#pngAboveThreshold_stillDelegates.
*/
public final class ChartImageHandler extends FOConversionImageHandler {
private static final int[] PNG_SIGNATURE =
{0x89, 0x50, 0x4E, 0x47, 0x0D, 0x0A, 0x1A, 0x0A};
private static final int[] GIF_SIGNATURE = {0x47, 0x49, 0x46, 0x38};
private static final int[] BMP_SIGNATURE = {0x42, 0x4D};
@Override
protected String compressedVariant(AbstractWordXmlPicture picture,
Relationship relationship, BinaryPart part)
@@ -41,6 +57,85 @@ public final class ChartImageHandler extends FOConversionImageHandler {
.startsWith(DrawingPreRenderer.CHART_MEDIA_URI_PREFIX)) {
return null;
}
// Быстрый путь: null идентичен тому, что super вернул бы после
// полного декода. PictureCompression.compress для не-JPEG без кропа
// возвращает null, когда ресемпл не нужен: ppi по заголовку не выше
// threshold (формула — дословно из compress) или размер в макете
// задан нулём/не задан (кроп при этом исключён, reencoding требует
// JPEG). Кроп, high-fidelity, JPEG и нераспознанный формат — super.
if (picture != null && picture.isForXslFo() && part != null
&& (!cropsPictures() || picture.getCrop().isNone())) {
PictureCompression.Resolution resolution =
PictureCompression.resolution(picture.getWmlPackage(), pictureResolution);
if (!resolution.isHighFidelity() && noResampleNeeded(part.getBuffer(),
picture.getWidthInPoints(), picture.getHeightInPoints(),
resolution.threshold)) {
return null;
}
}
return super.compressedVariant(picture, relationship, part);
}
/**
* Истинно, когда по 26 байтам заголовка контейнера картинка — из быстрого
* списка (PNG/GIF/BMP) и ресемпл ей не нужен: нативный ppi при заданном
* макетном размере не выше {@code threshold} (формула — дословно из
* {@code PictureCompression.compress}), либо размер в макете не задан
* (без кропа и без JPEG super тоже приходит к null). Ложь — формат вне
* списка (JPEG — решение пользователя, TIFF/EMF/WMF/…), заголовок
* неполный/неправдоподобный или буфер части пуст: решение отдаём super.
* Байты читаются абсолютными индексами — позиция общего {@link ByteBuffer}
* части не мутируется.
*/
private static boolean noResampleNeeded(ByteBuffer bb, double widthPt, double heightPt,
int threshold) {
if (bb == null) {
return false;
}
final int len = bb.limit();
final int width;
final int height;
// PNG: сигнатура, затем длина блока, «IHDR» со смещения 12,
// ширина/высота big-endian в 16/20.
if (len >= 24 && magic(bb, 0, PNG_SIGNATURE) && be32(bb, 12) == 0x49484452) {
width = be32(bb, 16);
height = be32(bb, 20);
// GIF: «GIF8», ширина/высота little-endian в 6/8 (le32-чтение
// с 8 идёт до байта 11 включительно).
} else if (len >= 12 && magic(bb, 0, GIF_SIGNATURE)) {
width = le32(bb, 6) & 0xFFFF;
height = le32(bb, 8) & 0xFFFF;
// BMP: «BM», ширина/высота BITMAPINFOHEADER little-endian в 18/22
// (высота отрицательная для top-down — берём модуль).
} else if (len >= 26 && magic(bb, 0, BMP_SIGNATURE)) {
width = le32(bb, 18);
height = Math.abs(le32(bb, 22));
} else {
return false;
}
if (width <= 0 || height <= 0) {
return false;
}
return widthPt <= 0 || heightPt <= 0
|| Math.max(width / (widthPt / 72d), height / (heightPt / 72d)) <= threshold;
}
private static boolean magic(ByteBuffer bb, int at, int[] bytes) {
for (int i = 0; i < bytes.length; i++) {
if ((bb.get(at + i) & 0xFF) != bytes[i]) {
return false;
}
}
return true;
}
private static int be32(ByteBuffer bb, int at) {
return ((bb.get(at) & 0xFF) << 24) | ((bb.get(at + 1) & 0xFF) << 16)
| ((bb.get(at + 2) & 0xFF) << 8) | (bb.get(at + 3) & 0xFF);
}
private static int le32(ByteBuffer bb, int at) {
return (bb.get(at) & 0xFF) | ((bb.get(at + 1) & 0xFF) << 8)
| ((bb.get(at + 2) & 0xFF) << 16) | ((bb.get(at + 3) & 0xFF) << 24);
}
}
@@ -657,6 +657,22 @@ class OleObjectNormalizerTest {
"image-rel плейсхолдера обязан остаться: " + out);
}
/** Маркер `w:object` пересекает границу 8 KiB окна потокового поиска
* (9-байтный литерал начинается на 8188-м байте) — детект обязан его
* найти без материализации всей части. */
@Test
void objectMarkerSplitAcrossBuffers_rejects() throws Exception {
Map<String, byte[]> m = new LinkedHashMap<>();
m.put("[Content_Types].xml", utf8(CT_PLAIN_PNG));
m.put("_rels/.rels", utf8(ROOT_RELS));
m.put("word/document.xml",
utf8("x".repeat(8188) + "<w:object>" + "</w:object>"));
DrawingFoundException ex = assertThrows(DrawingFoundException.class,
() -> OleObjectNormalizer.normalize(zip(m), true));
assertEquals(DrawingFoundException.Kind.OLE, ex.kind());
}
/** errorOnOle и только w:object-разметка (без bin-части) — документ отвергается. */
@Test
void errorFlagObjectWithoutBin_rejects() throws Exception {
@@ -3,6 +3,7 @@ package ru.pjandro.wordpdf.internal.chart;
import org.docx4j.Docx4jProperties;
import org.docx4j.model.images.AbstractWordXmlPicture;
import org.docx4j.openpackaging.parts.PartName;
import org.docx4j.openpackaging.parts.WordprocessingML.ImageJpegPart;
import org.docx4j.openpackaging.parts.WordprocessingML.ImagePngPart;
import org.junit.jupiter.api.Test;
@@ -49,4 +50,150 @@ class ChartImageHandlerTest {
private static ImagePngPart pngPart(String name) throws Exception {
return new ImagePngPart(new PartName(name));
}
/** PNG-часть с заголовком контейнера, объявляющим растёр width×height. */
private static ImagePngPart pngPart(String name, byte[] head) throws Exception {
ImagePngPart part = new ImagePngPart(new PartName(name));
part.setBinaryData(head);
return part;
}
/** JPEG-часть с первыми байтами контейнера (FF D8 FF …). */
private static ImageJpegPart jpegPart(String name, byte[] head) throws Exception {
ImageJpegPart part = new ImageJpegPart(new PartName(name));
part.setBinaryData(head);
return part;
}
/** Картинка FO-вывода с известным макетным размером (в пунктах). */
private static AbstractWordXmlPicture sizedPicture(double widthPt, double heightPt) {
return new AbstractWordXmlPicture() {
{
forXslFo = true;
}
@Override
public double getWidthInPoints() {
return widthPt;
}
@Override
public double getHeightInPoints() {
return heightPt;
}
};
}
/** 24-байтный заголовок PNG: сигнатура, длина блока IHDR (13), «IHDR», w/h. */
private static byte[] pngHeader(int width, int height) {
byte[] b = new byte[24];
int[] sig = {0x89, 0x50, 0x4E, 0x47, 0x0D, 0x0A, 0x1A, 0x0A};
for (int i = 0; i < 8; i++) {
b[i] = (byte) sig[i];
}
b[11] = 13;
b[12] = 'I';
b[13] = 'H';
b[14] = 'D';
b[15] = 'R';
b[16] = (byte) (width >>> 24);
b[17] = (byte) (width >>> 16);
b[18] = (byte) (width >>> 8);
b[19] = (byte) width;
b[20] = (byte) (height >>> 24);
b[21] = (byte) (height >>> 16);
b[22] = (byte) (height >>> 8);
b[23] = (byte) height;
return b;
}
/**
* Быстрый путь: PNG 1000×1000 при макете 300×300 pt — 240 ppi <= threshold
* режима «word» (300): super вернул бы ровно тот же null, но только после
* полного декода растра ImageIO.
*/
@Test
void plainPngBelowThreshold_returnsNull() throws Exception {
try {
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
ChartImageHandler handler = new ChartImageHandler();
assertNull(handler.compressedVariant(sizedPicture(300, 300), null,
pngPart("/word/media/image1.png", pngHeader(1000, 1000))),
"ресемпл не нужен — вариант обязан быть null без декода растра");
} finally {
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
}
}
/** JPEG при 240 ppi: Word перекодирует его «для размера» и ниже порога —
* быстрый путь JPEG не трогает, штатный вариант CR-029 жив. */
@Test
void jpegBelowThreshold_stillDelegates() throws Exception {
try {
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
ChartImageHandler handler = new ChartImageHandler();
assertNotNull(handler.compressedVariant(sizedPicture(300, 300), null,
jpegPart("/word/media/image2.jpg", new byte[] {
(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xE0})),
"JPEG обязан оставаться на штатном пути CR-029");
} finally {
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
}
}
/** GIF 200×150 при макете 300×300 pt (48 ppi <= 300) — вариант null
* без декода: super дал бы тот же результат только после ImageIO. */
@Test
void gifBelowThreshold_returnsNull() throws Exception {
try {
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
ChartImageHandler handler = new ChartImageHandler();
// «GIF89a» + LogicalScreenDescriptor: w, h, packed, bg, aspect
byte[] head = {'G', 'I', 'F', '8', '9', 'a', (byte) 200, 0, (byte) 150, 0, 0, 0, 0};
assertNull(handler.compressedVariant(sizedPicture(300, 300), null,
pngPart("/word/media/image4.gif", head)),
"GIF ниже порога — вариант обязан быть null без декода растра");
} finally {
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
}
}
/** BMP 640×480 top-down (высота отрицательная в заголовке) при макете
* 200×150 pt (230.4 ppi <= 300) — модуль высоты учтён, вариант null. */
@Test
void bmpTopDownBelowThreshold_returnsNull() throws Exception {
try {
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
ChartImageHandler handler = new ChartImageHandler();
byte[] head = new byte[26];
head[0] = 'B';
head[1] = 'M';
head[18] = 64; // ширина 640, little-endian
// высота −480 (top-down) = 0xFFFFFE20, little-endian:
head[22] = (byte) 0x20;
head[23] = (byte) 0xFE;
head[24] = (byte) 0xFF;
head[25] = (byte) 0xFF;
assertNull(handler.compressedVariant(sizedPicture(200, 150), null,
pngPart("/word/media/image5.bmp", head)),
"BMP top-down ниже порога — вариант обязан быть null без декода");
} finally {
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
}
}
/** PNG 1000×1000 при макете 72×72 pt — 1000 ppi > 300: ресемпл нужен,
* быстрый путь уступает штатному. */
@Test
void pngAboveThreshold_stillDelegates() throws Exception {
try {
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
ChartImageHandler handler = new ChartImageHandler();
assertNotNull(handler.compressedVariant(sizedPicture(72, 72), null,
pngPart("/word/media/image3.png", pngHeader(1000, 1000))),
"выше порога — вариант обязан выдаваться штатно");
} finally {
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
}
}
}