perf(core): срез декода растра, стримовый OLE-детект; heap -Xms2g -Xmx2g
ChartImageHandler: для не-JPEG без кропа с ppi <= threshold (или без размера в макете) PictureCompression.compress всегда возвращает null, но сначала декодирует полный растр ImageIO — решение принимается по 26 байтам заголовка (PNG/GIF/BMP), растр не декодируется вовсе; JPEG остаётся на штатном пути CR-029 (перекодировка «для размера» сохранена). OleObjectNormalizer: детект <w:object — потоковым поиском окном 8 KiB с перекрытием, без readAllBytes()+new String на каждую word/*.xml. Heap: ENTRYPOINT -Xms2g -Xmx2g (вместо -XX:MaxRAMPercentage=70), mem_limit 2g -> 3g (compose.yml, compose.dev.yml, прод-heredoc main.yml) — фиксированный heap + запас под metaspace/native. Отменённая ветка: переиспользование общей FopFactory между прогонами копит шрифтовые данные форка FOP на каждый render (замер 2026-11: после 30 конвертаций ~1,4 ГБ живых byte[] против 17 МБ при per-conversion сборке, рост live-кучи, Full GC) — фабрика остаётся per-conversion, инвариант зафиксирован комментарием. GC-замер (java -jar, -Xms2g -Xmx2g, 30 конвертаций фикстур): young 5 против 7 на main, паузы 12,2 мс против 18,7 мс, Full GC нет на обоих. Тесты: ChartImageHandlerTest +5 (PNG/GIF/BMP/JPEG/выше порога), OleObjectNormalizerTest +1 (маркер через границу окна).
This commit is contained in:
@@ -2,7 +2,6 @@ package ru.pjandro.wordpdf;
|
||||
|
||||
import org.apache.fop.apps.FOUserAgent;
|
||||
import org.apache.fop.apps.FopFactory;
|
||||
import org.apache.fop.apps.FopFactoryBuilder;
|
||||
import org.docx4j.Docx4J;
|
||||
import org.docx4j.XmlUtils;
|
||||
import org.docx4j.Docx4jProperties;
|
||||
@@ -330,9 +329,14 @@ public final class WordPdfConverter {
|
||||
// используется.
|
||||
foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES);
|
||||
|
||||
// 5. Метаданные PDF: заголовок — из параметра title
|
||||
FopFactoryBuilder builder = FORendererApacheFOP.getFopFactoryBuilder(foSettings);
|
||||
FopFactory fopFactory = builder.build();
|
||||
// 5. Метаданные PDF: заголовок — из параметра title. Фабрика
|
||||
// ОБЯЗАНА собираться на каждую конвертацию: переиспользование
|
||||
// одной FopFactory между прогонами (put в settings под
|
||||
// FOP_FACTORY, docx4j это поддерживает) копит шрифтовые данные
|
||||
// форка FOP на каждый render — замер 2026-11: после 30
|
||||
// конвертаций ~1,4 ГБ живых byte[] против 17 МБ при per-conversion
|
||||
// сборке, рост live-кучи и Full GC.
|
||||
FopFactory fopFactory = FORendererApacheFOP.getFopFactoryBuilder(foSettings).build();
|
||||
FOUserAgent foUserAgent = FORendererApacheFOP.getFOUserAgent(foSettings, fopFactory);
|
||||
if (title != null && !title.isEmpty()) {
|
||||
foUserAgent.setTitle(title);
|
||||
|
||||
@@ -4,6 +4,7 @@ import ru.pjandro.wordpdf.DrawingFoundException;
|
||||
|
||||
import java.io.ByteArrayOutputStream;
|
||||
import java.io.IOException;
|
||||
import java.io.InputStream;
|
||||
import java.nio.charset.StandardCharsets;
|
||||
import java.util.ArrayList;
|
||||
import java.util.HashMap;
|
||||
@@ -135,9 +136,46 @@ public final class OleObjectNormalizer {
|
||||
|
||||
private static final Logger LOG = Logger.getLogger(OleObjectNormalizer.class.getName());
|
||||
|
||||
/** Детект `w:object` по байтам: ASCII-литерал в UTF-8 не может
|
||||
* встретиться внутри многобайтовой последовательности, поэтому поиск
|
||||
* по сырым байтам эквивалентен `new String(...).contains(...)`. */
|
||||
private static final byte[] OBJECT_NEEDLE = "<w:object".getBytes(StandardCharsets.US_ASCII);
|
||||
|
||||
private OleObjectNormalizer() {
|
||||
}
|
||||
|
||||
/**
|
||||
* Поиск ASCII-литерала в потоке окном 8 KiB с перекрытием
|
||||
* {@code needle.length - 1} байт на границе окна — без материализации
|
||||
* всей XML-части (document.xml десятки МБ дублировались в память ради
|
||||
* поиска 9-байтного литерала).
|
||||
*/
|
||||
private static boolean containsAscii(InputStream in, byte[] needle) throws IOException {
|
||||
try (in) {
|
||||
byte[] window = new byte[8192];
|
||||
int carried = 0; // байт перенесённого хвоста предыдущего окна
|
||||
int read;
|
||||
while ((read = in.read(window, carried, window.length - carried)) > 0) {
|
||||
int limit = carried + read;
|
||||
for (int i = 0; i + needle.length <= limit; i++) {
|
||||
boolean hit = true;
|
||||
for (int j = 0; j < needle.length; j++) {
|
||||
if (window[i + j] != needle[j]) {
|
||||
hit = false;
|
||||
break;
|
||||
}
|
||||
}
|
||||
if (hit) {
|
||||
return true;
|
||||
}
|
||||
}
|
||||
carried = Math.min(needle.length - 1, limit);
|
||||
System.arraycopy(window, limit - carried, window, 0, carried);
|
||||
}
|
||||
return false;
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
* Вычистляет из docx OLE-объекты: бинарные `.bin`-части с OLE-типом (или
|
||||
* ложным XML-типом), ссылки на них и oleObject-ссылки (включая External) в
|
||||
@@ -183,8 +221,7 @@ public final class OleObjectNormalizer {
|
||||
oleParts.add(name);
|
||||
}
|
||||
} else if (!hasObjectMarkup && name.startsWith("word/") && name.endsWith(".xml")
|
||||
&& new String(zf.getInputStream(entry).readAllBytes(),
|
||||
StandardCharsets.UTF_8).contains("<w:object")) {
|
||||
&& containsAscii(zf.getInputStream(entry), OBJECT_NEEDLE)) {
|
||||
// сам w:object — уже OLE: без bin-части он всё равно роняет docx4j
|
||||
// (NPE chunkType is null) и обязан быть переписан
|
||||
hasObjectMarkup = true;
|
||||
|
||||
+98
-3
@@ -2,10 +2,13 @@ package ru.pjandro.wordpdf.internal.chart;
|
||||
|
||||
import org.docx4j.convert.out.fo.FOConversionImageHandler;
|
||||
import org.docx4j.model.images.AbstractWordXmlPicture;
|
||||
import org.docx4j.model.images.PictureCompression;
|
||||
import org.docx4j.openpackaging.exceptions.Docx4JException;
|
||||
import org.docx4j.openpackaging.parts.WordprocessingML.BinaryPart;
|
||||
import org.docx4j.relationships.Relationship;
|
||||
|
||||
import java.nio.ByteBuffer;
|
||||
|
||||
/**
|
||||
* Image-обработчик FO-экспорта, отключающий docx4j «Compress Pictures»
|
||||
* (CR-029) для наших chart-PNG.
|
||||
@@ -25,13 +28,26 @@ import org.docx4j.relationships.Relationship;
|
||||
* {@code /word/media/chart-*} возвращаем null (нет варианта), картинка
|
||||
* уходит в PDF как есть.
|
||||
*
|
||||
* Медиа документов (фото/скрины) — не наши части, им остаётся штатный
|
||||
* docx4j-режим CR-029.
|
||||
* Медиа документов (фото/скрины) — не наши части, но и для них штатный путь
|
||||
* дорог: {@code PictureCompression.compress} декодирует полный растр (ImageIO)
|
||||
* ДО любых решений, а для не-JPEG без кропа с ppi <= threshold (и без размера
|
||||
* в макете) результат всегда null — декод впустую. Здесь такое решение
|
||||
* принимается по 26 байтам заголовка (PNG/GIF/BMP), растр не декодируется
|
||||
* вовсе. JPEG сознательно не ускоряем: Word при ppi <= threshold перекодирует
|
||||
* его «для размера», вывод должен остаться побайтно прежним.
|
||||
*
|
||||
* Регрессия — WordPdfConverterTest#chartMedia_notDownsampled.
|
||||
* Регрессии — WordPdfConverterTest#chartMedia_notDownsampled,
|
||||
* ChartImageHandlerTest#plainPngBelowThreshold_returnsNull,
|
||||
* ChartImageHandlerTest#jpegBelowThreshold_stillDelegates,
|
||||
* ChartImageHandlerTest#pngAboveThreshold_stillDelegates.
|
||||
*/
|
||||
public final class ChartImageHandler extends FOConversionImageHandler {
|
||||
|
||||
private static final int[] PNG_SIGNATURE =
|
||||
{0x89, 0x50, 0x4E, 0x47, 0x0D, 0x0A, 0x1A, 0x0A};
|
||||
private static final int[] GIF_SIGNATURE = {0x47, 0x49, 0x46, 0x38};
|
||||
private static final int[] BMP_SIGNATURE = {0x42, 0x4D};
|
||||
|
||||
@Override
|
||||
protected String compressedVariant(AbstractWordXmlPicture picture,
|
||||
Relationship relationship, BinaryPart part)
|
||||
@@ -41,6 +57,85 @@ public final class ChartImageHandler extends FOConversionImageHandler {
|
||||
.startsWith(DrawingPreRenderer.CHART_MEDIA_URI_PREFIX)) {
|
||||
return null;
|
||||
}
|
||||
// Быстрый путь: null идентичен тому, что super вернул бы после
|
||||
// полного декода. PictureCompression.compress для не-JPEG без кропа
|
||||
// возвращает null, когда ресемпл не нужен: ppi по заголовку не выше
|
||||
// threshold (формула — дословно из compress) или размер в макете
|
||||
// задан нулём/не задан (кроп при этом исключён, reencoding требует
|
||||
// JPEG). Кроп, high-fidelity, JPEG и нераспознанный формат — super.
|
||||
if (picture != null && picture.isForXslFo() && part != null
|
||||
&& (!cropsPictures() || picture.getCrop().isNone())) {
|
||||
PictureCompression.Resolution resolution =
|
||||
PictureCompression.resolution(picture.getWmlPackage(), pictureResolution);
|
||||
if (!resolution.isHighFidelity() && noResampleNeeded(part.getBuffer(),
|
||||
picture.getWidthInPoints(), picture.getHeightInPoints(),
|
||||
resolution.threshold)) {
|
||||
return null;
|
||||
}
|
||||
}
|
||||
return super.compressedVariant(picture, relationship, part);
|
||||
}
|
||||
|
||||
/**
|
||||
* Истинно, когда по 26 байтам заголовка контейнера картинка — из быстрого
|
||||
* списка (PNG/GIF/BMP) и ресемпл ей не нужен: нативный ppi при заданном
|
||||
* макетном размере не выше {@code threshold} (формула — дословно из
|
||||
* {@code PictureCompression.compress}), либо размер в макете не задан
|
||||
* (без кропа и без JPEG super тоже приходит к null). Ложь — формат вне
|
||||
* списка (JPEG — решение пользователя, TIFF/EMF/WMF/…), заголовок
|
||||
* неполный/неправдоподобный или буфер части пуст: решение отдаём super.
|
||||
* Байты читаются абсолютными индексами — позиция общего {@link ByteBuffer}
|
||||
* части не мутируется.
|
||||
*/
|
||||
private static boolean noResampleNeeded(ByteBuffer bb, double widthPt, double heightPt,
|
||||
int threshold) {
|
||||
if (bb == null) {
|
||||
return false;
|
||||
}
|
||||
final int len = bb.limit();
|
||||
final int width;
|
||||
final int height;
|
||||
// PNG: сигнатура, затем длина блока, «IHDR» со смещения 12,
|
||||
// ширина/высота big-endian в 16/20.
|
||||
if (len >= 24 && magic(bb, 0, PNG_SIGNATURE) && be32(bb, 12) == 0x49484452) {
|
||||
width = be32(bb, 16);
|
||||
height = be32(bb, 20);
|
||||
// GIF: «GIF8», ширина/высота little-endian в 6/8 (le32-чтение
|
||||
// с 8 идёт до байта 11 включительно).
|
||||
} else if (len >= 12 && magic(bb, 0, GIF_SIGNATURE)) {
|
||||
width = le32(bb, 6) & 0xFFFF;
|
||||
height = le32(bb, 8) & 0xFFFF;
|
||||
// BMP: «BM», ширина/высота BITMAPINFOHEADER little-endian в 18/22
|
||||
// (высота отрицательная для top-down — берём модуль).
|
||||
} else if (len >= 26 && magic(bb, 0, BMP_SIGNATURE)) {
|
||||
width = le32(bb, 18);
|
||||
height = Math.abs(le32(bb, 22));
|
||||
} else {
|
||||
return false;
|
||||
}
|
||||
if (width <= 0 || height <= 0) {
|
||||
return false;
|
||||
}
|
||||
return widthPt <= 0 || heightPt <= 0
|
||||
|| Math.max(width / (widthPt / 72d), height / (heightPt / 72d)) <= threshold;
|
||||
}
|
||||
|
||||
private static boolean magic(ByteBuffer bb, int at, int[] bytes) {
|
||||
for (int i = 0; i < bytes.length; i++) {
|
||||
if ((bb.get(at + i) & 0xFF) != bytes[i]) {
|
||||
return false;
|
||||
}
|
||||
}
|
||||
return true;
|
||||
}
|
||||
|
||||
private static int be32(ByteBuffer bb, int at) {
|
||||
return ((bb.get(at) & 0xFF) << 24) | ((bb.get(at + 1) & 0xFF) << 16)
|
||||
| ((bb.get(at + 2) & 0xFF) << 8) | (bb.get(at + 3) & 0xFF);
|
||||
}
|
||||
|
||||
private static int le32(ByteBuffer bb, int at) {
|
||||
return (bb.get(at) & 0xFF) | ((bb.get(at + 1) & 0xFF) << 8)
|
||||
| ((bb.get(at + 2) & 0xFF) << 16) | ((bb.get(at + 3) & 0xFF) << 24);
|
||||
}
|
||||
}
|
||||
|
||||
@@ -657,6 +657,22 @@ class OleObjectNormalizerTest {
|
||||
"image-rel плейсхолдера обязан остаться: " + out);
|
||||
}
|
||||
|
||||
/** Маркер `w:object` пересекает границу 8 KiB окна потокового поиска
|
||||
* (9-байтный литерал начинается на 8188-м байте) — детект обязан его
|
||||
* найти без материализации всей части. */
|
||||
@Test
|
||||
void objectMarkerSplitAcrossBuffers_rejects() throws Exception {
|
||||
Map<String, byte[]> m = new LinkedHashMap<>();
|
||||
m.put("[Content_Types].xml", utf8(CT_PLAIN_PNG));
|
||||
m.put("_rels/.rels", utf8(ROOT_RELS));
|
||||
m.put("word/document.xml",
|
||||
utf8("x".repeat(8188) + "<w:object>" + "</w:object>"));
|
||||
|
||||
DrawingFoundException ex = assertThrows(DrawingFoundException.class,
|
||||
() -> OleObjectNormalizer.normalize(zip(m), true));
|
||||
assertEquals(DrawingFoundException.Kind.OLE, ex.kind());
|
||||
}
|
||||
|
||||
/** errorOnOle и только w:object-разметка (без bin-части) — документ отвергается. */
|
||||
@Test
|
||||
void errorFlagObjectWithoutBin_rejects() throws Exception {
|
||||
|
||||
+147
@@ -3,6 +3,7 @@ package ru.pjandro.wordpdf.internal.chart;
|
||||
import org.docx4j.Docx4jProperties;
|
||||
import org.docx4j.model.images.AbstractWordXmlPicture;
|
||||
import org.docx4j.openpackaging.parts.PartName;
|
||||
import org.docx4j.openpackaging.parts.WordprocessingML.ImageJpegPart;
|
||||
import org.docx4j.openpackaging.parts.WordprocessingML.ImagePngPart;
|
||||
import org.junit.jupiter.api.Test;
|
||||
|
||||
@@ -49,4 +50,150 @@ class ChartImageHandlerTest {
|
||||
private static ImagePngPart pngPart(String name) throws Exception {
|
||||
return new ImagePngPart(new PartName(name));
|
||||
}
|
||||
|
||||
/** PNG-часть с заголовком контейнера, объявляющим растёр width×height. */
|
||||
private static ImagePngPart pngPart(String name, byte[] head) throws Exception {
|
||||
ImagePngPart part = new ImagePngPart(new PartName(name));
|
||||
part.setBinaryData(head);
|
||||
return part;
|
||||
}
|
||||
|
||||
/** JPEG-часть с первыми байтами контейнера (FF D8 FF …). */
|
||||
private static ImageJpegPart jpegPart(String name, byte[] head) throws Exception {
|
||||
ImageJpegPart part = new ImageJpegPart(new PartName(name));
|
||||
part.setBinaryData(head);
|
||||
return part;
|
||||
}
|
||||
|
||||
/** Картинка FO-вывода с известным макетным размером (в пунктах). */
|
||||
private static AbstractWordXmlPicture sizedPicture(double widthPt, double heightPt) {
|
||||
return new AbstractWordXmlPicture() {
|
||||
{
|
||||
forXslFo = true;
|
||||
}
|
||||
|
||||
@Override
|
||||
public double getWidthInPoints() {
|
||||
return widthPt;
|
||||
}
|
||||
|
||||
@Override
|
||||
public double getHeightInPoints() {
|
||||
return heightPt;
|
||||
}
|
||||
};
|
||||
}
|
||||
|
||||
/** 24-байтный заголовок PNG: сигнатура, длина блока IHDR (13), «IHDR», w/h. */
|
||||
private static byte[] pngHeader(int width, int height) {
|
||||
byte[] b = new byte[24];
|
||||
int[] sig = {0x89, 0x50, 0x4E, 0x47, 0x0D, 0x0A, 0x1A, 0x0A};
|
||||
for (int i = 0; i < 8; i++) {
|
||||
b[i] = (byte) sig[i];
|
||||
}
|
||||
b[11] = 13;
|
||||
b[12] = 'I';
|
||||
b[13] = 'H';
|
||||
b[14] = 'D';
|
||||
b[15] = 'R';
|
||||
b[16] = (byte) (width >>> 24);
|
||||
b[17] = (byte) (width >>> 16);
|
||||
b[18] = (byte) (width >>> 8);
|
||||
b[19] = (byte) width;
|
||||
b[20] = (byte) (height >>> 24);
|
||||
b[21] = (byte) (height >>> 16);
|
||||
b[22] = (byte) (height >>> 8);
|
||||
b[23] = (byte) height;
|
||||
return b;
|
||||
}
|
||||
|
||||
/**
|
||||
* Быстрый путь: PNG 1000×1000 при макете 300×300 pt — 240 ppi <= threshold
|
||||
* режима «word» (300): super вернул бы ровно тот же null, но только после
|
||||
* полного декода растра ImageIO.
|
||||
*/
|
||||
@Test
|
||||
void plainPngBelowThreshold_returnsNull() throws Exception {
|
||||
try {
|
||||
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
|
||||
ChartImageHandler handler = new ChartImageHandler();
|
||||
assertNull(handler.compressedVariant(sizedPicture(300, 300), null,
|
||||
pngPart("/word/media/image1.png", pngHeader(1000, 1000))),
|
||||
"ресемпл не нужен — вариант обязан быть null без декода растра");
|
||||
} finally {
|
||||
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
|
||||
}
|
||||
}
|
||||
|
||||
/** JPEG при 240 ppi: Word перекодирует его «для размера» и ниже порога —
|
||||
* быстрый путь JPEG не трогает, штатный вариант CR-029 жив. */
|
||||
@Test
|
||||
void jpegBelowThreshold_stillDelegates() throws Exception {
|
||||
try {
|
||||
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
|
||||
ChartImageHandler handler = new ChartImageHandler();
|
||||
assertNotNull(handler.compressedVariant(sizedPicture(300, 300), null,
|
||||
jpegPart("/word/media/image2.jpg", new byte[] {
|
||||
(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xE0})),
|
||||
"JPEG обязан оставаться на штатном пути CR-029");
|
||||
} finally {
|
||||
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
|
||||
}
|
||||
}
|
||||
|
||||
/** GIF 200×150 при макете 300×300 pt (48 ppi <= 300) — вариант null
|
||||
* без декода: super дал бы тот же результат только после ImageIO. */
|
||||
@Test
|
||||
void gifBelowThreshold_returnsNull() throws Exception {
|
||||
try {
|
||||
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
|
||||
ChartImageHandler handler = new ChartImageHandler();
|
||||
// «GIF89a» + LogicalScreenDescriptor: w, h, packed, bg, aspect
|
||||
byte[] head = {'G', 'I', 'F', '8', '9', 'a', (byte) 200, 0, (byte) 150, 0, 0, 0, 0};
|
||||
assertNull(handler.compressedVariant(sizedPicture(300, 300), null,
|
||||
pngPart("/word/media/image4.gif", head)),
|
||||
"GIF ниже порога — вариант обязан быть null без декода растра");
|
||||
} finally {
|
||||
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
|
||||
}
|
||||
}
|
||||
|
||||
/** BMP 640×480 top-down (высота отрицательная в заголовке) при макете
|
||||
* 200×150 pt (230.4 ppi <= 300) — модуль высоты учтён, вариант null. */
|
||||
@Test
|
||||
void bmpTopDownBelowThreshold_returnsNull() throws Exception {
|
||||
try {
|
||||
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
|
||||
ChartImageHandler handler = new ChartImageHandler();
|
||||
byte[] head = new byte[26];
|
||||
head[0] = 'B';
|
||||
head[1] = 'M';
|
||||
head[18] = 64; // ширина 640, little-endian
|
||||
// высота −480 (top-down) = 0xFFFFFE20, little-endian:
|
||||
head[22] = (byte) 0x20;
|
||||
head[23] = (byte) 0xFE;
|
||||
head[24] = (byte) 0xFF;
|
||||
head[25] = (byte) 0xFF;
|
||||
assertNull(handler.compressedVariant(sizedPicture(200, 150), null,
|
||||
pngPart("/word/media/image5.bmp", head)),
|
||||
"BMP top-down ниже порога — вариант обязан быть null без декода");
|
||||
} finally {
|
||||
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
|
||||
}
|
||||
}
|
||||
|
||||
/** PNG 1000×1000 при макете 72×72 pt — 1000 ppi > 300: ресемпл нужен,
|
||||
* быстрый путь уступает штатному. */
|
||||
@Test
|
||||
void pngAboveThreshold_stillDelegates() throws Exception {
|
||||
try {
|
||||
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
|
||||
ChartImageHandler handler = new ChartImageHandler();
|
||||
assertNotNull(handler.compressedVariant(sizedPicture(72, 72), null,
|
||||
pngPart("/word/media/image3.png", pngHeader(1000, 1000))),
|
||||
"выше порога — вариант обязан выдаваться штатно");
|
||||
} finally {
|
||||
Docx4jProperties.setProperty("docx4j.convert.out.fo.images.resolution", "word");
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user