perf(core): общая FopFactory на JVM со сбросом имиджевых кешей
Переиспользование FopFactory между конвертациями раньше запрещалось: форк FOP копит на фабрике image-кеши (xmlgraphics-commons ImageCache: imageInfos/images и ImageObjectCacheImpl), ключи записей — временные файлы file:/tmp/<uuid>… с уникальным на конвертацию именем, попадания не бывает никогда, а soft-ссылки не освобождаются при свободной куче (2 ГБ фиксированная): после 30 конвертаций ~1,5 ГБ живых byte[] против 17 МБ, рост live-кучи, Full GC. Теперь фабрика одна на JVM, а каждая конвертация в finally вызывает resetSharedImageCaches() — публичные clearCache() у ImageCache и ImageObjectCacheImpl. Разбор шрифтов форка (GPOS, ~140k объектов) теперь один раз на JVM. Замер после фикса: 16,8 МБ живых byte[], heap used 89 МБ после 30 конвертаций, Full GC от нагрузки — 0. Регрессии — WordPdfConverterTest#fopFactorySharedAcrossConversions, #sharedImageCaches_clearedAfterConversion.
This commit is contained in:
@@ -2,6 +2,8 @@ package ru.pjandro.wordpdf;
|
|||||||
|
|
||||||
import org.apache.fop.apps.FOUserAgent;
|
import org.apache.fop.apps.FOUserAgent;
|
||||||
import org.apache.fop.apps.FopFactory;
|
import org.apache.fop.apps.FopFactory;
|
||||||
|
import org.apache.fop.util.ImageObjectCache;
|
||||||
|
import org.apache.fop.util.ImageObjectCacheImpl;
|
||||||
import org.docx4j.Docx4J;
|
import org.docx4j.Docx4J;
|
||||||
import org.docx4j.XmlUtils;
|
import org.docx4j.XmlUtils;
|
||||||
import org.docx4j.Docx4jProperties;
|
import org.docx4j.Docx4jProperties;
|
||||||
@@ -82,6 +84,57 @@ public final class WordPdfConverter {
|
|||||||
private WordPdfConverter() {
|
private WordPdfConverter() {
|
||||||
}
|
}
|
||||||
|
|
||||||
|
private static volatile FopFactory sharedFopFactory;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* FopFactory, общая на JVM: разбор шрифтов форка (GPOS-таблицы, ~140k
|
||||||
|
* объектов) выполняется один раз, а не на каждую конвертацию. Фабрика
|
||||||
|
* хранит имиджевые кеши ({@code ImageManager#getCache()} и
|
||||||
|
* {@link ImageObjectCacheImpl}) c ключами {@code file:/tmp/<uuid>…} —
|
||||||
|
* уникальными на каждую конвертацию (docx4j выкладывает медиа во временные
|
||||||
|
* файлы), поэтому кеш никогда не попадает и растёт на декодированный растр
|
||||||
|
* каждого изображения (замер 2026-11: ~1,5 ГБ живых byte[] после 30
|
||||||
|
* конвертаций с картинками). Поэтому каждая конвертация обязана вызвать
|
||||||
|
* {@link #resetSharedImageCaches()} в finally.
|
||||||
|
* Регрессия — WordPdfConverterTest#sharedImageCaches_clearedAfterConversion.
|
||||||
|
*/
|
||||||
|
static FopFactory sharedFopFactory(final FOSettings foSettings) {
|
||||||
|
FopFactory factory = sharedFopFactory;
|
||||||
|
if (factory == null) {
|
||||||
|
synchronized (WordPdfConverter.class) {
|
||||||
|
if (sharedFopFactory == null) {
|
||||||
|
try {
|
||||||
|
sharedFopFactory = FORendererApacheFOP.getFopFactoryBuilder(foSettings).build();
|
||||||
|
} catch (org.apache.fop.apps.FOPException e) {
|
||||||
|
throw new ConversionException("Не удалось собрать FOP-фабрику", e);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
factory = sharedFopFactory;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return factory;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Сброс имиджевых кешей общей фабрики после конвертации. Без него форк
|
||||||
|
* удерживает растр каждого изображения документа до конца жизни JVM:
|
||||||
|
* записи лежат в soft-ссылках, которые сборщик не трогает, пока свободная
|
||||||
|
* куча велика (куча стенда фиксирована 2 ГБ). Сбросы публичные:
|
||||||
|
* {@code ImageCache.clearCache()} и {@code ImageObjectCacheImpl.clearCache()}.
|
||||||
|
* Регрессия — WordPdfConverterTest#sharedImageCaches_clearedAfterConversion.
|
||||||
|
*/
|
||||||
|
static void resetSharedImageCaches() {
|
||||||
|
FopFactory factory = sharedFopFactory;
|
||||||
|
if (factory == null) {
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
factory.getImageManager().getCache().clearCache();
|
||||||
|
ImageObjectCache imageObjects = factory.getImageObjectCache();
|
||||||
|
if (imageObjects instanceof ImageObjectCacheImpl impl) {
|
||||||
|
impl.clearCache();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Конвертирует байты .docx (или бинарного .doc Word 97–2003 — формат
|
* Конвертирует байты .docx (или бинарного .doc Word 97–2003 — формат
|
||||||
* определяется по сигнатуре байтов) в PDF. Работа с файлами — забота
|
* определяется по сигнатуре байтов) в PDF. Работа с файлами — забота
|
||||||
@@ -329,14 +382,10 @@ public final class WordPdfConverter {
|
|||||||
// используется.
|
// используется.
|
||||||
foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES);
|
foSettings.setCustomXsltTemplates(VendoredXslt.TEMPLATES);
|
||||||
|
|
||||||
// 5. Метаданные PDF: заголовок — из параметра title. Фабрика
|
// 5. Метаданные PDF: заголовок — из параметра title. Фабрика —
|
||||||
// ОБЯЗАНА собираться на каждую конвертацию: переиспользование
|
// общая на JVM (см. sharedFopFactory); после конвертации её
|
||||||
// одной FopFactory между прогонами (put в settings под
|
// имиджевые кеши обязаны быть сброшены (шаг 7).
|
||||||
// FOP_FACTORY, docx4j это поддерживает) копит шрифтовые данные
|
FopFactory fopFactory = sharedFopFactory(foSettings);
|
||||||
// форка FOP на каждый render — замер 2026-11: после 30
|
|
||||||
// конвертаций ~1,4 ГБ живых byte[] против 17 МБ при per-conversion
|
|
||||||
// сборке, рост live-кучи и Full GC.
|
|
||||||
FopFactory fopFactory = FORendererApacheFOP.getFopFactoryBuilder(foSettings).build();
|
|
||||||
FOUserAgent foUserAgent = FORendererApacheFOP.getFOUserAgent(foSettings, fopFactory);
|
FOUserAgent foUserAgent = FORendererApacheFOP.getFOUserAgent(foSettings, fopFactory);
|
||||||
if (title != null && !title.isEmpty()) {
|
if (title != null && !title.isEmpty()) {
|
||||||
foUserAgent.setTitle(title);
|
foUserAgent.setTitle(title);
|
||||||
@@ -345,11 +394,14 @@ public final class WordPdfConverter {
|
|||||||
// 6. Проход XSLT (медленнее, но полнее), вывод в поток
|
// 6. Проход XSLT (медленнее, но полнее), вывод в поток
|
||||||
Docx4J.toFO(foSettings, os, Docx4J.FLAG_EXPORT_PREFER_XSL);
|
Docx4J.toFO(foSettings, os, Docx4J.FLAG_EXPORT_PREFER_XSL);
|
||||||
} finally {
|
} finally {
|
||||||
// 7. Уборка временных файлов встроенных в docx шрифтов
|
// 7. Уборка временных файлов встроенных в docx шрифтов и сброс
|
||||||
|
// имиджевых кешей общей FopFactory (без него форк копит растр
|
||||||
|
// каждого изображения: ~1,5 ГБ на 30 конвертаций, 2026-11).
|
||||||
if (pkg.getMainDocumentPart() != null
|
if (pkg.getMainDocumentPart() != null
|
||||||
&& pkg.getMainDocumentPart().getFontTablePart() != null) {
|
&& pkg.getMainDocumentPart().getFontTablePart() != null) {
|
||||||
pkg.getMainDocumentPart().getFontTablePart().deleteEmbeddedFontTempFiles();
|
pkg.getMainDocumentPart().getFontTablePart().deleteEmbeddedFontTempFiles();
|
||||||
}
|
}
|
||||||
|
resetSharedImageCaches();
|
||||||
// Примечание: в docx4j 11.x OpcPackage.close() отсутствует —
|
// Примечание: в docx4j 11.x OpcPackage.close() отсутствует —
|
||||||
// пакет загружается в память и ничего не закрывает.
|
// пакет загружается в память и ничего не закрывает.
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -1,5 +1,6 @@
|
|||||||
package ru.pjandro.wordpdf;
|
package ru.pjandro.wordpdf;
|
||||||
|
|
||||||
|
import org.apache.fop.apps.FopFactory;
|
||||||
import org.apache.pdfbox.Loader;
|
import org.apache.pdfbox.Loader;
|
||||||
import org.apache.pdfbox.cos.COSBase;
|
import org.apache.pdfbox.cos.COSBase;
|
||||||
import org.apache.pdfbox.cos.COSName;
|
import org.apache.pdfbox.cos.COSName;
|
||||||
@@ -2746,4 +2747,49 @@ class WordPdfConverterTest {
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Повторная конвертация обязана переиспользовать ту же FopFactory: разбор
|
||||||
|
* шрифтов форка дорог (GPOS-таблицы, ~140k объектов) и на общей фабрике
|
||||||
|
* выполняется один раз на JVM.
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void fopFactorySharedAcrossConversions() throws Exception {
|
||||||
|
WordPdfConverter.convert(sampleBytes("ru-plain.docx"), "ru-plain");
|
||||||
|
FopFactory first = WordPdfConverter.sharedFopFactory(null);
|
||||||
|
WordPdfConverter.convert(sampleBytes("en-plain.docx"), "en-plain");
|
||||||
|
assertSame(first, WordPdfConverter.sharedFopFactory(null),
|
||||||
|
"повторная конвертация обязана переиспользовать ту же FopFactory");
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* После конвертации фабричные image-кеши FOP обязаны быть пусты: ключи
|
||||||
|
* записей ({@code file:/tmp/<uuid>…}) уникальны на каждую конвертацию,
|
||||||
|
* попаданий не бывает никогда, а непустой кеш — утечка декодированного
|
||||||
|
* растра до конца жизни JVM (замер 2026-11: ~1,5 ГБ живых byte[] после
|
||||||
|
* 30 конвертаций). Регрессия — этот тест, фикстура samples/chart-types.docx.
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void sharedImageCaches_clearedAfterConversion() throws Exception {
|
||||||
|
WordPdfConverter.convert(sampleBytes("chart-types.docx"), "chart-types");
|
||||||
|
|
||||||
|
FopFactory factory = WordPdfConverter.sharedFopFactory(null);
|
||||||
|
Object imageCache = factory.getImageManager().getCache();
|
||||||
|
assertEquals(0, softMapSize(imageCache, "imageInfos"),
|
||||||
|
"ImageCache.imageInfos обязан быть пуст после конвертации");
|
||||||
|
assertEquals(0, softMapSize(imageCache, "images"),
|
||||||
|
"ImageCache.images обязан быть пуст после конвертации");
|
||||||
|
assertEquals(0, softMapSize(factory.getImageObjectCache(), "cache"),
|
||||||
|
"ImageObjectCacheImpl обязан быть пуст после конвертации");
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Размер внутренней {@code map} SoftMapCache (package-private поле). */
|
||||||
|
private static int softMapSize(Object cacheHolder, String field) throws Exception {
|
||||||
|
java.lang.reflect.Field f = cacheHolder.getClass().getDeclaredField(field);
|
||||||
|
f.setAccessible(true);
|
||||||
|
Object softCache = f.get(cacheHolder);
|
||||||
|
java.lang.reflect.Field m = softCache.getClass().getDeclaredField("map");
|
||||||
|
m.setAccessible(true);
|
||||||
|
return ((Map<?, ?>) m.get(softCache)).size();
|
||||||
|
}
|
||||||
|
|
||||||
}
|
}
|
||||||
|
|||||||
Reference in New Issue
Block a user