Аудит безопасности: OOM-гейты входа, потокобезопасность, периметр #99

Merged
pjandro merged 7 commits from audit-security-memory-threading into main 2026-11-08 23:38:05 +03:00
16 changed files with 827 additions and 97 deletions
Showing only changes of commit d8353aab61 - Show all commits
@@ -100,10 +100,11 @@ public final class WordPdfConverter {
* каждого изображения (замер 2026-11: ~1,5 ГБ живых byte[] после 30 * каждого изображения (замер 2026-11: ~1,5 ГБ живых byte[] после 30
* конвертаций с картинками). Поэтому каждая конвертация обязана вызвать * конвертаций с картинками). Поэтому каждая конвертация обязана вызвать
* {@link #resetSharedImageCaches()} в finally. Вызывается только под локом * {@link #resetSharedImageCaches()} в finally. Вызывается только под локом
* конвертации (см. {@code convert}), сброс mid-render невозможен. * конвертации (см. {@code convert}), сброс mid-render невозможен. Методы
* Регрессия — WordPdfConverterTest#sharedImageCaches_clearedAfterConversion. * приватны: вызов вне лока конвертера вскрыл бы DCL/сброс на параллельный
* рендер. Регрессия — WordPdfConverterTest#sharedImageCaches_clearedAfterConversion.
*/ */
static FopFactory sharedFopFactory(final FOSettings foSettings) { private static FopFactory sharedFopFactory(final FOSettings foSettings) {
FopFactory factory = sharedFopFactory; FopFactory factory = sharedFopFactory;
if (factory == null) { if (factory == null) {
synchronized (WordPdfConverter.class) { synchronized (WordPdfConverter.class) {
@@ -130,7 +131,7 @@ public final class WordPdfConverter {
* {@code convert}) — параллельный рендер под сброс не попадает. * {@code convert}) — параллельный рендер под сброс не попадает.
* Регрессия — WordPdfConverterTest#sharedImageCaches_clearedAfterConversion. * Регрессия — WordPdfConverterTest#sharedImageCaches_clearedAfterConversion.
*/ */
static void resetSharedImageCaches() { private static void resetSharedImageCaches() {
FopFactory factory = sharedFopFactory; FopFactory factory = sharedFopFactory;
if (factory == null) { if (factory == null) {
return; return;
@@ -411,14 +412,19 @@ public final class WordPdfConverter {
// 6. Проход XSLT (медленнее, но полнее), вывод в поток // 6. Проход XSLT (медленнее, но полнее), вывод в поток
Docx4J.toFO(foSettings, os, Docx4J.FLAG_EXPORT_PREFER_XSL); Docx4J.toFO(foSettings, os, Docx4J.FLAG_EXPORT_PREFER_XSL);
} finally { } finally {
// 7. Уборка временных файлов встроенных в docx шрифтов и сброс // 7. Уборка временных файлов встроенных в docx шрифтов, сброс
// имиджевых кешей общей FopFactory (без него форк копит растр // имиджевых кешей общей FopFactory (без него форк копит растр
// каждого изображения: ~1,5 ГБ на 30 конвертаций, 2026-11). // каждого изображения: ~1,5 ГБ на 30 конвертаций, 2026-11) и
// возврат реестра шрифтов в бандл-состояние: load() регистрирует
// в глобальном PhysicalFonts встроенные шрифты документа, и без
// restrictToBundled последний документ продолжал бы влиять на
// выбор шрифта до следующей конвертации.
if (pkg.getMainDocumentPart() != null if (pkg.getMainDocumentPart() != null
&& pkg.getMainDocumentPart().getFontTablePart() != null) { && pkg.getMainDocumentPart().getFontTablePart() != null) {
pkg.getMainDocumentPart().getFontTablePart().deleteEmbeddedFontTempFiles(); pkg.getMainDocumentPart().getFontTablePart().deleteEmbeddedFontTempFiles();
} }
resetSharedImageCaches(); resetSharedImageCaches();
BundledFonts.restrictToBundled();
// Примечание: в docx4j 11.x OpcPackage.close() отсутствует — // Примечание: в docx4j 11.x OpcPackage.close() отсутствует —
// пакет загружается в память и ничего не закрывает. // пакет загружается в память и ничего не закрывает.
} }
@@ -15,8 +15,28 @@ public final class WordPdfSettings {
/** Документ длиннее — ошибка (дефолт). */ /** Документ длиннее — ошибка (дефолт). */
public static final int MAX_PAGES = 100; public static final int MAX_PAGES = 100;
/** Потолок суммарного распакованного размера архива (МБ) — защита от zip-бомбы. */ /**
public static final long MAX_DECOMPRESSED_MB = 200; * Потолок суммарного распакованного размера архива (МБ) — защита от zip-бомбы.
* Вход ограничен {@link #MAX_INPUT_MB}, медиа в zip не сжимается — легитимный
* документ суммарно распаковывается в единицы МБ; 64 МБ — запас на huge-таблицы.
*/
public static final long MAX_DECOMPRESSED_MB = 64;
/**
* Потолок суммарного распакованного размера XML-частей ({@code *.xml},
* {@code *.rels}) в МБ — отдельный гейт: байтовый бюджет архива можно
* выжатый XML уложить в десятки МБ, а JAXB-разбор такого документа стоит
* CPU/heap несоизмеримо дороже байт.
*/
public static final long MAX_DECOMPRESSED_XML_MB = 32;
/**
* Потолок пиксельной площади одного растрового изображения (PNG/GIF/BMP/JPEG
* в {@code word/media/*}, DIB в .doc). Байтовый лимит архива от raster-bomb
* не спасает: ~40 КиБ PNG с IHDR 50000×50000 декодируется в гигабайт ARGB.
* 25 Мпикс ≈ 100 МБ ARGB на расшифровке — выше любых реальных фото.
*/
public static final long MAX_IMAGE_PIXELS = 25_000_000;
/** Потолок числа записей в архиве — защита от бомбы «много записей». */ /** Потолок числа записей в архиве — защита от бомбы «много записей». */
public static final int MAX_ZIP_ENTRIES = 8192; public static final int MAX_ZIP_ENTRIES = 8192;
@@ -36,8 +36,12 @@ import java.util.zip.ZipInputStream;
* <li>{@link WordPdfSettings#MAX_PAGES} — максимально допустимое число страниц;</li> * <li>{@link WordPdfSettings#MAX_PAGES} — максимально допустимое число страниц;</li>
* <li>{@link WordPdfSettings#MAX_DECOMPRESSED_MB} — потолок суммарного * <li>{@link WordPdfSettings#MAX_DECOMPRESSED_MB} — потолок суммарного
* распакованного размера архива (МБ);</li> * распакованного размера архива (МБ);</li>
* <li>{@link WordPdfSettings#MAX_DECOMPRESSED_XML_MB} — потолок распакованных
* XML-частей (МБ);</li>
* <li>{@link WordPdfSettings#MAX_IMAGE_PIXELS} — потолок пиксельной площади
* одного растрового медиа;</li>
* <li>{@link WordPdfSettings#MAX_ZIP_ENTRIES} — потолок числа записей * <li>{@link WordPdfSettings#MAX_ZIP_ENTRIES} — потолок числа записей
* в архиве.</li> * в архиве (имена обязаны быть уникальны).</li>
* </ul> * </ul>
* Первые два переопределяются на вызов: перегрузками с явным лимитом или * Первые два переопределяются на вызов: перегрузками с явным лимитом или
* {@link ConvertOptions} (конвертер {@link WordPdfConverter} применяет их сам). * {@link ConvertOptions} (конвертер {@link WordPdfConverter} применяет их сам).
@@ -309,12 +313,21 @@ public final class WordPdfValidator {
*/ */
private static void checkDocxContainer(byte[] docxBytes) throws ValidationException { private static void checkDocxContainer(byte[] docxBytes) throws ValidationException {
long maxTotal = WordPdfSettings.MAX_DECOMPRESSED_MB * 1024 * 1024; long maxTotal = WordPdfSettings.MAX_DECOMPRESSED_MB * 1024 * 1024;
long maxXmlTotal = WordPdfSettings.MAX_DECOMPRESSED_XML_MB * 1024 * 1024;
long total = 0; long total = 0;
long xmlTotal = 0;
int entries = 0; int entries = 0;
// OPC требует уникальных имён частей: дубликат — либо крафт, либо
// обход кэша страниц (валидатор читает ПЕРВУЮ партию document.xml,
// парсер может взять другую) — отказ по первому повтору имени.
Set<String> names = new HashSet<>();
ByteArrayOutputStream ctBuf = new ByteArrayOutputStream(); ByteArrayOutputStream ctBuf = new ByteArrayOutputStream();
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docxBytes))) { try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(docxBytes))) {
ZipEntry entry; ZipEntry entry;
while ((entry = zip.getNextEntry()) != null) { while ((entry = zip.getNextEntry()) != null) {
if (!names.add(entry.getName())) {
throw new ValidationException("Дубликаты записей в архиве: " + entry.getName());
}
if (!entry.isDirectory()) { if (!entry.isDirectory()) {
entries++; entries++;
if (entries > WordPdfSettings.MAX_ZIP_ENTRIES) { if (entries > WordPdfSettings.MAX_ZIP_ENTRIES) {
@@ -322,7 +335,15 @@ public final class WordPdfValidator {
+ WordPdfSettings.MAX_ZIP_ENTRIES); + WordPdfSettings.MAX_ZIP_ENTRIES);
} }
} }
boolean isCt = "[Content_Types].xml".equals(entry.getName()); String name = entry.getName();
boolean isCt = "[Content_Types].xml".equals(name);
boolean isXml = name.endsWith(".xml") || name.endsWith(".rels");
// Raster-bomb: маленькая запись объявляет гигантский растр
// (декод по заголовку) — размеры читаются из head-буфера,
// весь содержимый поток идёт через счётчик total как раньше.
boolean isRaster = isRasterMedia(name);
byte[] head = isRaster ? new byte[RASTER_HEAD_LIMIT] : null;
int headLen = 0;
byte[] buf = new byte[8192]; byte[] buf = new byte[8192];
int n; int n;
while ((n = zip.read(buf)) > 0) { while ((n = zip.read(buf)) > 0) {
@@ -331,6 +352,13 @@ public final class WordPdfValidator {
throw new ValidationException("Распакованный размер архива больше " throw new ValidationException("Распакованный размер архива больше "
+ WordPdfSettings.MAX_DECOMPRESSED_MB + " МБ (признак zip-бомбы)"); + WordPdfSettings.MAX_DECOMPRESSED_MB + " МБ (признак zip-бомбы)");
} }
if (isXml) {
xmlTotal += n;
if (xmlTotal > maxXmlTotal) {
throw new ValidationException("Суммарный распакованный размер XML-частей больше "
+ WordPdfSettings.MAX_DECOMPRESSED_XML_MB + " МБ (признак zip-бомбы)");
}
}
if (isCt) { if (isCt) {
if (ctBuf.size() + n > 8 * 1024 * 1024) { if (ctBuf.size() + n > 8 * 1024 * 1024) {
throw new ValidationException( throw new ValidationException(
@@ -338,6 +366,18 @@ public final class WordPdfValidator {
} }
ctBuf.write(buf, 0, n); ctBuf.write(buf, 0, n);
} }
if (head != null && headLen < head.length) {
int take = Math.min(n, head.length - headLen);
System.arraycopy(buf, 0, head, headLen, take);
headLen += take;
}
}
if (head != null) {
long area = rasterArea(name, head, headLen);
if (area > WordPdfSettings.MAX_IMAGE_PIXELS) {
throw new ValidationException("Изображение слишком большое: " + name
+ " объявляет не менее " + area + " пикселей");
}
} }
} }
} catch (ValidationException e) { } catch (ValidationException e) {
@@ -372,6 +412,89 @@ public final class WordPdfValidator {
return false; return false;
} }
/** Растровые медиа, чьи размеры читываются из заголовка (прочие форматы не инспектируются). */
private static boolean isRasterMedia(String name) {
String n = name.toLowerCase(java.util.Locale.ROOT);
return n.endsWith(".png") || n.endsWith(".gif") || n.endsWith(".bmp")
|| n.endsWith(".jpg") || n.endsWith(".jpeg");
}
/** Хватает на PNG/GIF/BMP-заголовок и на JPEG-SOF даже с большими embedded-превью. */
private static final int RASTER_HEAD_LIMIT = 64 * 1024;
/** Минимальный читаемый заголовок GIF: сигнатура «GIF8xа» + width/height (2×u16). */
private static final int GIF_HEADER_MIN = 10;
/** Префикс каждого JPEG-сегмента: маркер 0xFF. */
private static final int JPEG_MARKER = 0xFF;
/**
* Пиксельная площадь по заголовку растра (PNG — IHDR big-endian, GIF/BMP —
* little-endian, JPEG — скан сегментов SOFn); нераспознанный/неполный
* заголовок → -1 (не отклонять: формат мог быть нестандартным, декод
* всё равно ограничен {@code total}).
*/
private static long rasterArea(String name, byte[] h, int len) {
String n = name.toLowerCase(java.util.Locale.ROOT);
if (n.endsWith(".png")) {
if (len >= 24 && (h[0] & 0xFF) == 0x89 && h[1] == 'P' && h[2] == 'N' && h[3] == 'G') {
return be32(h, 16) * (long) be32(h, 20);
}
return -1;
}
if (n.endsWith(".gif")) {
if (len >= GIF_HEADER_MIN) {
return (long) le16(h, 6) * le16(h, 8);
}
return -1;
}
if (n.endsWith(".bmp")) {
if (len >= 26 && h[0] == 'B' && h[1] == 'M') {
return Math.abs((long) le32(h, 18)) * Math.abs((long) le32(h, 22));
}
return -1;
}
// JPEG: скан маркеров до SOFn (C0–CF кроме C4/DHT, C8, CC/DAC);
// префикс FFD8 обязателен, иначе — не JPEG.
if (len < 4 || (h[0] & 0xFF) != 0xFF || (h[1] & 0xFF) != 0xD8) {
return -1;
}
int i = 2;
while (i + 4 <= len) {
if ((h[i] & JPEG_MARKER) != JPEG_MARKER) {
return -1;
}
int marker = h[i + 1] & 0xFF;
if (marker >= 0xC0 && marker <= 0xCF && marker != 0xC4 && marker != 0xC8 && marker != 0xCC) {
if (i + 9 > len) {
return -1;
}
return (long) be16(h, i + 7) * be16(h, i + 5);
}
if (marker == 0xD8 || (marker >= 0xD0 && marker <= 0xD7) || marker == 0x01) {
i += 2;
continue;
}
i += 2 + be16(h, i + 2);
}
return -1;
}
private static int be16(byte[] b, int off) {
return ((b[off] & 0xFF) << 8) | (b[off + 1] & 0xFF);
}
private static int le16(byte[] b, int off) {
return (b[off] & 0xFF) | ((b[off + 1] & 0xFF) << 8);
}
private static int be32(byte[] b, int off) {
return (be16(b, off) << 16) | be16(b, off + 2);
}
private static int le32(byte[] b, int off) {
return (le16(b, off) & 0xFFFF) | (le16(b, off + 2) << 16);
}
/** {@code word/headerN.xml} / {@code word/footerN.xml} (не .rels). */ /** {@code word/headerN.xml} / {@code word/footerN.xml} (не .rels). */
private static boolean isHeaderFooterPart(String name) { private static boolean isHeaderFooterPart(String name) {
return (name.startsWith("word/header") || name.startsWith("word/footer")) return (name.startsWith("word/header") || name.startsWith("word/footer"))
@@ -2,6 +2,7 @@ package ru.pjandro.wordpdf.fonts;
import org.docx4j.fonts.PhysicalFont; import org.docx4j.fonts.PhysicalFont;
import org.docx4j.fonts.PhysicalFonts; import org.docx4j.fonts.PhysicalFonts;
import ru.pjandro.wordpdf.WordPdfConverter;
import java.io.IOException; import java.io.IOException;
import java.io.InputStream; import java.io.InputStream;
@@ -124,57 +125,65 @@ public final class BundledFonts {
/** /**
* Выгружает шрифты из jar и регистрирует их в docx4j. * Выгружает шрифты из jar и регистрирует их в docx4j.
* Повторные вызовы игнорируются (idempotентно). * Повторные вызовы игнорируются (idempotентно).
*
* <p>Монитор — {@code WordPdfConverter.class}, а не {@code BundledFonts.class}:
* {@code PhysicalFonts} и {@link #VARIANTS} читаются рендером внутри
* конвертации (она сериализована монитором конвертера), и мутация под
* собственным замком вырезала бы записи из-под идущего рендера.
* Все синхронизированные методы класса держат ровно этот монитор.</p>
*/ */
public static synchronized void init() { public static void init() {
if (inited) { synchronized (WordPdfConverter.class) {
return; if (inited) {
} return;
try { }
extractDir = Files.createTempDirectory("wordpdf-fonts-"); try {
} catch (IOException e) { extractDir = Files.createTempDirectory("wordpdf-fonts-");
throw new IllegalStateException("Не удалось создать временный каталог для шрифтов", e);
}
// Ключ реестра docx4j — имя шрифта, и addPhysicalFont не перезаписывает
// занятый ключ. Системный DejaVuSerif.ttf занимает «dejavu serif», и
// наш DejaVuSerif-Regular.ttf (то же имя) просто не добавился бы.
dropNonBundled();
for (Entry entry : ENTRIES) {
// 1. Выгружаем файл из jar
Path target = extractDir.resolve(entry.file());
try (InputStream in = BundledFonts.class.getClassLoader()
.getResourceAsStream(CLASSPATH_DIR + "/" + entry.file())) {
if (in == null) {
throw new IllegalStateException(
"Шрифт не найден в jar: " + CLASSPATH_DIR + "/" + entry.file());
}
Files.copy(in, target, StandardCopyOption.REPLACE_EXISTING);
// deleteOnExit не рекурсивен: каталог удалится только пустым,
// поэтому регистрируем каждый выгруженный TTF.
target.toFile().deleteOnExit();
} catch (IOException e) { } catch (IOException e) {
throw new IllegalStateException("Не удалось выгрузить шрифт " + entry.file(), e); throw new IllegalStateException("Не удалось создать временный каталог для шрифтов", e);
}
// Ключ реестра docx4j — имя шрифта, и addPhysicalFont не перезаписывает
// занятый ключ. Системный DejaVuSerif.ttf занимает «dejavu serif», и
// наш DejaVuSerif-Regular.ttf (то же имя) просто не добавился бы.
dropNonBundled();
for (Entry entry : ENTRIES) {
// 1. Выгружаем файл из jar
Path target = extractDir.resolve(entry.file());
try (InputStream in = BundledFonts.class.getClassLoader()
.getResourceAsStream(CLASSPATH_DIR + "/" + entry.file())) {
if (in == null) {
throw new IllegalStateException(
"Шрифт не найден в jar: " + CLASSPATH_DIR + "/" + entry.file());
}
Files.copy(in, target, StandardCopyOption.REPLACE_EXISTING);
// deleteOnExit не рекурсивен: каталог удалится только пустым,
// поэтому регистрируем каждый выгруженный TTF.
target.toFile().deleteOnExit();
} catch (IOException e) {
throw new IllegalStateException("Не удалось выгрузить шрифт " + entry.file(), e);
}
// 2. Регистрируем в docx4j: имя в реестре docx4j берёт из
// name-таблицы TTF, поэтому ищем результат по URI файла
PhysicalFonts.addPhysicalFont(target.toUri());
PhysicalFont pf = findByFile(target.getFileName().toString());
if (pf == null) {
throw new IllegalStateException(
"docx4j не зарегистрировал шрифт: " + entry.file()
+ " (файл повреждён или не embeddable?)");
}
// 3. Учимся: семейство -> начертание -> PhysicalFont
VARIANTS
.computeIfAbsent(entry.family(), k -> new HashMap<>())
.put(entry.variant(), pf);
} }
// 2. Регистрируем в docx4j: имя в реестре docx4j берёт из // Удаление временного каталога при завершении JVM
// name-таблицы TTF, поэтому ищем результат по URI файла extractDir.toFile().deleteOnExit();
PhysicalFonts.addPhysicalFont(target.toUri()); inited = true;
PhysicalFont pf = findByFile(target.getFileName().toString());
if (pf == null) {
throw new IllegalStateException(
"docx4j не зарегистрировал шрифт: " + entry.file()
+ " (файл повреждён или не embeddable?)");
}
// 3. Учимся: семейство -> начертание -> PhysicalFont
VARIANTS
.computeIfAbsent(entry.family(), k -> new HashMap<>())
.put(entry.variant(), pf);
} }
// Удаление временного каталога при завершении JVM
extractDir.toFile().deleteOnExit();
inited = true;
} }
/** /**
@@ -188,17 +197,18 @@ public final class BundledFonts {
* em-dash на шрифте ранa (Carlito) вместо fallback-DejaVu. * em-dash на шрифте ранa (Carlito) вместо fallback-DejaVu.
* Шрифты, встроенные в docx, регистрируются при {@code load()} — * Шрифты, встроенные в docx, регистрируются при {@code load()} —
* если чистить до load(), они останутся в реестре. * если чистить до load(), они останутся в реестре.
* <p>Мутирует глобальный реестр {@code PhysicalFonts}: нельзя звать * <p>Мутирует глобальный реестр {@code PhysicalFonts} под монитором
* параллельно идущей {@code WordPdfConverter.convert()} — рендер * {@code WordPdfConverter.class} — тем же, что сериализует конвертации,
* начнёт терять шрифты. Внешний вызов рядом с идущей конвертацией * поэтому вызов рядом с идущей {@code WordPdfConverter.convert()}
* обязан держать монитор {@code WordPdfConverter.class} — тот же, * безопасен автоматически (замок удерживается внутри метода).
* что сериализует конвертации.
*/ */
public static synchronized void restrictToBundled() { public static void restrictToBundled() {
if (!inited) { synchronized (WordPdfConverter.class) {
return; if (!inited) {
return;
}
dropNonBundled();
} }
dropNonBundled();
} }
/** Удаляет из реестра всё, что не было выгружено из jar в {@link #extractDir}. */ /** Удаляет из реестра всё, что не было выгружено из jar в {@link #extractDir}. */
@@ -237,15 +247,18 @@ public final class BundledFonts {
/** /**
* Зарегистрированный шрифт: семейство (lowercase) + начертание. * Зарегистрированный шрифт: семейство (lowercase) + начертание.
* Синхронизирован с {@link #init()}: {@code VARIANTS} — обычный * Синхронизирован с {@link #init()} общим монитором
* {@code HashMap}, наполняемый в {@code init()} под тем же монитором * {@code WordPdfConverter.class}: {@code VARIANTS} — обычный
* класса; без замка внешний читатель мог бы увидеть недобранную карту. * {@code HashMap}, наполняемый в {@code init()}; без замка внешний
* читатель мог бы увидеть недобранную карту.
* *
* @return PhysicalFont или null (если init() не вызван или шрифта нет) * @return PhysicalFont или null (если init() не вызван или шрифта нет)
*/ */
public static synchronized PhysicalFont font(String family, String variant) { public static PhysicalFont font(String family, String variant) {
Map<String, PhysicalFont> m = VARIANTS.get(family); synchronized (WordPdfConverter.class) {
return m == null ? null : m.get(variant); Map<String, PhysicalFont> m = VARIANTS.get(family);
return m == null ? null : m.get(variant);
}
} }
public static PhysicalFont regular(String family) { public static PhysicalFont regular(String family) {
@@ -36,6 +36,7 @@ import org.docx4j.wml.Drawing;
import org.slf4j.Logger; import org.slf4j.Logger;
import org.slf4j.LoggerFactory; import org.slf4j.LoggerFactory;
import ru.pjandro.wordpdf.ConvertOptions; import ru.pjandro.wordpdf.ConvertOptions;
import ru.pjandro.wordpdf.ConversionException;
import ru.pjandro.wordpdf.DrawingFoundException; import ru.pjandro.wordpdf.DrawingFoundException;
import javax.imageio.ImageIO; import javax.imageio.ImageIO;
@@ -102,6 +103,20 @@ public final class DrawingPreRenderer {
* когда для объектов включён error-флаг ({@link ConvertOptions}). * когда для объектов включён error-флаг ({@link ConvertOptions}).
*/ */
public static void run(WordprocessingMLPackage pkg, ConvertOptions options) { public static void run(WordprocessingMLPackage pkg, ConvertOptions options) {
run(pkg, options, MAX_CHART_PNG_BYTES_TOTAL);
}
/**
* Потолок суммарного размера chart-PNG на документ: пер-объектные гейты
* ({@code MAX_EXTENT_EMU}, {@code MAX_PIXELS}) ограничивают один объект,
* но тысячи chart-частей × MB PNG оседали бы в heap как media-части
* (много-ГБ пик с входа ≤5 MiB). Превышение — деградация «объект удалён
* + warn», конвертация продолжается.
*/
private static final long MAX_CHART_PNG_BYTES_TOTAL = 128L * 1024 * 1024;
/** Тестовый шов: бюджет задаётся явно (публичный {@link #run} — с константой). */
static void run(WordprocessingMLPackage pkg, ConvertOptions options, long maxPngBytesTotal) {
ThemePart themePart = null; ThemePart themePart = null;
for (Part p : new ArrayList<>(pkg.getParts().getParts().values())) { for (Part p : new ArrayList<>(pkg.getParts().getParts().values())) {
if (p instanceof ThemePart tp) { if (p instanceof ThemePart tp) {
@@ -117,6 +132,7 @@ public final class DrawingPreRenderer {
List<Part> parts = new ArrayList<>(pkg.getParts().getParts().values()); List<Part> parts = new ArrayList<>(pkg.getParts().getParts().values());
Set<Part> handled = new HashSet<>(); Set<Part> handled = new HashSet<>();
int[] idSeq = {1000}; int[] idSeq = {1000};
long[] pngTotal = {0};
for (Part p : parts) { for (Part p : parts) {
if (!handled.add(p)) { if (!handled.add(p)) {
continue; continue;
@@ -125,7 +141,7 @@ public final class DrawingPreRenderer {
if (content.isEmpty()) { if (content.isEmpty()) {
continue; continue;
} }
walk(p, content, pkg, colors, idSeq, options); walk(p, content, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options);
} }
} }
@@ -151,16 +167,17 @@ public final class DrawingPreRenderer {
} }
private static void walk(Part part, List<?> content, WordprocessingMLPackage pkg, private static void walk(Part part, List<?> content, WordprocessingMLPackage pkg,
DrawMlColor colors, int[] idSeq, ConvertOptions options) { DrawMlColor colors, int[] idSeq, long[] pngTotal,
long maxPngBytesTotal, ConvertOptions options) {
for (Object o : content) { for (Object o : content) {
Object v = o instanceof JAXBElement ? ((JAXBElement<?>) o).getValue() : o; Object v = o instanceof JAXBElement ? ((JAXBElement<?>) o).getValue() : o;
if (v instanceof Drawing drawing) { if (v instanceof Drawing drawing) {
replaceDrawing(part, drawing, pkg, colors, idSeq, options); replaceDrawing(part, drawing, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options);
continue; continue;
} }
List<?> nested = invokeList(v, "getContent"); List<?> nested = invokeList(v, "getContent");
if (!nested.isEmpty() && nested != content) { if (!nested.isEmpty() && nested != content) {
walk(part, nested, pkg, colors, idSeq, options); walk(part, nested, pkg, colors, idSeq, pngTotal, maxPngBytesTotal, options);
} }
} }
} }
@@ -176,7 +193,8 @@ public final class DrawingPreRenderer {
} }
private static void replaceDrawing(Part part, Drawing drawing, WordprocessingMLPackage pkg, private static void replaceDrawing(Part part, Drawing drawing, WordprocessingMLPackage pkg,
DrawMlColor colors, int[] idSeq, ConvertOptions options) { DrawMlColor colors, int[] idSeq, long[] pngTotal,
long maxPngBytesTotal, ConvertOptions options) {
for (Object wrapper : drawing.getAnchorOrInline()) { for (Object wrapper : drawing.getAnchorOrInline()) {
Graphic graphic; Graphic graphic;
long cx; long cx;
@@ -234,7 +252,7 @@ public final class DrawingPreRenderer {
} }
continue; continue;
} }
swapForPicture(part, gd, img, cx, cy, idSeq, pkg); swapForPicture(part, gd, img, cx, cy, idSeq, pkg, pngTotal, maxPngBytesTotal);
} }
} }
@@ -248,8 +266,15 @@ public final class DrawingPreRenderer {
try { try {
ChartSpec spec = ChartSpec.parse(space, colors); ChartSpec spec = ChartSpec.parse(space, colors);
return ChartRenderer.render(spec, cx / 12700.0, cy / 12700.0, colors); return ChartRenderer.render(spec, cx / 12700.0, cy / 12700.0, colors);
} catch (RuntimeException | OutOfMemoryError e) { } catch (OutOfMemoryError e) {
// OOM — второй эшелон после MAX_EXTENT_EMU/MAX_POINTS: враждебный // OOM — не «деградация объекта»: состояние heap после него
// ненадёжно, продолжение рендера следующих объектов — второй
// OOM вместо одного детерминированного 500.
LOG.error("память исчерпана при рендере графика r:id={}", ref.getId(), e);
throw new ConversionException(
"Память исчерпана при рендере объектов рисования", e);
} catch (RuntimeException e) {
// второй эшелон после MAX_EXTENT_EMU/MAX_POINTS: враждебный
// chart-XML не должен валить всю конвертацию, деградация = объект удалён. // chart-XML не должен валить всю конвертацию, деградация = объект удалён.
LOG.warn("рендер графика r:id={} упал: {}", ref.getId(), e.toString()); LOG.warn("рендер графика r:id={} упал: {}", ref.getId(), e.toString());
return null; return null;
@@ -265,7 +290,11 @@ public final class DrawingPreRenderer {
} }
try { try {
return SmartArtRenderer.render(drawing, colors, cx / 12700.0, cy / 12700.0); return SmartArtRenderer.render(drawing, colors, cx / 12700.0, cy / 12700.0);
} catch (RuntimeException | OutOfMemoryError e) { } catch (OutOfMemoryError e) {
LOG.error("память исчерпана при рендере SmartArt", e);
throw new ConversionException(
"Память исчерпана при рендере объектов рисования", e);
} catch (RuntimeException e) {
LOG.warn("рендер SmartArt упал: {}", e.toString()); LOG.warn("рендер SmartArt упал: {}", e.toString());
return null; return null;
} }
@@ -309,7 +338,8 @@ public final class DrawingPreRenderer {
*/ */
private static void swapForPicture(Part part, GraphicData gd, BufferedImage img, private static void swapForPicture(Part part, GraphicData gd, BufferedImage img,
long cx, long cy, int[] idSeq, long cx, long cy, int[] idSeq,
WordprocessingMLPackage pkg) { WordprocessingMLPackage pkg,
long[] pngTotal, long maxPngBytesTotal) {
byte[] png; byte[] png;
try { try {
ByteArrayOutputStream bos = new ByteArrayOutputStream(); ByteArrayOutputStream bos = new ByteArrayOutputStream();
@@ -325,6 +355,13 @@ public final class DrawingPreRenderer {
gd.getAny().clear(); // контракт: упавший рендер — объект удалён gd.getAny().clear(); // контракт: упавший рендер — объект удалён
return; return;
} }
if (pngTotal[0] + png.length > maxPngBytesTotal) {
LOG.warn("суммарный размер chart-PNG превысил {} байт — объект удалён",
maxPngBytesTotal);
gd.getAny().clear(); // деградация «объект удалён + warn»
return;
}
pngTotal[0] += png.length;
String relId; String relId;
try { try {
relId = addChartMedia(pkg, part, png); relId = addChartMedia(pkg, part, png);
@@ -123,6 +123,13 @@ public final class CfbReader {
} }
if (rootStart >= 0 && rootSize > 0) { if (rootStart >= 0 && rootSize > 0) {
// Root-запись не проходит фильтр «size <= cfb.length», что ниже для
// stream-записей: readChain аллоцирует new byte[(int) size] ДО
// любых проверок границ — завышенный rootSize уложил бы heap (MS-CFB §2.4,
// поток не может быть больше контейнера).
if (rootSize > cfb.length) {
throw new ConversionException("Размер mini stream .doc больше контейнера");
}
miniStream = readChain(cfb, fat, rootStart, rootSize, sectorSize, sectorTotal, "mini stream"); miniStream = readChain(cfb, fat, rootStart, rootSize, sectorSize, sectorTotal, "mini stream");
} }
if (firstMiniFat != FREESECT && firstMiniFat != ENDOFCHAIN && firstMiniFat <= MAX_SECT) { if (firstMiniFat != FREESECT && firstMiniFat != ENDOFCHAIN && firstMiniFat <= MAX_SECT) {
@@ -139,7 +146,18 @@ public final class CfbReader {
// второй проход: содержимое потоков // второй проход: содержимое потоков
Map<String, byte[]> result = new HashMap<>(); Map<String, byte[]> result = new HashMap<>();
// Суммарный бюджет аллокаций: FAT легально шарит сектора между
// записями, поэтому пер-запись «size <= cfb.length» не ограничивает
// итог — N записей с size ≈ cfb.length аллоцировали бы N×файл
// (OOM с одного враждебного контейнера). В легитимном контейнере
// потоки не перекрываются: rootSize + Σ sizes ≤ файл + служебные
// сектора (FAT/dir/докругление mini) ≈ 1.1×файла; 1.5× — запас.
long allocated = rootSize;
for (Entry e : entries) { for (Entry e : entries) {
if (allocated + e.size() > 3L * cfb.length / 2) {
throw new ConversionException("Суммарный размер потоков .doc больше лимита контейнера");
}
allocated += e.size();
byte[] data; byte[] data;
if (e.size() >= cutoff) { if (e.size() >= cutoff) {
data = readChain(cfb, fat, e.start(), e.size(), sectorSize, sectorTotal, data = readChain(cfb, fat, e.start(), e.size(), sectorSize, sectorTotal,
@@ -286,12 +304,15 @@ public final class CfbReader {
if (sect >= miniFat.length) { if (sect >= miniFat.length) {
throw new ConversionException("Mini-сектор за концом MiniFAT в .doc"); throw new ConversionException("Mini-сектор за концом MiniFAT в .doc");
} }
int base = (int) sect * miniSectorSize;
int n = Math.min(miniSectorSize, (int) size - done); int n = Math.min(miniSectorSize, (int) size - done);
if (base + n > miniStream.length) { // long-арифметика: sect уже long, умножение не может уйти в
// отрицательный int-wrap и пройти прежний guard — arraycopy тогда бросал
// ArrayIndexOutOfBoundsException (не ConversionException → 500).
long base = sect * miniSectorSize;
if (base < 0 || base + n > miniStream.length) {
throw new ConversionException("Mini-поток .doc ссылается за конец mini stream"); throw new ConversionException("Mini-поток .doc ссылается за конец mini stream");
} }
System.arraycopy(miniStream, base, out, done, n); System.arraycopy(miniStream, (int) base, out, done, n);
done += n; done += n;
sect = miniFat[(int) sect] & 0xFFFFFFFFL; sect = miniFat[(int) sect] & 0xFFFFFFFFL;
} }
@@ -9,6 +9,7 @@ import java.util.Iterator;
import java.util.List; import java.util.List;
import java.util.Locale; import java.util.Locale;
import java.util.Map; import java.util.Map;
import java.util.Set;
import java.util.regex.Pattern; import java.util.regex.Pattern;
/** /**
@@ -236,6 +237,14 @@ public final class DocToDocx {
/** Схема URL в начале строки (RFC 3986 §3.1), lookingAt. */ /** Схема URL в начале строки (RFC 3986 §3.1), lookingAt. */
private static final Pattern URL_SCHEME = private static final Pattern URL_SCHEME =
Pattern.compile("[A-Za-z][A-Za-z0-9+.\\-]*:"); Pattern.compile("[A-Za-z][A-Za-z0-9+.\\-]*:");
/**
* Разрешённые схемы гиперссылок: RFC 3986 пропускает {@code javascript:}
* и {@code file:}, они доезжают до /URI-аннотаций PDF (выполнение
* скрипта/локальный путь в просмотрщике). Прочие схемы → ссылка не
* эмитится, текст остаётся.
*/
private static final Set<String> ALLOWED_URL_SCHEMES =
Set.of("http", "https", "mailto", "ftp");
/** ASCII DEL — управляющий символ, невалидный в URL. */ /** ASCII DEL — управляющий символ, невалидный в URL. */
private static final char DEL = 0x7F; private static final char DEL = 0x7F;
/** Кавычка-обёртка URL в инструкции HYPERLINK. */ /** Кавычка-обёртка URL в инструкции HYPERLINK. */
@@ -274,6 +283,12 @@ public final class DocToDocx {
private Map<Integer, String> sectByEndCp = Map.of(); private Map<Integer, String> sectByEndCp = Map.of();
/** sectPr разрыва, потреблённого в текущем абзаце (прикрепляется к Para). */ /** sectPr разрыва, потреблённого в текущем абзаце (прикрепляется к Para). */
private String pendingSectPr; private String pendingSectPr;
/** Остаток бюджета развёрнутых PrcData на документ (сброса нет). */
private final long[] prcBudget = {PrcData.MAX_BYTES_PER_DOCUMENT};
/** Номер следующей картинки ({@code word/media/imageN}); media-части
* добавляет только {@code emitPicture} — инкремент эквивалентен прежнему
* скану {@code parts} (тот был квадратичным на тысячах картинок). */
private int imageSeq;
DocxBody(PieceTable pieces, ChpxIndex chpx, PapxIndex papx, FontTable fonts, DocxBody(PieceTable pieces, ChpxIndex chpx, PapxIndex papx, FontTable fonts,
Styles styles, Lists lists, int ccpText, byte[] dataStream, Styles styles, Lists lists, int ccpText, byte[] dataStream,
@@ -365,7 +380,7 @@ public final class DocToDocx {
// grpprl абзаца может быть вынесен Word в PrcData (Data-поток) // grpprl абзаца может быть вынесен Word в PrcData (Data-поток)
// через sprmPHugePapx/sprmPTableProps — разворачиваем до // через sprmPHugePapx/sprmPTableProps — разворачиваем до
// потребления: InTable/TTP/TAP видят автомат и paraProps (§2.9.210) // потребления: InTable/TTP/TAP видят автомат и paraProps (§2.9.210)
byte[] direct = PrcData.resolve(dataStream, papx.grpprlFor(paraFc)); byte[] direct = PrcData.resolve(dataStream, papx.grpprlFor(paraFc), prcBudget);
int istd = istdOf(direct, papx.istdFor(paraFc)); int istd = istdOf(direct, papx.istdFor(paraFc));
byte[] styleChpx = styles.chpxChain(istd); byte[] styleChpx = styles.chpxChain(istd);
StringBuilder runs = new StringBuilder(); StringBuilder runs = new StringBuilder();
@@ -861,12 +876,7 @@ public final class DocToDocx {
if (pic == null) { if (pic == null) {
return; return;
} }
int imageNo = 1; int imageNo = ++imageSeq;
for (DocxWriter.Part p : parts) {
if (p.entry().startsWith("word/media/")) {
imageNo++;
}
}
String entry = "word/media/image" + imageNo + "." + pic.extension(); String entry = "word/media/image" + imageNo + "." + pic.extension();
parts.add(new DocxWriter.Part(entry, pic.contentType(), IMAGE_REL_TYPE, pic.data())); parts.add(new DocxWriter.Part(entry, pic.contentType(), IMAGE_REL_TYPE, pic.data()));
String relId = "rId" + parts.size(); String relId = "rId" + parts.size();
@@ -965,7 +975,9 @@ public final class DocToDocx {
} }
} }
if (url.isEmpty() || hasControlChar(url) if (url.isEmpty() || hasControlChar(url)
|| !URL_SCHEME.matcher(url).lookingAt()) { || !URL_SCHEME.matcher(url).lookingAt()
|| !ALLOWED_URL_SCHEMES.contains(
url.substring(0, url.indexOf(':')).toLowerCase(Locale.ROOT))) {
return null; return null;
} }
return url; return url;
@@ -1,5 +1,7 @@
package ru.pjandro.wordpdf.internal.doc; package ru.pjandro.wordpdf.internal.doc;
import ru.pjandro.wordpdf.WordPdfSettings;
/** /**
* Извлечение растровой картинки из {@code PICFAndOfficeArtData} * Извлечение растровой картинки из {@code PICFAndOfficeArtData}
* ([MS-DOC] §2.9.192, операнд {@code sprmCPicLocation} = offset в Data-потоке) * ([MS-DOC] §2.9.192, операнд {@code sprmCPicLocation} = offset в Data-потоке)
@@ -164,6 +166,15 @@ final class OfficeArt {
if (len < BITMAPINFOHEADER_SIZE) { if (len < BITMAPINFOHEADER_SIZE) {
return null; return null;
} }
// Raster-bomb: BITMAPINFOHEADER из нескольких сотен байтов может
// объявить 50000×50000 — ImageIO аллоцирует растр ПО ЗАГОЛОВКУ и
// бросает OutOfMemoryError (Error, не ловится catch ниже). Отказ по
// площади — та же семантика «битый → объект пропущен».
long area = (long) Math.abs((int) CfbReader.u32(data, off + 4))
* Math.abs((int) CfbReader.u32(data, off + 8));
if (area > WordPdfSettings.MAX_IMAGE_PIXELS) {
return null;
}
try { try {
java.awt.image.BufferedImage img = javax.imageio.ImageIO.read( java.awt.image.BufferedImage img = javax.imageio.ImageIO.read(
new java.io.ByteArrayInputStream(wrapAsBmp(data, off, len))); new java.io.ByteArrayInputStream(wrapAsBmp(data, off, len)));
@@ -41,24 +41,49 @@ final class PrcData {
private static final int MAX_CB_GRPPRL = 0x3FA2; private static final int MAX_CB_GRPPRL = 0x3FA2;
/** Максимум разобранных PrcData на абзац — защита от цикла A→B→A. */ /** Максимум разобранных PrcData на абзац — защита от цикла A→B→A. */
private static final int MAX_HOPS = 32; private static final int MAX_HOPS = 32;
/**
* Суммарный бюджет развёрнутых PrcData на документ (байт): все абзацы
* могут указывать указателями в одну и ту же цепочку Data, и пер-абзац
* ({@value #MAX_HOPS} × {@value #MAX_CB_GRPPRL}) не ограничивает итог —
* без бюджета враждебный файл получает CPU/alloc-шторм на весь разбор.
*/
static final long MAX_BYTES_PER_DOCUMENT = 32L * 1024 * 1024;
private PrcData() { private PrcData() {
} }
/**
* Grpprl абзаца с развёрнутой цепочкой PrcData (бюджет на документ не
* учитывается — юнит-тесты; продакшен зовёт {@link #resolve(byte[], byte[], long[])}).
*/
static byte[] resolve(byte[] dataStream, byte[] grpprl) {
return resolve(dataStream, grpprl, new long[] {Long.MAX_VALUE});
}
/** /**
* Grpprl абзаца с развёрнутой цепочкой PrcData. Без указателей * Grpprl абзаца с развёрнутой цепочкой PrcData. Без указателей
* (0x6646/0x646B нет) возвращается <em>тот же массив</em>; иначе — * (0x6646/0x646B нет) возвращается <em>тот же массив</em>; иначе —
* новый: не-спец-спрмы исходника дословно, спец-спрмы заменены * новый: не-спец-спрмы исходника дословно, спец-спрмы заменены
* содержимым цепочки по их указателям. * содержимым цепочки по их указателям.
*
* <p>{@code budget[0]} — остаток бюджета документа ({@link #MAX_BYTES_PER_DOCUMENT}):
* списывается размер результата; при исчерпании цепочка не разворачивается
* (деградация форматирования, а не отказ — та же «снисходительность», что
* для брака ниже). Мутатор — вызывающий на весь документ.</p>
*/ */
static byte[] resolve(byte[] dataStream, byte[] grpprl) { static byte[] resolve(byte[] dataStream, byte[] grpprl, long[] budget) {
if (!hasPointer(grpprl)) { if (!hasPointer(grpprl)) {
return grpprl; return grpprl;
} }
if (budget[0] <= 0) {
return grpprl;
}
ByteArrayOutputStream out = new ByteArrayOutputStream(grpprl.length + 64); ByteArrayOutputStream out = new ByteArrayOutputStream(grpprl.length + 64);
int[] hops = new int[1]; int[] hops = new int[1];
copyPrls(grpprl, 0, grpprl.length, dataStream, out, hops); copyPrls(grpprl, 0, grpprl.length, dataStream, out, hops);
return out.toByteArray(); byte[] result = out.toByteArray();
budget[0] -= result.length;
return result;
} }
/** Есть ли в массиве указатель на PrcData. */ /** Есть ли в массиве указатель на PrcData. */
@@ -17,6 +17,7 @@ import org.apache.pdfbox.text.PDFTextStripper;
import org.apache.poi.poifs.filesystem.POIFSFileSystem; import org.apache.poi.poifs.filesystem.POIFSFileSystem;
import org.docx4j.Docx4jProperties; import org.docx4j.Docx4jProperties;
import org.junit.jupiter.api.Test; import org.junit.jupiter.api.Test;
import ru.pjandro.wordpdf.fonts.BundledFonts;
import java.io.ByteArrayInputStream; import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream; import java.io.ByteArrayOutputStream;
@@ -2755,9 +2756,9 @@ class WordPdfConverterTest {
@Test @Test
void fopFactorySharedAcrossConversions() throws Exception { void fopFactorySharedAcrossConversions() throws Exception {
WordPdfConverter.convert(sampleBytes("ru-plain.docx"), "ru-plain"); WordPdfConverter.convert(sampleBytes("ru-plain.docx"), "ru-plain");
FopFactory first = WordPdfConverter.sharedFopFactory(null); FopFactory first = sharedFopFactoryRef();
WordPdfConverter.convert(sampleBytes("en-plain.docx"), "en-plain"); WordPdfConverter.convert(sampleBytes("en-plain.docx"), "en-plain");
assertSame(first, WordPdfConverter.sharedFopFactory(null), assertSame(first, sharedFopFactoryRef(),
"повторная конвертация обязана переиспользовать ту же FopFactory"); "повторная конвертация обязана переиспользовать ту же FopFactory");
} }
@@ -2772,7 +2773,7 @@ class WordPdfConverterTest {
void sharedImageCaches_clearedAfterConversion() throws Exception { void sharedImageCaches_clearedAfterConversion() throws Exception {
WordPdfConverter.convert(sampleBytes("chart-types.docx"), "chart-types"); WordPdfConverter.convert(sampleBytes("chart-types.docx"), "chart-types");
FopFactory factory = WordPdfConverter.sharedFopFactory(null); FopFactory factory = sharedFopFactoryRef();
Object imageCache = factory.getImageManager().getCache(); Object imageCache = factory.getImageManager().getCache();
assertEquals(0, softMapSize(imageCache, "imageInfos"), assertEquals(0, softMapSize(imageCache, "imageInfos"),
"ImageCache.imageInfos обязан быть пуст после конвертации"); "ImageCache.imageInfos обязан быть пуст после конвертации");
@@ -2782,6 +2783,13 @@ class WordPdfConverterTest {
"ImageObjectCacheImpl обязан быть пуст после конвертации"); "ImageObjectCacheImpl обязан быть пуст после конвертации");
} }
/** Зеркало private-поля {@code WordPdfConverter.sharedFopFactory} (шов для теста). */
private static FopFactory sharedFopFactoryRef() throws Exception {
java.lang.reflect.Field f = WordPdfConverter.class.getDeclaredField("sharedFopFactory");
f.setAccessible(true);
return (FopFactory) f.get(null);
}
/** Размер внутренней {@code map} SoftMapCache (package-private поле). */ /** Размер внутренней {@code map} SoftMapCache (package-private поле). */
private static int softMapSize(Object cacheHolder, String field) throws Exception { private static int softMapSize(Object cacheHolder, String field) throws Exception {
java.lang.reflect.Field f = cacheHolder.getClass().getDeclaredField(field); java.lang.reflect.Field f = cacheHolder.getClass().getDeclaredField(field);
@@ -2823,6 +2831,93 @@ class WordPdfConverterTest {
assertTrue(norm(pdfTextBytes(out[1])).contains("Типы диаграмм"), "поток 2: текст потерян"); assertTrue(norm(pdfTextBytes(out[1])).contains("Типы диаграмм"), "поток 2: текст потерян");
} }
/**
* Внешние мутаторы шрифтового реестра ({@code BundledFonts.init()},
* {@code restrictToBundled()}) рядом с идущими конвертациями не должны
* влиять на их вывод: все синхронизированные операции BundledFonts и
* сериализация конвертаций держат один монитор ({@code WordPdfConverter.class}),
* поэтому чистка реестра не может вырезать шрифт из-под идущего рендера.
* Регрессия — этот тест, фикстуры samples/ru-plain.docx и samples/chart-types.docx.
*/
@Test
void concurrentFontMutators_conversionsUnharmed() throws Exception {
byte[] plain = sampleBytes("ru-plain.docx");
byte[] chart = sampleBytes("chart-types.docx");
byte[][] out = new byte[2][];
Runnable[] jobs = {
() -> out[0] = WordPdfConverter.convert(plain, "ru-plain"),
() -> out[1] = WordPdfConverter.convert(chart, "chart-types"),
};
Thread[] ts = new Thread[3];
ts[0] = new Thread(jobs[0]);
ts[1] = new Thread(jobs[1]);
ts[2] = new Thread(() -> {
for (int i = 0; i < 50; i++) {
BundledFonts.init();
BundledFonts.restrictToBundled();
}
});
for (Thread t : ts) {
t.start();
}
for (Thread t : ts) {
t.join();
}
assertTrue(out[0] != null && "%PDF".equals(new String(out[0], 0, 4, StandardCharsets.US_ASCII)),
"поток 1 не вернул PDF");
assertTrue(out[1] != null && "%PDF".equals(new String(out[1], 0, 4, StandardCharsets.US_ASCII)),
"поток 2 не вернул PDF");
String t0 = norm(pdfTextBytes(out[0]));
String t1 = norm(pdfTextBytes(out[1]));
assertTrue(t0.contains("Привет, мир!"), "поток 1: текст потерян");
assertTrue(t1.contains("Типы диаграмм"), "поток 2: текст потерян");
}
/**
* XXE-pin: {@code word/document.xml} с DOCTYPE и внешней сущностью
* ({@code file://}) обязан быть отвергнут до разбора — StAX валидатора
* работает с {@code SUPPORT_DTD=false}, JAXB docx4j — с
* {@code disallow-doctype-decl}. Цель сущности не читается, секрет не
* попадает ни в PDF, ни в сообщение ошибки.
*/
@Test
void xxeExternalEntity_rejectedNotRead() throws Exception {
Path secret = Files.createTempFile("wordpdf-xxe-", ".txt");
Files.writeString(secret, "XXE-SECRET-42");
try {
String w = "http://schemas.openxmlformats.org/wordprocessingml/2006/main";
String doc = "<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<!DOCTYPE w:document [ <!ENTITY xxe SYSTEM \"file://"
+ secret.toAbsolutePath() + "\"> ]>"
+ "<w:document xmlns:w=\"" + w + "\"><w:body>"
+ "<w:p><w:r><w:t>&xxe;</w:t></w:r></w:p>"
+ "<w:sectPr><w:pgSz w:w=\"11906\" w:h=\"16838\"/></w:sectPr>"
+ "</w:body></w:document>";
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
putZip(zos, "[Content_Types].xml",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<Types xmlns=\"http://schemas.openxmlformats.org/package/2006/content-types\">"
+ "<Default Extension=\"rels\" ContentType=\"application/vnd.openxmlformats-package.relationships+xml\"/>"
+ "<Default Extension=\"xml\" ContentType=\"application/xml\"/>"
+ "<Override PartName=\"/word/document.xml\" ContentType=\"application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml\"/>"
+ "</Types>");
putZip(zos, "_rels/.rels",
"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?>"
+ "<Relationships xmlns=\"http://schemas.openxmlformats.org/package/2006/relationships\">"
+ "<Relationship Id=\"rId1\" Type=\"http://schemas.openxmlformats.org/officeDocument/2006/relationships/officeDocument\" Target=\"word/document.xml\"/>"
+ "</Relationships>");
putZip(zos, "word/document.xml", doc);
}
ConversionException e = assertThrows(ConversionException.class,
() -> WordPdfConverter.convert(out.toByteArray(), "xxe"));
assertFalse(e.getMessage() != null && e.getMessage().contains("XXE-SECRET-42"),
"содержимое внешнего файла не должно попадать в сообщение ошибки");
} finally {
Files.deleteIfExists(secret);
}
}
/** Текст PDF из байтов (PDFBox) — для результатов прямого convert(). */ /** Текст PDF из байтов (PDFBox) — для результатов прямого convert(). */
private static String pdfTextBytes(byte[] pdf) throws IOException { private static String pdfTextBytes(byte[] pdf) throws IOException {
try (PDDocument doc = Loader.loadPDF(pdf)) { try (PDDocument doc = Loader.loadPDF(pdf)) {
@@ -376,6 +376,242 @@ class WordPdfValidatorTest {
assertTrue(ex.getMessage().contains("записей"), ex.getMessage()); assertTrue(ex.getMessage().contains("записей"), ex.getMessage());
} }
/**
* XML-бомба: распакованные XML-части больше
* {@link WordPdfSettings#MAX_DECOMPRESSED_XML_MB} — отказ по байтовому
* гейту XML (байтовый лимит архива ещё не исчерпан).
* Регрессия — WordPdfValidator#checkDocxContainer (xmlTotal).
*/
@Test
void validate_xmlPartsBombRejected() throws Exception {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
zos.putNextEntry(new ZipEntry("[Content_Types].xml"));
zos.write(CONTENT_TYPES.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
zos.putNextEntry(new ZipEntry("word/document.xml"));
zos.write(new byte[(int) (WordPdfSettings.MAX_DECOMPRESSED_XML_MB * 1024 * 1024) + 1]);
zos.closeEntry();
}
byte[] zip = out.toByteArray();
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
assertTrue(ex.getMessage().contains("XML-частей"), ex.getMessage());
}
/**
* Дубликаты имён записей — отказ: OPC требует уникальных имён, а партии
* с одним именем по-разному трактуются валидатором (первая) и парсером.
* {@code ZipOutputStream} дубли не пишет — контейнер собирается вручную
* (STORED, локальные заголовки + central directory + EOCD).
* Регрессия — WordPdfValidator#checkDocxContainer (Set names).
*/
@Test
void validate_duplicateEntriesRejected() throws Exception {
byte[] ct = CONTENT_TYPES.getBytes(StandardCharsets.UTF_8);
byte[] doc = MINIMAL_DOCUMENT.getBytes(StandardCharsets.UTF_8);
byte[] zip = rawZip(new String[] {"[Content_Types].xml", "word/document.xml",
"word/document.xml"},
new byte[][] {ct, doc, doc});
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()));
assertTrue(ex.getMessage().contains("Дубликаты записей"), ex.getMessage());
}
/** Минимальный zip: STORED-записи, central directory, EOCD. */
private static byte[] rawZip(String[] names, byte[][] data) {
ByteArrayOutputStream out = new ByteArrayOutputStream();
long[] offsets = new long[names.length];
java.util.zip.CRC32 crc = new java.util.zip.CRC32();
for (int i = 0; i < names.length; i++) {
byte[] name = names[i].getBytes(StandardCharsets.UTF_8);
crc.reset();
crc.update(data[i]);
offsets[i] = out.size();
le32(out, 0x04034b50);
le16(out, 20);
le16(out, 0);
le16(out, 0);
le16(out, 0);
le16(out, 0);
le32(out, (int) crc.getValue());
le32(out, data[i].length);
le32(out, data[i].length);
le16(out, name.length);
le16(out, 0);
out.writeBytes(name);
out.writeBytes(data[i]);
}
long cdStart = out.size();
for (int i = 0; i < names.length; i++) {
byte[] name = names[i].getBytes(StandardCharsets.UTF_8);
crc.reset();
crc.update(data[i]);
le32(out, 0x02014b50);
le16(out, 20);
le16(out, 20);
le16(out, 0);
le16(out, 0);
le16(out, 0);
le16(out, 0);
le32(out, (int) crc.getValue());
le32(out, data[i].length);
le32(out, data[i].length);
le16(out, name.length);
le16(out, 0);
le16(out, 0);
le16(out, 0);
le16(out, 0);
le32(out, 0);
le32(out, (int) offsets[i]);
out.writeBytes(name);
}
long cdLen = out.size() - cdStart;
le32(out, 0x06054b50);
le16(out, 0);
le16(out, 0);
le16(out, names.length);
le16(out, names.length);
le32(out, (int) cdLen);
le32(out, (int) cdStart);
le16(out, 0);
return out.toByteArray();
}
private static void le16(ByteArrayOutputStream out, int v) {
out.write(v & 0xFF);
out.write((v >>> 8) & 0xFF);
}
private static void le32(ByteArrayOutputStream out, int v) {
le16(out, v & 0xFFFF);
le16(out, (v >>> 16) & 0xFFFF);
}
/** Заготовки заголовков растров с площадью выше MAX_IMAGE_PIXELS. */
private static byte[][] rasterBombs() {
byte[] png = new byte[33];
System.arraycopy(new byte[] {(byte) 0x89, 'P', 'N', 'G', 0x0D, 0x0A, 0x1A, 0x0A}, 0, png, 0, 8);
png[12] = 'I';
png[13] = 'H';
png[14] = 'D';
png[15] = 'R';
putBe32(png, 16, 50000);
putBe32(png, 20, 50000);
byte[] gif = {'G', 'I', 'F', '8', '9', 'a',
(byte) 0xFF, (byte) 0xFF, (byte) 0xFF, (byte) 0xFF, 0, 0};
byte[] bmp = new byte[26];
bmp[0] = 'B';
bmp[1] = 'M';
putLe32(bmp, 18, 50000);
putLe32(bmp, 22, -50000); // top-down DIB — берётся abs высоты
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xC0,
0x00, 0x11, 0x08, (byte) 0xC3, 0x50, (byte) 0xC3, 0x50};
return new byte[][] {png, gif, bmp, jpeg};
}
private static void putBe32(byte[] b, int off, int v) {
b[off] = (byte) (v >>> 24);
b[off + 1] = (byte) (v >>> 16);
b[off + 2] = (byte) (v >>> 8);
b[off + 3] = (byte) v;
}
private static void putLe32(byte[] b, int off, int v) {
b[off] = (byte) v;
b[off + 1] = (byte) (v >>> 8);
b[off + 2] = (byte) (v >>> 16);
b[off + 3] = (byte) (v >>> 24);
}
private static byte[] zipOf(String name, byte[] media) throws Exception {
ByteArrayOutputStream out = new ByteArrayOutputStream();
try (ZipOutputStream zos = new ZipOutputStream(out)) {
zos.putNextEntry(new ZipEntry("[Content_Types].xml"));
zos.write(CONTENT_TYPES.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
zos.putNextEntry(new ZipEntry("word/document.xml"));
zos.write(MINIMAL_DOCUMENT.getBytes(StandardCharsets.UTF_8));
zos.closeEntry();
zos.putNextEntry(new ZipEntry(name));
zos.write(media);
zos.closeEntry();
}
return out.toByteArray();
}
/**
* Raster-bomb: заголовок растра (PNG/GIF/BMP/JPEG — каждый свой формат)
* объявляет площадь выше {@link WordPdfSettings#MAX_IMAGE_PIXELS} — отказ
* до любого декодирования. Регрессия — WordPdfValidator#rasterArea.
*/
@Test
void validate_rasterBombRejected() throws Exception {
String[] exts = {"word/media/b.png", "word/media/b.gif", "word/media/b.bmp",
"word/media/b.jpg"};
byte[][] bombs = rasterBombs();
for (int i = 0; i < bombs.length; i++) {
byte[] zip = zipOf(exts[i], bombs[i]);
ValidationException ex = assertThrows(ValidationException.class,
() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()),
"должно отклоняться: " + exts[i]);
assertTrue(ex.getMessage().contains("Изображение слишком большое"), ex.getMessage());
}
}
/** Легитимные растры малых размеров проходят валидацию. */
@Test
void validate_smallRastersAccepted() throws Exception {
byte[] png = new byte[33];
System.arraycopy(new byte[] {(byte) 0x89, 'P', 'N', 'G', 0x0D, 0x0A, 0x1A, 0x0A}, 0, png, 0, 8);
png[12] = 'I';
png[13] = 'H';
png[14] = 'D';
png[15] = 'R';
putBe32(png, 16, 10);
putBe32(png, 20, 10);
byte[] gif = {'G', 'I', 'F', '8', '9', 'a', 10, 0, 10, 0, 0, 0};
byte[] bmp = new byte[26];
bmp[0] = 'B';
bmp[1] = 'M';
putLe32(bmp, 18, 10);
putLe32(bmp, 22, -10);
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xC0,
0x00, 0x11, 0x08, 0x00, 0x0A, 0x00, 0x0A};
byte[][] ok = {png, gif, bmp, jpeg};
String[] exts = {"word/media/a.png", "word/media/a.gif", "word/media/a.bmp",
"word/media/a.jpeg"};
for (int i = 0; i < ok.length; i++) {
byte[] zip = zipOf(exts[i], ok[i]);
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()),
exts[i]);
}
}
/**
* Нераспознанный/неполный заголовок растра (подписи нет или dimensions
* не влезают) — не отклонять: площадь не объявлена, а реальный decode
* ограничен бюджетом {@code MAX_DECOMPRESSED_MB}. Регрессия —
* WordPdfValidator#rasterArea (ветки «-1» каждого формата).
*/
@Test
void validate_rasterUnknownHeadsAccepted() throws Exception {
byte[] png = new byte[20];
System.arraycopy(new byte[] {(byte) 0x89, 'P', 'N', 'G', 0x0D, 0x0A, 0x1A, 0x0A},
0, png, 0, 8); // сигнатура есть, IHDR (offset 16..24) не прочитан
byte[] gif = {'G', 'I', 'F', '8', '9', 'a'}; // сигнатура есть, размеров нет
byte[] bmp = new byte[26]; // длина достаточна, подписи 'BM' нет
byte[] jpeg = {(byte) 0xFF, (byte) 0xD8, 0x00, 0x00}; // FFD8, следующий маркер не FF
String[] exts = {"word/media/u.png", "word/media/u.gif", "word/media/u.bmp",
"word/media/u.jpg"};
byte[][] heads = {png, gif, bmp, jpeg};
for (int i = 0; i < heads.length; i++) {
byte[] zip = zipOf(exts[i], heads[i]);
assertDoesNotThrow(() -> WordPdfValidator.validate(zip, ConvertOptions.defaults()),
exts[i]);
}
}
@Test @Test
void validate_tooManyPages() throws Exception { void validate_tooManyPages() throws Exception {
byte[] bytes = docxWithPageBreaks(120); byte[] bytes = docxWithPageBreaks(120);
@@ -426,6 +662,19 @@ class WordPdfValidatorTest {
} }
// ---- ветви lightweight-сканера и контейнера ---- // ---- ветви lightweight-сканера и контейнера ----
/** Манифест с маркером документа wordprocessingml (минимум для checkDocxContainer). */
private static final String CONTENT_TYPES =
"<?xml version=\"1.0\"?><Types xmlns=\"http://schemas.openxmlformats.org"
+ "/package/2006/content-types\"><Override PartName=\"/word/document.xml\""
+ " ContentType=\"application/vnd.openxmlformats-officedocument"
+ ".wordprocessingml.document.main+xml\"/></Types>";
/** Пустое transitional-тело: 1 страница, ни одного разрыва. */
private static final String MINIMAL_DOCUMENT =
"<?xml version=\"1.0\" encoding=\"UTF-8\"?>"
+ "<w:document xmlns:w=\"http://schemas.openxmlformats.org/wordprocessingml/2006/main\">"
+ "<w:body></w:body></w:document>";
private static final String TRANSITIONAL_W = private static final String TRANSITIONAL_W =
"http://schemas.openxmlformats.org/wordprocessingml/2006/main"; "http://schemas.openxmlformats.org/wordprocessingml/2006/main";
@@ -84,6 +84,24 @@ class DrawingPreRendererTest {
"r:id ведёт не на вставленную часть"); "r:id ведёт не на вставленную часть");
} }
/**
* Бюджет chart-PNG на документ: с бюджетом в 1 байт ни один объект не
* проходит проверку в {@code swapForPicture} — media-частей нет
* (деградация «объект удалён»), конвертация не падает. С неограниченным
* бюджетом — все объекты отрендерены.
* Регрессия — DrawingPreRenderer#MAX_CHART_PNG_BYTES_TOTAL.
*/
@Test
void pngBudget_exhausted_dropsObjects() throws Exception {
WordprocessingMLPackage poor = chartPkg();
DrawingPreRenderer.run(poor, ru.pjandro.wordpdf.ConvertOptions.defaults(), 1);
assertEquals(0, chartMedia(poor).size(),
"исчерпанный бюджет обязан удалить все chart-объекты без media-частей");
WordprocessingMLPackage rich = chartPkg();
DrawingPreRenderer.run(rich, ru.pjandro.wordpdf.ConvertOptions.defaults(), Long.MAX_VALUE);
assertTrue(!chartMedia(rich).isEmpty(), "неограниченный бюджет обязан отрендерить объекты");
}
/** /**
* Имена уникальны по реестру пакета (chart-1, chart-2): * Имена уникальны по реестру пакета (chart-1, chart-2):
* {@code PartName.generateUniqueName} уникальность не даёт, счётчик с * {@code PartName.generateUniqueName} уникальность не даёт, счётчик с
@@ -191,6 +191,49 @@ class CfbReaderTest {
assertSame(ConversionException.class, ex.getClass()); assertSame(ConversionException.class, ex.getClass());
} }
/**
* OOM-атака .doc: объявленный размер root-потока (mini stream) больше
* контейнера — отказ ДО аллокации (первая строка readChain —
* {@code new byte[(int) size]}, проверки границ идут после).
* Регрессия — CfbReader#readStreams (кап rootSize).
*/
@Test
void rootSize_beyondContainer_rejected() {
byte[] file = build(new Spec("WordDocument", "x".getBytes(StandardCharsets.UTF_8)));
put32(file, SECTOR * 2 + 0x78, 0x7000_0000); // size root-записи (dir сектор 1, индекс 0)
ConversionException ex = assertThrows(ConversionException.class,
() -> CfbReader.readStreams(file));
assertTrue(ex.getMessage().contains("mini stream"), ex.getMessage());
}
/**
* Root-размер {@code 0xFFFFFFFF}: до капа давал {@code NegativeArraySizeException}
* (не ConversionException → HTTP 500 вместо 400).
*/
@Test
void rootSize_maxU32_rejected() {
byte[] file = build(new Spec("WordDocument", "x".getBytes(StandardCharsets.UTF_8)));
put32(file, SECTOR * 2 + 0x78, -1);
assertThrows(ConversionException.class, () -> CfbReader.readStreams(file));
}
/**
* Умножение потоков: одна FAT-цепочка объявлена тремя directory-записями
* на ~весь контейнер; по отдельности каждая в «size <= cfb.length»,
* суммарно — больше бюджета 1.5×контейнера.
* Регрессия — CfbReader#readStreams (суммарный бюджет).
*/
@Test
void streamsTotal_beyondBudget_rejected() {
byte[] file = build(new Spec("Data", new byte[60 * 1024]));
int dir = SECTOR * 2;
System.arraycopy(file, dir + 128, file, dir + 256, 128);
System.arraycopy(file, dir + 128, file, dir + 384, 128);
ConversionException ex = assertThrows(ConversionException.class,
() -> CfbReader.readStreams(file));
assertTrue(ex.getMessage().contains("Суммарный размер потоков"), ex.getMessage());
}
@Test @Test
void dirChainLoop_rejected() { void dirChainLoop_rejected() {
byte[] file = build(); byte[] file = build();
@@ -1611,6 +1611,27 @@ class DocToDocxFormattingTest {
+ (char) 0x14 + "Сайт" + (char) 0x15 + "\r")); + (char) 0x14 + "Сайт" + (char) 0x15 + "\r"));
} }
/**
* Схема вне whitelist (javascript:) — отказ: RFC 3986 схем не ограничивает,
* а javascript:/file: доезжают до /URI-аннотаций PDF. Регрессия —
* DocxBody#ALLOWED_URL_SCHEMES.
*/
@Test
void hyperlink_javascriptScheme_degradesToPlain() throws IOException {
assertNoHyperlink(hyperlinkDoc((char) 0x13 + " HYPERLINK \"javascript:alert(1)\""
+ (char) 0x14 + "Сайт" + (char) 0x15 + "\r"));
}
/** mailto: — разрешённая схема whitelist'а. */
@Test
void hyperlink_mailtoScheme_accepted() throws IOException {
byte[] doc = hyperlinkDoc("x" + (char) 0x13 + " HYPERLINK \"mailto:a@b.c\""
+ (char) 0x14 + "Сайт" + (char) 0x15 + "\r");
assertTrue(documentXml(doc).contains("<w:hyperlink r:id=\"hl0\">"));
assertTrue(partXml(doc, "word/_rels/document.xml.rels")
.contains("Target=\"mailto:a@b.c\""));
}
/** /**
* Поле покрывает границу абзацев: тег переоткрывается/закрывается в * Поле покрывает границу абзацев: тег переоткрывается/закрывается в
* каждом w:p (баланс по абзацам), rels-запись одна. * каждом w:p (баланс по абзацам), rels-запись одна.
@@ -150,6 +150,25 @@ class OfficeArtTest {
assertNull(OfficeArt.read(region, 0)); assertNull(OfficeArt.read(region, 0));
} }
/**
* Raster bomb: BITMAPINFOHEADER объявляет 50000×50000 — отказ по площади
* ДО ImageIO.read (растр аллоцируется по заголовку и бросает
* OutOfMemoryError, который местный catch не ловит).
* Регрессия — OfficeArt#dibToPng (WordPdfSettings.MAX_IMAGE_PIXELS).
*/
@Test
void oversizedDib_null() {
ByteBuffer buf = ByteBuffer.allocate(40 + 16).order(ByteOrder.LITTLE_ENDIAN);
buf.putInt(40).putInt(50000).putInt(50000).putShort((short) 1).putShort((short) 24)
.putInt(0).putInt(0).putInt(0).putInt(0).putInt(0).putInt(0);
for (int i = 0; i < 16; i++) {
buf.put((byte) 0);
}
byte[] region = region(picf(100, 100, 1000, 1000),
blip(0x6E4, 0xF01F, 16, buf.array()));
assertNull(OfficeArt.read(region, 0), "DIB с завышенной площадью обязан пропускаться");
}
@Test @Test
void blipBeyondLcb_rejected() { void blipBeyondLcb_rejected() {
byte[] picf = picf(100, 100, 1000, 1000); byte[] picf = picf(100, 100, 1000, 1000);
@@ -109,6 +109,23 @@ class PrcDataTest {
assertEquals(0, PrcData.resolve(d.bytes, ptr(0x6646, d.at[0])).length); assertEquals(0, PrcData.resolve(d.bytes, ptr(0x6646, d.at[0])).length);
} }
/**
* Бюджет на документ: исчерпанный — цепочка не разворачивается (массив
* возвращается как есть — та же «снисходительность», что для брака);
* с запасом — разворачивается и списывается размер результата.
*/
@Test
void documentBudgetExhaustedStopsExpansion() {
DataStream d = data(at -> inTable());
byte[] withPtr = concat(ptr(0x6646, d.at[0]), prl(0x2461, 2));
long[] empty = {0};
assertSame(withPtr, PrcData.resolve(d.bytes, withPtr, empty));
long[] roomy = {1024};
byte[] expanded = PrcData.resolve(d.bytes, concat(ptr(0x6646, d.at[0])), roomy);
assertArrayEquals(inTable(), expanded);
assertEquals(1024 - inTable().length, roomy[0], "бюджет обязан списываться на размер результата");
}
@Test @Test
void missingDataStream_keepsForeignPrls() { void missingDataStream_keepsForeignPrls() {
assertArrayEquals(prl(0x2461, 2), assertArrayEquals(prl(0x2461, 2),