feat(validator): классификация .xlsx + нижняя оценка страниц до конвертации
checkDocxContainer → checkOoxmlContainer (ContainerKind DOCX/XLSX по маркерам wordprocessingml/spreadsheetml в [Content_Types].xml; новый текст 400 для zip без обоих маркеров — контракт). isSpreadsheet — короткий скан манифеста. checkPageCountXlsx: видимые листы (state, r:id, rel на существующую часть) + rowBreaks/brk (§18.3.1.74), двупроходный zip. validate() роутирует XLSX на xlsx-оценку; текст zip-подписи перечисляет .docx/.doc/.xlsx.
This commit is contained in:
@@ -11,17 +11,23 @@ import java.io.IOException;
|
|||||||
import java.io.InputStream;
|
import java.io.InputStream;
|
||||||
import java.nio.charset.StandardCharsets;
|
import java.nio.charset.StandardCharsets;
|
||||||
import java.util.ArrayDeque;
|
import java.util.ArrayDeque;
|
||||||
|
import java.util.ArrayList;
|
||||||
import java.util.Deque;
|
import java.util.Deque;
|
||||||
|
import java.util.HashMap;
|
||||||
import java.util.HashSet;
|
import java.util.HashSet;
|
||||||
|
import java.util.Iterator;
|
||||||
|
import java.util.LinkedHashMap;
|
||||||
|
import java.util.List;
|
||||||
|
import java.util.Map;
|
||||||
import java.util.Set;
|
import java.util.Set;
|
||||||
import java.util.zip.ZipEntry;
|
import java.util.zip.ZipEntry;
|
||||||
import java.util.zip.ZipInputStream;
|
import java.util.zip.ZipInputStream;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Валидатор ограничений на вход: .docx и бинарный .doc (Word 97–2003) —
|
* Валидатор ограничений на вход: .docx, бинарный .doc (Word 97–2003) и
|
||||||
* размер входа, корректность контейнера (.docx-манифест, защита от
|
* .xlsx (SpreadsheetML) — размер входа, корректность контейнера
|
||||||
* zip-бомбы; для .doc — CFB/Word-разбор {@code internal.doc}) и число
|
* (.docx/.xlsx-манифест, защита от zip-бомбы; для .doc — CFB/Word-разбор
|
||||||
* страниц для обоих форматов.
|
* {@code internal.doc}) и число страниц для всех форматов.
|
||||||
*
|
*
|
||||||
* <p>Вход валидатора — только {@code byte[]}: файловых проверок нет,
|
* <p>Вход валидатора — только {@code byte[]}: файловых проверок нет,
|
||||||
* работа с файлами — забота вызывающего (приложения).
|
* работа с файлами — забота вызывающего (приложения).
|
||||||
@@ -44,9 +50,12 @@ import java.util.zip.ZipInputStream;
|
|||||||
* Последние два — защитные константные пороги ({@link #validate(byte[], ConvertOptions)}),
|
* Последние два — защитные константные пороги ({@link #validate(byte[], ConvertOptions)}),
|
||||||
* {@link ConvertOptions} их не переопределяет.
|
* {@link ConvertOptions} их не переопределяет.
|
||||||
*
|
*
|
||||||
* <p>Проверка контейнера: архив обязан декларировать документ
|
* <p>Проверка контейнера: архив обязан декларировать в
|
||||||
* wordprocessingml в {@code [Content_Types].xml} — иначе это не .docx
|
* {@code [Content_Types].xml} документ wordprocessingml (.docx) или
|
||||||
* (обычный zip, переименованный .xlsx/.pptx).
|
* spreadsheetml (.xlsx) — иначе это не OOXML-документ (обычный zip,
|
||||||
|
* переименованный .pptx). Классификация входа до любой работы с
|
||||||
|
* форматом: {@link #isBinaryDoc(byte[])} (CFB), {@link #isSpreadsheet(byte[])}
|
||||||
|
* (zip-манифест spreadsheetml).
|
||||||
*
|
*
|
||||||
* <p>Число страниц берётся из самого .docx как максимум трёх нижних
|
* <p>Число страниц берётся из самого .docx как максимум трёх нижних
|
||||||
* оценок: кэша Word в {@code docProps/app.xml} ({@code <Pages>}),
|
* оценок: кэша Word в {@code docProps/app.xml} ({@code <Pages>}),
|
||||||
@@ -73,6 +82,32 @@ public final class WordPdfValidator {
|
|||||||
/** Тело документа. */
|
/** Тело документа. */
|
||||||
private static final String DOCUMENT_PART = "word/document.xml";
|
private static final String DOCUMENT_PART = "word/document.xml";
|
||||||
|
|
||||||
|
/** Zip-подпись PK\x03\x04 — начало центрального заголовка локальной записи. */
|
||||||
|
private static final int ZIP_SIG_LEN = 4;
|
||||||
|
|
||||||
|
/** Workbook-часть .xlsx. */
|
||||||
|
private static final String XLSX_WORKBOOK_PART = "xl/workbook.xml";
|
||||||
|
|
||||||
|
/** Rels workbook-части (rId worksheet → путь части). */
|
||||||
|
private static final String XLSX_WORKBOOK_RELS = "xl/_rels/workbook.xml.rels";
|
||||||
|
|
||||||
|
/** Namespace атрибута {@code r:id} у {@code sheets/sheet} (ECMA-376 Part 2). */
|
||||||
|
private static final String REL_NS =
|
||||||
|
"http://schemas.openxmlformats.org/officeDocument/2006/relationships";
|
||||||
|
|
||||||
|
/** Тип связи worksheet (ECMA-376 Part 2). */
|
||||||
|
private static final String WORKSHEET_REL_TYPE =
|
||||||
|
"http://schemas.openxmlformats.org/officeDocument/2006/relationships/worksheet";
|
||||||
|
|
||||||
|
/** Текущий и родительский сегменты относительных Targets rels. */
|
||||||
|
private static final String SEG_CURRENT = ".";
|
||||||
|
private static final String SEG_PARENT = "..";
|
||||||
|
|
||||||
|
/** Класс контейнера OOXML по манифесту {@code [Content_Types].xml}. */
|
||||||
|
private enum ContainerKind {
|
||||||
|
DOCX, XLSX
|
||||||
|
}
|
||||||
|
|
||||||
private WordPdfValidator() {
|
private WordPdfValidator() {
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -122,6 +157,45 @@ public final class WordPdfValidator {
|
|||||||
return true;
|
return true;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Zip с манифестом spreadsheetml в {@code [Content_Types].xml} — .xlsx.
|
||||||
|
* Короткий скан до первой записи {@code [Content_Types].xml} (дубликаты
|
||||||
|
* враждебного zip: первая выигрывает); не-zip, ошибка разбора и манифест
|
||||||
|
* без spreadsheetml — {@code false} (отвергает не здесь: классификация,
|
||||||
|
* а не валидация). Конвертер вызывает только после {@link #validate},
|
||||||
|
* где контейнер уже проверен.
|
||||||
|
*/
|
||||||
|
public static boolean isSpreadsheet(byte[] bytes) {
|
||||||
|
if (bytes == null || !isZipSignature(bytes)) {
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(bytes))) {
|
||||||
|
ZipEntry entry;
|
||||||
|
while ((entry = zip.getNextEntry()) != null) {
|
||||||
|
if (!"[Content_Types].xml".equals(entry.getName())) {
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
byte[] ct = zip.readAllBytes();
|
||||||
|
// Порядок тот же, что в checkOoxmlContainer: docx-маркер
|
||||||
|
// имеет приоритет (манифест с обоими — wordprocessingml).
|
||||||
|
if (containsAscii(ct, "wordprocessingml.document")) {
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
return containsAscii(ct, "spreadsheetml.");
|
||||||
|
}
|
||||||
|
return false;
|
||||||
|
} catch (IOException | RuntimeException e) {
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Zip-подпись {@code PK\x03\x04} (ECMA-376 Part 3 §10.1) — .docx и .xlsx. */
|
||||||
|
private static boolean isZipSignature(byte[] bytes) {
|
||||||
|
return bytes.length >= ZIP_SIG_LEN
|
||||||
|
&& bytes[0] == 'P' && bytes[1] == 'K'
|
||||||
|
&& (bytes[2] & 0xFF) == 0x03 && (bytes[3] & 0xFF) == 0x04;
|
||||||
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Проверяет число страниц без загрузки документа в docx4j: .docx
|
* Проверяет число страниц без загрузки документа в docx4j: .docx
|
||||||
* читается как zip напрямую (StAX по {@code word/document.xml},
|
* читается как zip напрямую (StAX по {@code word/document.xml},
|
||||||
@@ -239,12 +313,235 @@ public final class WordPdfValidator {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Полная проверка входа: размер → классификация формата → (.docx:
|
* Число страниц .xlsx — нижняя оценка <b>до</b> конвертации мостом
|
||||||
* zip-подпись → контейнер (.docx + zip-бомба) → число страниц) /
|
* {@code internal.xlsx}: видимые листы ({@code sheets/sheet} без
|
||||||
* (.doc: число страниц по чистому бинарному документу). Порядок
|
* {@code state="hidden"/"veryHidden"}, связь на существующую часть) плюс
|
||||||
* значим: размер — дешёвая, разбор zip без подписи бессмысленен. Лимиты
|
* суммарные ручные разрывы строк ({@code rowBreaks/brk}, ECMA-376
|
||||||
* берутся из {@link ConvertOptions} (переопределение на вызов, см.
|
* §18.3.1.74 — каждый разрыв добавляет страницу листу). Автопереносов
|
||||||
* {@link ConvertOptions#maxMb()}, {@link ConvertOptions#maxPages()}).
|
* оценка не знает — расхождение только в сторону недооценки длинных
|
||||||
|
* листов, ровно как у lightweight-пути .docx.
|
||||||
|
*
|
||||||
|
* @throws ValidationException при {@code null}, ошибке разбора zip/XML
|
||||||
|
* или превышении {@link WordPdfSettings#MAX_PAGES}
|
||||||
|
*/
|
||||||
|
public static void checkPageCountXlsx(byte[] xlsxBytes) throws ValidationException {
|
||||||
|
checkPageCountXlsx(xlsxBytes, WordPdfSettings.MAX_PAGES);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* То же, что {@link #checkPageCountXlsx(byte[])}, с явным лимитом
|
||||||
|
* страниц (переопределение на вызов, см. {@link ConvertOptions#maxPages()}).
|
||||||
|
*
|
||||||
|
* @throws ValidationException при {@code null}, ошибке разбора zip/XML
|
||||||
|
* или превышении {@code maxPages}
|
||||||
|
*/
|
||||||
|
public static void checkPageCountXlsx(byte[] xlsxBytes, int maxPages) throws ValidationException {
|
||||||
|
if (xlsxBytes == null) {
|
||||||
|
throw new ValidationException("Не указаны байты входного .xlsx");
|
||||||
|
}
|
||||||
|
int pages;
|
||||||
|
try {
|
||||||
|
pages = estimateXlsxPages(xlsxBytes);
|
||||||
|
} catch (IOException | RuntimeException e) {
|
||||||
|
throw new ValidationException("Не удалось разобрать байты .xlsx", e);
|
||||||
|
}
|
||||||
|
if (pages > maxPages) {
|
||||||
|
throw new ValidationException("Документ длиннее " + maxPages
|
||||||
|
+ " страниц: получено не менее " + pages);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Двупроходная нижняя оценка страниц .xlsx (порядок записей в zip
|
||||||
|
* произволен — содержимое workbook ищет отдельным проходом):
|
||||||
|
* проход 1 — {@code xl/workbook.xml} (листы: r:id, state) и
|
||||||
|
* {@code xl/_rels/workbook.xml.rels} (rId → путь worksheet-части);
|
||||||
|
* проход 2 — {@code rowBreaks/brk} в целевых частях листов. Лист без
|
||||||
|
* r:id, с внешним/отсутствующим target не учитывается вовсе.
|
||||||
|
*/
|
||||||
|
private static int estimateXlsxPages(byte[] xlsxBytes) throws IOException {
|
||||||
|
Map<String, String> ridToTarget = new LinkedHashMap<>();
|
||||||
|
List<String> visibleRids = new ArrayList<>();
|
||||||
|
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(xlsxBytes))) {
|
||||||
|
ZipEntry entry;
|
||||||
|
while ((entry = zip.getNextEntry()) != null) {
|
||||||
|
String n = entry.getName();
|
||||||
|
if (XLSX_WORKBOOK_PART.equals(n)) {
|
||||||
|
readWorkbookSheets(noClose(zip), visibleRids);
|
||||||
|
} else if (XLSX_WORKBOOK_RELS.equals(n)) {
|
||||||
|
readWorksheetRels(noClose(zip), ridToTarget);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
Set<String> targets = new HashSet<>();
|
||||||
|
for (String rid : visibleRids) {
|
||||||
|
String target = ridToTarget.get(rid);
|
||||||
|
if (target != null && !target.isEmpty()) {
|
||||||
|
targets.add(target);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
Map<String, Integer> breaksByPart = new HashMap<>();
|
||||||
|
try (ZipInputStream zip = new ZipInputStream(new ByteArrayInputStream(xlsxBytes))) {
|
||||||
|
ZipEntry entry;
|
||||||
|
while ((entry = zip.getNextEntry()) != null) {
|
||||||
|
String n = entry.getName();
|
||||||
|
if (targets.contains(n) && !breaksByPart.containsKey(n)) {
|
||||||
|
breaksByPart.put(n, countRowBreaks(noClose(zip)));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
int pages = 0;
|
||||||
|
Set<String> countedBreaks = new HashSet<>();
|
||||||
|
for (String rid : visibleRids) {
|
||||||
|
String target = ridToTarget.get(rid);
|
||||||
|
if (target == null || target.isEmpty()) {
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
Integer breaks = breaksByPart.get(target);
|
||||||
|
if (breaks == null) {
|
||||||
|
// rel на отсутствующую часть — лист не считается
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
pages++;
|
||||||
|
if (countedBreaks.add(target)) {
|
||||||
|
pages += breaks;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return pages;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Видимые листы {@code xl/workbook.xml} (§18.2.20): r:id видимых
|
||||||
|
* {@code sheets/sheet} (state скрыт — hidden/veryHidden; порядок
|
||||||
|
* сохраняется). Лист без r:id пропускается: часть не найти.
|
||||||
|
*/
|
||||||
|
private static void readWorkbookSheets(InputStream in, List<String> visibleRids)
|
||||||
|
throws IOException {
|
||||||
|
try {
|
||||||
|
XMLStreamReader xr = newSecureReader().createXMLStreamReader(in);
|
||||||
|
while (xr.hasNext()) {
|
||||||
|
if (xr.next() == XMLStreamReader.START_ELEMENT
|
||||||
|
&& "sheet".equals(xr.getLocalName())) {
|
||||||
|
String state = attrLocal(xr, "state");
|
||||||
|
boolean visible = state == null || "visible".equals(state);
|
||||||
|
String rid = xr.getAttributeValue(REL_NS, "id");
|
||||||
|
if (visible && rid != null) {
|
||||||
|
visibleRids.add(rid);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
} catch (XMLStreamException e) {
|
||||||
|
throw new IOException("Некорректный XML в xl/workbook.xml", e);
|
||||||
|
} finally {
|
||||||
|
in.close();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* rId → путь worksheet-части из {@code xl/_rels/workbook.xml.rels}
|
||||||
|
* (дубликаты rId: первый выигрывает; {@code TargetMode="External"} —
|
||||||
|
* не worksheet-часть, пропускается).
|
||||||
|
*/
|
||||||
|
private static void readWorksheetRels(InputStream in, Map<String, String> ridToTarget)
|
||||||
|
throws IOException {
|
||||||
|
try {
|
||||||
|
XMLStreamReader xr = newSecureReader().createXMLStreamReader(in);
|
||||||
|
while (xr.hasNext()) {
|
||||||
|
if (xr.next() == XMLStreamReader.START_ELEMENT
|
||||||
|
&& "Relationship".equals(xr.getLocalName())) {
|
||||||
|
if (!WORKSHEET_REL_TYPE.equals(attrLocal(xr, "Type"))
|
||||||
|
|| "External".equals(attrLocal(xr, "TargetMode"))) {
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
String id = attrLocal(xr, "Id");
|
||||||
|
String target = attrLocal(xr, "Target");
|
||||||
|
if (id != null && target != null && !ridToTarget.containsKey(id)) {
|
||||||
|
ridToTarget.put(id, resolveWorkbookTarget(target));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
} catch (XMLStreamException e) {
|
||||||
|
throw new IOException("Некорректный XML в xl/_rels/workbook.xml.rels", e);
|
||||||
|
} finally {
|
||||||
|
in.close();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Target rels workbook-части в путь zip-записи: абсолютный ("/xl/…") —
|
||||||
|
* от корня пакета, относительный — от {@code xl/} (rel лежит в
|
||||||
|
* {@code xl/_rels/}); «..» поднимают сегмент.
|
||||||
|
*/
|
||||||
|
private static String resolveWorkbookTarget(String target) {
|
||||||
|
String t = target.replace('\\', '/');
|
||||||
|
int query = t.indexOf('?');
|
||||||
|
if (query >= 0) {
|
||||||
|
t = t.substring(0, query);
|
||||||
|
}
|
||||||
|
if (t.startsWith("/")) {
|
||||||
|
return t.substring(1);
|
||||||
|
}
|
||||||
|
Deque<String> segs = new ArrayDeque<>();
|
||||||
|
segs.push("xl");
|
||||||
|
for (String seg : t.split("/")) {
|
||||||
|
if (seg.isEmpty() || SEG_CURRENT.equals(seg)) {
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
if (SEG_PARENT.equals(seg)) {
|
||||||
|
if (!segs.isEmpty()) {
|
||||||
|
segs.pop();
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
segs.push(seg);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if (segs.isEmpty()) {
|
||||||
|
return "";
|
||||||
|
}
|
||||||
|
StringBuilder path = new StringBuilder();
|
||||||
|
for (Iterator<String> it = segs.descendingIterator(); it.hasNext(); ) {
|
||||||
|
if (path.length() > 0) {
|
||||||
|
path.append('/');
|
||||||
|
}
|
||||||
|
path.append(it.next());
|
||||||
|
}
|
||||||
|
return path.toString();
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Число {@code brk} непосредственно под {@code rowBreaks} (§18.3.1.74). */
|
||||||
|
private static int countRowBreaks(InputStream in) throws IOException {
|
||||||
|
int count = 0;
|
||||||
|
try {
|
||||||
|
XMLStreamReader xr = newSecureReader().createXMLStreamReader(in);
|
||||||
|
Deque<String> path = new ArrayDeque<>();
|
||||||
|
while (xr.hasNext()) {
|
||||||
|
int ev = xr.next();
|
||||||
|
if (ev == XMLStreamReader.START_ELEMENT) {
|
||||||
|
String parent = path.peek();
|
||||||
|
if ("brk".equals(xr.getLocalName()) && "rowBreaks".equals(parent)) {
|
||||||
|
count++;
|
||||||
|
}
|
||||||
|
path.push(xr.getLocalName());
|
||||||
|
} else if (ev == XMLStreamReader.END_ELEMENT && !path.isEmpty()) {
|
||||||
|
path.pop();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
} catch (XMLStreamException e) {
|
||||||
|
throw new IOException("Некорректный XML в части worksheet", e);
|
||||||
|
} finally {
|
||||||
|
in.close();
|
||||||
|
}
|
||||||
|
return count;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Полная проверка входа: размер → классификация формата → (.docx/.xlsx:
|
||||||
|
* zip-подпись → контейнер (.docx/.xlsx + zip-бомба) → число страниц
|
||||||
|
* docx- или xlsx-путём) / (.doc: число страниц по чистому бинарному
|
||||||
|
* документу). Порядок значим: размер — дешёвая, разбор zip без подписи
|
||||||
|
* бессмысленен. Лимиты берутся из {@link ConvertOptions}
|
||||||
|
* (переопределение на вызов, см. {@link ConvertOptions#maxMb()},
|
||||||
|
* {@link ConvertOptions#maxPages()}).
|
||||||
*
|
*
|
||||||
* <p>Проверка zip-подписи отдельным шагом обязательна:
|
* <p>Проверка zip-подписи отдельным шагом обязательна:
|
||||||
* {@code ZipInputStream.getNextEntry()} на не-zip-потоке возвращает
|
* {@code ZipInputStream.getNextEntry()} на не-zip-потоке возвращает
|
||||||
@@ -254,17 +551,18 @@ public final class WordPdfValidator {
|
|||||||
* {@code ConvertControllerTest#corruptNotAZip_rejected}).</p>
|
* {@code ConvertControllerTest#corruptNotAZip_rejected}).</p>
|
||||||
*
|
*
|
||||||
* <p>Проверка контейнера: в {@code [Content_Types].xml} обязана быть
|
* <p>Проверка контейнера: в {@code [Content_Types].xml} обязана быть
|
||||||
* декларация документа wordprocessingml (архив без неё — не .docx);
|
* декларация документа wordprocessingml (.docx) или spreadsheetml
|
||||||
* zip-бомба отсекается потоковым счётчиком распакованных байт
|
* (.xlsx) — архив без обеих не OOXML-документ; zip-бомба отсекается
|
||||||
|
* потоковым счётчиком распакованных байт
|
||||||
* ({@link WordPdfSettings#MAX_DECOMPRESSED_MB}) и числом записей
|
* ({@link WordPdfSettings#MAX_DECOMPRESSED_MB}) и числом записей
|
||||||
* ({@link WordPdfSettings#MAX_ZIP_ENTRIES}) — до разбора содержимого
|
* ({@link WordPdfSettings#MAX_ZIP_ENTRIES}) — до разбора содержимого
|
||||||
* в {@link #checkPageCount(byte[], int)}. Оба лимита —
|
* в {@link #checkPageCount(byte[], int)}. Оба лимита —
|
||||||
* защитные пороги, {@link ConvertOptions} их не переопределяет.
|
* защитные пороги, {@link ConvertOptions} их не переопределяет.
|
||||||
* Регрессии — {@code WordPdfValidatorTest#validate_plainZipRejected},
|
* Регрессии — {@code WordPdfValidatorTest#validate_plainZipRejected},
|
||||||
* {@code #validate_xlsxRenamedRejected}, {@code #validate_zipBombRejected},
|
* {@code #validate_pptxLikeRejected}, {@code #validate_zipBombRejected},
|
||||||
* {@code #validate_tooManyEntriesRejected}.</p>
|
* {@code #validate_tooManyEntriesRejected}.</p>
|
||||||
* @throws ValidationException при {@code null}, превышении {@code options.maxMb()},
|
* @throws ValidationException при {@code null}, превышении {@code options.maxMb()},
|
||||||
* отсутствии zip-подписи, не-.docx-контейнере, признаках zip-бомбы,
|
* отсутствии zip-подписи, не-OOXML-контейнере, признаках zip-бомбы,
|
||||||
* ошибке разбора zip или превышении {@code options.maxPages()}
|
* ошибке разбора zip или превышении {@code options.maxPages()}
|
||||||
*/
|
*/
|
||||||
public static void validate(byte[] docxBytes, ConvertOptions options) throws ValidationException {
|
public static void validate(byte[] docxBytes, ConvertOptions options) throws ValidationException {
|
||||||
@@ -275,22 +573,28 @@ public final class WordPdfValidator {
|
|||||||
checkPageCountDoc(docxBytes, options.maxPages());
|
checkPageCountDoc(docxBytes, options.maxPages());
|
||||||
return;
|
return;
|
||||||
}
|
}
|
||||||
if (docxBytes.length < 4 || docxBytes[0] != 'P' || docxBytes[1] != 'K'
|
if (!isZipSignature(docxBytes)) {
|
||||||
|| (docxBytes[2] & 0xFF) != 0x03 || (docxBytes[3] & 0xFF) != 0x04) {
|
throw new ValidationException(
|
||||||
throw new ValidationException("Содержимое не похоже на .docx или .doc (не zip-архив)");
|
"Содержимое не похоже на .docx, .doc или .xlsx (не zip-архив)");
|
||||||
|
}
|
||||||
|
ContainerKind kind = checkOoxmlContainer(docxBytes);
|
||||||
|
if (kind == ContainerKind.XLSX) {
|
||||||
|
checkPageCountXlsx(docxBytes, options.maxPages());
|
||||||
|
return;
|
||||||
}
|
}
|
||||||
checkDocxContainer(docxBytes);
|
|
||||||
checkPageCount(docxBytes, options.maxPages());
|
checkPageCount(docxBytes, options.maxPages());
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Один потоковый проход по zip: суммарный распакованный размер и число
|
* Один потоковый проход по zip: суммарный распакованный размер и число
|
||||||
* записей (защита от zip-бомбы — отсечение ДО чтения содержимого
|
* записей (защита от zip-бомбы — отсечение ДО чтения содержимого
|
||||||
* в {@link #checkPageCount(byte[], int)}) и наличие в
|
* в {@link #checkPageCount(byte[], int)}) и классификация контейнера по
|
||||||
* {@code [Content_Types].xml} декларации документа wordprocessingml
|
* {@code [Content_Types].xml}: декларация документа wordprocessingml →
|
||||||
* (архив без неё — не .docx: обычный zip, переименованный .xlsx/.pptx).
|
* {@link ContainerKind#DOCX}, spreadsheetml → {@link ContainerKind#XLSX},
|
||||||
|
* ни того ни другого — архив не OOXML-документ (обычный zip,
|
||||||
|
* переименованный .pptx).
|
||||||
*/
|
*/
|
||||||
private static void checkDocxContainer(byte[] docxBytes) throws ValidationException {
|
private static ContainerKind checkOoxmlContainer(byte[] docxBytes) throws ValidationException {
|
||||||
long maxTotal = WordPdfSettings.MAX_DECOMPRESSED_MB * 1024 * 1024;
|
long maxTotal = WordPdfSettings.MAX_DECOMPRESSED_MB * 1024 * 1024;
|
||||||
long total = 0;
|
long total = 0;
|
||||||
int entries = 0;
|
int entries = 0;
|
||||||
@@ -328,16 +632,24 @@ public final class WordPdfValidator {
|
|||||||
} catch (IOException | RuntimeException e) {
|
} catch (IOException | RuntimeException e) {
|
||||||
throw new ValidationException("Не удалось разобрать байты .docx", e);
|
throw new ValidationException("Не удалось разобрать байты .docx", e);
|
||||||
}
|
}
|
||||||
// Маркер — подстрока content-type части документа
|
// Маркеры — подстроки content-type частей документа
|
||||||
// (application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml):
|
// (application/vnd.openxmlformats-officedocument.wordprocessingml.document.main+xml /
|
||||||
// URI пространства имён wml в [Content_Types].xml не появляется ни у
|
// …spreadsheetml.worksheet+xml): URI пространств имён wml/sml в
|
||||||
// одного генератора (Word/POI/docx4j пишут только content-type), а в
|
// [Content_Types].xml не появляются ни у одного генератора (Word/POI/
|
||||||
// манифестах .xlsx/.pptx стоит spreadsheetml/presentationml — не матчится.
|
// docx4j пишут только content-type). Spreadsheetml — union-префикс
|
||||||
String marker = "wordprocessingml.document";
|
// (worksheet/sheet/sharedStrings/styles): Override worksheet есть и у
|
||||||
if (!containsAscii(ctBuf.toByteArray(), marker)) {
|
// генераторов, пишущих workbook только как sheet-override; docx-
|
||||||
throw new ValidationException("Архив не является .docx: в [Content_Types].xml нет "
|
// манифесту префикс не матчится никогда. docx проверяется первым —
|
||||||
+ "декларации документа wordprocessingml");
|
// манифест с обоими маркерами (экзотика) трактуется как .docx.
|
||||||
|
byte[] ct = ctBuf.toByteArray();
|
||||||
|
if (containsAscii(ct, "wordprocessingml.document")) {
|
||||||
|
return ContainerKind.DOCX;
|
||||||
}
|
}
|
||||||
|
if (containsAscii(ct, "spreadsheetml.")) {
|
||||||
|
return ContainerKind.XLSX;
|
||||||
|
}
|
||||||
|
throw new ValidationException("Архив не является .docx или .xlsx: в [Content_Types].xml "
|
||||||
|
+ "нет декларации документа wordprocessingml или spreadsheetml");
|
||||||
}
|
}
|
||||||
|
|
||||||
/** Поиск байтов ASCII-строки в массиве (манифест ограничен 8 МБ — наивного поиска достаточно). */
|
/** Поиск байтов ASCII-строки в массиве (манифест ограничен 8 МБ — наивного поиска достаточно). */
|
||||||
|
|||||||
@@ -637,7 +637,7 @@ class WordPdfConverterTest {
|
|||||||
/**
|
/**
|
||||||
* Вход без подписи какого-либо поддерживаемого контейнера (ни zip,
|
* Вход без подписи какого-либо поддерживаемого контейнера (ни zip,
|
||||||
* ни CFB) — отказ как некорректный вход (ValidationException),
|
* ни CFB) — отказ как некорректный вход (ValidationException),
|
||||||
* а не ошибка рендера: сообщение перечисляет оба формата.
|
* а не ошибка рендера: сообщение перечисляет все форматы.
|
||||||
* Регрессия — WordPdfValidatorTest#validate_notAZip.
|
* Регрессия — WordPdfValidatorTest#validate_notAZip.
|
||||||
*/
|
*/
|
||||||
@Test
|
@Test
|
||||||
@@ -645,7 +645,7 @@ class WordPdfConverterTest {
|
|||||||
byte[] junk = {1, 2, 3, 4, 5, 6, 7, 8};
|
byte[] junk = {1, 2, 3, 4, 5, 6, 7, 8};
|
||||||
ValidationException ex = assertThrows(ValidationException.class, () ->
|
ValidationException ex = assertThrows(ValidationException.class, () ->
|
||||||
WordPdfConverter.convert(junk, "junk"));
|
WordPdfConverter.convert(junk, "junk"));
|
||||||
assertTrue(ex.getMessage().contains("не похоже на .docx или .doc"),
|
assertTrue(ex.getMessage().contains("не похоже на .docx, .doc или .xlsx"),
|
||||||
"сообщение должно перечислять форматы: " + ex.getMessage());
|
"сообщение должно перечислять форматы: " + ex.getMessage());
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|||||||
@@ -1,15 +1,16 @@
|
|||||||
package ru.pjandro.wordpdf;
|
package ru.pjandro.wordpdf;
|
||||||
|
|
||||||
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
|
|
||||||
import org.apache.poi.xwpf.usermodel.BreakType;
|
import org.apache.poi.xwpf.usermodel.BreakType;
|
||||||
import org.apache.poi.xwpf.usermodel.XWPFDocument;
|
import org.apache.poi.xwpf.usermodel.XWPFDocument;
|
||||||
import org.apache.poi.xwpf.usermodel.XWPFParagraph;
|
import org.apache.poi.xwpf.usermodel.XWPFParagraph;
|
||||||
import org.apache.poi.xwpf.usermodel.XWPFTable;
|
import org.apache.poi.xwpf.usermodel.XWPFTable;
|
||||||
import org.junit.jupiter.api.Test;
|
import org.junit.jupiter.api.Test;
|
||||||
|
|
||||||
|
import java.io.ByteArrayInputStream;
|
||||||
import java.io.ByteArrayOutputStream;
|
import java.io.ByteArrayOutputStream;
|
||||||
import java.nio.charset.StandardCharsets;
|
import java.nio.charset.StandardCharsets;
|
||||||
import java.util.zip.ZipEntry;
|
import java.util.zip.ZipEntry;
|
||||||
|
import java.util.zip.ZipInputStream;
|
||||||
import java.util.zip.ZipOutputStream;
|
import java.util.zip.ZipOutputStream;
|
||||||
|
|
||||||
import static org.junit.jupiter.api.Assertions.*;
|
import static org.junit.jupiter.api.Assertions.*;
|
||||||
@@ -168,8 +169,7 @@ class WordPdfValidatorTest {
|
|||||||
throws Exception {
|
throws Exception {
|
||||||
byte[] base = docxWithPageBreaks(0);
|
byte[] base = docxWithPageBreaks(0);
|
||||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||||
try (java.util.zip.ZipInputStream zin = new java.util.zip.ZipInputStream(
|
try (ZipInputStream zin = new ZipInputStream(new ByteArrayInputStream(base));
|
||||||
new java.io.ByteArrayInputStream(base));
|
|
||||||
ZipOutputStream zout = new ZipOutputStream(out)) {
|
ZipOutputStream zout = new ZipOutputStream(out)) {
|
||||||
ZipEntry e;
|
ZipEntry e;
|
||||||
while ((e = zin.getNextEntry()) != null) {
|
while ((e = zin.getNextEntry()) != null) {
|
||||||
@@ -312,22 +312,112 @@ class WordPdfValidatorTest {
|
|||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* .xlsx под .docx-суффиксом: манифест xlsx декларирует spreadsheetml,
|
* Zip с манифестом без маркеров wordprocessingml и spreadsheetml
|
||||||
* не wordprocessingml — отказ как не-.docx, а не 500 на загрузке docx4j.
|
* (например, presentationml — переименованный .pptx) — отказ как
|
||||||
* Регрессия — WordPdfValidator#checkDocxContainer.
|
* не-OOXML-документ с обоими маркерами в тексте (контракт 400).
|
||||||
|
* Регрессия — WordPdfValidator#checkOoxmlContainer.
|
||||||
*/
|
*/
|
||||||
@Test
|
@Test
|
||||||
void validate_xlsxRenamedRejected() throws Exception {
|
void validate_pptxLikeRejected() throws Exception {
|
||||||
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||||
try (XSSFWorkbook wb = new XSSFWorkbook()) {
|
try (ZipOutputStream zos = new ZipOutputStream(out)) {
|
||||||
wb.createSheet("S1");
|
zos.putNextEntry(new ZipEntry("[Content_Types].xml"));
|
||||||
wb.write(out);
|
zos.write(("<Types><Override ContentType=\"application/vnd.openxmlformats-officedocument"
|
||||||
|
+ ".presentationml.presentation.main+xml\" PartName=\"/ppt/presentation.xml\"/>"
|
||||||
|
+ "</Types>").getBytes(StandardCharsets.UTF_8));
|
||||||
|
zos.closeEntry();
|
||||||
}
|
}
|
||||||
byte[] xlsx = out.toByteArray();
|
|
||||||
ValidationException ex = assertThrows(ValidationException.class,
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
() -> WordPdfValidator.validate(xlsx, ConvertOptions.defaults()));
|
() -> WordPdfValidator.validate(out.toByteArray(), ConvertOptions.defaults()));
|
||||||
assertTrue(ex.getMessage().contains("не является .docx"),
|
assertEquals("Архив не является .docx или .xlsx: в [Content_Types].xml нет "
|
||||||
"манифест xlsx — spreadsheetml: " + ex.getMessage());
|
+ "декларации документа wordprocessingml или spreadsheetml", ex.getMessage());
|
||||||
|
}
|
||||||
|
|
||||||
|
/** .xlsx валиден как OOXML-контейнер: validate не бросает. */
|
||||||
|
@Test
|
||||||
|
void validate_xlsxAccepted() throws Exception {
|
||||||
|
assertDoesNotThrow(() -> WordPdfValidator.validate(
|
||||||
|
sample("xlsx-basic.xlsx"), ConvertOptions.defaults()));
|
||||||
|
}
|
||||||
|
|
||||||
|
// ===== xlsx: isSpreadsheet / checkPageCountXlsx =====
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void isSpreadsheet_xlsx_true() throws Exception {
|
||||||
|
assertTrue(WordPdfValidator.isSpreadsheet(sample("xlsx-basic.xlsx")));
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void isSpreadsheet_docxAndJunk_false() throws Exception {
|
||||||
|
assertFalse(WordPdfValidator.isSpreadsheet(sample("ru-plain.docx")));
|
||||||
|
assertFalse(WordPdfValidator.isSpreadsheet(new byte[] {1, 2, 3, 4, 5}));
|
||||||
|
assertFalse(WordPdfValidator.isSpreadsheet(null));
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Переименованный .docx (zip, манифест wordprocessingml) — не xlsx,
|
||||||
|
* даже под .xlsx-суффиксом: классификация по манифесту, не по имени.
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void isSpreadsheet_disguisedDocxZip_false() throws Exception {
|
||||||
|
assertFalse(WordPdfValidator.isSpreadsheet(sample("ru-plain.docx")));
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Нижняя оценка страниц .xlsx: листы + ручные разрывы. xlsx-basic —
|
||||||
|
* 2 видимых листа, xlsx-wide — 1 лист + 1 разрыв (строка после 12-й);
|
||||||
|
* xlsx-page-limit — 1 + 130 = 131 > 100 (точное число в тексте).
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void checkPageCountXlsx_estimates() throws Exception {
|
||||||
|
assertDoesNotThrow(() -> WordPdfValidator.checkPageCountXlsx(
|
||||||
|
sample("xlsx-basic.xlsx"), 2));
|
||||||
|
assertDoesNotThrow(() -> WordPdfValidator.checkPageCountXlsx(
|
||||||
|
sample("xlsx-wide.xlsx"), 2));
|
||||||
|
ValidationException ex = assertThrows(ValidationException.class,
|
||||||
|
() -> WordPdfValidator.checkPageCountXlsx(
|
||||||
|
sample("xlsx-page-limit.xlsx"), PAGE_LIMIT));
|
||||||
|
assertTrue(ex.getMessage().contains("не менее 131"),
|
||||||
|
"1 лист + 130 ручных разрывов: " + ex.getMessage());
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Скрытые листы в оценку не входят: basic без «Заметки» — 1 страница,
|
||||||
|
* с лимитом 1 проходит только после сокрытия (синтетика — правка
|
||||||
|
* workbook.xml в памяти фикстуры допустима: это юнит оценки).
|
||||||
|
*/
|
||||||
|
@Test
|
||||||
|
void checkPageCountXlsx_hiddenSheetsNotCounted() throws Exception {
|
||||||
|
byte[] patched = replaceInZip(sample("xlsx-basic.xlsx"), "xl/workbook.xml",
|
||||||
|
"<sheet name=\"Заметки\"", "<sheet state=\"hidden\" name=\"Заметки\"");
|
||||||
|
assertDoesNotThrow(() -> WordPdfValidator.checkPageCountXlsx(patched, 1));
|
||||||
|
}
|
||||||
|
|
||||||
|
@Test
|
||||||
|
void checkPageCountXlsx_bytesNull() {
|
||||||
|
assertThrows(ValidationException.class,
|
||||||
|
() -> WordPdfValidator.checkPageCountXlsx((byte[]) null));
|
||||||
|
}
|
||||||
|
|
||||||
|
/** Подстрока в XML-записи zip → новые байты архива (для синтетики листов). */
|
||||||
|
private static byte[] replaceInZip(byte[] zipBytes, String entryName,
|
||||||
|
String before, String after) throws Exception {
|
||||||
|
ByteArrayOutputStream out = new ByteArrayOutputStream();
|
||||||
|
try (ZipInputStream zin = new ZipInputStream(new ByteArrayInputStream(zipBytes));
|
||||||
|
ZipOutputStream zout = new ZipOutputStream(out)) {
|
||||||
|
ZipEntry e;
|
||||||
|
while ((e = zin.getNextEntry()) != null) {
|
||||||
|
byte[] data = zin.readAllBytes();
|
||||||
|
if (entryName.equals(e.getName())) {
|
||||||
|
data = new String(data, StandardCharsets.UTF_8)
|
||||||
|
.replace(before, after).getBytes(StandardCharsets.UTF_8);
|
||||||
|
}
|
||||||
|
zout.putNextEntry(new ZipEntry(e.getName()));
|
||||||
|
zout.write(data);
|
||||||
|
zout.closeEntry();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return out.toByteArray();
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
|
|||||||
Reference in New Issue
Block a user