Мост .doc: класс-D пробелы (правки/vanish/caps/position/keep, ориентация/нумерация/колонки, vAlign, 0x08) + фикс ChpxIndex #81

Merged
pjandro merged 1 commits from doc-bridge-class-d into main 2026-11-01 04:33:17 +03:00
14 changed files with 1034 additions and 60 deletions
+11 -11
View File
File diff suppressed because one or more lines are too long
@@ -51,7 +51,9 @@ import java.util.zip.ZipOutputStream;
* если содержит URI {@code http://purl.oclc.org}):
* <ul>
* <li>атрибуты {@code w:start}/{@code w:end} переименовываются только внутри
* открывающего тега и только когда в том же теге нет {@code w:left}/
* открывающего тега {@code w:ind} (у {@code w:pgNumType} {@code w:start}
* — старт нумерации, легален в transitional) и только когда в том же
* теге нет {@code w:left}/
* {@code w:right}: transitional {@code CT_Ind} допускает сосуществование
* (Word пишет обе пары), слепая глобальная замена порождала дубль
* атрибута — не well-formed XML (регрессия —
@@ -217,16 +219,23 @@ public final class StrictOoxmlNormalizer {
/**
* Атрибуты {@code w:start→w:left}/{@code w:end→w:right} только внутри
* открывающего тега и только при отсутствии в нём {@code w:left}/{@code
* w:right}: CT_Ind (transitional) допускает обе пары, дубль атрибута —
* не well-formed XML; литеральный текст {@code w:val}-вида в {@code w:t}
* не затрагивается.
* открывающего тега {@code w:ind} (MS-OI29500 §2.1.174a: start/end как
* псевдонимы left/right в strict — единственный носитель w:ind) и только
* при отсутствии в нём {@code w:left}/{@code w:right}: CT_Ind
* (transitional) допускает обе пары, дубль атрибута — не well-formed
* XML; литеральный текст {@code w:val}-вида в {@code w:t} не
* затрагивается. У {@code w:pgNumType} атрибут {@code w:start} — старт
* нумерации страниц, легален в transitional (Part 1 §17.13.7), — не
* трогается (регрессия — pgNumTypeStartAttrUntouched).
*/
private static String renameStartEndAttrs(String xml) {
Matcher tags = OPEN_TAG.matcher(xml);
StringBuilder sb = null;
while (tags.find()) {
String tag = tags.group();
if (!tag.startsWith("<w:ind")) {
continue;
}
String fixed = tag;
if (fixed.contains(" w:start=\"") && !fixed.contains(" w:left=\"")) {
fixed = fixed.replace(" w:start=\"", " w:left=\"");
@@ -13,7 +13,9 @@ import java.util.List;
* {@code pn*512} в WordDocument-потоке: rgfc (crun+1 × 4 FC-границы),
* rgb (crun × 1 байт, смещение Chpx = байт×2), crun — последний байт
* страницы; Chpx = cb (1) + grpprl (cb байт). Диапазон rgfc[j]..rgfc[j+1]
* получает grpprl своего Chpx; bOffset=0 — свойств нет (дефолт).</p>
* получает grpprl своего Chpx; bOffset=0 — свойств нет (дефолт), но граница
* rgfc[j+1] в индекс заносится: иначе дефолтный ран проглотил бы последующие
* CHPX-раны того же абзаца.</p>
*/
final class ChpxIndex {
@@ -48,18 +50,28 @@ final class ChpxIndex {
for (int j = 0; j < crun; j++) {
long rgfcStart = CfbReader.u32(wordDocument, (int) pageOff + j * 4);
long rgfcEnd = CfbReader.u32(wordDocument, (int) pageOff + (j + 1) * 4);
if (rgfcEnd <= rgfcStart) {
continue;
}
int bx = wordDocument[(int) pageOff + 4 * (crun + 1) + j] & 0xFF;
if (bx == 0 || rgfcEnd <= rgfcStart) {
continue;
byte[] grpprl = new byte[0];
if (bx != 0) {
int chpxOff = (int) pageOff + bx * 2;
int cb = wordDocument[chpxOff] & 0xFF;
if (cb == 0 || chpxOff + 1 + cb > pageOff + FKP_PAGE_SIZE) {
continue;
}
grpprl = new byte[cb];
System.arraycopy(wordDocument, chpxOff + 1, grpprl, 0, cb);
}
int chpxOff = (int) pageOff + bx * 2;
int cb = wordDocument[chpxOff] & 0xFF;
if (cb == 0 || chpxOff + 1 + cb > pageOff + FKP_PAGE_SIZE) {
continue;
}
byte[] grpprl = new byte[cb];
System.arraycopy(wordDocument, chpxOff + 1, grpprl, 0, cb);
ranges.add(new Range(Math.max(rgfcStart, fcStart), Math.min(rgfcEnd, fcEnd), grpprl));
// bOffset=0 (§2.4.2 «no properties») — диапазон без свойств, НО
// граница rgfc[j+1] значима: без записи в ranges rangeEnd для
// дефолтного рана вернул бы конец абзаца, и ран, следующий за
// plain-участком (жирное слово в простом тексте — норма Word),
// потерял бы свои CHPX (регрессия —
// WordPdfConverterTest#docClassD_landscapeHiddenDelCaps)
ranges.add(new Range(Math.max(rgfcStart, fcStart),
Math.min(rgfcEnd, fcEnd), grpprl));
}
}
}
@@ -29,10 +29,21 @@ import java.util.regex.Pattern;
* нечётные полосы каждой секции → свой {@code w:sectPr} с
* {@code headerReference}/{@code footerReference} в pPr абзаца с
* межсекционным разрывом + body-level sectPr последней секции),
* картинки/OLE-fallback — {@link OfficeArt} ([MS-ODRAW]). Не переносятся:
* картинки/OLE-fallback — {@link OfficeArt} ([MS-ODRAW]). Переносятся также:
* надстрочные сдвиги (sprmCHpsPos → w:position), скрытый текст (sprmCFVanish —
* фильтр в мосту, FO {@code w:vanish} не читает), ПРОПИСНЫЕ/малые капителью
* (sprmCFCaps/sprmCFSmallCaps — верхний регистр, приближение), непринятые
* правки (sprmCFRMarkIns/Del → {@code w:ins}/{@code w:del}+{@code w:delText},
* вид «Show Markup»), keepNext/keepLines (sprmPFKeepFollow/sprmPFKeep),
* ориентация секции (sprmSBOrientation → w:orient), нумерация страниц
* (sprmSFPgnRestart/sprmSPgnStart97/sprmSNfcPgn → w:pgNumType), многостолбцовость
* (sprmSCcolumns/… → w:cols, 0x0E → w:br type="column"), вертикальное
* выравнивание ячеек (sprmTVertAlign → w:vAlign), картинки-якоря плавающих
* объектов (0x08 — inline-приближение, PlcfSpa не переносится). Не переносятся:
* семантика рестартов списков (fNoRestart/ilvlRestartLim), fLegal,
* объединённые/вложенные ячейки и бордюры TC80; объекты/сноски/комментарии
* (0x01/0x02/0x05/0x08) и инструкции полей (0x13–0x14) выбрасываются,
* объединённые/вложенные ячейки и бордюры TC80; подсветка/затенения/границы
* абзацев (PlfBdx) — конвейер их в FO не потребляет; сноски/комментарии
* (0x02/0x05) и инструкции полей (0x13–0x14) выбрасываются,
* результат поля (0x14–0x15) остаётся; поле {@code HYPERLINK} в основном
* тексте переносится как {@code w:hyperlink} с внешней rels-связью на URL из
* инструкции ([MS-DOC] §2.4.4; деградации в плоский текст: якорный
@@ -55,6 +66,7 @@ public final class DocToDocx {
private static final char LINE_BREAK = 0x0B;
static final char PAGE_OR_SECTION_BREAK = 0x0C;
private static final char PARA_MARK = 0x0D;
private static final char COLUMN_BREAK = 0x0E;
private static final char FIELD_BEGIN = 0x13;
private static final char FIELD_SEPARATOR = 0x14;
private static final char FIELD_END = 0x15;
@@ -497,6 +509,12 @@ public final class DocToDocx {
tcPr.append("<w:tcW w:w=\"").append(grid.colWidths()[i])
.append("\" w:type=\"dxa\"/>");
}
// sprmTVertAlign (CT_TcPrBase: vAlign после tcW/gridSpan); top — не эмитится
int[] va = rowGrid == null ? null : rowGrid.cellVAlign();
if (va != null && i < va.length && (va[i] == 1 || va[i] == 2)) {
tcPr.append("<w:vAlign w:val=\"")
.append(va[i] == 1 ? "center" : "bottom").append("\"/>");
}
if (tcPr.length() > 0) {
xml.append("<w:tcPr>").append(tcPr).append("</w:tcPr>");
}
@@ -548,10 +566,25 @@ public final class DocToDocx {
return in[0];
}
/** Разметка непринятых правок (sprmCFRMark*, §2.6.1) текущего рана. */
private static final int MARKUP_NONE = 0;
private static final int MARKUP_INS = 1;
private static final int MARKUP_DEL = 2;
/** Флаги вывода текущего рана (emitRun → appendVisible/flushText/closeRun/emitPicture). */
private boolean runHidden;
private boolean runCaps;
private int runMarkup;
/** Один ран свойств CHPX (поверх CHPX-цепочки стиля абзаца); CP после рана. */
private int emitRun(StringBuilder runs, int cpStart, int cpEnd, byte[] grpprl,
byte[] styleChpx) {
String rPr = runProps(styleChpx.length == 0 ? grpprl : concat(styleChpx, grpprl));
RunProps props = runProps(
styleChpx.length == 0 ? grpprl : concat(styleChpx, grpprl));
String rPr = runXml(props);
runHidden = props.hidden;
runCaps = props.caps || props.smallCaps;
runMarkup = props.del ? MARKUP_DEL : props.ins ? MARKUP_INS : MARKUP_NONE;
StringBuilder content = new StringBuilder();
StringBuilder text = new StringBuilder();
int cp = cpStart;
@@ -567,13 +600,13 @@ public final class DocToDocx {
flushText(text, content);
if (capturing) {
instr.append(' ');
} else if (visible()) {
} else if (shown()) {
content.append("<w:tab/>");
}
break;
case LINE_BREAK:
flushText(text, content);
if (visible()) {
if (shown()) {
content.append("<w:br/>");
}
break;
@@ -588,7 +621,7 @@ public final class DocToDocx {
closeRun(runs, rPr, content, text);
return cp;
}
if (visible()) {
if (shown()) {
content.append("<w:br w:type=\"page\"/>");
}
break;
@@ -650,14 +683,24 @@ public final class DocToDocx {
}
break;
case EMBEDDED_OBJECT:
case DRAWN_OBJECT:
// Якорь плавающей картинки 0x08 (§2.9.267) несёт тот же
// sprmCPicLocation, что 0x01 → inline-приближение
// (позиционирование/обтекание PlcfSpa не переносится)
flushText(text, content);
if (visible()) {
if (shown()) {
emitPicture(runs, rPr, cp);
}
break;
case COLUMN_BREAK:
// конец колонки 0x0E (примечание к sprmSCcolumns, §2.6.4)
flushText(text, content);
if (shown()) {
content.append("<w:br w:type=\"column\"/>");
}
break;
case FOOTNOTE_REF:
case ANNOTATION_REF:
case DRAWN_OBJECT:
flushText(text, content);
break;
case NON_BREAKING_HYPHEN:
@@ -682,18 +725,34 @@ public final class DocToDocx {
return cp;
}
/** Закрыть накопленный {@code <w:r>}: fldSimple обязан лежать вне рана. */
/**
* Закрыть накопленный {@code <w:r>}: fldSimple обязан лежать вне рана;
* непринятая правка (sprmCFRMark*) оборачивает ран в {@code w:del}/
* {@code w:ins} (атрибуты w:id/w:author/w:date опциональны — не эмитятся).
*/
private void closeRun(StringBuilder runs, String rPr, StringBuilder content,
StringBuilder text) {
flushText(text, content);
if (content.length() > 0) {
runs.append("<w:r>").append(rPr).append(content).append("</w:r>");
runs.append(markupOpen()).append("<w:r>").append(rPr).append(content)
.append("</w:r>").append(markupClose());
content.setLength(0);
}
}
/** Открывающая обёртка правки текущего рана; обычный ран — пустая строка. */
private String markupOpen() {
return runMarkup == MARKUP_DEL ? "<w:del>" : runMarkup == MARKUP_INS ? "<w:ins>" : "";
}
/** Закрывающая обёртка правки; см. {@link #markupOpen()}. */
private String markupClose() {
return runMarkup == MARKUP_DEL ? "</w:del>"
: runMarkup == MARKUP_INS ? "</w:ins>" : "";
}
/**
* U+0001 с {@code sprmCPicLocation} → inline-DrawingML на image-часть
* U+0001/U+0008 с {@code sprmCPicLocation} → inline-DrawingML на image-часть
* (та же форма, что плейсхолдеры {@code OleObjectNormalizer}); OLE-
* бинарник (NilPICFAndBinData) и битый/векторный BLIP — объект
* пропускается. CHPX берётся по CP самого символа: ран может
@@ -717,7 +776,7 @@ public final class DocToDocx {
String entry = "word/media/image" + imageNo + "." + pic.extension();
parts.add(new DocxWriter.Part(entry, pic.contentType(), IMAGE_REL_TYPE, pic.data()));
String relId = "rId" + parts.size();
runs.append("<w:r>").append(rPr).append("<w:drawing>")
runs.append(markupOpen()).append("<w:r>").append(rPr).append("<w:drawing>")
.append("<wp:inline distT=\"0\" distB=\"0\" distL=\"0\" distR=\"0\">")
.append("<wp:extent cx=\"").append(pic.cxEmu())
.append("\" cy=\"").append(pic.cyEmu()).append("\"/>")
@@ -733,7 +792,7 @@ public final class DocToDocx {
.append(pic.cxEmu()).append("\" cy=\"").append(pic.cyEmu())
.append("\"/></a:xfrm><a:prstGeom prst=\"rect\"><a:avLst/></a:prstGeom>")
.append("</pic:spPr></pic:pic></a:graphicData></a:graphic>")
.append("</wp:inline></w:drawing></w:r>");
.append("</wp:inline></w:drawing></w:r>").append(markupClose());
}
/** Операнд sprmCPicLocation из CHPX; -1 — атрибута нет. */
@@ -832,15 +891,29 @@ public final class DocToDocx {
return fieldStack.isEmpty() || fieldStack.peek();
}
/**
* Текстовый вывод видим: результат поля (не инструкция) и не скрытый
* ран. sprmCFVanish: docx4j в FO {@code w:vanish} не транслирует —
* скрытое фильтруется здесь. sprmCFCaps/sprmCFSmallCaps: {@code w:caps}/
* {@code w:smallCaps} конвейер тоже не читает → верхний регистр
* (малых капителек в FOP нет — приближение, см. регрессию
* DocToDocxFormattingTest#capsSmallCaps_uppercasedAtBridge).
*/
private boolean shown() {
return visible() && !runHidden;
}
private void appendVisible(StringBuilder text, char ch) {
if (visible()) {
text.append(ch);
if (shown()) {
text.append(runCaps ? Character.toUpperCase(ch) : ch);
}
}
private void flushText(StringBuilder text, StringBuilder content) {
if (text.length() > 0) {
content.append("<w:t xml:space=\"preserve\">").append(escape(text)).append("</w:t>");
String tag = runMarkup == MARKUP_DEL ? "delText" : "t";
content.append("<w:").append(tag).append(" xml:space=\"preserve\">")
.append(escape(text)).append("</w:").append(tag).append(">");
text.setLength(0);
}
}
@@ -874,8 +947,8 @@ public final class DocToDocx {
return ttp[0];
}
/** rPr по CHPX-порядку CT_RPr: rFonts, b, i, strike, color, sz, szCs, u. */
private String runProps(byte[] grpprl) {
/** Прямые символьные свойства рана по CHPX (last-wins по порядку Prl). */
private static RunProps runProps(byte[] grpprl) {
RunProps p = new RunProps();
Grpprl.scan(grpprl, 0, grpprl.length, (sprm, buf, off, len) -> {
switch (sprm) {
@@ -888,9 +961,20 @@ public final class DocToDocx {
case Grpprl.SPRM_C_RG_FTC0 -> p.ftc0 = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_RG_FTC1 -> p.ftc1 = Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_C_CV -> p.color = colorOf(buf, off, len);
case Grpprl.SPRM_C_HPS_POS -> p.pos = signedXas(buf, off, len);
case Grpprl.SPRM_C_F_VANISH -> p.hidden = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_F_CAPS -> p.caps = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_F_SMALL_CAPS -> p.smallCaps = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_RMARK_DEL -> p.del = Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_C_RMARK_INS -> p.ins = Grpprl.toggleOn(buf, off);
default -> { }
}
});
return p;
}
/** rPr по CT_RPr-порядку: rFonts, b, i, strike, color, position, sz, szCs, u. */
private String runXml(RunProps p) {
StringBuilder xml = new StringBuilder();
String ascii = p.ftc0 >= 0 ? fonts.font(p.ftc0) : null;
String cs = p.ftc1 >= 0 ? fonts.font(p.ftc1) : null;
@@ -917,6 +1001,11 @@ public final class DocToDocx {
if (p.color != null) {
xml.append("<w:color w:val=\"").append(p.color).append("\"/>");
}
if (p.pos != 0) {
// sprmCHpsPos (hps, со знаком) → w:position — те же полупункты;
// вендорный docx2fo.xslt (AUDIT-FIX) конвертит в baseline-shift
xml.append("<w:position w:val=\"").append(p.pos).append("\"/>");
}
if (p.sz > 0) {
xml.append("<w:sz w:val=\"").append(p.sz).append("\"/>");
}
@@ -949,6 +1038,8 @@ public final class DocToDocx {
int[] dyaLine = {Integer.MIN_VALUE};
int[] fMult = {0};
boolean[] pageBreak = {false};
boolean[] keepNext = {false};
boolean[] keepLines = {false};
int[] ilvl = {0};
int[] ilfo = {0};
List<int[]> tabs = new ArrayList<>();
@@ -965,6 +1056,10 @@ public final class DocToDocx {
}
case Grpprl.SPRM_P_F_PAGE_BREAK_BEFORE -> pageBreak[0] =
Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_P_F_KEEP_FOLLOW -> keepNext[0] =
Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_P_F_KEEP -> keepLines[0] =
Grpprl.toggleOn(buf, off);
case Grpprl.SPRM_P_DYA_BEFORE -> before[0] =
Grpprl.operandInt(buf, off, len);
case Grpprl.SPRM_P_DYA_AFTER -> after[0] = Grpprl.operandInt(buf, off, len);
@@ -983,6 +1078,13 @@ public final class DocToDocx {
}
});
StringBuilder xml = new StringBuilder();
// CT_PPr (§17.3.1.26): keepNext → keepLines → pageBreakBefore
if (keepNext[0]) {
xml.append("<w:keepNext/>");
}
if (keepLines[0]) {
xml.append("<w:keepLines/>");
}
if (pageBreak[0]) {
xml.append("<w:pageBreakBefore/>");
}
@@ -1242,18 +1344,99 @@ public final class DocToDocx {
if (typeContinuous) {
xml.append("<w:type w:val=\"continuous\"/>");
}
xml.append("<w:pgSz w:w=\"").append(s.pageWidth()).append("\" w:h=\"")
.append(s.pageHeight())
.append("\"/><w:pgMar w:top=\"").append(s.marginTop())
// sprmSBOrientation: Word пишет dxa уже перевёрнутыми; max/min —
// защита от генераторов, оставивших портретные размеры при landscape
int w = s.pageWidth();
int h = s.pageHeight();
if (s.landscape()) {
int longSide = Math.max(w, h);
h = Math.min(w, h);
w = longSide;
}
xml.append("<w:pgSz w:w=\"").append(w).append("\" w:h=\"").append(h).append('"');
if (s.landscape()) {
xml.append(" w:orient=\"landscape\"");
}
xml.append("/><w:pgMar w:top=\"").append(s.marginTop())
.append("\" w:right=\"").append(s.marginRight())
.append("\" w:bottom=\"").append(s.marginBottom())
.append("\" w:left=\"").append(s.marginLeft())
.append("\" w:header=\"").append(s.header())
.append("\" w:footer=\"").append(s.footer())
.append("\" w:gutter=\"0\"/></w:sectPr>");
.append("\" w:gutter=\"0\"/>");
appendPgNumType(xml, s);
appendCols(xml, s);
xml.append("</w:sectPr>");
return xml.toString();
}
/**
* w:pgNumType (§2.6.4 sprmSFPgnRestart/sprmSPgnStart97/sprmSNfcPgn):
* w:start — при сбросе нумерации, w:fmt — из подмножества
* ST_NumberFormat, допустимого для номеров страниц (decimal —
* формат по умолчанию, не эмитится; bullet/none/экзотика — вне
* смысла w:fmt). Порядок CT_SectPr §17.2.3: после pgMar.
*/
private static void appendPgNumType(StringBuilder xml, Sections.Section s) {
int start = s.pgNumStart();
String fmt = switch (s.nfcPgn()) {
case 0x01, 0x02, 0x03, 0x04, 0x16, 0x39 -> Lists.numFmt(s.nfcPgn());
default -> null;
};
if (start <= 0 && fmt == null) {
return;
}
xml.append("<w:pgNumType");
if (start > 0) {
xml.append(" w:start=\"").append(start).append('"');
}
if (fmt != null) {
xml.append(" w:fmt=\"").append(fmt).append('"');
}
xml.append("/>");
}
/**
* w:cols (§2.6.4 sprmSCcolumns/sprmSFEvenlySpaced/sprmSDxaColumns/
* sprmSDxaColWidth/sprmSDxaColSpacing): evenly-spaced → w:num+
* w:space; иначе per-column w:col. Одна колонка (дефолт) — элемент
* не эмитится; при evenlySpaced=false ширины есть не для всех
* колонок — деградация в одноколонную (снисходительно, как Tables).
*/
private static final int SINGLE_COLUMN = 1;
private static void appendCols(StringBuilder xml, Sections.Section s) {
int n = s.columnCount();
if (n <= SINGLE_COLUMN) {
return;
}
if (s.evenlySpaced()) {
xml.append("<w:cols w:num=\"").append(n).append('"');
if (s.dxaColumns() > 0) {
xml.append(" w:space=\"").append(s.dxaColumns()).append('"');
}
xml.append("/>");
return;
}
int[] w = s.colWidths();
int[] sp = s.colSpacings();
for (int i = 0; i < n; i++) {
if (i >= w.length || w[i] <= 0) {
return;
}
}
xml.append("<w:cols>");
for (int i = 0; i < n; i++) {
xml.append("<w:col w:w=\"").append(w[i]).append('"');
// w:space — зазор ПОСЛЕ колонки; у последней зазора нет (§2.9.241)
if (i < n - 1 && sp[i] > 0) {
xml.append(" w:space=\"").append(sp[i]).append('"');
}
xml.append("/>");
}
xml.append("</w:cols>");
}
private static String escape(StringBuilder text) {
StringBuilder out = new StringBuilder(text.length() + 16);
for (int i = 0; i < text.length(); i++) {
@@ -1293,6 +1476,16 @@ public final class DocToDocx {
private int ftc0 = -1;
private int ftc1 = -1;
private String color;
/** sprmCHpsPos: вертикальный сдвиг в hps со знаком ( надострочный, <0 подстрочный). */
private int pos;
/** sprmCFVanish: ран не выводится (фильтр в мосту, FO w:vanish не читает). */
private boolean hidden;
/** sprmCFCaps/sprmCFSmallCaps: вывод в верхнем регистре. */
private boolean caps;
private boolean smallCaps;
/** sprmCFRMarkDel/sprmCFRMarkIns: непринятая правка → w:del/w:ins. */
private boolean del;
private boolean ins;
}
}
}
@@ -34,10 +34,36 @@ final class Grpprl {
* а различает картинку/бинарник сам cbHeader.
*/
static final int SPRM_C_PIC_LOCATION = 0x6A03;
/**
* sprmCFRMarkDel/sprmCFRMarkIns (§2.6.1, ToggleOperand): непринятые
* правки — символ удалён/вставлен. Переносятся как {@code w:del} +
* {@code w:delText} / {@code w:ins} (рендер «Show Markup»: FO-шаблоны
* docx2fo.xslt рисуют зачёркивание/подчёркивание).
*/
static final int SPRM_C_RMARK_DEL = 0x0800;
static final int SPRM_C_RMARK_INS = 0x0801;
/** sprmCFSmallCaps/sprmCFCaps (§2.6.1, ToggleOperand): малые капители/ВСЕ ПРОПИСНЫЕ. */
static final int SPRM_C_F_SMALL_CAPS = 0x083A;
static final int SPRM_C_F_CAPS = 0x083B;
/**
* sprmCFVanish (§2.6.1, ToggleOperand): скрытый текст. Конвейер
* {@code w:vanish} в FO не транслирует — мост фильтрует вывод рана.
*/
static final int SPRM_C_F_VANISH = 0x083C;
/** sprmCHpsPos (§2.6.1, 2 байта со знаком): вертикальный сдвиг в hps. */
static final int SPRM_C_HPS_POS = 0x4845;
// Paragraph Properties (§2.6.2, sgc 1)
static final int SPRM_P_ISTD = 0x4600;
static final int SPRM_P_JC80 = 0x2403;
/**
* sprmPFKeep/sprmPFKeepFollow (§2.6.2): не отрывать следующий абзац
* («Keep with next») / держать абзац на одной странице («Keep lines
* together») → w:keepNext/w:keepLines (createBlockForPPr эмитит
* keep-with-next/keep-together).
*/
static final int SPRM_P_F_KEEP = 0x2405;
static final int SPRM_P_F_KEEP_FOLLOW = 0x2406;
static final int SPRM_P_F_PAGE_BREAK_BEFORE = 0x2407;
static final int SPRM_P_F_IN_TABLE = 0x2416;
static final int SPRM_P_F_TTP = 0x2417;
@@ -116,6 +142,13 @@ final class Grpprl {
* единый маппинг.
*/
static final int SPRM_T_JC90 = 0x5400;
/**
* sprmTVertAlign (§2.6.3, переменный): CellRangeVertAlign (§2.9.30) —
* cb(1)=3 + itcFirst(1) + itcLim(1) + VerticalAlign(1: 0 top, 1 center,
* 2 bottom) — вертикальное выравнивание содержимого ячеек диапазона
* строки → w:vAlign в tcPr.
*/
static final int SPRM_T_VERT_ALIGN = 0xD62C;
// Section Properties (§2.6.4, sgc 4)
static final int SPRM_S_DYA_HDR_TOP = 0xB017;
@@ -127,6 +160,27 @@ final class Grpprl {
static final int SPRM_S_DYA_TOP = 0x9023;
static final int SPRM_S_DYA_BOTTOM = 0x9024;
static final int SPRM_S_BKC = 0x3009;
/** sprmSFEvenlySpaced (§2.6.4, Bool8, дефолт true): колонки равной ширины. */
static final int SPRM_S_F_EVENLY_SPACED = 0x3005;
/** sprmSNfcPgn (§2.6.4, 1 байт): формат номера страницы (MSONFC). */
static final int SPRM_S_NFC_PGN = 0x300E;
/** sprmSFPgnRestart (§2.6.4, Bool8): сброс нумерации страниц в секции. */
static final int SPRM_S_F_PGN_RESTART = 0x3011;
/** sprmSBOrientation (§2.6.4, SBOrientationOperand §2.9.236: 1 portrait, 2 landscape). */
static final int SPRM_S_B_ORIENTATION = 0x301D;
/** sprmSCcolumns (§2.6.4, 2 байта): число колонок − 1. */
static final int SPRM_S_C_COLUMNS = 0x500B;
/** sprmSPgnStart97 (§2.6.4, 2 байта): стартовый номер страниц (Word 97+). */
static final int SPRM_S_PGN_START97 = 0x501C;
/** sprmSDxaColumns (§2.6.4, XAS_nonNeg): зазор между колонками при evenly-spaced. */
static final int SPRM_S_DXA_COLUMNS = 0x900C;
/**
* sprmSDxaColWidth/sprmSDxaColSpacing (§2.6.4, SDxaColWidthOperand /
* SDxaColSpacingOperand §2.9.241/.242: iCol(1)+dxaCol(2)) — ширина
* колонки iCol / зазор ПОСЛЕ колонки iCol при неравных колонках.
*/
static final int SPRM_S_DXA_COL_WIDTH = 0xF203;
static final int SPRM_S_DXA_COL_SPACING = 0xF204;
/**
* Накопитель абзацных отступов PAPX (§2.6.2) — общий для
@@ -343,8 +343,11 @@ final class Lists {
return out.toString();
}
/** MSONFC ([MS-OSHARED] §2.2.1.3) → ST_NumberFormat (§17.18.59). */
private static String numFmt(int nfc) {
/**
* MSONFC ([MS-OSHARED] §2.2.1.3) → ST_NumberFormat (§17.18.59). Общий с
* {@code DocxBody.appendPgNumType} маппинг форматов нумерации.
*/
static String numFmt(int nfc) {
return switch (nfc) {
case 0x00 -> "decimal";
case 0x01 -> "upperRoman";
@@ -1,6 +1,7 @@
package ru.pjandro.wordpdf.internal.doc;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import ru.pjandro.wordpdf.ValidationException;
@@ -37,11 +38,17 @@ final class Sections {
/**
* Одна секция: CP-диапазон [cpStart, cpEnd) (у всех, кроме последней,
* финальный символ — 0x0C, §2.8.26) + геометрия из её Sepx + признак
* «разрыв, заканчивающий секцию, не начинает новую страницу».
* «разрыв, заканчивающий секцию, не начинает новую страницу» +
* ориентация (sprmSBOrientation), нумерация страниц (sprmSFPgnRestart/
* sprmSPgnStart97/sprmSNfcPgn — pgNumStart=0 «не задан», nfcPgn — MSONFC)
* и колонки (sprmSCcolumns/…; colWidths/colSpacings заполнены только при
* evenlySpaced=false, индекс — номер колонки).
*/
record Section(int cpStart, int cpEnd, int pageWidth, int pageHeight,
int marginLeft, int marginRight, int marginTop, int marginBottom,
int header, int footer, boolean continuous) {
int header, int footer, boolean continuous, boolean landscape,
int pgNumStart, int nfcPgn, int columnCount, boolean evenlySpaced,
int dxaColumns, int[] colWidths, int[] colSpacings) {
}
/** Дефолты Word 97 (§2.6.3, twips). */
@@ -58,6 +65,9 @@ final class Sections {
/** Геометрия одной секции в процессе разбора Sepx (дефолты Word 97). */
private static final class SedGeom {
/** iCol ≤ 43 (§2.9.241/.242) → максимум 44 колонок. */
private static final int MAX_COLUMNS = 44;
private int pageWidth = DEFAULT_PAGE_WIDTH;
private int pageHeight = DEFAULT_PAGE_HEIGHT;
private int marginLeft = DEFAULT_MARGIN;
@@ -67,6 +77,15 @@ final class Sections {
private int header = DEFAULT_HEADER_FOOTER;
private int footer = DEFAULT_HEADER_FOOTER;
private boolean continuous;
private boolean landscape;
private boolean pgnRestart;
private int pgnStart97;
private int nfcPgn;
private int columnCount = 1;
private boolean evenlySpaced = true;
private int dxaColumns = -1;
private final int[] colWidths = new int[MAX_COLUMNS];
private final int[] colSpacings = new int[MAX_COLUMNS];
private void apply(int sprm, int value) {
if (sprm == Grpprl.SPRM_S_XA_PAGE) {
@@ -85,6 +104,42 @@ final class Sections {
header = value;
} else if (sprm == Grpprl.SPRM_S_DYA_HDR_BOTTOM) {
footer = value;
} else if (sprm == Grpprl.SPRM_S_B_ORIENTATION) {
// SBOrientationOperand (§2.9.236): 0x01 portrait, 0x02 landscape
landscape = value == 2;
} else if (sprm == Grpprl.SPRM_S_F_PGN_RESTART) {
pgnRestart = value != 0; // Bool8
} else if (sprm == Grpprl.SPRM_S_PGN_START97) {
pgnStart97 = value;
} else if (sprm == Grpprl.SPRM_S_NFC_PGN) {
nfcPgn = value; // MSONFC ([MS-OSHARED] §2.2.1.3)
} else if (sprm == Grpprl.SPRM_S_F_EVENLY_SPACED) {
evenlySpaced = value != 0; // Bool8, дефолт true
} else if (sprm == Grpprl.SPRM_S_C_COLUMNS) {
// sprmSCcolumns = число колонок − 1 (§2.6.4)
columnCount = Math.min(value + 1, MAX_COLUMNS);
} else if (sprm == Grpprl.SPRM_S_DXA_COLUMNS) {
dxaColumns = value;
}
}
/** iCol(1) + dxaCol(2) — минимальная длина SDxaColWidth/Spacing-операнда. */
private static final int COL_OPERAND_LEN = 3;
/** SDxaColWidthOperand/SDxaColSpacingOperand: iCol(1)+dxaCol(2), §2.9.241/.242. */
private void applyCol(int sprm, byte[] buf, int off, int len) {
if (len < COL_OPERAND_LEN) {
return;
}
int iCol = buf[off] & 0xFF;
if (iCol >= MAX_COLUMNS) {
return;
}
int dxa = Grpprl.operandInt(buf, off + 1, 2);
if (sprm == Grpprl.SPRM_S_DXA_COL_WIDTH) {
colWidths[iCol] = dxa;
} else {
colSpacings[iCol] = dxa;
}
}
}
@@ -125,6 +180,11 @@ final class Sections {
int cb = (int) (CfbReader.u32(wordDocument, (int) fcSepx) & 0xFFFF);
if (cb > 0 && fcSepx + 2 + cb <= wordDocument.length) {
Grpprl.scan(wordDocument, (int) fcSepx + 2, cb, (sprm, buf, off, len) -> {
if (sprm == Grpprl.SPRM_S_DXA_COL_WIDTH
|| sprm == Grpprl.SPRM_S_DXA_COL_SPACING) {
g.applyCol(sprm, buf, off, len);
return;
}
int v = Grpprl.operandInt(buf, off, len);
g.apply(sprm, v);
// bkcContinuous=0 / bkcNewColumn=1 (§2.6.3 SBkcOperand):
@@ -144,7 +204,11 @@ final class Sections {
int cpEnd = i == n - 1 ? Math.min(aCp[i + 1], ccpText) : aCp[i + 1];
list.add(new Section(aCp[i], cpEnd, g.pageWidth, g.pageHeight,
g.marginLeft, g.marginRight, g.marginTop, g.marginBottom,
g.header, g.footer, g.continuous));
g.header, g.footer, g.continuous, g.landscape,
g.pgnRestart ? Math.max(1, g.pgnStart97) : 0,
g.nfcPgn, g.columnCount, g.evenlySpaced, g.dxaColumns,
Arrays.copyOf(g.colWidths, g.columnCount),
Arrays.copyOf(g.colSpacings, g.columnCount)));
}
sections = List.copyOf(list);
continuousEnds = cont;
@@ -153,7 +217,8 @@ final class Sections {
private static Section defaultSection(int cpStart, int cpEnd) {
return new Section(cpStart, cpEnd, DEFAULT_PAGE_WIDTH, DEFAULT_PAGE_HEIGHT,
DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN, DEFAULT_MARGIN,
DEFAULT_HEADER_FOOTER, DEFAULT_HEADER_FOOTER, false);
DEFAULT_HEADER_FOOTER, DEFAULT_HEADER_FOOTER, false,
false, 0, 0, 1, true, -1, new int[0], new int[0]);
}
static Sections read(byte[] tableStream, long fcSed, long lcbSed, byte[] wordDocument,
@@ -1,5 +1,8 @@
package ru.pjandro.wordpdf.internal.doc;
import java.util.ArrayList;
import java.util.List;
/**
* Разбор TAP (Table Properties) TTP-абзаца строки → сетка и границы таблицы.
*
@@ -46,9 +49,12 @@ final class Tables {
/**
* Сетка строки: ширины колонок, сдвиг от поля, XML границ (может быть
* пустым), выравнивание таблицы ("center"/"right"; null = left → элемент
* не эмитится).
* не эмитится), вертикальное выравнивание содержимого ячеек по индексам
* строки (sprmTVertAlign → {@code w:vAlign}: 0 top, 1 center, 2 bottom;
* {@code null} — ни одного 0xD62C, все top).
*/
record Grid(int[] colWidths, int indent, String bordersXml, String tblJc) {
record Grid(int[] colWidths, int indent, String bordersXml, String tblJc,
int[] cellVAlign) {
/**
* Абсолютные границы колонок: [indent, indent+w0, …] — восстановленный
@@ -138,6 +144,7 @@ final class Tables {
boolean[] d613Seen = {false};
String[] jc = {null};
boolean[] jcSeen = {false};
List<int[]> vaRanges = new ArrayList<>();
Grpprl.scan(tap, 0, tap.length, (sprm, buf, off, len) -> {
if (sprm == Grpprl.SPRM_T_DEF_TABLE && len >= 3) {
centers[0] = readDefTable(buf, off, len);
@@ -153,6 +160,11 @@ final class Tables {
} else if (sprm == Grpprl.SPRM_T_JC90 && len >= 2 && !jcSeen[0]) {
// тот же приоритет современного над 90-вариантом, что у границ
jc[0] = jcVal(Grpprl.operandInt(buf, off, len));
} else if (sprm == Grpprl.SPRM_T_VERT_ALIGN && len == 4
&& (buf[off] & 0xFF) == 3) {
// CellRangeVertAlign (§2.9.30): cb=3 + itcFirst + itcLim + VerticalAlign
vaRanges.add(new int[] {buf[off + 1] & 0xFF, buf[off + 2] & 0xFF,
buf[off + 3] & 0xFF});
}
});
int[] c = centers[0];
@@ -166,7 +178,17 @@ final class Tables {
return null;
}
}
return new Grid(colWidths, c[0], borders[0], jc[0]);
int[] cellVAlign = null;
if (!vaRanges.isEmpty()) {
cellVAlign = new int[colWidths.length];
for (int[] r : vaRanges) {
int val = r[2] <= 2 ? r[2] : 0; // VerticalAlign §2.9: 0/1/2
for (int k = Math.max(0, r[0]); k < Math.min(r[1], colWidths.length); k++) {
cellVAlign[k] = val;
}
}
}
return new Grid(colWidths, c[0], borders[0], jc[0], cellVAlign);
}
/** sprmTJc/sprmTJc90 (§2.6.3): 1 → "center", 2 → "right", прочее (0/left) → null. */
@@ -17,6 +17,8 @@ import org.junit.jupiter.api.Test;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.charset.StandardCharsets;
import java.io.IOException;
import java.io.InputStream;
@@ -1971,4 +1973,233 @@ class WordPdfConverterTest {
put16(b, off + 2, (v >>> 16) & 0xFFFF);
}
// --- класс-d: ориентация/скрытый/правки/caps, нумерация, колонки, 0x08 ---------
/**
* sprmSBOrientation → альбомная страница (MediaBox широкое поле),
* sprmCFVanish → текста нет в PDF, sprmCFRMarkDel → текст есть (вид
* «Show Markup», red line-through в FO), sprmCFCaps → верхний регистр.
* Регрессия — internal.doc DocxBody#runProps/emitRun (фильтр скрытого —
* в мосту: docx4j в FO w:vanish/w:caps не транслирует).
*/
@Test
void docClassD_landscapeHiddenDelCaps() throws Exception {
byte[] doc = classDDoc("ВидноСкрытоУдаленоабзац\r",
new byte[] {0x1D, 0x30, 2}, null,
new int[] {5, 11, 18},
new byte[][] {prl(0x083C, 1), prl(0x0800, 1), prl(0x083B, 1)});
Path pdf = convertPdf(doc, "doc-class-d");
try (PDDocument p = Loader.loadPDF(pdf.toFile())) {
var box = p.getPage(0).getMediaBox();
assertTrue(box.getWidth() > box.getHeight(),
"sprmSBOrientation не дал альбомную полосу: " + box);
}
String text = norm(pdfText(pdf));
assertTrue(text.contains("Видно"), text);
assertFalse(text.contains("Скрыто"), "скрытый текст отрисован: " + text);
assertTrue(text.contains("Удалено"), "удалённое пропало (Show Markup): " + text);
assertTrue(text.contains("АБЗАЦ"), "sprmCFCaps не применён: " + text);
assertFalse(text.contains("#"), ".notdef-боксы: " + text);
}
/**
* sprmSFPgnRestart+sprmSPgnStart97+sprmSNfcPgn → w:pgNumType — PAGE в
* колонтитуле (fldSimple, FOP пере-вычисляет) даёт «iii»: старт 3,
* lowerRoman. Регрессия — Sections + DocxBody#appendPgNumType
* (PageNumberInformation в docx4j читает w:pgNumType).
*/
@Test
void docClassD_pageNumberRestartLowerRoman() throws Exception {
Path pdf = convertPdf(pgNumRestartDoc(), "doc-pgn");
String p1 = norm(pdfPageText(pdf, 1));
assertTrue(p1.contains("iii"), "номер не lowerRoman со старта 3: " + p1);
assertFalse(p1.contains("#"), ".notdef: " + p1);
}
/**
* sprmSCcolumns/sprmSFEvenlySpaced/sprmSDxaColumns → w:cols, 0x0E →
* w:br type="column": две колонки на одной полосе, текст цел.
* Регрессия — DocxBody#appendCols + ветка 0x0E.
*/
@Test
void docClassD_twoColumnsBreak() throws Exception {
byte[] sepx = concat(prl2(0x500B, 1), prl(0x3005, 1), prl2(0x900C, 720));
byte[] doc = classDDoc("Левая" + (char) 0x0E + "Правая\r", sepx, null,
new int[0], new byte[0][0]);
Path pdf = convertPdf(doc, "doc-cols");
try (PDDocument p = Loader.loadPDF(pdf.toFile())) {
assertEquals(1, p.getNumberOfPages(), "разрыв колонки не должен рвать полосу");
}
String text = norm(pdfText(pdf));
assertTrue(text.contains("Левая") && text.contains("Правая"), text);
assertFalse(text.contains("#"), ".notdef: " + text);
}
/**
* Якорь плавающей картинки 0x08 с sprmCPicLocation → inline-картинка
* (раньше символ молча выбрасывался). Регрессия — ветка DRAWN_OBJECT.
*/
@Test
void docClassD_drawnObjectBecomesImage() throws Exception {
byte[] doc = classDDoc((char) 0x08 + "\r", null, picRegion(),
new int[] {0}, new byte[][] {{0x03, 0x6A, 0, 0, 0, 0}});
Path pdf = convertPdf(doc, "doc-drawn");
assertEquals(1, imageCount(pdf), "0x08+picLocation не стал картинкой");
}
// --- крафт class-d (дубль DocToDocxFormattingTest#craftDoc) ----------
/**
* Односекционный .doc: FIB + UTF-16-текст с 2048, факультативные Sepx
* (512) и CHPX-раны (pn=2), свой Data; без PAPX — дефолтные абзацы.
*/
private static byte[] classDDoc(String text, byte[] sepxGrpprl, byte[] data,
int[] chpxStarts, byte[][] chpxGrps) throws IOException {
byte[] wd = new byte[2048 + text.length() * 2];
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
pair(wd, 6, 0, 20); // PlcfSed @0: aCp(2) + SED(1)
if (chpxStarts.length > 0) {
pair(wd, 12, 36, 12); // PlcfBteChpx: aFc[2048,endFc]+pn=2
}
pair(wd, 33, 64, 21); // Clx @64
if (sepxGrpprl != null) {
wd[512] = (byte) sepxGrpprl.length; // Sepx: cb(2) + grpprl
wd[513] = 0;
System.arraycopy(sepxGrpprl, 0, wd, 514, sepxGrpprl.length);
}
byte[] t = text.getBytes(StandardCharsets.UTF_16LE);
System.arraycopy(t, 0, wd, 2048, t.length);
byte[] tab = new byte[85];
put32(tab, 0, 0);
put32(tab, 4, text.length());
if (sepxGrpprl != null) {
put32(tab, 10, 512); // SED[0].fcSepx
}
int endFc = 2048 + 2 * text.length();
if (chpxStarts.length > 0) {
int page = 2 * 512;
// FKP (§2.4.2): rgfc покрывает весь диапазон — первый plain-ран
// с bx=0 (если стили не с нулевого CP); bx = 32(i+1), Chpx по bx*2
int lead = chpxStarts[0] == 0 ? 0 : 1;
int crun = lead + chpxStarts.length;
put32(wd, page, 2048);
for (int i = 0; i < chpxStarts.length; i++) {
put32(wd, page + 4 * (lead + i), 2048 + 2 * chpxStarts[i]);
wd[page + 64 * (i + 1)] = (byte) chpxGrps[i].length;
System.arraycopy(chpxGrps[i], 0, wd, page + 64 * (i + 1) + 1,
chpxGrps[i].length);
wd[page + 4 * (crun + 1) + lead + i] = (byte) (32 * (i + 1));
}
put32(wd, page + 4 * crun, endFc);
wd[page + 511] = (byte) crun;
put32(tab, 36, 2048);
put32(tab, 40, endFc);
put32(tab, 44, 2); // pn=2 (FKP в wd @1024)
}
tab[64] = 0x02; // Clx Pcdt, один несжатый кусок
put32(tab, 65, 16);
put32(tab, 69, 0);
put32(tab, 73, text.length());
put32(tab, 79, 2048);
try (POIFSFileSystem fs = new POIFSFileSystem();
ByteArrayOutputStream out = new ByteArrayOutputStream()) {
fs.getRoot().createDocument("WordDocument", new ByteArrayInputStream(wd));
fs.getRoot().createDocument("1Table", new ByteArrayInputStream(tab));
fs.getRoot().createDocument("Data",
new ByteArrayInputStream(data == null ? new byte[64] : data));
fs.writeFilesystem(out);
return out.toByteArray();
}
}
/**
* «T⏎» + odd footer со страницем полем «⊳PAGE⊴1⊵⏎» (крафт историй —
* дубль footerTableDoc); Sepx: restart, старт 3, nfc=2 (lowerRoman).
*/
private static byte[] pgNumRestartDoc() throws IOException {
String text = "T" + "\r".repeat(8) + (char) 0x13 + "PAGE" + (char) 0x14
+ "1" + (char) 0x15 + "\r\r";
byte[] wd = new byte[2048 + text.length() * 2];
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4);
put32(wd, 64, wd.length);
put32(wd, 76, 2); // ccpText
put32(wd, 80, 0); // ccpFtn
put32(wd, 84, text.length() - 2); // ccpHdd
put16(wd, 152, 98);
pair(wd, 6, 0, 20); // PlcfSed @0 + fcSepx=512
pair(wd, 11, 20, 48); // Plcfhdd @20: aCp(12)
pair(wd, 33, 72, 21); // Clx @72
// restart(3) + start97=3(4) + nfc=2(3) — grpprl 10 байт после cb(2)
wd[512] = 10;
wd[513] = 0;
System.arraycopy(new byte[] {0x11, 0x30, 1, 0x1C, 0x50, 3, 0x00, 0x0E, 0x30, 2},
0, wd, 514, 10);
byte[] t = text.getBytes(StandardCharsets.UTF_16LE);
System.arraycopy(t, 0, wd, 2048, t.length);
byte[] tab = new byte[93];
put32(tab, 0, 0);
put32(tab, 4, 2);
put32(tab, 10, 512);
// aCp относительны начала заголовочного документа (§2.8.22): abs = ccpText+aCp.
// odd hdr — пустой [6,6)+2 (аCp[7]=aCp[8]), odd ftr [7,16) → abs [9,18)
// (поле 8 знаков + guard-¶), хвост [16,17).
int[] hdd = {0, 1, 2, 3, 4, 5, 6, 6, 6, 7, 16, 17};
for (int i = 0; i < hdd.length; i++) {
put32(tab, 20 + i * 4, hdd[i]);
}
tab[72] = 0x02;
put32(tab, 73, 16);
put32(tab, 77, 0);
put32(tab, 81, text.length());
put32(tab, 87, 2048);
try (POIFSFileSystem fs = new POIFSFileSystem();
ByteArrayOutputStream out = new ByteArrayOutputStream()) {
fs.getRoot().createDocument("WordDocument", new ByteArrayInputStream(wd));
fs.getRoot().createDocument("1Table", new ByteArrayInputStream(tab));
fs.getRoot().createDocument("Data", new ByteArrayInputStream(new byte[64]));
fs.writeFilesystem(out);
return out.toByteArray();
}
}
/** PICF + PNG BLIP (дубль OfficeArtTest): картинка по смещению 0 Data-потока. */
private static byte[] picRegion() throws IOException {
byte[] png;
try (ByteArrayOutputStream p = new ByteArrayOutputStream()) {
var img = new java.awt.image.BufferedImage(4, 4,
java.awt.image.BufferedImage.TYPE_INT_RGB);
img.setRGB(0, 0, 0x336699);
javax.imageio.ImageIO.write(img, "png", p);
png = p.toByteArray();
}
byte[] picf = new byte[68];
put16(picf, 4, 0x44);
put16(picf, 0x1C, 1800);
put16(picf, 0x1E, 900);
put16(picf, 0x20, 1000);
put16(picf, 0x22, 1000);
byte[] blip = new byte[8 + 16 + 1 + png.length];
ByteBuffer buf = ByteBuffer.wrap(blip).order(ByteOrder.LITTLE_ENDIAN);
buf.putShort((short) 0x6E0);
buf.putShort((short) 0xF01E);
buf.putInt(16 + 1 + png.length);
buf.position(8 + 16);
buf.put((byte) 0xFF);
buf.put(png);
byte[] out = new byte[picf.length + blip.length];
System.arraycopy(picf, 0, out, 0, picf.length);
System.arraycopy(blip, 0, out, picf.length, blip.length);
put32(out, 0, out.length);
return out;
}
}
@@ -262,6 +262,22 @@ class StrictOoxmlNormalizerTest {
assertTrue(r.contains("w:left=\"720\""), r);
}
/**
* w:pgNumType/@w:start — старт нумерации страниц (Part 1 §17.13.7),
* одинаков в strict и transitional — атрибутому renaming не подлежит
* (раньше превращался в w:left, и сброс нумерации терялся — регрессия
* WordPdfConverterTest#docClassD_pageNumberRestartLowerRoman).
*/
@Test
void pgNumTypeStartAttrUntouched() {
assertNull(StrictOoxmlNormalizer.rewrite(
"<w:sectPr><w:pgNumType w:start=\"3\" w:fmt=\"lowerRoman\"/></w:sectPr>",
true, true));
assertNull(StrictOoxmlNormalizer.rewrite(
"<w:sectPr><w:pgNumType w:start=\"3\" w:fmt=\"lowerRoman\"/></w:sectPr>",
true, false));
}
/** CT_TcMar transitional допускает одновременных start+left детей — блок как есть. */
@Test
void tcMarCoexistKept() {
@@ -80,10 +80,13 @@ class ChpxIndexTest {
}
@Test
void zeroOffsetAndEmptyChpx_skipped() {
void zeroOffset_defaultPropsBoundaryKept() {
byte[] wd = wordDocument(0, 0, GRPRL);
ChpxIndex idx = ChpxIndex.read(table(2), 0, 12, wd);
assertArrayEquals(new byte[0], idx.grpprlFor(2048), "bOffset=0 — дефолт");
assertEquals(2100, idx.rangeEnd(2048, Long.MAX_VALUE >>> 1),
"граница ранa без свойств обязана остаться (регрессия "
+ "WordPdfConverterTest#docClassD_landscapeHiddenDelCaps)");
byte[] cbZero = wordDocument(5, 0, GRPRL);
assertArrayEquals(new byte[0],
@@ -9,7 +9,10 @@ import static org.junit.jupiter.api.Assertions.assertTrue;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.charset.StandardCharsets;
import java.util.List;
import java.util.zip.ZipEntry;
import java.util.zip.ZipInputStream;
import org.apache.poi.poifs.filesystem.POIFSFileSystem;
@@ -1647,6 +1650,279 @@ class DocToDocxFormattingTest {
assertNull(DocToDocx.DocxBody.hyperlinkUrl(" PAGE "));
}
// --- седьмой документ: флаги рана, keep, свойства секции, vAlign, 0x08 --------
/** CHPX-ран со стартом в символе charStart (страница pn=2). */
private record ChpxRun(int charStart, byte[] grpprl) {
}
/** PAPX-запись абзаца, начинающегося в символе charStart; {@code null} — bx=0 (нет записи). */
private record PapxRun(int charStart, byte[] grpprl) {
}
/**
* Односекционный документ: FIB + UTF-16-текст с 2048, факультативный Sepx
* (в WordDocument по 512), CHPX pn=2 (1024), PAPX pn=3 (1536), свой Data.
* Пустой список — соответствующего PlcfBte нет (индексы пустые).
*/
private static byte[] craftDoc(String text, byte[] sepxGrpprl, byte[] data,
List<ChpxRun> chpxRuns, List<PapxRun> papxRuns) throws IOException {
// FKP-страницы (1024/1536) обязаны влезать в поток даже без текста
byte[] wd = new byte[Math.max(TEXT_FC, 2048) + text.length() * 2];
put16(wd, 0, 0xA5EC);
put16(wd, 2, 0x00C1);
put16(wd, 10, 1 << 9);
put16(wd, 62, 4); // cslw (FibHeader guard)
put32(wd, 64, wd.length);
put32(wd, 76, text.length());
put16(wd, 152, 98);
pair(wd, 6, 0, 20); // PlcfSed @0: aCp(2) + SED(1)
if (!chpxRuns.isEmpty()) {
pair(wd, 12, 36, 12); // PlcfBteChpx @36, pn=2
}
if (!papxRuns.isEmpty()) {
pair(wd, 13, 48, 12); // PlcfBtePapx @48, pn=3
}
pair(wd, 33, 60, 21); // Clx @60
if (sepxGrpprl != null) {
sepx(wd, 512, sepxGrpprl);
}
byte[] t = text.getBytes(StandardCharsets.UTF_16LE);
System.arraycopy(t, 0, wd, TEXT_FC, t.length);
byte[] tab = new byte[81];
put32(tab, 0, 0);
put32(tab, 4, text.length());
if (sepxGrpprl != null) {
put32(tab, 4 + 4 + 2, 512); // SED[0].fcSepx (aCp(2) = 8 Б)
}
int endFc = TEXT_FC + 2 * text.length();
if (!chpxRuns.isEmpty()) {
int page = 2 * 512;
for (int i = 0; i < chpxRuns.size(); i++) {
put32(wd, page + i * 4, TEXT_FC + 2 * chpxRuns.get(i).charStart());
chpx(wd, page, 32 * (i + 1), chpxRuns.get(i).grpprl());
}
put32(wd, page + 4 * chpxRuns.size(), endFc);
for (int i = 0; i < chpxRuns.size(); i++) {
wd[page + 4 * chpxRuns.size() + 4 + i] = (byte) (32 * (i + 1));
}
wd[page + 511] = (byte) chpxRuns.size(); // crun
put32(tab, 36, TEXT_FC);
put32(tab, 40, endFc);
put32(tab, 44, 2);
}
if (!papxRuns.isEmpty()) {
int page = 3 * 512;
for (int i = 0; i < papxRuns.size(); i++) {
put32(wd, page + i * 4, TEXT_FC + 2 * papxRuns.get(i).charStart());
if (papxRuns.get(i).grpprl() != null) {
papxEntry(wd, page, 87 + i * 40, 0, papxRuns.get(i).grpprl());
}
}
put32(wd, page + 4 * papxRuns.size(), endFc);
for (int i = 0; i < papxRuns.size(); i++) {
wd[page + 4 * papxRuns.size() + 4 + i * 13] =
(byte) (papxRuns.get(i).grpprl() == null ? 0 : 87 + i * 40);
}
wd[page + 511] = (byte) papxRuns.size(); // cpara
put32(tab, 48, TEXT_FC);
put32(tab, 52, endFc);
put32(tab, 56, 3);
}
tab[60] = 0x02; // Clx Pcdt, один несжатый кусок
put32(tab, 61, 16);
put32(tab, 65, 0);
put32(tab, 69, text.length());
put32(tab, 75, TEXT_FC);
try (POIFSFileSystem fs = new POIFSFileSystem();
ByteArrayOutputStream out = new ByteArrayOutputStream()) {
fs.getRoot().createDocument("WordDocument", new ByteArrayInputStream(wd));
fs.getRoot().createDocument("1Table", new ByteArrayInputStream(tab));
fs.getRoot().createDocument("Data",
new ByteArrayInputStream(data == null ? new byte[64] : data));
fs.writeFilesystem(out);
return out.toByteArray();
}
}
/** Prl с 3-байтовым операндом (spra 7): iCol + dxa(2). */
private static byte[] prlCol(int sprm, int iCol, int dxa) {
return new byte[] {(byte) sprm, (byte) (sprm >>> 8), (byte) iCol, (byte) dxa,
(byte) (dxa >>> 8)};
}
/** CellRangeVertAlign (§2.9.30): cb=3 + itcFirst + itcLim + VerticalAlign. */
private static byte[] cellVa(int itcFirst, int itcLim, int valign) {
return new byte[] {0x2C, (byte) 0xD6, 3, (byte) itcFirst, (byte) itcLim,
(byte) valign};
}
/**
* sprmCHpsPos → {@code w:position}; sprmCFVanish — текст рана отсутствует
* (FO {@code w:vanish} не читает, фильтр в мосту); sprmCFCaps/
* sprmCFSmallCaps → верхний регистр в {@code w:t}; sprmCFRMarkDel →
* {@code w:del}+{@code w:delText}; sprmCFRMarkIns → {@code w:ins}
* (вид «Show Markup», шаблоны docx2fo.xslt).
*/
@Test
void runFlags_positionHiddenCapsDelIns() throws IOException {
String xml = documentXml(craftDoc("SupHideCapslowDelIns\r", null, null,
List.of(new ChpxRun(0, prl2(0x4845, 12)),
new ChpxRun(3, prl(0x083C, 1)),
new ChpxRun(7, prl(0x083B, 1)),
new ChpxRun(11, prl(0x083A, 1)),
new ChpxRun(14, prl(0x0800, 1)),
new ChpxRun(17, prl(0x0801, 1))),
List.of(new PapxRun(0, null))));
assertTrue(xml.contains("<w:position w:val=\"12\"/>"), xml);
assertFalse(xml.contains("Hide"), "скрытый текст утёк в вывод: " + xml);
assertTrue(xml.contains(">CAPS<"), "sprmCFCaps → верхний регистр: " + xml);
assertTrue(xml.contains(">LOW<"), "sprmCFSmallCaps → верхний регистр: " + xml);
assertTrue(xml.contains("<w:del><w:r><w:delText xml:space=\"preserve\">Del</w:delText>"
+ "</w:r></w:del>"), "sprmCFRMarkDel: " + xml);
assertTrue(xml.contains("<w:ins><w:r><w:t xml:space=\"preserve\">Ins</w:t>"
+ "</w:r></w:ins>"), "sprmCFRMarkIns: " + xml);
}
/** sprmPFKeepFollow/sprmPFKeep → w:keepNext/w:keepLines до pageBreakBefore (CT_PPr). */
@Test
void keepNextKeepLines_beforePageBreak() throws IOException {
String xml = documentXml(craftDoc("Head\rBody\r", null, null, List.of(),
List.of(new PapxRun(0, concat(prl(0x2406, 1), prl(0x2405, 1),
prl(0x2407, 1))),
new PapxRun(5, null))));
int at = xml.indexOf(">Head<");
assertTrue(at > 0, xml);
String p = xml.substring(xml.lastIndexOf("<w:p>", at), at);
assertTrue(p.contains("<w:keepNext/><w:keepLines/><w:pageBreakBefore/>"),
"порядок CT_PPr §17.3.1.26: " + p);
int at2 = xml.indexOf(">Body<");
String p2 = xml.substring(xml.lastIndexOf("<w:p>", at2), at2);
assertFalse(p2.contains("keepNext"), "у второго абзаца keep нет: " + p2);
}
/**
* sprmSBOrientation → w:orient + переворот pgSz; sprmSFPgnRestart/
* sprmSPgnStart97/sprmSNfcPgn → w:pgNumType; evenly-spaced колонки →
* w:cols w:num/w:space; 0x0E → w:br type="column".
*/
@Test
void sectLandscapePgNumCols_columnBreakEmitted() throws IOException {
String xml = documentXml(craftDoc("A" + (char) 0x0E + "B\r",
concat(prl2(0xB01F, 12240), prl2(0xB020, 15840), prl(0x301D, 2),
prl(0x3011, 1), prl2(0x501C, 3), prl(0x300E, 2),
prl2(0x500B, 1), prl(0x3005, 1), prl2(0x900C, 720)),
null, List.of(), List.of(new PapxRun(0, null))));
assertTrue(xml.contains("<w:pgSz w:w=\"15840\" w:h=\"12240\" "
+ "w:orient=\"landscape\"/>"), "альбомный pgSz: " + xml);
assertTrue(xml.contains("<w:pgNumType w:start=\"3\" w:fmt=\"lowerRoman\"/>"), xml);
assertTrue(xml.contains("<w:cols w:num=\"2\" w:space=\"720\"/>"), xml);
assertTrue(xml.contains("<w:br w:type=\"column\"/>"), "0x0E → разрыв колонки: " + xml);
}
/** Неравные колонки → per-column w:col; незаполненные ширины — деградация в одну. */
@Test
void sectUnevenCols_perColAndDegrade() throws IOException {
String xml = documentXml(craftDoc("AB\r",
concat(prl(0x3005, 0), prl2(0x500B, 1),
prlCol(0xF203, 0, 3000), prlCol(0xF203, 1, 4000),
prlCol(0xF204, 0, 240)),
null, List.of(), List.of(new PapxRun(0, null))));
assertTrue(xml.contains("<w:cols><w:col w:w=\"3000\" w:space=\"240\"/>"
+ "<w:col w:w=\"4000\"/></w:cols>"), xml);
String degraded = documentXml(craftDoc("AB\r",
concat(prl(0x3005, 0), prl2(0x500B, 1)),
null, List.of(), List.of(new PapxRun(0, null))));
assertFalse(degraded.contains("<w:cols"),
"без ширин — деградация в одноколонную: " + degraded);
}
/** sprmTVertAlign (CellRangeVertAlign) → w:vAlign center/bottom в tcPr ячеек диапазона. */
@Test
void cellVertAlign_perRange() throws IOException {
String xml = documentXml(craftDoc("P" + (char) 7 + "Q" + (char) 7 + (char) 7 + "\r",
null, null, List.of(),
List.of(new PapxRun(0, prl(0x2416, 1)),
new PapxRun(2, prl(0x2416, 1)),
new PapxRun(4, concat(prl(0x2416, 1), prl(0x2417, 1),
tdefTable(2, new int[] {0, 3000, 6000}),
cellVa(0, 1, 1), cellVa(1, 2, 2))))));
assertTrue(xml.contains("<w:tbl>"), xml);
assertTrue(xml.contains("<w:vAlign w:val=\"center\"/>"), xml);
assertTrue(xml.contains("<w:vAlign w:val=\"bottom\"/>"), xml);
assertEquals(1, xml.split("<w:vAlign w:val=\"center\"", -1).length - 1, xml);
// vAlign идёт после tcW (CT_TcPrBase)
int va = xml.indexOf("<w:vAlign w:val=\"center\"");
assertTrue(xml.lastIndexOf("<w:tcW", va) < va && xml.lastIndexOf("<w:tcPr>", va) < va,
"vAlign внутри tcPr после tcW: " + xml);
}
/**
* sprmTVertAlign: 0 (top) не эмитится — только center/bottom (§2.9.30
* VerticalAlign); itc за пределами числа ячеек — кламп без падения.
*/
@Test
void cellVertAlign_topAndOutOfRangeNotEmitted() throws IOException {
String xml = documentXml(craftDoc("P" + (char) 7 + (char) 7 + "\r",
null, null, List.of(),
List.of(new PapxRun(0, prl(0x2416, 1)),
new PapxRun(2, concat(prl(0x2416, 1), prl(0x2417, 1),
tdefTable(1, new int[] {0, 3000}),
cellVa(0, 1, 0), cellVa(1, 5, 2))))));
assertFalse(xml.contains("<w:vAlign"), "top и out-of-range не эмитятся: " + xml);
}
/** Якорь плавающей картинки 0x08 + sprmCPicLocation → inline-картинка (раньше выбрасывался). */
@Test
void drawnObject_becomesInlinePicture() throws IOException {
byte[] region = picRegion();
byte[] docx = DocToDocx.convert(craftDoc((char) 0x08 + "\r", null, region,
List.of(new ChpxRun(0, new byte[] {0x03, 0x6A, 0, 0, 0, 0})),
List.of(new PapxRun(0, null))));
String xml = new String(zipPart(docx, DOCUMENT_XML), StandardCharsets.UTF_8);
assertTrue(xml.contains("<w:drawing>"), "0x08 обязан стать картинкой: " + xml);
assertTrue(zipPart(docx, "word/media/image1.png").length > 0);
}
/** PICF+PNG BLIP (крафт как OfficeArtTest): lcb = вся область, картинка по смещению 0. */
private static byte[] picRegion() {
byte[] picf = new byte[68];
put32(picf, 0, 0); // lcb — ниже
put16(picf, 4, 0x44);
put16(picf, 0x1C, 1800);
put16(picf, 0x1E, 900);
put16(picf, 0x20, 1000);
put16(picf, 0x22, 1000);
byte[] png = pngBytes();
byte[] blip = new byte[8 + 16 + 1 + png.length];
ByteBuffer buf = ByteBuffer.wrap(blip).order(ByteOrder.LITTLE_ENDIAN);
buf.putShort((short) 0x6E0);
buf.putShort((short) 0xF01E);
buf.putInt(16 + 1 + png.length);
buf.position(8 + 16);
buf.put((byte) 0xFF);
buf.put(png);
byte[] out = new byte[picf.length + blip.length];
System.arraycopy(picf, 0, out, 0, picf.length);
System.arraycopy(blip, 0, out, picf.length, blip.length);
put32(out, 0, out.length);
return out;
}
/** Минимальный PNG (сигнатура + IHDR 100×50, копия крафта OfficeArtTest). */
private static byte[] pngBytes() {
ByteArrayOutputStream out = new ByteArrayOutputStream();
byte[] sig = {(byte) 0x89, 'P', 'N', 'G', 0x0D, 0x0A, 0x1A, 0x0A};
out.writeBytes(sig);
ByteBuffer ihdr = ByteBuffer.allocate(21).order(ByteOrder.BIG_ENDIAN);
ihdr.putInt(13).put(new byte[] {'I', 'H', 'D', 'R'})
.putInt(100).putInt(50).put((byte) 8).put((byte) 2)
.put((byte) 0).put((byte) 0).put((byte) 0);
out.writeBytes(ihdr.array());
out.writeBytes(new byte[8]);
return out.toByteArray();
}
// --- мелочь ----------------------------------------------------------
private static byte[] prl(int sprm, int toggle) {
@@ -193,6 +193,67 @@ class SectionsTest {
assertEquals(100, s.list().get(0).cpEnd());
}
/**
* sprmSBOrientation/sprmSFPgnRestart/sprmSPgnStart97/sprmSNfcPgn/
* sprmSCcolumns/sprmSFEvenlySpaced/sprmSDxaColumns/sprmSDxaColWidth/
* Spacing (§2.6.4): accessors секции; iCol за массивом — молча; restart
* без start97 → старт 1.
*/
@Test
void orientationPgNumColumns_applied() {
byte[] wd = new byte[4096];
sepx(wd, 64, concat(
new byte[] {0x1D, 0x30, 2}, // sprmSBOrientation=landscape
new byte[] {0x11, 0x30, 1}, // sprmSFPgnRestart=true
prl2(0x501C, 3), // sprmSPgnStart97=3
new byte[] {0x0E, 0x30, 2}, // sprmSNfcPgn=lowerRoman
prl2(0x500B, 1), // sprmSCcolumns=2
new byte[] {0x05, 0x30, 1}, // sprmSFEvenlySpaced=true
prl2(0x900C, 720))); // sprmSDxaColumns=720
Sections s = Sections.read(plcfSed(64), 0, plcfSed(64).length, wd, 100);
Sections.Section sec = s.list().get(0);
assertTrue(sec.landscape());
assertEquals(3, sec.pgNumStart());
assertEquals(2, sec.nfcPgn());
assertEquals(2, sec.columnCount());
assertTrue(sec.evenlySpaced());
assertEquals(720, sec.dxaColumns());
}
/** Неравные колонки: iCol(1)+dxaCol(2) по §2.9.241/.242; iCol за лимитом — ignore. */
@Test
void unevenColumns_perIndexWidths() {
byte[] wd = new byte[4096];
sepx(wd, 64, concat(prl2(0x500B, 2), // 3 колонки
new byte[] {0x05, 0x30, 0}, // sprmSFEvenlySpaced=false
colPrl(0xF203, 0, 3000), colPrl(0xF203, 1, 4000),
colPrl(0xF203, 2, 5000), colPrl(0xF204, 0, 240),
colPrl(0xF204, 1, 300), colPrl(0xF203, 99, 1))); // iCol>43 — ignore
Sections s = Sections.read(plcfSed(64), 0, plcfSed(64).length, wd, 100);
Sections.Section sec = s.list().get(0);
assertEquals(3, sec.columnCount());
assertFalse(sec.evenlySpaced());
assertEquals(3000, sec.colWidths()[0]);
assertEquals(4000, sec.colWidths()[1]);
assertEquals(5000, sec.colWidths()[2]);
assertEquals(240, sec.colSpacings()[0]);
assertEquals(300, sec.colSpacings()[1]);
assertEquals(0, sec.colSpacings()[2]);
}
@Test
void restartWithoutStart_clampsToOne() {
byte[] wd = new byte[4096];
sepx(wd, 64, new byte[] {0x11, 0x30, 1}); // restart без sprmSPgnStart97
Sections s = Sections.read(plcfSed(64), 0, plcfSed(64).length, wd, 100);
assertEquals(1, s.list().get(0).pgNumStart());
}
private static byte[] colPrl(int sprm, int iCol, int dxa) {
return new byte[] {(byte) sprm, (byte) (sprm >>> 8), (byte) iCol, (byte) dxa,
(byte) (dxa >>> 8)};
}
private static byte[] concat(byte[]... parts) {
int len = 0;
for (byte[] p : parts) {
@@ -63,6 +63,12 @@ class TablesTest {
new byte[] {(byte) value, (byte) (value >>> 8)});
}
/** CellRangeVertAlign (§2.9.30): cb=3 + itcFirst + itcLim + VerticalAlign. */
private static byte[] cellVa(int itcFirst, int itcLim, int valign) {
return new byte[] {0x2C, (byte) 0xD6, 3, (byte) itcFirst, (byte) itcLim,
(byte) valign};
}
private static byte[] concat(byte[]... parts) {
int len = 0;
for (byte[] p : parts) {
@@ -247,4 +253,27 @@ class TablesTest {
assertFalse(g.bordersXml().contains("w:color"), "ico=0xFF — цвета нет: "
+ g.bordersXml());
}
/** sprmTVertAlign (§2.9.30): диапазоны [itcFirst,itcLim); itcLim за числом ячеек — кламп. */
@Test
void vertAlign_rangesAndClamp() {
Tables.Grid g = Tables.parse(concat(defTable(new int[] {0, 3000, 6000, 9000}),
cellVa(0, 1, 1), cellVa(1, 2, 2), cellVa(2, 9, 1)));
assertEquals(1, g.cellVAlign()[0]);
assertEquals(2, g.cellVAlign()[1]);
assertEquals(1, g.cellVAlign()[2], "itcLim=9 при 3 ячейках — кламп");
}
@Test
void vertAlign_absent_null() {
assertNull(Tables.parse(defTable(new int[] {0, 3000})).cellVAlign(),
"нет sprmTVertAlign — массив не заводится");
}
@Test
void vertAlign_badCb_ignored() {
// cb≠3 (§2.9.30 «MUST be 3») — операнд битый, сканер обрывается на нём
byte[] bad = {0x2C, (byte) 0xD6, 9, 0, 1, 2};
assertNull(Tables.parse(concat(defTable(new int[] {0, 3000}), bad)).cellVAlign());
}
}