From fe693efcb0c3c7003814391a27311813764d5329 Mon Sep 17 00:00:00 2001 From: Pjandro Date: Sat, 31 Oct 2026 18:46:17 +0000 Subject: [PATCH] =?UTF-8?q?=D0=9F=D1=80=D0=BE=D0=B4-=D0=B0=D0=B2=D1=82?= =?UTF-8?q?=D0=BE=D1=82=D0=B5=D1=81=D1=82=D1=8B:=20=D0=B2=D0=B5=D1=80?= =?UTF-8?q?=D0=BD=D1=8B=D0=B9=20filename*=20=D0=B4=D0=BB=D1=8F=20.doc=20+?= =?UTF-8?q?=20405/415/500/SmartArt/=D0=B1=D0=B8=D1=82=D1=8B=D0=B9=20=D1=84?= =?UTF-8?q?=D0=BB=D0=B0=D0=B3=20+=20.doc-=D0=BF=D0=B0=D1=80=D1=8B=20=D0=BE?= =?UTF-8?q?=D0=B3=D1=80=D0=B0=D0=BD=D0=B8=D1=87=D0=B5=D0=BD=D0=B8=D0=B9=20?= =?UTF-8?q?=D0=B8=20=D1=80=D0=B0=D1=81=D1=82=D0=B5=D1=80=D0=BE=D0=B2?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- AGENTS.md | 4 +- prod-autotests/test_prod_api.py | 149 +++++++++++++++++++++++++++++++- 2 files changed, 150 insertions(+), 3 deletions(-) diff --git a/AGENTS.md b/AGENTS.md index 9e6f55e..4bf26fc 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -145,7 +145,7 @@ Java2D → PNG 300 dpi (`ChartRenderer.DPI = 300`, `PADDING = 4.0`, растр | `.env.example` | Шаблон env: `WORDPDF_API_KEY` (`openssl rand -hex 32`), закомментированные `WORDPDF_MAX_MB`/`WORDPDF_MAX_PAGES` (пустое значение ломает binding long/int). Проду `.env` не нужен — ключ и лимиты подаёт job `deploy` из Gitea Secrets/Variables | | `.gitea/workflows/` | Gitea Actions: `pr.yml` (`PR checks`), `main.yml` (тесты + coverage-сводка и комментарий в PR → `images-app`/`images-web` (build+push в Nexus) → deploy (рендер прод-конфигов + pull) → autotests → rollback) | | `GITEA-vars.md` | Инструкция владельца: Secrets/Variables, защита ветки, перезапуск — только имена переменных, без значений | -| `prod-autotests/` | Прод-автотесты API (pytest + requests, 21 проверка): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_MAX_MB`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет | +| `prod-autotests/` | Прод-автотесты API (pytest + requests, 31 проверка): конфигурация стенда **только env** (`WORDPDF_BASE_URL` обязателен, `WORDPDF_API_KEY`/`WORDPDF_MAX_PAGES`/`WORDPDF_MAX_MB`/`WORDPDF_SAMPLES_DIR` факультативны) — прод-хостов/ключей в коде нет | | `docs/standards/` | Нормативная документация форматов Word, две категории: `docx/` — OOXML: PDF+md ECMA-376 Part 1 (5-е изд.), md [MS-OI29500]/[MS-ODRAWXML], полные наборы XSD `docx/schema/strict/` (21) + `docx/schema/transitional/` (26), `docx/validate-fixtures.py` — XSD-валидация `samples/*.docx` (lxml, ставится отдельно); `doc/` — бинарный .doc: md [MS-DOC] (`ms-doc.md` + `ms-doc-full.md` — тот же текст с HTML packet diagram'ами и таблицами sprm §2.6.1–2.6.3, где `ms-doc.md` даёт `[TABLE]`) + окружение [MS-CFB]/[MS-OSHARED]/[MS-ODRAW]/[MS-OLEPS]/[MS-OFFCRYPTO]/[MS-OVBA]/[MS-WMF]/[MS-EMF]; регенерация — README в каждой категории: `docx/README.md`, `doc/README.md` | | `develop/` (вне git, gitignored) | Рабочие материалы и эталоны сравнения рендера — **не фикстуры**, в тесты/jar не подключать; пиксельные замеры зашиты числами в chart-тестах | @@ -248,4 +248,4 @@ java -cp wordpdf-core/target/test-classes:$(cat /tmp/cp.txt) \ - Юниты моста (`internal/doc/`): `CfbReaderTest` строит крафтовый CFB-байтстрим (сектор 512/mini 64: FAT/DIFAT/miniFAT/directory руками) и бьёт все guard-ветки (циклы FAT/DIFAT/MiniFAT, ссылки за файл, обрезанные потоки, root без mini stream, мусор в directory); `SummaryInfoTest` — крафтовый PropertySetStream (пинит **относительность offset от начала PropertySet**, реальные фикстуры её не различают); `PieceTableTest`/`ChpxIndexTest`/`PapxIndexTest` (в т.ч. `istdFor`: istd из UpxPapx, пустой grpprl ≠ null, bOffset=0 → нет записи)/`SectionsTest`/`FibHeaderTest` (пара fcStshf)/`GrpprlTest` (в т.ч. спец-длины: двухбайтовый cb у sprmTDefTable при operand >255 Б, у 0xC60D cb=0xFF — обрыв, у 0xC615 cb=0xFF — длина по формуле §2.9.182 (`scan_pChgTabsSentinel_lengthByFormula`))/`FontTableTest`/`HeadersTest`/`OfficeArtTest` — byte[]-конструкции in memory; `StylesTest` — крафтовый STSH (LPStd/LPUpx): цепочка base→derived, цикл → пустая таблица, чужой stk/битый STSH нисходительны; `TablesTest` — крафтовый TAP: сетка TDefTable (XAS со знаком), границы Brc (cv fAuto) и Brc80 (ico, приоритет 0xD613), выравнивание sprmTJc/sprmTJc90 (u16, приоритет современного, 0 → null), деградация при битом TDefTable; `ListsTest` — крафтовые PlfLst/PlfLfo байтстримом (счёт LVL по fSimpleList 1/9, плейсхолдеры xst → `%{n+1}` и литеральный `%` → `%%`, MSONFC→ST_NumberFormat вкл. экзотика→decimal, ixchFollow→`w:suff`, grpprl уровня → `w:ind`/`w:rFonts`, LFOLVL fStartAt/fFormatting, обрыв LVL-массива, lsid без LSTF, нулевые lcb); `DocToDocxFormattingTest` — полный синтетический .doc через POIFS (крафтовые FIB/Clx/FKP-страницы: полные CHPX/PAPX-свойства, STSH-цепочка с переопределением и победой direct, spacing/tabs, таблица TTP+TDefTable+Brc с деградацией строки без сетки и многострочной ячейкой, колонтитук со стилевым jc, табы колонтитука из стиля sprmPChgTabs (`styleTabsChg_reachesFooterPart`/`styleTabsChgDel_removesStop`: прямой del с rgdxaClose вырезает stop стиля), таблица в odd footer со sprmTJc (`footerTable_jcCenterEmitted`: guard-¶ отдельным абзацем после строки, как в реальных Plcfhdd), знаки, поле в основном тексте, picLocation=0, 0Table, отсутствие табличного потока, списки: `listParagraphs_getNumPrAndNumberingPart` (sprmPIlfo/sprmPIlvl в PAPX → `w:numPr` + `word/numbering.xml` c `w:num`/Override/rels), `listCancelledByDirectZero_noNumPr` (ilfo стиля, перекрытый прямым 0), `ilvlSkipValue_noNumPr` (ilvl=0x0C), `missingListTables_degradeToPlain` (нулевые FIB-пары 73/74 — ни numbering-части, ни numPr)). Doc-регрессии конвертера — общие assert-хелперы docx-пар: `assertCyrillicAndStyles`/`assertPageNumbers`/`assertTableImage`/`assertOleObjectsRemoved`/`assertDrawingsBecomeImages`/`assertTooManyPages`/`assertExoticGlyphs` вызываются с `ru-plain.doc`/`page-numbers.doc`/`ru-table-image.doc`/`ole-embedded.doc`/`charts-smartart.doc`/`too-many-pages.doc`/`exotic-glyphs.doc` (тесты-пары называются по docx-имени, внутри зовут оба формата); `WordPdfValidatorTest#checkPageCountDoc_*` + `ConvertControllerTest` (`.doc` upload, `nonDocxFilename_rejected`). - App-тесты: `@SpringBootTest` + `@AutoConfigureMockMvc` (Boot 4: `org.springframework.boot.webmvc.test.autoconfigure`); три контекста — `ConvertControllerTest` (пустой ключ), `ApiKeyFilterTest` (`properties = "wordpdf.api-key=…"`), `ConvertLimitsTest`/`ConversionTimeoutTest` (`@TestPropertySource` — отдельные классы, не `@Nested`: `@Nested` + `@TestPropertySource` не даёт отдельного контекста). - Регрессивные пары (фикс = нормализатор/pre-renderer + юнит + конвертер-тест с фикстурой): `StrictOoxmlNormalizerTest`↔`strictOoxml_convertsNotRejected` (+`pageCount_strictBreaksCountedLightweight`; юниты `indCoexistLeftStartUntouched`/`tcMarCoexistKept`/`tcBordersElementsKeptTransitional`/`jcStartRenamedTransitional`/`tabStartRenamedTransitional`/`transitionalCoexistReturnsOriginalArray`), `DocxOnOffNormalizerTest`↔`ruPlain_regularRunsUseRegularFont`, `SymbolFontNormalizerTest`↔`symbolFonts_bulletsAreNotHash`, `FieldNormalizerTest`↔`pageNumbers_recomputedNotCached`, `InvisibleCharNormalizerTest`↔`invisibleChars_noEmptyLines`, `GlyphCoverageNormalizerTest`↔`exoticGlyphs_drawnNotHash`, `OleObjectNormalizerTest`↔`oleObjects_removedAndConverted`/`drawingErrors_errorFlagRejectsOle` (+app `errorFlagOle_rejected`/`oleObjects_removedByDefault`; юниты `objectWithImagedata_placeholderKept`/`objectWithoutImage_removed`/`objectWithDrawing_reusedVerbatim`/`controlBlockRemoved`/`sizeFromDxaOrig`/`styleUnits_allConvertToEmu`/`objectWithoutBin_stillRewritten`/`externalOleLinkRelRemoved`), `WordPdfValidatorTest`↔`staleCachePageCountRejectedBeforeRender` (+`checkPageCount_limitBoundary` 99/100/101, `cachedPagesUnreadableFallsBackToZero`, `pageCount_breaksInsideTablesAreCounted`, `pageCount_continuousSectionsNotCountedLightweight`, `validate_notAZip`/`validate_plainZipRejected`/`validate_xlsxRenamedRejected`/`validate_zipBombRejected`/`validate_tooManyEntriesRejected`), `BundledFontsTest`↔`ruPlain_emDashEmbeddedNotHelvetica`, `PresetGeometryTest`↔`chartsSmartArt_drawingsBecomeImages` (`tableMatchesEcmaXml`), chart-пейнтеры↔`chartTypes_allTypesRenderAsImages`, `ChartSpecTest`↔автозаголовки/комбо/DoS (`hugePointIndex_rejectedNotOom`, `hugePtCount_rejectedNotOom`, `hugeCategoryIndex_rejectedNotOom`, `nonFiniteScalingBounds_dropped`, `overlayLegend_keepsPositionAndFlag`, `emptyTitleSingleSeriesBar_usesSeriesName`, `deletedTitleWithText_stillShown`, `deletedTitleValOmitted_stillShown`, `multiSeriesDoughnut_placeholderNotSeriesName`, `multiParagraphTitle_joinedWithNewlines`), `Surface3dPainterTest`↔`axisBounds_tinyMajorUnit_fallsBackToNiceUnit`/`axisBounds_zeroMajorUnit_fallsBackToNiceUnit`, `ChartRendererTest`↔`axisBounds_explicitHugeRange_reunitsToMaxTicks`/`axisBounds_infiniteSpan_fallsBackToData`/`stackedCumulative_*`/`stackedRange_coversNegativeSums`/`overlayLegend_drawnOverPlot`/`wireframeSurfaceLegend_hollowMarkers`, `DrawMlTextTest`↔`hugeWord_wrapsLinearly`/`fallbackFamilyAliasedToBundle`/`lineSpacingPct_compactsLines`, `DrawMlColorTest`↔`invalidSrgbHexFallsBackToOfficeDefault`, `SmartArtRendererTest`↔`normAutofitShrinksToFit`/`missingAutofitKeepsDeclaredSize`/`emptyTxBody_noPlaceholderInk`, `CartesianPainterTest`↔`stackedLine_seriesStackCumulatively`/`percentStackedLine_topSeriesFlatAtHundred`/`areaFill_closesToBaseline`/`combo_barsAndLineOnSecondary_bothDrawn`, `GlyphCoverageNormalizerTest`↔`multipleTextNodes_runLeftUntouched`/`nestedRunInTextBox_innerSplit`, `SymbolFontNormalizerTest`↔`nestedRunInTextBox_innerNormalized`, `WordPdfConverterTest`↔`noLoggingWarningInPdf`/`pdfTitle_comesFromParameter`/`hostileChartAxis_convertsNotHangs`/`hugeExtentChart_removedNotOom`/`chartWithoutExtent_errorFlagRejects`/`jcEndTransitional_rightAligned`/`rPrPosition_raisesBaseline`/`vendoredXsltTracksJarCopy` (аудит раскладки ECMA-376), `LayoutPostRendererTest`↔`tableCellPadding_textInsetLikeWord` (+`lineRuleAuto_wordSingleLinePitch` пинит метрический шаг «single» от псевдофиксов, `carlitoAutoBlock_untouched`), `TableIndentNormalizerTest`↔`tableIndentCentered_shiftedLikeWord` (+`rewritePart*`↔`headerTableIndent_centeredInHeader`, +`jcWithoutIndent_folded`/`rightWithoutIndent_folded`/`zeroIndent_folded`/`cellSpacingWithoutIndent_returnsNull`↔`tableCenteredNoIndent_shiftedLikeWord`), `NumberingSuffixNormalizerTest`↔`suffSpace_labelGetsSpace`, `ListsTest`+`DocToDocxFormattingTest#list*`↔`docLists_numberingAndBulletsRendered` (синтетический .doc со списками → PDF: `1.` `2.` `a)` `b)` `•`, ни одного `#`; фикстур со списками нет — крафт POIFS продублирован в `WordPdfConverterTest`), `SectionsTest`+`HeadersTest`+`DocToDocxFormattingTest#twoSections*/sectionBreakInTable*`↔`docMultiSection_perSectionHeaders` (двухсекционный .doc → PDF: стр. 1 — ШАПКА-1+ПОДВАЛ-1, стр. 2 — ШАПКА-2 + унаследованный ПОДВАЛ-1, ни одной `#`; крафт POIFS продублирован в `WordPdfConverterTest`). App-регрессии: `requestLimitParams_areIgnored`, `nonPositiveLimits_failStartup`, `unknownPath_notFound`, `concurrentRequests_bothSucceed`, `corruptNotAZip_rejected`, `plainZipNotDocx_rejected`, `junkInsideValidZip_conversionError` (500 на валидном .docx-контейнере с мусором), `nonDocxFilename_rejected`, `oversizedOverCoreLimit_rejected`, `drawingsAlwaysRendered`, `cyrillicAndPathInFilename_sanitizedResponseName`, `docsOpenWithoutKey`/`forwardedPrefix_healthStaysOpen`/`forwardedPrefix_docsOpenWithoutKey`, `dotSegmentOpenPrefix_rejected`, `errorFlagNotBoolean_rejected`, `methodNotSupportedReturns405`/`badContentTypeReturns415`. -- UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn). Прод-автотесты (pytest 9.1.1 + requests 2.34.2, 22 проверки — 18 под маркером `needs_key` (SKIP без ключа; включая конвертацию `.doc`-фикстуры), 4 открытых: health/SPA-root/swagger/spec; env-конфиг, `mise exec -- python -m pytest -q .` из `prod-autotests/`) гоняются CI после deploy против живого прода. +- UI-тестов нет; гейт SPA — `npm run build` (tsc -b) + `npm run lint` (oxlint, `.oxlintrc.json`: rules-of-hooks error, only-export-components warn). Прод-автотесты (pytest 9.1.1 + requests 2.34.2, 31 проверка — 27 под маркером `needs_key` (SKIP без ключа; включая `.doc`-фикстуры обоих путей — растры/OLE и границы страниц), 4 открытых: health/SPA-root/swagger/spec; env-конфиг, `mise exec -- python -m pytest -q .` из `prod-autotests/`) гоняются CI после deploy против живого прода. diff --git a/prod-autotests/test_prod_api.py b/prod-autotests/test_prod_api.py index 06003cb..42e9a37 100644 --- a/prod-autotests/test_prod_api.py +++ b/prod-autotests/test_prod_api.py @@ -102,7 +102,7 @@ def test_convert_binary_doc(url, samples, key_header): assert r.status_code == 200 assert "application/pdf" in r.headers["content-type"] assert r.content[:4] == b"%PDF" - assert "filename*=UTF-8''doc-ru.pdf" in r.headers["content-disposition"] + assert "filename*=UTF-8''ru-plain.pdf" in r.headers["content-disposition"] @needs_key @@ -285,6 +285,7 @@ def test_error_on_charts_rejected(url, samples, key_header): ) assert r.status_code == 422 assert "error" in r.json() + assert "диаграммы" in r.json()["error"] @needs_key @@ -311,6 +312,7 @@ def test_error_on_ole_rejected(url, samples, key_header): ) assert r.status_code == 422 assert "error" in r.json() + assert "OLE" in r.json()["error"] @needs_key @@ -324,3 +326,148 @@ def test_ole_removed_by_default(url, samples, key_header): ) assert r.status_code == 200 assert r.content[:4] == b"%PDF" + + +@needs_key +def test_error_on_smartart_rejected(url, samples, key_header): + """errorOnSmartArt=true — 422 с текстом про SmartArt (диаграммы конвертируются, + их error-флаг выключен) — регрессия errorFlagSmartArt_rejected; текст — контракт с фронтом.""" + r = requests.post( + url(CONVERT) + "?errorOnSmartArt=true", + headers=key_header, + files={"file": ("charts-smartart.docx", (samples / "charts-smartart.docx").read_bytes())}, + timeout=TIMEOUT, + ) + assert r.status_code == 422 + assert "SmartArt" in r.json()["error"] + + +@needs_key +def test_get_method_returns_405(url, key_header): + """GET на эндпоинт — 405 JSON от ApiExceptionHandler — регрессия methodNotSupportedReturns405.""" + r = requests.get(url(CONVERT), headers=key_header, timeout=TIMEOUT) + assert r.status_code == 405 + assert r.json()["error"] == "Метод не поддерживается" + + +@needs_key +def test_json_body_returns_415(url, key_header): + """Не multipart-тело (application/json) — 415 JSON — регрессия badContentTypeReturns415.""" + r = requests.post(url(CONVERT), headers=key_header, json={}, timeout=TIMEOUT) + assert r.status_code == 415 + assert r.json()["error"] == "Неподдерживаемый тип содержимого" + + +@needs_key +def test_error_flag_not_boolean_rejected(url, samples, key_header): + """errorOnCharts=tru3 — 400 от MethodArgumentTypeMismatchException, имя параметра в тексте — + регрессия errorFlagNotBoolean_rejected.""" + r = requests.post( + url(CONVERT) + "?errorOnCharts=tru3", + headers=key_header, + files={"file": ("en-plain.docx", (samples / "en-plain.docx").read_bytes())}, + timeout=TIMEOUT, + ) + assert r.status_code == 400 + assert "errorOnCharts" in r.json()["error"] + + +@needs_key +def test_junk_inside_valid_container_returns_500(url, key_header): + """Манифест декларирует документ wordprocessingml, пакет битый (нет _rels/.rels) — + 500 ConversionFailedException, а не 400 валидации — регрессия junkInsideValidZip_conversionError. + + Побайтово повторяет Java-хелпер docxPackageWithGarbage (ConvertControllerTest); + голый zip без манифеста остаётся 400 — test_plain_zip_not_docx_rejected. + """ + content_types = ( + '' + '' + '' + '' + "" + ) + document = ( + '' + '' + "" + ) + buf = io.BytesIO() + with zipfile.ZipFile(buf, "w") as z: + z.writestr("[Content_Types].xml", content_types) + z.writestr("word/document.xml", document) + r = requests.post( + url(CONVERT), + headers=key_header, + files={"file": ("bad.docx", buf.getvalue())}, + timeout=TIMEOUT, + ) + assert r.status_code == 500 + assert "Не удалось конвертировать" in r.json()["error"] + + +@needs_key +def test_too_many_pages_doc_vs_limit(url, samples, key_header, max_pages): + """too-many-pages.doc (кэш PageCount=150, 1+явные разрывы=151): валидатор .doc-пути + считает max(кэш, разрывы). Ветки те же, что у test_too_many_pages_vs_limit — + регрессия WordPdfConverterTest#tooManyPages (doc-пара, assertTooManyPages).""" + r = requests.post( + url(CONVERT), + headers=key_header, + files={"file": ("too-many-pages.doc", (samples / "too-many-pages.doc").read_bytes())}, + timeout=TIMEOUT, + ) + if max_pages < 151: + assert r.status_code == 400 + assert "error" in r.json() + else: + assert r.status_code == 200 + assert r.content[:4] == b"%PDF" + + +@needs_key +def test_stale_cache_doc_converts(url, samples, key_header, max_pages): + """stale-cache.doc (кэш PageCount=5, lastRenderedPageBreak в .doc нет) — конвертится: + заниженный кэш на .doc-пути не «спасает» и не «топит» (семантика запинена Java-тестом).""" + r = requests.post( + url(CONVERT), + headers=key_header, + files={"file": ("stale-cache.doc", (samples / "stale-cache.doc").read_bytes())}, + timeout=TIMEOUT, + ) + if max_pages < 5: + assert r.status_code == 400 + assert "error" in r.json() + else: + assert r.status_code == 200 + assert r.content[:4] == b"%PDF" + + +@needs_key +def test_binary_doc_ole_removed_by_default(url, samples, key_header): + """Дефолтные флаги — .doc с OLE конвертится: OLE-fallback BLIP становится картинкой — + пара oleObjects_removedAndConverted.""" + r = requests.post( + url(CONVERT), + headers=key_header, + files={"file": ("ole-embedded.doc", (samples / "ole-embedded.doc").read_bytes())}, + timeout=TIMEOUT, + ) + assert r.status_code == 200 + assert r.content[:4] == b"%PDF" + + +@needs_key +def test_binary_doc_drawings_converted(url, samples, key_header): + """Дефолтные флаги — .doc с диаграммами/SmartArt конвертится: BLIP-плейсхолдеры → + картинки (error-флаги на .doc не срабатывают по документированной семантике) — + пара chartsSmartArt_drawingsBecomeImages.""" + r = requests.post( + url(CONVERT), + headers=key_header, + files={"file": ("charts-smartart.doc", (samples / "charts-smartart.doc").read_bytes())}, + timeout=TIMEOUT, + ) + assert r.status_code == 200 + assert r.content[:4] == b"%PDF"