Commit Graph

188 Commits

Author SHA1 Message Date
Pjandro f09b629270 core: ValidationException вместо ConversionException; удаление pkg-API и переименование checkPageCountLightweight в checkPageCount 2026-10-19 21:30:45 +00:00
pjandro faf6d048a5 Merge pull request 'Миграция репо с docker на podman' (#10) from podman-migration into main
Reviewed-on: #10
2026-10-19 03:14:24 +03:00
Pjandro 65746db9d2 Migrate repo from docker to podman
- git mv docker-compose*.yml -> compose*.yml, Dockerfile -> Containerfile
  (podman-compose picks compose.yml; buildah finds Containerfile first)
- compose/compose.dev: x-podman.name_separator_compat (dash container
  names), explicit app/web healthchecks (OCI export drops image
  HEALTHCHECK, depends_on service_healthy would hang forever), fixed
  subnet 10.113.0.0/24 gw 10.113.0.1 for the aardvark-dns resolver
- gateway/nginx.conf: resolver + proxy_pass via variables (static
  proxy_pass resolves once at start; podman-restart.service brings
  gateway up before app -> dead upstream, 502 until manual restart)
- Containerfiles: pin base images to docker.io/library/* (no
  unqualified-search-registries on hosts), truthful buildah proxy comments
- comments/docs: Docker HEALTHCHECK -> container HEALTHCHECK; READMEs,
  AGENTS.md updated for podman/podman-compose

Verified on dev (podman 5.7.0, podman-compose 1.5.0): stack up with
dash names, app/web healthy, conversion through gateway returns PDF,
gateway survives app container restart without restart (resolver).
2026-10-19 00:13:52 +00:00
pjandro ab1b25c352 Merge pull request 'Dev-стенд: 0.0.0.0:9011, гейт ключа только по 401-зонду' (#9) from dev-open-bind-no-key into main
Reviewed-on: #9
2026-10-17 01:12:36 +03:00
Pjandro 2750486c91 dev-стенд: 0.0.0.0:9011, vite host:true, гейт ключа только по 401-зонду
- docker-compose.dev.yml: ports 127.0.0.1:9011:80 → 9011:80 (вход по LAN-IP хоста)
- vite.config.ts: server.host=true — dev-сервер тоже на все интерфейсы
- api.ts: probeApiKey() — GET /api/v1/convert (POST-only эндпоинт): 401 от
  ApiKeyFilter ⟺ сервер требует ключ; при выключенной аутентификации не 401
- App.tsx: экран ApiKeyGate показывается только когда зонд вернул 'required';
  401 на конвертации возвращает к гейту (setGate('required'))
- AGENTS.md: обновлены поведенческие строки (dev-вход, контракт гейта)
2026-10-16 22:11:53 +00:00
pjandro e925242948 Merge pull request 'errorOnCharts/errorOnSmartArt: отказ конвертации при находке диаграмм/SmartArt' (#7) from feat/error-on-drawings into main
Reviewed-on: #7
2026-10-16 01:07:46 +03:00
Pjandro 307afc0678 feat: errorOnCharts/errorOnSmartArt — отказ конвертации при находке диаграмм/SmartArt 2026-10-15 22:03:14 +00:00
pjandro 98fc900a53 Merge pull request 'Fix: футер SPA — ссылки Swagger UI/OpenAPI под префикс /pdf-converter/' (#6) from fix/spa-swagger-links-base-url into main
Reviewed-on: #6
2026-10-16 00:43:23 +03:00
Pjandro fa9d928012 Fix: футер SPA — ссылки Swagger UI/OpenAPI через BASE_URL (битые под /pdf-converter/), dev-прокси для документации 2026-10-15 21:42:48 +00:00
pjandro 7193ba19be Merge pull request 'Fix: @SecurityScheme in=HEADER — Swagger UI не клал ключ в заголовок' (#5) from fix/security-scheme-in-header into main
Reviewed-on: #5
2026-10-16 00:26:29 +03:00
Pjandro f83703286c Fix: @SecurityScheme in=HEADER — Swagger UI не клал ключ в заголовок
При правке apiKeyName→paramName строка in = SecuritySchemeIn.HEADER была
срезана; в спеке apiKey-схема осталась без обязательного in — Swagger UI
не знал, куда положить ключ, и «Try it out» слал запросы без X-API-Key
(401; обнаружено браузерным E2E на проде после мержа #4). Тест
docsOpenWithoutKey теперь пинит in == header (прежних assert type+name
не хватало ровно на это). Локальный E2E (jar + браузер): запрос с
x-api-key, ответ 200.
2026-10-15 21:25:36 +00:00
pjandro 5ef4fa1a22 Merge pull request 'Fix: Swagger UI/OpenAPI под префиксом /pdf-converter, документация открыта без ключа' (#4) from fix/swagger-ui-base-path into main
Reviewed-on: #4
2026-10-16 00:17:03 +03:00
Pjandro c7dec86b54 Fix: Swagger UI/OpenAPI под префиксом /pdf-converter, документация открыта без ключа
Прод (наружный nginx срезает /pdf-converter/): springdoc генерировал
абсолютные URL от корня хоста — пути до /v3/api-docs и swagger-ui битые.
server.forward-headers-strategy=framework + X-Forwarded-* (добавляет
наружный nginx) дают server https://pjandro.ru/pdf-converter и configUrl
с префиксом; 'native'-клапан Tomcat X-Forwarded-Prefix не понимает.

ApiKeyFilter: матч по пути без forwarded-contextPath (под префиксным
заголовком getRequestURI() включает префикс — HEALTHCHECK получил бы 401)
+ открытые без ключа /swagger-ui* и /v3/api-docs* (браузер не может
положить ключ в заголовок при загрузке UI; /api/** под ключом).
OpenApiConfig: @SecurityScheme X-API-Key — кнопка Authorize в UI,
@SecurityRequirement на convert — «Try it out» с ключом.
springdoc.swagger-ui.persist-authorization=true.

Регрессии: ApiKeyFilterTest#docsOpenWithoutKey,
#forwardedPrefix_healthStaysOpen, #forwardedPrefix_docsOpenWithoutKey
(вместо удалённого openApiRequiresKey). AGENTS.md синхронизирован.
2026-10-15 21:13:42 +00:00
pjandro 05e3789358 Merge pull request 'Fix: поддержка strict-OOXML (.docx в ISO 29500 strict)' (#3) from fix/strict-ooxml-support into main
Reviewed-on: #3
2026-10-15 23:53:23 +03:00
Pjandro 2af4db90f6 Fix: поддержка strict-OOXML (.docx в ISO 29500 strict)
Word в strict пишет проценты строками (a:shade val="50%",
w14:fillToRect w14:t="130%") и w:start/w:end вместо w:left/w:right —
JAXB-разбор docx4j падает на NumberFormatException (в mc-preprocessor.xslt
ветка % закомментирована, start/end не маппятся). Новый байтовый
StrictOoxmlNormalizer первым в цепочке нормализаторов приводит strict к
transitional-байту; mc-preprocessor доделывает namespaces и pt.

- StrictOoxmlNormalizer: %-атрибуты a:/w14:fillToRect -> тысячные (x1000),
  текст wp14:pctWidth/pctHeight, элементы/атрибуты w:start/w:end ->
  w:left/w:right (кроме w:lvl/w:start в numbering.xml), значения start/end
  у w:jc/w:tab; transitional-документы — no-op (assertSame)
- WordPdfValidator: lightweight-путь читает атрибуты по локальному имени
  (attrLocal) — иначе в strict не засчитываются w:br type="page";
  pageCountOf при провале JAXB-разбора бросает ConversionException вместо NPE
- тесты: StrictOoxmlNormalizerTest (13), регрессии
  strictOoxml_convertsNotRejected (in-memory strict-zip),
  pageCount_strictBreaksCountedLightweight; AGENTS.md обновлён

Реальный develop/openxml.docx: 11 страниц как в эталоне Word, диаграммы
и SmartArt рендерятся. mvn clean verify: core 104 + app 20, BUILD SUCCESS.
2026-10-15 20:52:20 +00:00
Pjandro bd9b4751bf Update AGENTS.md 2026-10-14 22:48:26 +00:00
ai bd390c4ecd Merge pull request 'Docs: перегенерация AGENTS.md аудитом кода' (#2) from docs/regenerate-agents-md into main
Reviewed-on: #2
2026-10-15 01:20:19 +03:00
Pjandro f5e6838cbe Docs: AGENTS.md перегенерирован аудитом кода — исправлены опровергнутые утверждения (self-map Noto, Calibri Light, public WordPdfApplication, автозаголовок круговых, удаление упавшего рендера), добавлены неучтённые детали (константы пейнтеров, маппинг 400 для MissingServletRequest*, plugin-версии, README устарел шире Docker-секции, proxy_read_timeout только в проде, архив стека 88.14, vite.local.config.ts, числа тестов 13/109) 2026-10-14 22:17:04 +00:00
Pjandro 831a3cb7fe Docs: AGENTS.md без координат прода — детали в DEPLOY.md вне репо; DEPLOY.md в .gitignore (репо готовится к паблику) 2026-10-14 21:29:31 +00:00
Pjandro a5acf82312 Update AGENTS.md 2026-10-14 20:49:51 +00:00
Pjandro dfdcb5124d Chore: рабочие материалы и эталоны — в develop/ (вне git); .gitignore без упоминаний локальных артефактов 2026-10-14 17:30:36 +00:00
Pjandro c8a45d84c5 Docs: AGENTS.md и README под байтовый API, ключ и два режима запуска 2026-10-14 01:50:51 +00:00
Pjandro e3363319d3 Деплой: прод fail-closed с ключом, dev-стенд, шлюз с префиксом
docker-compose.yml: WORDPDF_API_KEY обязателен (:? — без ключа стек не
поднимется), springdoc выключен env'ами, nginx client_max_body_size 100m;
docker-compose.dev.yml — стенд без ключа на 127.0.0.1:9011 со springdoc;
gateway/nginx.conf — единственный вход; SPA base через ARG VITE_BASE;
.env.example — шаблон ключа и лимитов. .gitignore: +.codegraph/,
+references/convert.pdf.
2026-10-14 01:50:47 +00:00
Pjandro 4634c0c5aa SPA: экран ввода ключа и сборка под префиксом /pdf-converter/
ApiKeyGate: ключ в localStorage (wordpdf.api.key), при 401 очищается и
форма открывается заново; заголовок X-API-Key подставляет только api.ts.
base сборки — env VITE_BASE (дефолт '/'); vite.local.config.ts — локальный
прогон без прод-префикса.
2026-10-14 01:50:40 +00:00
Pjandro 25ed56bf20 API: ключ доступа X-API-Key и серверные лимиты входа
ApiKeyFilter — единственная граница доступа: сверяет X-API-Key со
свойством wordpdf.api-key (env WORDPDF_API_KEY, MessageDigest.isEqual);
пустое свойство = аутентификация выключена; /actuator/** открыт для
HEALTHCHECK; 401 отдаёт сам фильтр. Лимиты входа задаёт только
конфигурация сервера (wordpdf.max-bytes/max-pages, env
WORDPDF_MAX_BYTES/WORDPDF_MAX_PAGES, @Value с дефолтом-SpEL из констант
ядра; <=0 — падение на старте), параметрами запроса не переопределяются
(регрессии requestLimitParams_areIgnored, nonPositiveLimits_failStartup).
Конвертация — байты насквозь; опции рисования из запроса → ConvertOptions.
2026-10-14 01:50:35 +00:00
Pjandro 0a411a944b Ядро: байтовый API, лимиты и опции рисования как параметры
WordPdfConverter/WordPdfValidator: вход и выход только byte[] (файловые
перегрузки убраны). Дефолты лимитов — в WordPdfSettings (20 МиБ/1000
страниц), переопределяются на вызове через ConvertOptions (лимиты,
renderCharts/renderSmartArt); DrawingPreRenderer пропускает выключенные
рисунки ранним continue.
2026-10-14 01:50:25 +00:00
Pjandro 8c390104d2 Замена wordpdf-cli на Spring Boot REST API: wordpdf-app, SPA wordpdf-web, docker-compose 2026-10-13 16:38:18 +00:00
Pjandro aec4dbffe7 Валидатор: лимиты 5 МиБ и 100 страниц, отказ до рендера и без артефактов
- WordPdfValidator (новый): MAX_INPUT_BYTES/MAX_PAGES, три нижние оценки
  страниц (кэш app.xml недостоверен — реальный кейс <Pages>1</Pages> при
  110 маркерах lastRenderedPageBreak); lightweight zip/StAX-путь.
- convert(Path,Path): неполный PDF удаляется при отказе, но только если
  поток вывода реально открылся (чужой read-only файл не стирается);
  checkPageCount внутри try — finally чистит temp-файлы шрифтов.
- lightweight: continuous-секции не считаются страницами; w:type —
  дочерний элемент, классификация на закрытии sectPr; мёртвый
  атрибутный перегруз startsNewPage удалён.
- Фикстуры too-many-pages.docx (151 страница) и stale-cache.docx
  (кэш 1 при 110 маркерах) + регрессии tooManyPages,
  staleCachePageCountRejectedBeforeRender, inputTooLarge,
  oversizedInputReturnsError, pageCount_continuousSectionsNotCountedLightweight.
- SampleDocxGenerator: точный поиск <w:t (не матчить <w:tbl/<w:tc),
  константа STALE_CACHE_UNMARKED_RUNS вместо литерала.
- AGENTS.md переписан; .gitignore += /diff/ и /word-export.*.

mvn clean verify: 95/95; fat-jar проверен java -jar (код 0/2, артефактов нет).
2026-10-13 15:29:23 +00:00
Pjandro ae31f27a27 Экзотические глифы: решётка «#» вместо .notdef
Знак без глифа в шрифте ранa FOP рисовал .notdef — в эталонном
references/word.docx таких оставалось 28.

- Noto Naskh Arabic и Noto Sans Armenian (SIL OFL, 278 КБ) в бандле:
  FontFallback.selectCovering перебирает весь реестр PhysicalFonts и
  находит их сам — арабские дополнения и армянские Unicode 16 рисуются
  без нашего кода.
- GlyphCoverageNormalizer режет ран по покрытию глифов и пишет семейство
  в w:rFonts. Нужен из-за двух дыр docx4j: needsCoverage=false для
  «латинской» группы (римские цифры U+2150–U+218F) и кэш fallbackByScript
  на всю группу Юникода (армянские U+058D/U+058E получали DejaVu Serif).
- FopFallbackFonts.declare декларирует все бандл-семейства: FOP встраивает
  только задекларированные, а font-family в FO может запросить любое.

В эталоне осталось 2 решёток: U+2188 и U+218A есть только в GNU FreeSerif
(GPL-3+ с Font Exception), которого в бандле нет намеренно.
2026-10-05 22:29:10 +00:00
Pjandro 0c10bae3cf docx4j 11.5.3 -> 17.3.0: формулы OMML, колонки и постобработка XSL-FO
17.x приносит WordLayoutFixups (постобработка DOM XSL-FO: columnBreaks,
lineBoxAttributes, stripHints и др.) и jeuclid-fop, поэтому начинают
работать две вещи, которых не было: формулы m:oMath (на стр. 4 эталона
формула молча исчезала) и w:cols/@w:num (две колонки на стр. 9-11).
Сходимость текста references/word.docx с экспортом Word 0,848 -> 0,981,
средний постраничный пиксельный diff 10,5% -> 7,4%.

Что пришлось починить по пути:

* docx4j навешивает на fo:inline fox:gsub-features, не объявляя префикс
  fox. FO становится некорректным XML, WordLayoutFixups не парсит его и
  молча отказывается от всех фикс, а оставленный хинт docx4j-baseline
  отвергает уже FOP. Отключаем генерацию через
  docx4j.convert.out.fo.gsubFeatures=false.

* FOP теперь форк org.docx4j:docx4j-fo-renderer*, и его
  META-INF/services/org.apache.fop.fo.ElementMapping лежит ещё и в
  docx4j-export-fo: в fat-jar без ServicesResourceTransformer второй файл
  перезаписывает первый, FOP не узнаёт namespace fo: и падает на
  UnknownXMLObj. Тесты этого не видят — они идут по classpath.

* addPhysicalFont не перезаписывает занятый ключ реестра: системный
  DejaVuSerif.ttf занимает «dejavu serif» и наш DejaVuSerif-Regular.ttf
  не регистрировался. BundledFonts.init() чистит реестр до регистрации.

* Fop.Renderers.getRenderer() теперь список w:renderer по mime —
  FopFallbackFonts ищет application/pdf.

Em-dash (U+2000-U+2EFF) остался на шрифте ранa, если в нём есть глиф —
так же делает Word (в references/word.pdf em-dash нарисован Calibri/Times,
DejaVu нет вообще), поэтому тест проверяет «вшитый шрифт, не Helvetica»,
а не конкретное семейство.
2026-10-05 21:48:23 +00:00
Pjandro 3ebb4780dd Поля страниц: PAGE/NUMPAGES пересчитываются, а не печатают кэш
Word записывает поле колонтитула как fldChar begin -> instrText "PAGE"
-> separate -> закэшированный результат -> end. Экспорт docx4j в XSL-FO
инструкцию внутри такого поля не видит и печатает кэш из docx: в
references/word.docx на всех страницах было «2» и «11/11».

FieldNormalizer разворачивает поле в w:fldSimple — его обрабатывает
FldSimpleWriter из docx4j-export-fo (PAGE -> fo:page-number, есть также
NUMPAGES/SECTIONPAGES). Закэшированные ран сохраняются внутри поля: они
дают оформление. Штатный FieldsCombiner docx4j делает то же, но не
заходит внутрь w:sdt, а Word держит нумерацию именно в контентном
контроле «Page Numbers (Top of Page)» — отсюда нормализация байтов.

Переписываются только инструкции, для которых есть обработчик; поле без
separate/end и вложенные поля пропускаются.
2026-10-05 21:25:46 +00:00
Pjandro 660bc19da7 Символьные шрифты: Symbol/Wingdings -> Unicode (маркеры списков вместо «#»)
Word задаёт маркеры списков кодами из PUA (U+F0xx), а глиф выбирается по
имени шрифта. Экспорт docx4j в XSL-FO эти шрифты не знает: код уходит в
fallback-семейство, глифа там нет, FOP рисует .notdef — в PDF решётка «#».

SymbolFontNormalizer (шаг перед JAXB, как DocxOnOffNormalizer) меняет код
на Unicode, а имя шрифта — на DejaVu Sans. Таблица кодов — SymbolMapper из
docx4j 17.x, отфильтрована по наличию глифа в DejaVu; совпадение с экспортом
Word сверено по references/word.pdf. Обрабатываются w:lvl (numbering.xml),
w:r и w:sym — ран с w:sym разрезается, т.к. у символа собственный w:font.

В эталонном документе пропали все 19 решёток в маркированных списках
(− • ▪ ❖ ➢ ✓ ♥) и поправились два w:sym.
2026-10-05 21:10:36 +00:00
Pjandro 87c79d6776 references/: удалить Strict-эталон word-export.docx/pdf и упоминания из AGENTS.md 2026-10-05 20:22:18 +00:00
Pjandro cdc1d8968c AGENTS.md + references/: эталонные docx/pdf (Transitional и Strict OOXML) 2026-10-05 19:48:15 +00:00
Pjandro 076975885c Диаграммы и SmartArt: пре-рендер w:drawing в PNG (pie, line, surface3D)
docx2fo.xslt умеет только a:graphicData/pic:pic — для c:chart и dgm:relIds
там notImplemented, т.е. объект молча исчезал из PDF. Новый internal/chart
рендерит их своим Java2D-движком в PNG 300 dpi и подменяет на pic:pic
(шаг 3.5 в convertToStream: после setFontMapper, до FOSettings).

surface3D: седловая ячейка режется диагональю с большей суммой значений
(верхняя огибающая седла). При фиксированной w00–w11 второй треугольник
становится невидимой щепкой, а видимая грань окрашивается не той полосой.
2026-10-05 19:27:38 +00:00
Pjandro 2d446d783c Шрифты: restrictToBundled() чистит реестр PhysicalFonts от системных перед load()
Конструктор BundledFontMapper каждый раз заново обнаруживает системные
шрифты; на Windows найденный Calibri покрывает U+2000-U+2EFF, и
RunFontSelector оставляет em-dash на Carlito вместо fallback-DejaVu
(красный ruPlain_emDashEmbeddedNotHelvetica). Очистка реестра после
init() и до load() делает вывод одинаковым на любой ОС; шрифты,
встроенные в docx, регистрируются при load() и остаются в реестре.
2026-10-02 19:51:24 +00:00
Pjandro fe5c7c48b0 AGENTS.md: инструкции для OpenCode (сборка, тесты, шрифты, неочевидные детали) 2026-09-29 21:29:09 +00:00
Pjandro 76c251ddd9 docx→PDF конвертер на docx4j + FOP (без LibreOffice/Aspose)
- wordpdf-core: WordPdfConverter, встроенные TTF-шрифты (Carlito/Caladea/
  Arimo/Tinos/Cousine/DejaVu), BundledFontMapper с фолбэком в DejaVu
- нормализация w:val on/off (regular-раны не рендерятся жирным курсивом)
- символы U+2000–U+2EFF (em-dash) встраиваются через DejaVu, а не
  системным неembedded-шрифтом
- wordpdf-cli: fat-jar CLI (один/несколько docx, явный выходной файл)
- тесты (docx4j/FOP/PDFBox/POI), README
2026-09-23 17:54:54 +00:00