手書き納品書を、
コンピューターが読み取るしくみ

本機能は「幾何補正・仕入先判定（本リポジトリ takahashi/services/ocr_ingest）」と 「手書きOCR＋検証（外部ライブラリ ocr-form-kit）」の2層構成です。 全工程に共通する設計判断は 剛体変換のみ（透視補正をしない） こと。 平台スキャンに透視歪みは無いという前提に立ち、回転＋等方スケール＋平行移動だけで扱います。

パイプライン全体

PDF ──300dpi レンダリング (PyMuPDF)
    → split_slips      緑台を背景に紙領域を連結成分で 1〜2 枚へ分割
    → deskew + crop     minAreaRect の4隅を (rw,rh) へアフィン写像（回転＋切抜きのみ）
    → BannerMatcher     社名バナーを SIFT 照合 → {仕入先, 回転, 確信度} を一括決定
    → 正立へ粗回転 (0/90/180/270)
    → FormRegistrar     仕入先の基準フォームへ相似整合 (estimateAffinePartial2D/RANSAC)
    → Slip(image, vendor, confidence, aligned, …)
    ── ここまで本リポジトリ (cv2/numpy/pymupdf, "ocr" extra) ──
    → ocr_form_kit.read(image, profile_dir)
        precropped CV 戦略  色×形で手書きを分離（長い直線=罫線を差し引く）
        → composite        手書きを白地へ再描画 + 明細を行ごとに展開 + ラベル付与
        → Gemini           合成画像を1コールで読取り
        → reconcile        qty×price==amount 等の検算 + needs_human 集約
    → records.purchase_record   日付(令和/西暦)・金額の正規化、レビュー理由の集約

1. 分割・正立（frontend.py）

段階	手法	要点
紙領域抽出	HSV 緑域 inRange → bitwise_not → open/close	緑台を除いた紙マスク。CLOSE で膨らんだ境界は切抜き時に ERODE で打ち消す
分割	connectedComponentsWithStats	ページ面積の 4% 以上の成分を左→右順で 1〜2 枚
デスキュー	minAreaRect 4隅 → getAffineTransform	画像全体を回さず矩形を正準枠へ直接写像。出力寸法が安定（角度依存のばらつき・はみ出し切れを排除）

2. 仕入先判定（BannerMatcher）

SIFT(nfeatures=1500) でロゴ見本（fiducials/<vendor>.png, git追跡・644）を照合。 estimateAffinePartial2D + RANSAC(reproj=5) の相似行列からインライア数＝確信度、 atan2(m10,m00) から回転角を読み、0/90/180/270 へスナップ。 しきい値 MIN_INLIERS=25（実測：正解 90〜186 / 他社 10〜18）。残差は skew として情報保持。

3. 基準整合（FormRegistrar）

SIFT(nfeatures=4000) で基準フォーム画像（デプロイ資産 var/ocr_profiles/<vendor>/reference.jpg）へ estimateAffinePartial2D/RANSAC(reproj=3) の相似変換でワープ。MIN_ALIGN_INLIERS=40 未満は 無変換で返し aligned=False（人手送りの判断材料）。 村山は黒ゴム印が整合を引っ張るため、整合特徴を彩度のある「フォーム色のみ」へ絞る（per-vendor）。 実測残差：阿部 ~0.1px / 村山 ~0.3px。出力画像にはゴム印・手書きをそのまま残す。

4. 手書き分離（precropped 戦略 / ocr-form-kit）

色相が罫線と手書きで共通のため色分離は不可。形で分離する： ink = (S>45) | (V<140) で色／暗インクを取り、長い 1D カーネル （幅/12 × 1 と 1 × 高/12）の MORPH_OPEN で長い罫線だけを取り出して減算。 短く曲がった手書きストロークだけが残る。

5. 合成画像（composite.py）

手書きのみを白地へ再描画（red-kill clean）→ 明細表を行ごとの帯へ explode（隣接行の文字混入を防止）→ 列ラベル・ROW n ラベル付与 → チェック印（○）／取り消し線（VOID）はインク被覆から決定的に判定。 様式依存（列・項目・ラベル・マーク列）は CompositeSpec としてプロファイルから導出するので、 レンダラ自体は様式非依存。

6. 読取りエンジン（Gemini）

合成画像を Google Gemini に1コールで渡し、profile-keyed なエンベロープ （fields / lines / marks / reconcile / preview_png / canonical_png / areas）を取得。 実測 ~9秒・~¥0.17/枚。FakeEngine でネットワーク無し回帰テスト可。

7. 正規化（records.py — 純ロジック・cv2非依存）

• 年号：4桁はそのまま。元号付き（令和7/R7）は明示換算。裸の1〜2桁は令和(2018+n)か西暦下2桁(2000+n)の曖昧があるため ref_year 近傍を採用（板倉=西暦下2桁、阿部=令和）。
• 金額：¥／円／カンマ／符号を除いた純数字のみ採用。読めなければ None＝未確定。
• 数量：生値を保持（"1set" を壊さない）し、先頭数値部のみ検算用に取り出す。
• レビュー理由：整合失敗／日付・合計未確定／reconcile の needs_human／占有行ありなのに明細ゼロ、等を集約。review_reasons が空でなければ人手送り。

構成・リポジトリ

役割	場所	追跡
分割／正立／整合／分類・正規化・オーケストレータ・CLI	takahashi/services/ocr_ingest/	git
OCRライブラリ＋precropped 戦略	ocr-form-kit（別repo, git rev 固定）	git（別）
仕入先プロファイル（基準画像/pptx/toml）	var/ocr_profiles/<vendor>/	非追跡（デプロイ資産）
社名バナー見本	fiducials/<vendor>.png	git（イメージ同梱）

パッケージ層：frontend（cv2：分割/正立/整合/分類）・records（純ロジック：正規化、cv2非依存で単体テスト可）・ orchestrator（cv2+OCR：PDF群→読取り→集約）。__init__ が重い名前を遅延importするため、 コアWebイメージは cv2 無しで起動でき、実OCRはアップロード処理内で遅延importする。

新様式オンボーディング（コード変更なし）

observe → calibrate（canonical基準像）→ pptx で role[.type]:name ラベル付き矩形を描く
        → overlay で枠の一致を目視 → <vendor>.profile.toml（CV戦略/しきい値/プロンプト/labels）を調整
        → var/ocr_profiles/<vendor>/ に reference + pptx + toml を配置
        → fiducials/<vendor>.png（社名バナー, 644）を追加 → 再ビルド

実行例

uv sync --extra ocr   # numpy/opencv/pymupdf + ocr-form-kit を1 venv に

# 分割/正立/分類のみ（OCRなし, 正立画像を書き出し）
python -m takahashi.services.ocr_ingest orient bin/docs/納品書*.pdf -o /tmp/out

# 取込: 分割→正立→OCR→仕入台帳向けレコード（JSON）
python -m takahashi.services.ocr_ingest ingest "bin/docs/納品書(板倉).pdf"   # 実 Gemini
python -m takahashi.services.ocr_ingest ingest bin/docs/*.pdf --fake          # ネット無し

※ 読み取り後の「仕入台帳への記帳」部分は本ページの対象外（別途設計中）。 本ページはスキャン→構造化データ→人手確認までの読み取りしくみを扱います。