belegbench 0.1.0

BelegBench — Benchmark für die Extraktion Schweizer QR-Rechnungen (100 % synthetisch, DE/FR/IT)

BelegBench

🇨🇭 Schweiz · 🇩🇪 DE · 🇫🇷 FR · 🇮🇹 IT · 🇦🇹 AT

BelegBench ist der Benchmark hinter Belegant-4B — der Schweizer On-Prem Beleg-AI. Von den Machern von German-OCR.

Benchmark für die Extraktion Schweizer QR-Rechnungen — 100 % synthetisch, DE / FR / IT.

Bisher gab es kein öffentliches Benchmark für Schweizer QR-Rechnungen mit CH-Spezifika (QR-IBAN, QR-Referenz, MWST 8.1 / 2.6 / 3.8 %, CHE-UID, Apostroph-Tausender). BelegBench schliesst die Lücke — inkl. der Metrik, die für Treuhänder zählt: Halluzinationsrate.

Ergebnisse (v1, n = 300, fairer 4B-Vergleich)

Modell	Field-EM	Halluzinationsrate	Parse-Fehler
Belegant-4B	84.7 %	0.0 %	3/300
Qwen3.5-4B (roh)	75.8 %	1.2 %	15/100
gemma3:4b (roh)	16.5 %	15.9 %	76/100

Trilingual: FR 81.4 %, IT 83.0 %. Viral-Grafik: belegbench/viral_table.html.

Datensatz generieren

python -m belegbench.generate.build_dataset --n 300            # sauber
python -m belegbench.generate.build_dataset --n 300 --degrade  # + Scan-Degradation (Treuhänder-Look)

qrbill → HTML-Templates → WeasyPrint → PNG, prüfsummen-korrekt (jede IBAN / Referenz / UID besteht python-stdnum und schwifty), mit echtem scannbarem Swiss-QR. 100 % synthetisch = kein Datenschutzproblem — selbst ein Verkaufsargument.

Benchmark laufen lassen

python belegbench/run_eval.py --model belegant-4b --mode belegant --n 300

Metriken: Field-Level Exact Match, Halluzinationsrate, checksummen-validierte Accuracy, Verify-Catch-Rate, Latenz.

Lizenz

Apache-2.0 · von den Machern von German-OCR