fix(email-ingest): extraction testable et pinnée au golden set + adc-008
L'extraction de champs vivait dans un heredoc à l'intérieur d'email-inspect.sh : impossible à exécuter isolément, donc jamais mesurée, donc fausse sans que personne puisse le voir. Sur la facture Darnis F1048 elle renvoyait le numéro de TVA d'Arcodange comme référence de facture, et aucune date. - extract_fields.py : l'extraction sort du shell et devient un module. - test_extract.py : régression contre les 16 factures hand-vérifiées de fleet/golden/invoice-extract/. Score par champ, et une valeur FAUSSE pèse plus qu'une valeur absente — un humain recopie ce qui s'affiche. Valeurs fausses : 4 → 0. Exactitude ref 62,5 → 75 %, date 62,5 → 75 %, HT 68,8 → 75 %, TTC 81,2 → 93,8 %. Cinq bugs réels, dont trois invisibles sans test : - « Nº » sur les factures françaises est U+00BA (ordinal masculin), pas le signe degré. La classe [°o] le rate, le motif principal échoue, et le repli attrape le premier jeton ref-shaped du document — très souvent un numéro de TVA. - Le filtre anti-TVA rejetait « FR73261832 », qui est la vraie référence OVH : un numéro FR fait exactement 11 caractères après le préfixe. - « Montant total (HT) » était lu comme un TTC. - Une référence coupée par la colonne (« 06-01-26- » / « payment-366753 ») était renvoyée amputée : le recollage doit précéder le scan, sinon la queue seule est trouvée en premier. - Un `\b` après `€` ne peut jamais matcher en fin de ligne (€ n'est pas un caractère de mot) — la TVA n'était jamais extraite. adc-008 : une facture fournisseur s'enregistre à SA date, même future, tant que l'exercice (année civile) ne bascule pas. Le document fait foi ; altérer sa date ferait diverger l'écriture de sa pièce justificative (CGI art. 289 VII). Registre validé : 8 règles, 8 ADC, 0 erreur. scopes.ts : 1232 (factures fournisseur) ajouté à prod-write — oubli initial, révélé par un 403 en production sur F1048. Le pipeline s'est arrêté sans écrire. Appliqué en production via le pipeline gated : FAF2026014 (Darnis F1048), 218,50 HT + 43,70 TVA = 262,20 TTC, validée, non réglée. Co-Authored-By: Claude Opus 5 (1M context) <[email protected]> Claude-Session: https://claude.ai/code/session_01VRShc4QhLLU73FLHx9vskh
This commit is contained in:
@@ -115,7 +115,7 @@ if [[ -n "${SAVE_PDF_DIR}" ]]; then
|
||||
fi
|
||||
|
||||
# 5. Heuristic extract + render
|
||||
python3 - "${WORK}" "${FMT}" <<'PY'
|
||||
EXTRACT_DIR="${SCRIPT_DIR}" python3 - "${WORK}" "${FMT}" <<'PY'
|
||||
import json, sys, os, re, datetime, glob
|
||||
work, fmt = sys.argv[1:3]
|
||||
|
||||
@@ -158,42 +158,18 @@ def extract(text):
|
||||
if v is not None: return f"{v:.2f}"
|
||||
return None
|
||||
|
||||
out["total_ht"] = first_amount(r'(?:total\s*ht|montant\s*ht|net\s*amount|subtotal)[^\d-]*([\d \.,]+)')
|
||||
# TVA: require currency suffix to avoid matching VAT-number digits
|
||||
out["total_tva"] = first_amount(r'(?:tva|vat)[^\d-]*([\d \.,]+)\s*(?:€|eur)\b')
|
||||
out["total_ttc"] = first_amount(r'(?:total\s*ttc|amount\s*due|total\s*due|grand\s*total|montant\s*total|amount\s*paid)[^\d-]*([\d \.,]+)')
|
||||
|
||||
# Invoice ref — must contain a digit (filters "umber", "Invoice", etc.)
|
||||
m = re.search(r'(?:facture|invoice|receipt|reçu)\s*(?:n[°o]?|number|#|:)\s*([A-Za-z0-9][\w\d/-]{2,})', text, re.IGNORECASE)
|
||||
if m and any(c.isdigit() for c in m.group(1)):
|
||||
out["invoice_ref"] = m.group(1)
|
||||
else:
|
||||
# Fallback: any reasonable ref-shaped token after "Invoice" / "Facture" header
|
||||
m = re.search(r'\b([A-Z]{2,}[-/]?\d[\w\d/-]{2,})\b', text)
|
||||
out["invoice_ref"] = m.group(1) if m else None
|
||||
|
||||
# Invoice date — try ISO, French DD/MM/YYYY, English MM/DD/YYYY, French long form
|
||||
out["invoice_date_raw"] = None
|
||||
for p in (
|
||||
r'\b(\d{4}-\d{2}-\d{2})\b',
|
||||
r'(?:date|émise\s*le|invoice\s*date|date\s*de\s*facturation)[:\s]*(\d{1,2}[\s/.-]\d{1,2}[\s/.-]\d{2,4})',
|
||||
r'(?:date|émise\s*le|invoice\s*date)[:\s]*(\d{1,2}\s+\w{3,9}\.?\s+\d{4})',
|
||||
):
|
||||
m = re.search(p, text, re.IGNORECASE)
|
||||
if m: out["invoice_date_raw"] = m.group(1).strip(); break
|
||||
|
||||
# VAT rate (e.g. "20%") — restrict to 0-25% so "100%" / page footers don't match.
|
||||
vrate = None
|
||||
for line in lines:
|
||||
m = re.search(r'\b(\d{1,2}([.,]\d+)?)\s*%', line)
|
||||
if m:
|
||||
v = float(m.group(1).replace(",", "."))
|
||||
if 0 <= v <= 25:
|
||||
vrate = m.group(1).replace(",", "."); break
|
||||
out["vat_rate_pct"] = vrate
|
||||
|
||||
# Extraction déléguée au module testé (extract_fields.py), pinné par
|
||||
# test_extract.py contre les 16 factures du golden set erp#39. L'ancienne
|
||||
# version inline n'était pas exécutable isolément, donc jamais mesurée :
|
||||
# elle renvoyait le n° de TVA d'Arcodange comme référence de facture.
|
||||
# `python3 -` reads from stdin, so __file__ does not exist here: the shell
|
||||
# passes the module's directory in EXTRACT_DIR.
|
||||
sys.path.insert(0, os.environ["EXTRACT_DIR"])
|
||||
from extract_fields import extract as _extract
|
||||
out.update(_extract(text))
|
||||
return out
|
||||
|
||||
|
||||
pdfs = []
|
||||
for pdf in sorted(glob.glob(os.path.join(work,"atts","*.pdf")) +
|
||||
glob.glob(os.path.join(work,"atts","*.PDF"))):
|
||||
|
||||
Reference in New Issue
Block a user