11 Commits

Include renames

Author	SHA1	Message	Date
arcodangeandClaude Opus 5	d4edf66ff5	Prometheus quitte pi1 pour pi3 : son volume y avait perdu son journal ext4 le même jour que MinIO ... Le 14/09 à 05:16Z, le volume `prometheus-server` (moteur sur pi1, une réplique sur pi2 saturé en mémoire) a vu ext4 abandonner son journal et remonter en lecture seule. Prometheus a échoué à écrire son WAL pendant 27 h, puis panique en boucle (« Unable to create mmap-ed active query log ») depuis que la sonde de vivacité l'a redémarré. Un redémarrage de conteneur ne démonte pas le volume. Affinité requise `NotIn [pi2]` et préférence forte pour pi3 : recréé sur un autre nœud, le volume est détaché puis rattaché, et ext4 rejoue son journal. Sur le même nœud, le pod neuf pourrait réutiliser le montage de staging mort. Refs arcodange-org/tools#49 Co-Authored-By: Claude Opus 5 <[email protected]>	2026-09-15 11:41:22 +02:00
arcodange	e32faa3c77	Vault est resté scellé onze jours en silence, et c'était le pod le plus faible du cluster (#46) ... Co-authored-by: Gabriel Radureau <[email protected]>	2026-09-11 14:51:24 +02:00
arcodangeandClaude Opus 5	dc48d48c1b	Un veilleur hors de Prometheus, pour que son silence cesse de ressembler au bon fonctionnement (#39) ... Un CronJob toutes les 5 minutes interroge Prometheus depuis dehors et pousse lui-même sur Telegram. Il couvre les trois morts, dont celle qui est arrivée : répondre parfaitement en n'enregistrant rien. Éprouvé en vrai sur le cluster : 187 s entre la panne armée et le message accepté par Telegram, mesuré deux fois. Contre 4620 minutes de silence réel. Ferme #36. Co-Authored-By: Claude Opus 5 <[email protected]> Co-authored-by: Gabriel Radureau <[email protected]>	2026-09-07 10:55:16 +02:00
arcodangeandClaude Fable 5	347ebee1b0	feat(observabilité) — jobs d'analyse Kadans : scrape du worker LAPTOP + dashboard Grafana ... - prometheus : cible statique kadans-worker-mac (192.168.1.103:9105, tier laptop). Un scrape raté n'est PAS un incident : le Mac dort, up==0 raconte la latence — ne pas alerter dessus. ⚠ réserver l'IP au routeur (DHCP). - grafana : provider + dashboard « Kadans — jobs d'analyse » (uid kadans-jobs-analyse) : worker en écoute / dernier poll / file pending + âge du plus ancien (seuils 1 h / 24 h = le SLO), file par statut et publications par issue (couleurs de STATUT sémantiques), lanes exécutées et durée moyenne par lane. La façade, elle, arrive par les annotations de son pod (kadans-jobs#3) — zéro config ici. Co-Authored-By: Claude Fable 5 <[email protected]>	2026-07-24 21:17:06 +02:00
arcodangeandClaude Fable 5	6f398f4ddc	feat(alerting): 5e règle homelab — CertificatNonRenouvele (<4 h restantes) ... Les 4 premières règles n'auraient rien vu le matin du 2026-07-24 : nœuds up, traefik up… mais wildcard 24 h expiré (renouvellement en échec silencieux depuis des heures). certmanager_certificate_expiration_timestamp_seconds est déjà scrapée (vérifié live : 2 séries). Cert-manager renouvelle à ~16 h d'âge ; <4 h restantes = plusieurs cycles ratés → critical, 15 min de grâce. Co-Authored-By: Claude Fable 5 <[email protected]>	2026-07-24 10:17:18 +02:00
arcodangeandClaude Fable 5	b9626d878b	feat(alerting): groupe homelab — alerté quand (ou juste avant que) le lab tombe ... Incident 2026-07-23 : un build CI sans limites a épuisé la RAM de pi1 (0 swap), load15 >100, traefik + apiserver affamés → tout *.arcodange.lab injoignable, Gitea compris (pourtant sain sur pi2). Personne n'est prévenu : on subit. Quatre règles, livrées par la chaîne Telegram déjà en place (testée live) : - NoeudInjoignable (critical) : node-exporter muet 3 min — nœud down ou noyé. - IngressLabIndisponible (critical) : 0 replica traefik dispo, ou métrique absente (kube-state-metrics vit sur pi1) — *.arcodange.lab est HS. - NoeudPressionMemoire (warning) : <500 Mo dispo 5 min — le précurseur exact de l'incident, déclenche avant le thrash. - NoeudEnSurcharge (warning) : load15 >8 pendant 10 min. Exprs validées contre le Prometheus live (parse + match) : pendant la rédaction, IngressLabIndisponible et NoeudEnSurcharge matchaient l'incident en cours. Prometheus (pi3) et Alertmanager (pi2) survivent à la perte de pi1. Co-Authored-By: Claude Fable 5 <[email protected]>	2026-07-24 00:12:37 +02:00
arcodangeandClaude Opus 4.8	8e236230d3	fix(alerting): alerte fiable sur l'échec de la vidéo quotidienne du brief ... ProspectionBriefNotSent (pushed==0, severity info) ne couvrait que la livraison et déclenchait à tort quand l'étape brief était volontairement sautée (metrics.py émet brief_rendered=0 aussi sur skip — seul step_status{step="brief"} distingue skip(2) d'erreur(0)). Remplacé par deux règles warning, gardées contre le skip : - ProspectionBriefFailed : rendered==0 AND step_status{brief}!=2 → la PRODUCTION de la vidéo a échoué (TTS/ffmpeg/PIL ou erreur amont) ; - ProspectionBriefNotSent : pushed==0 AND rendered==1 → vidéo produite mais PAS livrée sur Telegram (token/chat_id/API). Expressions validées en live sur Prometheus (match on(job) prouvé par requête témoin, les deux exprs vides sur l'état sain du jour). En-tête du groupe mis à jour : la livraison AM→Telegram est câblée et testée. Co-Authored-By: Claude Opus 4.8 <[email protected]>	2026-07-23 22:05:45 +02:00
arcodangeandClaude Opus 4.8	4005d89c0c	fix(alerting): VaultAuth Telegram exige vaultConnectionRef dans le ns tools ... VSO refuse un VaultAuth sans vaultConnectionRef dans le ns tools (« vaultConnectionRef must be set on resources in the "tools" namespace »), contrairement au ns prospection qui hérite d'une connexion par défaut. On référence la VaultConnection `default` déjà présente dans tools. Sans ça, le Secret alertmanager-telegram n'est jamais synchronisé et le pod Alertmanager reste bloqué sur le montage manquant. Co-Authored-By: Claude Opus 4.8 <[email protected]>	2026-07-08 23:23:07 +02:00
arcodangeandClaude Opus 4.8	714e2bc2ab	feat(alerting): livraison Telegram des alertes via Alertmanager ... Les règles d'alerte `prospection` s'évaluaient déjà dans Prometheus mais ne notifiaient nulle part. On câble Alertmanager pour livrer les alertes sur le bot Telegram de prospection, via `telegram_configs` natif d'Alertmanager. - iac Vault : policy read-only `alertmanager-telegram` sur kvv2/data/prospection/telegram + rôle k8s `alertmanager` (SA prometheus-alertmanager, ns tools). - VSO : VaultAuth + VaultStaticSecret resynchronisent kvv2/prospection/telegram vers un Secret `alertmanager-telegram` dans le ns tools (le Secret prospection est namespace-scoped, non réutilisable). rolloutRestartTargets sur le StatefulSet Alertmanager. - prometheus values : lien server -> Alertmanager (prometheus-alertmanager:9093), route + receiver `telegram` (bot_token_file monté, chat_id inline, parse_mode HTML, send_resolved), et montage du Secret via extraSecretMounts. Additif : ni grafana ni les règles d'alerte existantes ne sont touchés. Co-Authored-By: Claude Opus 4.8 <[email protected]>	2026-07-08 23:20:00 +02:00
arcodangeandClaude Opus 4.8	e6fca752a2	feat(monitoring): dashboard Grafana + règles d'alerte prospection ... Consomme les métriques poussées par le pipeline prospection au Pushgateway (job=prospection, déjà scrapé). Additif — n'affecte aucun dashboard existant. - grafana : provider + dashboard « Prospection — pipeline BI missions » inliné (grafana.dashboards.prospection, json) — vue d'ensemble (fraîcheur/statut/durée/ erreurs/missions/score), collecte par étape (table + historique), modèle de données (opportunités A/B, offres/entités), livraison (brief/Telegram) + panneau Alertes actives. Inline plutôt que ConfigMap externe : grafana est déployé via un HelmChart CRD (tool lib), l'inline évite toute hypothèse de namespace. - prometheus : groupe d'alertes `prospection` (serverFiles.alerting_rules.yml) — RunStale (>25h), RunFailed, StepError, NoOffers, BriefNotSent. NB : la livraison des alertes (Alertmanager → Telegram) n'est pas câblée dans le cluster (server.alertmanagers vide, aucun receiver) ; les règles restent visibles dans Prometheus /alerts + le dashboard. Câblage delivery = décision séparée. Co-Authored-By: Claude Opus 4.8 <[email protected]>	2026-07-08 19:52:29 +02:00
arcodange	a762c8f90f	deploy prometheus	2026-03-18 16:21:31 +01:00