MinIO tournait sans une seule sonde — trois jours de panne invisible #32

Merged

arcodange merged 2 commits from arcodange/minio-sonde-ecriture into main 2026-09-03 00:26:42 +02:00

Conversation 0 Commits 2 Files Changed 11

+415 -83

2 Commits

Author	SHA1	Message	Date
arcodange	6913e5da04	Huit charts sur dix n'étaient JAMAIS construits, et leurs PR étaient vertes ... Trouvé en refusant de lire le vert de cette PR : elle réécrit le chart `minio` en entier, et la CI a rendu `success` avec « Detect changed charts » ✓ et les deux jobs de construction en `Skipped`. Aucun job `Application charts minio` n'existait. La cause : Gitea ne sait pas monter une matrice DYNAMIQUE, donc la matrice est codée en dur — `chart: [tool]` et `chart: [pgcat]`. Le job `filter-chart` calcule POURTANT la bonne réponse ; personne ne la consomme. Le `if:` vérifie seulement si le chart codé en dur figure dans la liste détectée. Résultat mesuré : 10 charts dans le dépôt, 2 constructibles. `minio`, `redis`, `crowdsec`, `hashicorp-vault`, `grafana`, `prometheus`, `pgbouncer` et `chart` ne passaient sous aucun `helm template`, et toute PR qui les touchait affichait vert. Le remède ne demande PAS de matrice dynamique : le `if:` filtre déjà sur la sortie du détecteur, donc un chart non modifié reste `Skipped`. Il ne manquait que l'ÉNUMÉRATION — les neuf applicatifs sont désormais listés. ⚠ Le mode d'échec de ce fichier est maintenant écrit dedans : ajouter un chart au dépôt sans l'ajouter à la liste le rend invisible à la CI, en silence.	2026-09-03 00:25:11 +02:00
arcodange	ffd52ba5ab	MinIO tournait sans une seule sonde — trois jours de panne invisible ... Le 29 août à 17 h 54, ext4 a abandonné son journal sous MinIO (`comm minio: Detected aborted journal`), après que les répliques Longhorn se soient perdues de vue sur le réseau. Toute écriture rendait `EIO`. Longhorn s'est rétabli TOUT SEUL le 30 août à 11 h 50. Mais un journal ext4 abandonné ne se répare jamais seul : il le reste jusqu'au démontage. MinIO est donc resté assis sur un montage mort DEUX JOURS APRÈS la réparation du stockage, pendant que Longhorn (`healthy`), les répliques (`RW`), les nœuds, ArgoCD (`Synced, Healthy`) et le pod (`1/1 Running`, `0 restart`) affichaient tous vert. Le remède a été un `scale --replicas=0` : « insufficient » dans les journaux, 6126 → 0. Le pod ne redémarre pas quand son système de fichiers meurt : le processus vit, et c'est tout ce que Kubernetes regardait — faute de sonde. ⚠⚠ Et ce n'était pas un oubli de configuration : LE CHART OFFICIEL `minio/minio` N'OFFRE AUCUNE SONDE, dans aucune de ses versions (5.4.0 est la dernière). Pas une clé `livenessProbe` dans ses valeurs, pas un rendu de sonde dans ses templates. Il n'existe aucun moyen de greffer une sonde sur le Deployment d'un sous-chart depuis un chart parent : on rend donc les manifestes nous-mêmes. SABOTAGE RELEVÉ (MinIO jetable, quatre disques, LES DEUX MOITIÉS DANS LE MÊME POD, même image) : | état du magasin | /health/live | /health/cluster | |-------------------------|--------------|-----------------| | 4 disques sains | 200 | **200** | | quorum d'écriture perdu | **200** | **503** | `format.json` de deux disques sur quatre écrasé ; bascule de `cluster` entre t+20 s et t+40 s ; `live` n'a JAMAIS bougé. C'est exactement pourquoi la panne était invisible — et pourquoi la sonde vise `cluster`, pas `live`. Ce que le lot change d'autre, délibérément : - `RollingUpdate (maxSurge 100%)` → `Recreate` : le volume est ReadWriteOnce, un roulement laissait le second pod en `Multi-Attach error` jusqu'au timeout - `MINIO_PROMETHEUS_AUTH_TYPE` était déclaré DEUX FOIS (kubectl le signalait à chaque application) - le `post-job` et son ConfigMap de 25 Ko disparaissent : `buckets` était vide et le ConfigMap n'était monté par AUCUN conteneur (vérifié sur le Deployment vivant avant de le retirer) - plus aucune dépendance Helm : un point de panne distant en moins sur le chemin de synchronisation du stockage objet ⚠ Le PVC est l'objet dangereux de ce lot : ne pas le rendre ici l'aurait fait ÉLAGUER par ArgoCD, avec les vidéos dedans. Il est rendu à l'identique (son `spec` ne bouge pas d'un champ, vérifié par `kubectl diff`), sans `volumeName` — que le contrôleur pose lui-même — et porte `Prune=false` en ceinture. Vérifications, codes relevés : - `helm template` : code 0, 10 objets (les 11 d'ArgoCD moins le ConfigMap) - `kubectl apply --dry-run=server` : code 0, les 10 en `configured`, aucun en `created`, aucune violation de champ immuable - `kubectl diff` : le `spec` du PVC intact, les `selector` et ports des deux Services identiques Refs: arcodange-org/tools#31	2026-09-03 00:21:42 +02:00