Files
tools/.gitea/workflows/helmcharts.yaml
T
arcodange 88e0f5e862
Helm Charts / Library charts tool (pull_request) Skipped
Helm Charts / Application charts chart (pull_request) Skipped
Helm Charts / Application charts prometheus (pull_request) Failing after 7s
Helm Charts / Detect changed charts (pull_request) Successful in 19s
Helm Charts / Application charts crowdsec (pull_request) Skipped
Helm Charts / Application charts grafana (pull_request) Skipped
Helm Charts / Application charts hashicorp-vault (pull_request) Skipped
Helm Charts / Application charts minio (pull_request) Skipped
Helm Charts / Application charts pgbouncer (pull_request) Skipped
Helm Charts / Application charts pgcat (pull_request) Skipped
Helm Charts / Application charts redis (pull_request) Skipped
Prometheus n'a rien enregistré pendant 3 jours, et rien ne pouvait le dire
Du 2026-09-04 02:41 au 2026-09-07 07:37, le WAL de Prometheus était sur un
système de fichiers passé en lecture seule. Pendant 3 j 5 h il a continué de
scruter ses 23 cibles et de JETER le résultat. Les 11 règles d'alerte du dépôt
n'ont rien dit — elles vivent DANS ce Prometheus, elles évaluent des requêtes
contre le TSDB qui ne recevait plus rien, et sans échantillon frais une règle
ne se déclenche pas : elle SE TAIT. Sur Telegram, le silence d'une alerte est
indiscernable du bon fonctionnement.

⚠⚠ AJOUTER UNE RÈGLE « PROMETHEUS VA MAL » NE CORRIGE RIEN : elle serait muette
exactement quand il faudrait qu'elle parle. C'est le gate incapable d'échouer,
celui qui rassure. Ce lot pose donc un guetteur HORS de Prometheus.

Ce qui est livré
----------------
1. `prometheus/veilleur/veilleur.py` + un CronJob `*/5` (templates/veilleur.yaml,
   rendu tel quel par ArgoCD comme vault-telegram.yaml). Il interroge Prometheus
   depuis dehors et POUSSE LUI-MÊME sur Telegram, sans passer par Alertmanager.
   Jeton et salon viennent du Secret `alertmanager-telegram` DÉJÀ synchronisé
   depuis Vault — aucun second chemin de secret, aucun jeton en clair.
2. Le témoin toujours allumé `Veilleur` (`expr: vector(1)`) et sa route vers un
   récepteur VIDE : il ne sonne jamais, il est là pour être CONSTATÉ dans
   /api/v2/alerts par le guetteur. ⚠ Il ne lit aucune série : il aurait continué
   de tirer pendant les 3 j 5 h. Il prouve la chaîne d'alerte, jamais le TSDB.
3. `VeilleurMuet`, l'auto-plainte : le guetteur pousse un battement au
   Pushgateway ; la règle crie quand il vieillit de plus de 20 min.

⚠⚠ LE PIÈGE, ÉCRIT DANS LE CODE À L'ENDROIT OÙ ON VOUDRA SIMPLIFIER : pendant la
panne, /-/healthy rendait 200, /api/v1/targets annonçait 23 cibles presque
toutes `up`, le pod était Running 2/2 avec 0 redémarrage, Longhorn se disait
`healthy` — et `count(up)` ne rendait AUCUNE SÉRIE. Un veilleur branché sur
/-/healthy n'aurait rien vu ; un veilleur qui lit `resultat[0]` sans regarder
serait tombé dans la branche « rien à signaler ». LE VECTEUR VIDE EST L'ALARME.
Et il l'est structurellement : `--query.lookback-delta` vaut 5 min, donc au-delà
de 5 min de retard `up` ne rend PLUS RIEN — la branche « âge > seuil » ne peut
mesurer qu'entre 0 et 5 min, jamais une panne de trois jours.

La propriété gardée, et son arithmétique
----------------------------------------
« Si Prometheus cesse d'enregistrer, une notification arrive en ≤ 8 min 10 s. »

  seuil de fraîcheur      180 s  (3 × `scrape_interval: 1m`)
  période du CronJob      300 s  (*/5, pire cas : on vient de manquer un tour)
  tolérance au roulement  180 s  (2 × 90 s — un redéploiement ne réveille personne)
  exécution                 ~7 s (mesuré)
  ------------------------------
  au pire                 487 s  contre 4 620 minutes de silence réel.

Les deux premiers termes ne s'additionnent pas : le seuil est absorbé par le
vecteur vide dès la première observation.

MESURÉ, deux fois, sur la planification RÉELLE et avec le cas (c) armé dans le
CronJob déployé : du top de la planification au « Telegram a accepté »,
**187 s** (08:20:00 → 08:23:07, puis 08:30:02 → 08:33:09). Les 300 s d'attente
du tour suivant ne sont PAS mesurées — elles dépendent de la phase à laquelle la
panne commence ; elles sont bornées par le `schedule`.

SABOTAGES — le banc unitaire (`python3 -m unittest discover -s prometheus/veilleur`)
------------------------------------------------------------------------------------
Il rejoue les réponses HTTP MESURÉES pendant l'incident. ⚠ Ce qu'il ne rejoue
PAS : la couche ext4/Longhorn qui a causé la panne — il rejoue la SURFACE que
la panne présentait, c'est-à-dire tout ce qu'un guetteur extérieur peut voir.

  | sabotage                                          | code | ce qui rougit                    | ce qui reste vert |
  |---------------------------------------------------|------|----------------------------------|-------------------|
  | (aucun)                                           |  0   | —                                | 8/8               |
  | S-A : on ignore le vecteur vide dans `observer()` |  1   | cas (c), auto-plainte            | le silence nominal |
  | S-B : `age > -1` — il crie tout le temps          |  1   | le silence nominal, la tolérance | les 6 alarmes     |
  | S-C : route `Veilleur` → telegram au lieu de néant|  1   | l'assertion jq de la CI          | —                 |
  | promtool `exp_alerts: []` sur le témoin           |  1   | le test de règle                 | —                 |

⚠ La première tentative de S-A n'a PAS mordu comme prévu : elle a rougi sur une
erreur de schéma YAML, pas sur l'assertion. Refaite pour être un vrai échec
d'assertion. Un sabotage dont on ne vérifie pas qu'il mord au bon endroit rend
un « rouge » qui ne prouve rien.

⚠⚠ ET LA GATE EST CÂBLÉE : elle tourne dans `.gitea/workflows/helmcharts.yaml`,
dans le job qui construit déjà le chart prometheus, à chaque PR qui le touche.
Une gate que la CI ne déclenche jamais est la cinquième forme du gate qui
rassure.

SABOTAGES — en vrai, sur le cluster (vrais Jobs, vrai Telegram)
---------------------------------------------------------------
  | # | mode                      | comment                                        | verdict                          | code | délai   |
  |---|---------------------------|------------------------------------------------|----------------------------------|------|---------|
  |L6 | nominal                   | rien                                           | SE TAIT, 0 message               |  0   | 18,7 s  |
  |L1 | (a) Prometheus MORT       | `scale deploy prometheus-server --replicas=0`   | crie « injoignable »             |  0   | 50 s    |
  |L4 | (a) variante simple       | URL vers un hôte inexistant                    | crie « injoignable »             |  0   |  8,4 s  |
  |L3 | (b) données périmées      | requête rendant 277 500 s                      | crie « retarde », « 3 j 5 h »    |  0   | 11,5 s  |
  |L2 | (c) LE DÉFAUT RÉEL        | sélecteur vide sur un Prometheus SAIN          | crie « n'enregistre RIEN »       |  0   | 31,5 s  |
  |L5a| témoin présent            | `ALERTE_TEMOIN` = une alerte vraiment active   | SE TAIT                          |  0   |  8,6 s  |
  |L5b| témoin absent             | `ALERTE_TEMOIN` = un nom inexistant            | crie « chaîne muette »           |  0   |  8,4 s  |
  |L7 | auto-plainte              | Telegram injoignable + cas (c)                 | Job **Failed**, AUCUN battement  |  2   | 12,6 s  |

Le message de L2 portait la contradiction elle-même : « 23 cibles actives,
21 annoncées `up` » en face de zéro série — le chiffre exact du matin.

⚠ CE QUE L1 NE REJOUE PAS : descendre le déploiement à 0 rend Prometheus
injoignable, pas MENTEUR. Le défaut réel — répondre parfaitement en
n'enregistrant rien — n'est PAS reproductible par un `scale` ; il l'est par L2,
contre un Prometheus en pleine santé.

Prometheus après les essais
---------------------------
Remonté à 08:13:50Z, prêt à 08:14:08Z (18 s). Montage `rw`, 0 « input/output
error » et 0 `level=ERROR` dans ses journaux, `count(up)` = 23 séries, fraîcheur
du dernier point 0,94 s, `kadans_jobs_jobs` = 8 séries.

⚠ EFFET DE BORD ASSUMÉ ET NON RÉPARÉ : le pod a été replanifié de pi3 vers pi1.
Le commentaire du groupe `homelab` de ce même fichier affirme « Prometheus vit
sur pi3 et Alertmanager sur pi2 : cette chaîne d'alerte survit donc à la perte
de pi1 ». Ce n'est plus vrai. Un `kubectl -n tools delete pod` le rejoue, sans
garantie d'atterrissage. Le veilleur, lui, est un CronJob : il n'est lié à aucun
nœud.

Ce que ce lot ne couvre PAS
---------------------------
- La CAUSE du passage en lecture seule reste inconnue (issue #36) : ce lot
  surveille le symptôme, pas le disque.
- « Le veilleur en panne ET Prometheus en panne » : les deux moitiés de
  l'auto-plainte finissent sur Telegram, donc un Telegram cassé les emporte
  toutes les deux. Il faudrait un second canal, indépendant de ce homelab.
- `prometheus/.helmignore` est ajouté au passage : l'étape de publication du
  chart fait `tar -X <chart>/.helmignore`, qui échouerait sur un chart qui n'en
  a pas. `grafana` et `redis` sont dans le même cas — pas traités ici.

Refs: arcodange-org/tools#36

Remise en état
--------------
Tous les objets d'essai ont été retirés du cluster (8 Jobs, le Job planifié, le
CronJob, son ConfigMap, le groupe `veilleur-prometheus` du Pushgateway, et les
trois fichiers écrits sur le volume Prometheus pour `promtool`). Le veilleur
n'est donc PAS en service : c'est la fusion de cette PR qui le déploiera, par
ArgoCD. Rien n'a été appliqué avec Tofu, aucun workflow Vault n'a été déclenché.
2026-09-07 10:35:10 +02:00

243 lines
10 KiB
YAML

---
# template source: https://github.com/bretfisher/docker-build-workflow/blob/main/templates/call-docker-build.yaml
name: Helm Charts
# Celui-ci travaille SEUL (pas d'auth Vault, pas d'apply) : on le garde
# automatique. Mais `push` sur TOUTES les branches + `pull_request` faisait
# partir DEUX runs pour le même commit dès qu'une branche avait une PR.
#
# Même forme que la CI de kadans : la branche est couverte par `pull_request`,
# `main` par le `push` d'après-merge. Un run par événement, aucun angle mort.
#
# (Le filtre de chemins d'origine, resté en commentaire des années sous un
# « gitea don't handle well the paths filter », n'était probablement pas en
# cause : il passait par une ancre YAML, et le parseur d'événements de Gitea ne
# les résout pas — issues 113 → 117 de kadans. Le job `filter-chart` fait déjà
# ce tri au niveau job, donc on n'y retouche pas.)
#
# ⚠ Chaque clé porte un CORPS explicite : un `pull_request:` nu (valeur nulle)
# n'est pas une forme éprouvée sur ce Gitea, et son mode d'échec est le
# silencieux — aucun run, aucune erreur. On copie la forme qui tourne (kadans
# ci.yml), listes dupliquées à la main, sans ancre.
on:
workflow_dispatch: {}
push:
branches: [main]
paths-ignore:
- '**.md'
pull_request:
paths-ignore:
- '**.md'
# cancel any previously-started, yet still active runs of this workflow on the same branch
concurrency:
group: ${{ github.ref }}-${{ github.workflow }}
cancel-in-progress: true
.helm_install_dependencies_sh: &helm_install_dependencies_sh |-
helm_install_dependencies() {
chart_file="$1/Chart.yaml"
[[ ! -f "$chart_file" ]] && echo "Chart.yaml not found in $1" && return 1
yq eval '.dependencies[]' "$chart_file" -o=json | jq -c '.' | while IFS= read -r dep; do
name=$(jq -r '.name' <<< "$dep")
version=$(jq -r '.version' <<< "$dep")
repo=$(jq -r '.repository' <<< "$dep")
url=$(curl -s "${repo}/index.yaml" | yq eval ".entries.${name}[] | select(.version == \"${version}\") | .urls[0]" -)
echo "Dependency: $name, Version: $version, URL: $url"
mkdir -p "$1/charts" && curl -sL "$url" -o "$1/charts/${name}-${version}.tgz"
done
}
helm_install_dependencies $chart
jobs:
filter-chart:
name: Detect changed charts
runs-on: ubuntu-latest
outputs:
library_charts: ${{steps.filter-charts.outputs.library_charts}}
application_charts: ${{steps.filter-charts.outputs.application_charts}}
steps:
- uses: actions/checkout@v4
- name: Get changed files
id: changed-files
uses: tj-actions/changed-files@v45
- name: Filter modified charts
id: filter-charts
run: |
echo "Changed files:"
echo "${{ steps.changed-files.outputs.all_changed_files }}"
# Find unique directories that contain Chart.yaml among the changed files
modified_dirs=$(echo "${{ steps.changed-files.outputs.all_changed_files }}" | tr ' ' '\n' | xargs -n1 dirname | sort -u || true)
# Initialize an array to store directories that contain Chart.yaml
helm_chart_dirs=()
# Function to find the closest directory containing Chart.yaml
find_chart_root() {
dir="$1"
while [[ "$dir" != "/" && "$dir" != "." ]]; do
if [[ -f "$dir/Chart.yaml" ]]; then
echo "$dir"
return
fi
dir=$(dirname "$dir")
done
}
# Iterate over each modified directory and find the root chart directory
for dir in $modified_dirs; do
chart_dir=$(find_chart_root "$dir")
if [[ -n "$chart_dir" && ! " ${helm_chart_dirs[*]} " =~ " ${chart_dir} " ]]; then
helm_chart_dirs+=("$chart_dir")
fi
done
# Initialize arrays for library and application charts
library_dirs=()
application_dirs=()
# Iterate over each modified directory and check the 'type' field in Chart.yaml
for dir in ${helm_chart_dirs[@]}; do
chart_type=$(yq eval '.type' "$dir/Chart.yaml" || echo "undefined")
# Add directories to corresponding arrays based on the 'type'
if [[ "$chart_type" == "library" ]]; then
library_dirs+=("$dir")
elif [[ "$chart_type" == "application" ]]; then
application_dirs+=("$dir")
fi
done
# Convert the arrays to JSON format
library_json=$(printf '%s\n' "${library_dirs[@]}" | jq -R . | jq -cs 'map(select(. != ""))')
application_json=$(printf '%s\n' "${application_dirs[@]}" | jq -R . | jq -cs 'map(select(. != ""))')
# Output the JSON arrays
echo "Modified Helm library charts directories: $library_json"
echo "library_charts=$library_json" >> $GITHUB_OUTPUT
echo "Modified Helm application charts directories: $application_json"
echo "application_charts=$application_json" >> $GITHUB_OUTPUT
library-charts: &charts-matrix-job
name: Library charts ${{ matrix.chart }}
runs-on: ubuntu-latest
needs: filter-chart
strategy:
matrix:
# ⚠⚠ ÉNUMÉRATION EXHAUSTIVE, ET ELLE DOIT LE RESTER.
#
# Gitea ne sait pas monter une matrice DYNAMIQUE : on ne peut pas
# écrire `fromJson(needs.filter-chart.outputs.library_charts)` ici.
# La conséquence est passée inaperçue longtemps — le détecteur
# calculait la bonne réponse, et PERSONNE NE LA CONSOMMAIT : le `if:`
# ci-dessous vérifie seulement si le chart CODÉ EN DUR figure dans la
# liste détectée. Seuls `tool` et `pgcat` pouvaient donc être
# construits ; les HUIT AUTRES charts de ce dépôt ne l'étaient jamais,
# et leurs PR affichaient vert. Mesuré le 2026-09-02 sur la PR #32,
# qui réécrivait le chart `minio` en entier : `Detect changed charts`
# ✓, les deux jobs de construction `Skipped`, statut global `success`.
#
# Le remède n'a pas besoin de matrice dynamique : le `if:` filtre DÉJÀ
# sur la sortie du détecteur, donc un chart non modifié reste `Skipped`.
# Il ne manquait que l'ÉNUMÉRATION.
#
# ⚠ Ajouter un chart au dépôt SANS l'ajouter ici le rend invisible à la
# CI, en silence. C'est le mode d'échec de ce fichier.
chart: [tool]
# chart: ${{ fromJson(needs.filter-chart.outputs.library_charts) }}
type: [library]
if: >-
${{
always() && !contains(needs.*.result, 'failure') && needs.filter-chart.result == 'success'
&& (
contains(fromJson(needs.filter-chart.outputs.library_charts), matrix.chart)
|| contains(fromJson(needs.filter-chart.outputs.application_charts), matrix.chart)
)
&& (
contains(fromJSON('["","pull_request"]'), github.event_name)
|| github.ref == 'refs/heads/main'
) }}
env:
chart: ${{ matrix.chart }}
steps:
- uses: actions/checkout@v4
- run: *helm_install_dependencies_sh
- name: Install Helm for test
if: >-
${{
matrix.type != 'library'
&& (
contains(fromJSON('["","pull_request"]'), github.event_name)
|| github.ref != 'refs/heads/main'
)
}}
uses: azure/setup-helm@v4
- name: Helm template
if: >-
${{
matrix.type != 'library'
&& (
contains(fromJSON('["","pull_request"]'), github.event_name)
|| github.ref != 'refs/heads/main'
)
}}
run: helm template $chart --debug
# ⚠⚠ UNE GATE QUI N'EST CÂBLÉE NULLE PART N'EXISTE PAS (tools#36). Le banc
# du veilleur — celui qui rejoue les trois modes de la panne du 4 au 7
# septembre — tourne donc ICI, dans le job qui construit déjà le chart
# prometheus, à chaque PR qui le touche. Stdlib Python seule : rien à
# installer, rien à télécharger.
- name: Banc du veilleur (chart prometheus)
if: >-
${{
matrix.chart == 'prometheus'
&& (
contains(fromJSON('["","pull_request"]'), github.event_name)
|| github.ref != 'refs/heads/main'
)
}}
run: |
set -euo pipefail
python3 -m unittest discover -s prometheus/veilleur -v
# Le témoin toujours allumé ne doit JAMAIS partir sur Telegram : sans
# sa route vers le récepteur vide il sonnerait toutes les 3 h, et un
# témoin qui sonne est un témoin qu'on coupe.
yq -o=json eval '.prometheus.alertmanager.config' prometheus/values.yaml > /tmp/am.json
jq -e '[.route.routes[] | select(.matchers[0] == "alertname=\"Veilleur\"") | .receiver] == ["neant"]' /tmp/am.json
jq -e '[.receivers[] | select(.name == "neant") | keys] == [["name"]]' /tmp/am.json
- name: publish ${{ matrix.chart }} helm chart
if: ${{ contains(fromJSON('["","push"]'), github.event_name) && github.ref == 'refs/heads/main' }}
run: |
set -x
chart=${chart:-tool}
chart_version=`yq eval .version ${chart}/Chart.yaml`
chart_package=${chart}-${chart_version}.tgz
# helm package ${chart}
tar -X ${chart}/.helmignore -czf ${chart_package} ${chart}
curl --user ${{ github.actor }}:${{ secrets.PACKAGES_TOKEN }} -X POST --upload-file ./${chart_package} https://gitea.arcodange.lab/api/packages/${{ github.repository_owner }}/helm/api/charts
application-charts:
<<: *charts-matrix-job
name: Application charts ${{ matrix.chart }}
needs: [filter-chart,library-charts]
strategy:
matrix:
# ⚠ Les NEUF charts applicatifs du dépôt — voir l'avertissement du job
# `library-charts` ci-dessus. Un chart absent de cette liste n'est
# JAMAIS construit, et sa PR est verte quand même.
# chart: ${{ fromJson(needs.filter-chart.outputs.application_charts) }}
chart: [chart, crowdsec, grafana, hashicorp-vault, minio, pgbouncer, pgcat, prometheus, redis]
type: [application]