Phase 5 : observabilité (réutilise le Prometheus/Grafana partagé)
- Pas de stack dédiée : une instance Prometheus/Grafana existe déjà sur ce serveur pour les 5 autres projets. En déployer une seconde aurait dupliqué de la RAM sur une machine à 3.7 Go partagée, sans bénéfice - même raisonnement que pour Caddy en Phase 2. - Scrape job tripoli_edge (172.17.0.1:9000, même passerelle docker0 que Caddy) ajouté à la config Prometheus existante. - Règles d'alerte : TripoliEdgeDown (up == 0), HostDiskAlmostFull (< 10% d'espace libre sur / - au niveau de la machine, pas seulement de ce projet, puisqu'il n'y a qu'un disque pour tout le monde). - Sonde blackbox externe ajoutée pour https://tripoli.cloud/healthz. - Dashboard Grafana versionné (uid tripoli-cloud-edge), importé via l'API (POST /api/dashboards/db) pour rester reproductible, pas construit à la main dans l'UI. - Vérifié : tous les targets Prometheus up (dont tripoli_edge et la sonde tripoli.cloud), les deux règles d'alerte chargées et évaluées, les requêtes du dashboard retournent de vraies valeurs. - Limite assumée : les alertes se déclenchent dans Prometheus mais ne sont pas encore routées par email (pas d'Alertmanager, pas de policy de notification Grafana dédiée) - documenté comme prochain pas, pas fait pour éviter de modifier la politique de notification globale de l'instance partagée sans plus de tests. Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
This commit is contained in:
parent
991f4dd04f
commit
db306433d5
5 changed files with 199 additions and 1 deletions
25
monitoring/tripoli-cloud-alerts.yml
Normal file
25
monitoring/tripoli-cloud-alerts.yml
Normal file
|
|
@ -0,0 +1,25 @@
|
|||
groups:
|
||||
- name: tripoli-cloud
|
||||
rules:
|
||||
- alert: TripoliEdgeDown
|
||||
expr: up{job="tripoli_edge"} == 0
|
||||
for: 2m
|
||||
labels:
|
||||
severity: critical
|
||||
project: tripoli-cloud
|
||||
annotations:
|
||||
summary: "tripoli-edge est down"
|
||||
description: "Prometheus n'arrive plus à scraper tripoli-edge (job tripoli_edge) depuis 2 minutes."
|
||||
|
||||
# Alerte au niveau de la machine, pas seulement de Tripoli Cloud :
|
||||
# un seul disque, partagé avec 6 autres projets - un disque plein
|
||||
# affecterait tout le monde, pas que ce projet.
|
||||
- alert: HostDiskAlmostFull
|
||||
expr: node_filesystem_avail_bytes{mountpoint="/",fstype!="tmpfs"} / node_filesystem_size_bytes{mountpoint="/",fstype!="tmpfs"} < 0.10
|
||||
for: 10m
|
||||
labels:
|
||||
severity: warning
|
||||
project: tripoli-cloud
|
||||
annotations:
|
||||
summary: "Disque du serveur presque plein"
|
||||
description: "Moins de 10% d'espace libre sur / depuis 10 minutes."
|
||||
Loading…
Add table
Add a link
Reference in a new issue