Visla Guardian - AI SRE Agent 🛡️
Priorità: 🔴 Alta
Effort Stimato: 2-3 settimane
Stato: Proposta
Problema
Attualmente il monitoraggio della piattaforma richiede:
- Controllo manuale dei log su Grafana
- Alert generici che richiedono investigazione manuale
- Intervento umano per risolvere problemi comuni
- Nessuna correlazione automatica tra eventi
Soluzione: AI SRE Agent 24/7
Un microservice che monitora continuamente la piattaforma e:
- 🔍 Rileva anomalie e errori automaticamente
- 🧠 Analizza root cause con AI
- 🔧 Esegue auto-remediation per problemi noti
- 📊 Genera report giornalieri
- 💡 Suggerisce miglioramenti proattivi
Architettura
┌─────────────────────────────────────────┐
│ VISLA GUARDIAN 🛡️ │
│ (AI SRE Agent 24/7) │
└─────────────────────────────────────────┘
│
┌───────────────────────────┼───────────────────────────┐
▼ ▼ ▼
┌─────────────┐ ┌─────────────┐ ┌─────────────┐
│ MONITOR │ │ ANALYZE │ │ ACT │
│ │ │ │ │ │
│ • Logs Loki │────────────▶│ • LLM │────────────▶│ • Auto-fix │
│ • Metrics │ │ • Patterns │ │ • Scale │
│ • K8s Events│ │ • Anomalies │ │ • Restart │
│ • Redis │ │ • Root cause│ │ • Alert │
└─────────────┘ └─────────────┘ └─────────────┘
│
▼
┌─────────────────────────┐
│ REPORT 📊 │
│ • Telegram bot │
│ • Daily summary │
│ • Improvement ideas │
└─────────────────────────┘
Funzionalità
| Funzione | Esempio | Priorità |
|---|---|---|
| 🔴 Auto-Remediation | Pod crashato → restart automatico | Alta |
| 🟡 Smart Alerting | "Errore nuovo, sembra correlato a X" | Alta |
| 🟢 Proactive | "Redis usa 80% RAM, suggerisco cleanup" | Media |
| 📈 Optimization | "Decoder potrebbe scalare in ore di punta" | Bassa |
| 📋 Daily Report | "Ieri: 3 errori risolti, 99.8% uptime" | Media |
Esempi Concreti
Auto-Remediation
🕵️ Guardian: "Rilevato: WebSocket consumer lag > 30 min"
→ Azione: Restart pod ws-consumer-xxx
→ Risultato: Lag ridotto a 0
→ Notifica Telegram: "✅ WS consumer lag risolto automaticamente"
Pattern Detection
🕵️ Guardian: "Pattern: Device S21L offline ogni giorno alle 14:00"
→ Analisi: Correlazione con power-saving mode
→ Suggerimento: "Considera di disabilitare NMOD per questi device"
Root Cause Analysis
🕵️ Guardian: "Anomalia: 50% aumento errori 500 nell'ultima ora"
→ Root cause: "Deploy auth-service fallito"
→ Azione proposta: kubectl rollout undo deployment/auth
→ Attende conferma o agisce automaticamente (configurabile)
Flusso Tecnico
# Ogni 5 minuti il Guardian esegue:
# 1️⃣ QUERY LOKI (interno, gratis)
logs = loki.query('{level="error"} | last 5 minutes')
# 2️⃣ FILTER LOCALE (no API, gratis)
new_errors = filter_already_seen(logs)
if not new_errors:
return # Niente da fare
# 3️⃣ ANALISI AI (unico costo)
analysis = await claude.analyze(
system="Sei un SRE esperto di Visla...",
content=f"Analizza questi errori:\n{sanitize(new_errors)}"
)
# 4️⃣ ESEGUI AZIONE (interno, gratis)
if analysis.action == "restart_pod":
kubectl.restart(analysis.pod_name)
telegram.send("✅ Riavviato pod X per errore Y")
Sicurezza e Privacy
Prima di inviare dati all'LLM:
def sanitize_for_llm(log_line):
log_line = re.sub(r'password=\S+', 'password=***', log_line)
log_line = re.sub(r'token=\S+', 'token=***', log_line)
log_line = re.sub(r'\d{10,}', '[IMEI]', log_line)
return log_line[:500] # Max 500 chars
Costi
| Componente | Costo/mese | Note |
|---|---|---|
| GKE Pod | €0 | Risorse già disponibili |
| Loki/Grafana | €0 | Già attivo |
| Redis | €0 | Già attivo |
| Telegram Bot | €0 | Free tier |
| LLM API | €20-40 | Unico costo reale |
Dettaglio LLM (Claude 3.5 Sonnet)
| Frequenza | Query/giorno | Costo/mese |
|---|---|---|
| Ogni 5 min | ~288 | ~€30 |
| Ogni 15 min | ~96 | ~€15 |
| Solo su errori | Variabile | ~€10-20 |
Implementazione
Fase 1: MVP (1 settimana)
- Setup microservice Python/FastAPI
- Query Loki per errori
- Integrazione Claude API
- Notifiche Telegram base
Fase 2: Auto-Remediation (1 settimana)
- Playbook per problemi comuni
- Kubectl integration
- Confirmation flow (opzionale)
- Audit logging
Fase 3: Intelligence (1 settimana)
- Pattern detection
- Daily reports
- Suggerimenti proattivi
- Dashboard metriche