Prometheus AlertManager

Ziel

Ablösen von Icinga durch Prometheus. In dem Artikel geht es darum was der Alertmanager an Funktionalitäten benötigt um Icinga abzulösen. Informationen zu Prometheus befinden sich hier.

Alerts

In der Tabelle werden Alerts aus dem Altsystem zusammen gefasst und betrachtet wie diese in den Alertmanager übernommen werden können. Aus 20_base2.cfg

Aus 50_dell-openmanage.cfg

Aus 50_gridcert.cfg

Aus 60_tomcat.cfg (auf arktos gefunden)

Aus 80_server.cfg (auf arktos gefunden)

Aus 85_2000procs.cfg (auf wgs15 gefunden)

Aus 90_tsm.cfg (auf arktos gefunden)

Checks die auf icinga direct ausgeführt werden /usr1/icinga/etc/shared/checkcommands.cfg

TODO

Mapping Nagios zu Prometheus Konfiguration

Das Script nagios_announce_services ermittelt welche Check für Nagios konfiguriert werden sollen. Bei Prometheus ist entscheidend welcher Exporter eingetragen wird.

Die Tabelle schlüsselt die Beziehung auf.

Offene Frage

zu check_ramspeed (10)

• wo ist im Altsystem definiert welcher Rechner welche Geschwindigkeit bereitstellen muss bevor ein Alert ausgelöst wird
• wie oft wird es aufgerufen
• warum ist [vulcan01] /etc/prometheus/ssl/client.crl leer

• wie werden Fehler am besten mit dem Exporter exportiert? Variante 1 wenn nur Positive Zahlen dann mit -1 oder Variante 2 mit Tags. Beispiel siehe https://prometheus.io/docs/instrumenting/exposition_formats/#basic-info tag error.

Todo Liste

Offen

• Änderungen für Wünsche am GIT Projekt (inventar als ini und ein Playbook ohne includes) mit Timm besprechen
• Mit Fabian klären wann welcher Alert raus geht.
• Firewall für Alertmanager GUI öffnen

Umgesetzt

• Projekt nach GIT umziehen https://stash.desy.de/projects/ZNDV/repos/ansible-prometheus/browse

• Testrechner aufgesetzt der die neuen exportiert (flaco-vm10)

Probleme

• Auslagern der Konfiguration unter /etc/prometheus/config funktioniert nicht. Finde zu der Option auch nichts in der Doku vom exporter_exporter.

Performance Test

Für das Testen der Exporter wurde ab (apache benchmark) benutzt.

Script script_exporter.pl über Exporter_Exporter

Performance Test:

ab -n 100 -c 4 "https://flaco-vm10:9998/proxy?module=script"

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        4    8   6.3      6      52
Processing:  1699 1753  27.2   1748    1824
Waiting:     1699 1753  27.2   1748    1824
Total:       1705 1761  28.4   1758    1832

Im Top sieht man das der Ramspeed (mit DD) am meisten Performanz verbraucht. Gleicher Test ohne DD

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        4    8   5.0      6      25
Processing:    97  177  16.1    174     231
Waiting:       97  177  16.1    174     231
Total:        101  185  18.2    182     246

MemoryLeak Test:

ab -n 5000000 -c 2 "https://flaco-vm10:9998/proxy?module=script"

nach 17 Stunden abgebrochen

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        4    6   1.8      6      48
Processing:   714  887  39.0    880    1700
Waiting:      714  887  39.0    880    1700
Total:        722  893  39.2    886    1707

MemoryLeak Test

Mit dem Befehl wird eine Liste der Prozesse und verbrauchten Speicher erzeugt

ps -eo size,pid,user,command --sort -size | awk '{ hr=$1/1024 ; printf("%13.2f Mb ",hr) } { for ( x=4 ; x<=NF ; x++ ) { printf("%s ",$x) } print "" }' |cut -d "" -f2 | cut -d "-" -f1

Ausgabe nach einer Nacht Dauerlast

       439.63 Mb /usr/lib/polkit
       305.84 Mb /usr/bin/node_exporter 
       213.29 Mb /usr/sbin/rsyslogd 
       146.49 Mb /usr/lib/systemd/systemd 
        72.36 Mb /usr/sbin/chronyd 
        10.91 Mb /usr/bin/exporter_exporter 
         8.55 Mb /usr/bin/dbus
         1.84 Mb /usr/lib/systemd/systemd
         1.45 Mb /usr/lib/systemd/systemd
         1.28 Mb /usr/sbin/crond 

Warum verbraucht der node_exporter so viel Speicher. Nach dem Restart war er nur noch 104.80 Mb groß.

Tips

Wenn man einen Expoter selber schrieb und den Output testen möchte, kann das promtool dafür verwendet werden.

Beispielaufruf für ein Script über den exporter_exporter:

curl -s http://127.0.0.1:9997/proxy?module=script | promtool check-metrics

Weiterführende Links

• exporter_exporter