Wechsel von Graphite zu Prometheus

Technik
1

Im IRC habe ich aufgeschnappt, dass Prometheus performanter als Graphite laufen soll. Darauf angesprochen kam folgendes Feedback:

<Klaus_Dieter> Handle: in fffm haben wir auch umgestellt und seitdem war die map deutlcih gesünder.
<fpletz> Handle: ja, wesentlich performanter, sammelt jetzt bei uns auch noch viel mehr metriken als das graphite davor

Das hört sich gut an. Da wir ja eh auf Hopglass umsteigen werden, könnte man im gleichen Zug den Wechsel von Graphite zu Prometheus auch in Angriff nehmen. Was meint ihr?

1 „Gefällt mir“
2

Finde ich gut. Hatte hier mal ins Video rein geschaut, klang recht vielversprechend.

Doch: Wer hat Lust und vor allem Zeit das in Angriff zu nehmen?

3

Braucht Kontext Hilfe: Ich verstehe nicht was Graphite mit der Map zu tun hat.

1 „Gefällt mir“
4

Das gleiche habe ich heute Mittag auch noch gesagt :slight_smile: Die Statistik bei der Detailansicht eines Knoten kommt scheinbar daher.

5

Die Grafik zur Clientstatistik kommt von Graphite, genau. Der angedachte zukünftige Weg dafür wäre dann Prometheus -> Grafana.

6

Wir haben das schonmal besprochen, es gibt auch die Option die Storage Engine von Graphite zu tauschen, das wäre dann der kleinere Eingriff.

Siehe dazu: Graphite/Scaling - Wikitech

2 „Gefällt mir“
7

Oder halt Prometheus als Storage-Ersatz für Graphite einsetzen. Die Daten würde ich da erstmal weiterhin per collectd rein kippen und per grafana visualisieren. Mehr nicht. Ob das dann wirklich aufwändiger ist als in graphite eine andere storage engine reinzufrickeln (richtig: frickeln, alles was ich dazu bisher gefunden habe, sah nach gefrickel aus). Note: Ich glaube dann muss man alle Grafana Dashboards neu machen. Da ja Grafana direkt die API spricht.

Aber ich sehe da keinen akuten Handlungsbedarf.

PS: Mein Hauptproblem derzeit ist, dass es auf Grafana und Graphite kein vernünftiges Alerting gab. Das scheint sich mit Grafana 4.0 zu ändern: Grafana 4.0 Beta Release | Grafana Labs

Ich werde mir das mal irgendwo™ installieren und ein wenig mit rumspielen.

8

Melde dich wenn du eine dedizierte VM außerhalb der Backbone-Bleche haben möchtest.

9

http://bla.wuellhorst.com:3000/dashboard/db/gesamtubersicht

Alerting klappt schon mal, jetzt muss das nur noch mit der Mail klappen/eingerichtet werden (oh, man kann auch webhooks machen).

1 „Gefällt mir“
10

2 Beiträge wurden in ein neues Thema verschoben: Grafana 4.0.0 - Alerting

11

Sieht cool aus

12

Man kann die Status dann auch als iFrame z. B. ins Blog einbinden: http://simon-wuellhorst.de/status.html

1 „Gefällt mir“
13

Ich habe mir mal Prometheus angeschaut. Das sieht ganz gut aus, aber es hat einen großen Unterschied zu Graphite: Es ist darauf ausgelegt, alle Daten zu pullen (man kann über Umweg pushen) und muss alle Target-Hosts in der Config aufgelistet bekommen. Das ist für unsere Server machbar (aus Ansible generierbar), aber nicht für die ständig wechselnde Anzahl von Knoten.

Da Grafana 4 unsere Alerting-Wünsche zu erfüllen scheint, sollten wir mMn weiter diesen Weg gehen.

2 „Gefällt mir“
14

@Handle Du kannst dich aber gerne mal mit anderen Storage-Engines für Graphite auseinandersetzen. :slight_smile:

16

@Fungur das verstehe ich nicht ganz. Die Daten der Knoten werden zukünftig vom HopGlass-Server geliefert und die sollte Prometheus dann doch problemlos von selbigem pullen können. Grafana macht dann die Bildchen für die Detailansicht in der Karte und könnte dann in der neuen Version auch das Alerting übernehmen.

17

Mit HopGlass hatte ich mich noch nicht auseinandergesetzt. Ich dachte bislang immer, dass das nur eine neue Oberfläche ist.

Ich sehe gerade, dass das auch einen eigenen Statistik-Sammel-Dienst (HopGlass Server) für die Freifunk-Knoten hat und dort eine Schnittstelle zu Prometheus schon eingebaut ist. Damit kann man dann natürlich Prometheus andocken und das müssen wir evtl. auch, falls wir die alte Methode mit Alfred abschalten wollen, weil HopGlass Server nicht auf Graphite/Push ausgelegt ist.