Client Statistik broken


#1

Hallo und guten Abend/Morgen zusammen,

ist zwar nicht lebensnotwendig sieht aber für die Map seltsam aus: https://service.freifunk-muensterland.de/maps/map/#!v:m;n:60e327ed8dd2 schreibt eine unwillkürliche Linie - die anderen in der Umgebung schreiben diese Korrekt, selbst mir der Brandneuen Firmware - ob dann die verbundenen Clients überhaupt in die Gesamtstatistik mit einfließen weiß ich nicht.
Das Phänomen ist mir schon seit ein paar Tagen aufgefallen…

Ist das nur ein Bug oder muss ich auf dem Router noch etwas umstellen

Gruß
Boris


Meshviewer auf Meshflix umstellen?
Erweiterte Knotenstatistik erfassen
Knoten nicht bei Grafana, Aussetzer in der Clientstatistik
#2

Das Skript zum Weiterleiten der Statistikdaten auf der Service-VM (node-stats) erzeugt einen sauberen Eintrag für den Knoten (Debugausgabe mit --print-only). Es sollte also nicht am Knoten liegen. @void, kannst du was in Graphite sehen?


#3

Okay in der generierten grafik sieht dies anders aus: https://freifunk-muensterland.de:8443/render/render?format=png&from=-24h&target=node.60e327ed8dd2.count&yMin=0&height=600&width=800
da sind immer wieder mal zacken drin, aber dies ist nicht durchgängig wie bei den anderen Routern. Weiß nicht ob dies etwas mit der neuen Firmware zu tun hat - wobei auch die anderen Router die ich verwende die gleiche Firmware läuft. Normal sollte da eine gleichbleibende Linie zu sehen sehen sein, die die letzen Clients anzeigt. - Es ist ein Router der neuen Generation v10 der vorher mit der Testversion gleiches abbild erzeugt hat. - Also mal paar striche oder mal gar nichts. Teils werden über ein paar Stunden eine halbwegs korrekte Linie gezeichnet, diese ist dann aber wieder teils verschwunden und es steht nur eine Art Kennzeichnung dort. - Siehe Link.

Gruß Boris


#4

Die Daten werden von den Knoten über Alfred gesammelt. node-stats liest die Daten aus Alfred (was für den Knoten anscheinend funktioniert) und gibt die Daten dann an an Graphite weiter. Graphite speichert die Daten und kann Graphen wie den von dir verlinkten erzeugen. Für mich sieht es so aus, als ob Graphite die Daten nicht richtig speichert. Dies passiert auch für Knoten mit alter Firmware, z.B. http://karte.freifunk-muensterland.org/map14/#!v:m;n:30b5c2223332. Leider kann ich in Graphite nicht reinschauen, weshalb wir @void’s Unterstützung brauchen.


#5

Ah Okay… muss ich erstmal nichts machen… dachte da eventuell was im Protokoll nicht richtig ankommt, da dieser Knotenpunkt vorher nur auf der Beta-Firmware. Soll es ein kleiner Bug sein sollte dieser ja kein Problem sein.


#6

FYI: Der Statistikserver wird am Montag (oder zumindest zeitnah) umgezogen. Dabei nehmen wir das alles noch mal unter die Lupe. Ich hoffe, dass diese (und ähnliche) Probleme danach nicht mehr auftreten.

BTW (@void): Es gibt für influxdb eine graphite Schnittstelle. Sodass man quasi anstatt carbon die influxdb zum Speichern der Daten nutzt. Das soll gerade bei größeren Umgebungen sehr viel performanter sein. Hier gibt es z. B ein Docker (von vimeo), wo alles schon dabei ist (auch wenn ich dafür wäre hier nicht unbedingt noch ein docker drum zu wrappen).


#7

Eine Lösung gibt es bisher noch nicht oder? - Der Graph ist bisher immer noch leer :confused:


#8

Was mir auffällt ist, dass dies Problem besonders häufig bei neuen Knoten Auftritt. Z.b. Fuzt das bei keinen neuen Router in Bocholt korrekt. Einige zeichnen den Graf Zwar immer mal wieder, aber (vermutlich) aber nur eine Stunde oder so, dann ist alles wieder weg.
Scheinbar unabhängig von der FW.

Bei ältern Knoten (blau) habe ich dass nur sehr selten beobachtet undi mir fällt auch gerade keiner ein, bei dem dass so ist.

Mfg


#9

Das fällt mir auch gerade auf, da heute 3 weitere ans Netz angeschlossen wurden, ein älterer ( https://service.freifunk-muensterland.de/maps/map/#!v:m;n:30b5c2b05206 )der schreibt Statistiken, die beiden neuen haben auch das gleiche Problem ( https://service.freifunk-muensterland.de/maps/map/#!v:m;n:60e327edb2cc ) ( https://service.freifunk-muensterland.de/maps/map/#!v:m;n:60e327edca6e ). - Okay Problem auf hohem Niveau.


#10

Vielen Dank für euer Feedback,
euer spezifisches Problem ist, wie weiter oben geschrieben, uns bekannt. Daher braucht ihr diesbezüglich keine weiteren Fehlberichte melden (außer das Fehlerbild ist ein Anderes).

Zum Problem: Die Grafiken werden auf unserem Server generiert, anhand von Daten die auf unseren Servern gespeichert werden (Server bekommt die von den Knoten geschickt). Die Software zum speichern der Statistiken verwendet wird bietet die Möglichkeit verschiedene renditions zu definieren. In diesem Fall bedeutet das eine Angabe, über welchen Zeitraum die Daten in welchem Zeitraster gespeichert werden sollen.

Beispiel: Speichere alle 10 Sekunden einen Datenpunkt für die letzten 24 Stunden. Speichere pro Minute einen Datenpunkt für die letzten zwei Wochen. Verwerfe alles, was älter als zwei Wochen ist.

Es lassen sich nun für verschiedene Statistiken verschiedene renditions definieren. Leider scheinen neue Knoten (bei neuen Servern haben wir im Übrigen das selbe Problem) nicht die korrekte rendition zu wählen und auf ein default zurückzufallen (wo wohl definiert ist, dass die Daten nach ~ 10 Minuten verworfen werden sollen).

Da der Server für die Statistiken eh neu aufgesetzt werden soll, wollen wir keine weitere Zeit in u. U. zeitaufwändige Fehlersuche im alten System aufwenden. Ihr müsst euch wohl noch ein paar Tage (bis wenige Wochen) gedulden.

Im Übrigen wird es sehr bald die Möglichkeit geben weitere Statistiken für die Knoten speichern zu lassen:


Knoten nicht bei Grafana, Aussetzer in der Clientstatistik
Vorschlag: [Logbuch] ToDo
#11

Danke für das ausführliche Feedback, bzw Beschreibung der Problematik.

Natürlich ist das hier Jammern auf sehr hohen Niveau gewesen. Dass andere Dinge eine weitaus höhere Priorität genießen war, zumindest mir, durchaus klar und ist imho auch selbstverständlich.

MfG


#12

Hi zusammen,

habe ein kleines Problem: mein neu eingerichteter Knoten ist nicht bei Grafana aufgeführt und zeigt Aussetzer in der Client-Statistik.
https://service.freifunk-muensterland.de/maps/map01/#!v:m;n:60e3279ab0c8

Ich habe mir mal diverse Knoten in MS angesehen, und vereinzelt haben auch andere das Problem:
https://service.freifunk-muensterland.de/maps/map01/#!v:m;n:c4e984e369d2
https://service.freifunk-muensterland.de/maps/map01/#!v:m;n:e894f629da56

Erst dachte ich, das liegt an der Dauer der Zugehörigkeit, aber es gibt jüngere Knoten, die das Problem nicht haben:
https://service.freifunk-muensterland.de/maps/map01/#!v:m;n:c04a00d1fe4c

Ich konnte auf den ersten Blick auch keine Gemeinsamkeiten bei den betroffenen Knoten feststellen.
Woran kann das liegen? Ist etwas mit meinem (bzw. diesen) Knoten nicht in Ordnung?


#13

Das ist bekannt: Client Statistik broken

Ich verschiebe deinen Beitrag dorthin und mache hier zu.