Admintagebuch - Dokumentation der Admintätigkeiten

Gerade die Gateways umgezogen. Sollte alles soweit fertig sein, Nightbounce ist dabei leider abgestürtzt. Ansonsten sollte alles laufen. Des1 und Des2 sind momentan noch etwas überbelastet.

4 „Gefällt mir“

Abgestürzt? Oder beim Reboot hängengeblieben?

Beim Neustart hängen geblieben, schließe ich mal aus dem Bildschirmfoto, was du in HipChat veröffentlich hattest.

DHCP Script auf den Gateways aus collectd entfernt (gestern Abend schon). Ansible entsprechend angepasst. Die Load ist dadurch merklich gesunken.

2 „Gefällt mir“

Directory Listing auf dem Firmwareserver gepimpt.

https://firmware.freifunk-muensterland.de/domaene01/beta/sysupgrade/

Somit sind die langen Dateinamen auch ohne probleme lesbar.

5 „Gefällt mir“

deshyper-01, des1, deshyper-02und des2 neu gestartet, um (u. a. kernel-)updates anzuwenden.

1 „Gefällt mir“

Des2 neu gestartet, weil das Batman sich aufgehängt hatte (insbesondere Domäne 09).

mailserver durchgestartet, hing ne Woche :wink:

1 „Gefällt mir“

Remü-09 neu gestartet, weil nicht mehr erreichbar.

Grafana von Version 2.0.2 auf Version 4.0.0 upgegraded. Konfiguration und Dashboards wurden übernommen. Allerdings wird das iframe auf freifunk-muensterland.de nicht mehr korrekt angezeigt.

@Adminteam Könnt ihr mir demnächst mal eine Email-Adresse einrichten, über die ich die Alerts versenden kann?

PS: Zusätzlich wurden die Plugins raintank-worldping-app und grafana-piechart-panel installiert.

1 „Gefällt mir“

collectd hat sich auf remue-09 heute Nacht gegen 4 Uhr soweit weggehangen, dass ich den Prozess hart killen musste. Läuft jetzt wieder.

1 „Gefällt mir“

Ein Beitrag wurde in ein neues Thema verschoben: Grafana 4.0.0 - Alerting

deshyper-01 und deshyper-02 und alle dazugehörigen vms aktualisiert und durchgebootet.

1 „Gefällt mir“

Tunneldigger auf parad0x restartet, da dort nach dem reboot von des1 650 l2tp verbindungen aktiv waren (und auf des1 nur 4). Jetzt ist es wieder einigermaßen ausgeglichen.

1 „Gefällt mir“
  • Ansible-Rollen für KEA-DHCP Server erweitert.
  • Collectd-Script für KEA-DHCP Erstellt.
  • Das ganze auf des2 zum Test ausgerollt.
    • Nach ca. 30 Minuten Laufzeit hat er > 1500 gültige Leases ausgegeben. Scheint also zu laufen (zu prüfen ist noch, ob die Leases auch beim Client ankommen und akzeptiert werden, da aber der Traffic nicht eingebrochen ist, gehe ich jetzt erstmal davon aus).

PS: Ich habe den KEA derzeit mit “memfile” (+persitent) konfiguriert. Also ohne psql. (Laut Doku soll memfile sogar der performanteste Weg sein.) Imho sollte man sich das mit psql+KEA nur anschauen, wenn man plant die Leasepools mit mehreren Gateways gemeinsam zu nutzen.

PPS: Die von @paulinsche erwähnte Problematik sollte beim KEA nicht auftreten, zumindest ist es laut diesem Beitrag das Standardverhalten von ISC-KEA.

2 „Gefällt mir“

bind9.service auf c1024, fanlin und servicevm sind gegen 21:30 abgekackt
auf allen anderen gateways gab es keine probleme.

die drei o. g. server sind als authorative namenserver für freifunk-muensterland.de konfiguriert da alle drei gefailed sind, ging die auflösung für alles für freifunk-muensterland.de nicht mehr fanlin und c1024 haben wohl gefailed, weil sie die servicevm (dns#53) nicht mehr erreichen konnten, warum bind9 auf der servicevm abgekackt ist, habe ich jetzt nicht nachgeschaut

bin jetzt auch zu müde dafür
vielleicht hat ja jemand lust
namensauflösung geht zumindest wieder

Edit: bind scheint auf der servicevm schon länger nicht zu laufen. im log steht schon länger (bis zum letzten log (syslog.7.gz kann ich es nachverfolgen, 2. Dezember) “Unit bind9.service cannot be reloaded because it is inactive.”, mehrfach. :open_mouth:

1 „Gefällt mir“

Da der KEA-DHCP auf des2 auf Anhieb super lief, habe ich das jetzt nach und nach auf alle anderen Gateways ausgerollt. Scheint problemlos zu laufen.

Einzig beim bauen der Software war wohl auf parad0x die Load so hoch, dass er alle l2tp Verbindungen abgeworfen hat, aber diese hat des2 super aufgefangen (habe die jetzt wieder verteilt). Und den Statistiken darf man auch noch nicht vertrauen. Da kommen manchmal negative Werte raus. Die bekomme ich aber bereits so über die KEA DHCP Socket-Schnittstelle. :open_mouth:

PS: Da der ISC-KEA eine eierlegende Wollmilchsau ist, würde ich mich freuen wenn der ein oder andere sich mal unsere Konfiguration anschaut: Ich bin mir sicher, dass es da noch einiges zu optimieren gibt. Die ISC-KEA Doku findet ihr hier: https://ftp.isc.org/isc/kea/1.1.0/doc/kea-guide.html

3 „Gefällt mir“

Habe Parad0x und seinen Hypervisor mit Updates versorgt. Downtime war etwas über 5 Minuten.

2 „Gefällt mir“

Dito nightbounce, 0 downtime.

Ich habe in die collectd rolle ein paar neue Metriken eingebaut. Diese sind derzeit nur auf des2 ausgerollt. Eine Übersicht (außer das Histogram) seht ihr hier: https://freifunk-muensterland.de/grafana/dashboard/db/experimente

1 „Gefällt mir“