Admintagebuch - Dokumentation der Admintätigkeiten

Technik Infrastruktur / Backbone
936

@corny456 und ich haben heute Abend das neue V6-Routing ausgrollt. Läuft jetzt. Leider würde Corny bzgl. V6 am liebsten über Handle gehen. Das hab ich durch eine manuelle Änderunge der Kosten verhindert. Das ist aber noch nicht im Ansible. Da müssen wir noch was bauen, dass Nicht-Hetzner-Kisten höhere Kosten haben.

Der Rest läuft jetzt, V6-Routing ist ziemlich aufgeräumt. Und die Präfixe gehen jetzt dynamisch. Also wenn man eine Domäne auf ein indirekt angebundenes Gateway schiebt, braucht man keine ffms-tun-to mehr und man muss das Backway, über das die Verbindung geht, nicht mehr ausrollen. Der sagt dem jetzt über BGP welche Präfixe an den FFRL weitergeleitet werden müssen. (Vorher hat Ansible das ermittelt und hart verdratet.)

937

Nachdem Fanlin und tj01 heute Morgen resettet wurden und wieder erreichbar waren Ansible ausgerollt und nochmal rebootet.

1 „Gefällt mir“
938

Habe auf host Parad0x und seinem Hypervisor alle Updates installiert und neu gestartet.

4 „Gefällt mir“
939

Der UniFi-Server hat ein System-Updates und ein Update des UniFi-Controllers von 5.4.18 auf 5.4.19 erhalten.

Eigentlich wollte ich auf 5.5.20. Das ist aber scheinbar noch nicht im Repo verfügbar.
Nichts weltbewegendes. aber ein bisschen Security :wink: Daher im Auge behalten und die Tage nochmal Update machen. (Dabei Geduld haben. Datenbankmigration von 5.4 auf 5.5 dauert sehr lange)

Changelog:

3 „Gefällt mir“
940

Tunneldigger für Dom 53 auf Parad0x neu gestartet. Ist beim booten wohl nicht hoch gekommen. Aus irgendeinem Grund hat der Tunneldigger dabei alle Connections abgeworfen… Auch aus den anderen Domänen. Sollten wir uns unbedingt ansehen… Das nervt das die Instanzen irgendwie aneinander hängen…

941

Es wird Zeit das wir das Monitoring an den Start bekommen… Bzw mal jemand anderes außer mir zwischenzeitlich auf die Grafana Alarme achtet :frowning:

Tunneldigger für Domäne 60 und der DHCP auf c1024 haben 2 Tage lang gestanden… Neu gestartet…

1 „Gefällt mir“
942

Updates auf:

  • Hypercorn
  • Corny
  • Backup VM

eingespielt. Reboot um 0:00 Uhr heute.

943

5 Beiträge wurden in ein neues Thema verschoben: Icinga ausrollen

944

Icinga Rollen auf alle Gateways ausgerollt.

1 „Gefällt mir“
945

Die DNS Auflösung unserer Domains ist ins erliegen gekommen da der Bind Dienst auf der Service VM vor 2 Tagen stehen geblieben ist. Neu gestartet, scheint wieder zu gehen…

1 „Gefällt mir“
946

IPv6 der Karte geändert. danach ging es wieder… DNS Einträge sind auch angepasst…

2 „Gefällt mir“
947

Remue-09 wiederbelebt. Keine Ahnung was da los war bin nicht an die Konsole gekommen…

1 „Gefällt mir“
948

Handle läuft wieder ist aber aufgrund von Problemen mit collectd unter Ubuntu und einer fehlenden IPv6 adresse nach dem start im Moment noch nicht Rebootsicher!!! ich hab den Reboot Cron deaktiviert. @Handle guckt sich das IPv6 gedönse nochmal an und macht nen Bugreport wegen des collectd’s.

2 „Gefällt mir“
949
  • Ansible automatische Berechnung der DHCP-Bereiche beigebracht
  • Dom01-15 im Ansible umgestellt, kann ausgerollt werden. Das mach ich aber heute Nacht nicht mehr.
  • Alle Server bis auf Parad0x müssen ausgerollt werden.

@jotzt, du kannst dir jetzt die neue Syntax der Domänenliste z. B. auf Des1 angucken.

2 „Gefällt mir“
950

Corny hat grad alle Verbindungen gekappt. Ursache Unbekannt. Reboot hat geholfen…

951

DHCP-Bereiche in Dom 1-15 umgestellt. Damit Des1 und TJ01 einzeln ausgerollt werden konnten, teilweise die Bereiche doch von Hand eingetragen.

Details siehe hier: Neue DHCP-Bereiche in Ansible umsetzen

952

Lo-Interfaces auf Fanlin und Nightbounce aus der /etc/network/interfaces gelöscht.

PS: Wieder alle IP-Bereiche für die Domänen ≤ 15 eingetragen und die Rolle, die die Berechnung durchführt, deaktiviert.

1 „Gefällt mir“
953

  • Remue 09 neu gestartet. Keine Ahnung was die Dose schon wieder hat, selbst die Serielle Console ist tot und das Syslog auch nicht aufschlussreich…

  • Corny neu gestartet. Irgendwas war da komisch…

    image.png921×191 21 KB

  • auf Fanlin den Tunneldigger neu gestartet um ein paar Knoten zu schubsen…

954
  • Remü-04 ans Backbone angebunden
  • sämtliche ffms_tun_to-Konstruktionen abgerissen
  • Bird-Rolle so angepasst, dass sie auch auf Remü-04 läuft

Altlasten:

tj01 | FAILED | rc=1 >>


fanlin | FAILED | rc=1 >>


des1 | SUCCESS | rc=0 >>
66: gre-remue-04    inet 192.168.63.9/30 brd 192.168.63.11 scope global gre-remue-04\       valid_lft forever preferred_lft forever
66: gre-remue-04    inet6 2a03:2260:115:ffa0:6:3:2:1/126 scope global \       valid_lft forever preferred_lft forever
66: gre-remue-04    inet6 fe80::200:5efe:509:569a/64 scope link \       valid_lft forever preferred_lft forever
67: gre-tj01    inet 192.168.3.53/30 brd 192.168.3.55 scope global gre-tj01\       valid_lft forever preferred_lft forever
67: gre-tj01    inet6 2a03:2260:115:ffa0:0:3:13:1/126 scope global \       valid_lft forever preferred_lft forever
67: gre-tj01    inet6 fe80::200:5efe:509:569a/64 scope link \       valid_lft forever preferred_lft forever

c1024 | FAILED | rc=1 >>


parad0x | FAILED | rc=1 >>


des2 | SUCCESS | rc=0 >>
81: gre-tj01    inet 192.168.9.53/30 brd 192.168.9.55 scope global gre-tj01\       valid_lft forever preferred_lft forever
81: gre-tj01    inet6 2a03:2260:115:ffa0:0:9:13:1/126 scope global \       valid_lft forever preferred_lft forever
81: gre-tj01    inet6 fe80::200:5efe:94fb:2d2d/64 scope link \       valid_lft forever preferred_lft forever
82: gre-remue-09    inet 192.168.9.21/30 brd 192.168.9.23 scope global gre-remue-09\       valid_lft forever preferred_lft forever
82: gre-remue-09    inet6 2a03:2260:115:ffa0:0:9:5:1/126 scope global \       valid_lft forever preferred_lft forever
82: gre-remue-09    inet6 fe80::200:5efe:94fb:2d2d/64 scope link \       valid_lft forever preferred_lft forever

remue-09 | SUCCESS | rc=0 >>
65: gre-c1024    inet 192.168.4.22/30 brd 192.168.4.23 scope global gre-c1024\       valid_lft forever preferred_lft forever
65: gre-c1024    inet6 2a03:2260:115:ffa0:0:4:5:2/126 scope global \       valid_lft forever preferred_lft forever
65: gre-c1024    inet6 fe80::200:5efe:94fb:d0aa/64 scope link \       valid_lft forever preferred_lft forever
66: gre-des2    inet 192.168.9.22/30 brd 192.168.9.23 scope global gre-des2\       valid_lft forever preferred_lft forever
66: gre-des2    inet6 2a03:2260:115:ffa0:0:9:5:2/126 scope global \       valid_lft forever preferred_lft forever
66: gre-des2    inet6 fe80::200:5efe:94fb:d0aa/64 scope link \       valid_lft forever preferred_lft forever

nightbounce | SUCCESS | rc=0 >>
76: gre-tj01    inet 192.168.8.53/30 brd 192.168.8.55 scope global gre-tj01\       valid_lft forever preferred_lft forever
76: gre-tj01    inet6 2a03:2260:115:ffa0:0:8:13:1/126 scope global \       valid_lft forever preferred_lft forever
76: gre-tj01    inet6 fe80::200:5efe:2e04:5adc/64 scope link \       valid_lft forever preferred_lft forever

corny | SUCCESS | rc=0 >>
58: gre-tj01    inet 192.168.7.53/30 brd 192.168.7.55 scope global gre-tj01\       valid_lft forever preferred_lft forever
58: gre-tj01    inet6 2a03:2260:115:ffa0:0:7:13:1/126 scope global \       valid_lft forever preferred_lft forever
58: gre-tj01    inet6 fe80::200:5efe:904c:519d/64 scope link \       valid_lft forever preferred_lft forever

Die ganzen GRE-Tunnel müssen noch weg. Die 41_* in /etc/network/interfaces.d müssen gelöscht werden, dann neu gestartet werden, sonst hängt sich der Kernel gerne mal weg, wenn plötzlich Tunnel fehlen und dann Ansible ausgerollt werden. In der Reihenfolge und nicht anders :).

955
  • Auf Corny die 41_gre_* gelöscht.
  • Corny neu gestartet.
  • Ansible komplett auf Corny ausgerollt.
  • Updates vergessen.