Admintagebuch - Dokumentation der Admintätigkeiten

Remue-09 wiederbelebt. Keine Ahnung was da los war bin nicht an die Konsole gekommen…

1 „Gefällt mir“

Handle läuft wieder ist aber aufgrund von Problemen mit collectd unter Ubuntu und einer fehlenden IPv6 adresse nach dem start im Moment noch nicht Rebootsicher!!! ich hab den Reboot Cron deaktiviert. @Handle guckt sich das IPv6 gedönse nochmal an und macht nen Bugreport wegen des collectd’s.

2 „Gefällt mir“
  • Ansible automatische Berechnung der DHCP-Bereiche beigebracht
  • Dom01-15 im Ansible umgestellt, kann ausgerollt werden. Das mach ich aber heute Nacht nicht mehr.
  • Alle Server bis auf Parad0x müssen ausgerollt werden.

@jotzt, du kannst dir jetzt die neue Syntax der Domänenliste z. B. auf Des1 angucken.

2 „Gefällt mir“

Corny hat grad alle Verbindungen gekappt. Ursache Unbekannt. Reboot hat geholfen…

DHCP-Bereiche in Dom 1-15 umgestellt. Damit Des1 und TJ01 einzeln ausgerollt werden konnten, teilweise die Bereiche doch von Hand eingetragen.

Details siehe hier: Neue DHCP-Bereiche in Ansible umsetzen

Lo-Interfaces auf Fanlin und Nightbounce aus der /etc/network/interfaces gelöscht.

PS: Wieder alle IP-Bereiche für die Domänen ≤ 15 eingetragen und die Rolle, die die Berechnung durchführt, deaktiviert.

1 „Gefällt mir“
  • Remue 09 neu gestartet. Keine Ahnung was die Dose schon wieder hat, selbst die Serielle Console ist tot und das Syslog auch nicht aufschlussreich…

  • Corny neu gestartet. Irgendwas war da komisch…

  • auf Fanlin den Tunneldigger neu gestartet um ein paar Knoten zu schubsen…

  • Remü-04 ans Backbone angebunden
  • sämtliche ffms_tun_to-Konstruktionen abgerissen
  • Bird-Rolle so angepasst, dass sie auch auf Remü-04 läuft

Altlasten:

tj01 | FAILED | rc=1 >>


fanlin | FAILED | rc=1 >>


des1 | SUCCESS | rc=0 >>
66: gre-remue-04    inet 192.168.63.9/30 brd 192.168.63.11 scope global gre-remue-04\       valid_lft forever preferred_lft forever
66: gre-remue-04    inet6 2a03:2260:115:ffa0:6:3:2:1/126 scope global \       valid_lft forever preferred_lft forever
66: gre-remue-04    inet6 fe80::200:5efe:509:569a/64 scope link \       valid_lft forever preferred_lft forever
67: gre-tj01    inet 192.168.3.53/30 brd 192.168.3.55 scope global gre-tj01\       valid_lft forever preferred_lft forever
67: gre-tj01    inet6 2a03:2260:115:ffa0:0:3:13:1/126 scope global \       valid_lft forever preferred_lft forever
67: gre-tj01    inet6 fe80::200:5efe:509:569a/64 scope link \       valid_lft forever preferred_lft forever

c1024 | FAILED | rc=1 >>


parad0x | FAILED | rc=1 >>


des2 | SUCCESS | rc=0 >>
81: gre-tj01    inet 192.168.9.53/30 brd 192.168.9.55 scope global gre-tj01\       valid_lft forever preferred_lft forever
81: gre-tj01    inet6 2a03:2260:115:ffa0:0:9:13:1/126 scope global \       valid_lft forever preferred_lft forever
81: gre-tj01    inet6 fe80::200:5efe:94fb:2d2d/64 scope link \       valid_lft forever preferred_lft forever
82: gre-remue-09    inet 192.168.9.21/30 brd 192.168.9.23 scope global gre-remue-09\       valid_lft forever preferred_lft forever
82: gre-remue-09    inet6 2a03:2260:115:ffa0:0:9:5:1/126 scope global \       valid_lft forever preferred_lft forever
82: gre-remue-09    inet6 fe80::200:5efe:94fb:2d2d/64 scope link \       valid_lft forever preferred_lft forever

remue-09 | SUCCESS | rc=0 >>
65: gre-c1024    inet 192.168.4.22/30 brd 192.168.4.23 scope global gre-c1024\       valid_lft forever preferred_lft forever
65: gre-c1024    inet6 2a03:2260:115:ffa0:0:4:5:2/126 scope global \       valid_lft forever preferred_lft forever
65: gre-c1024    inet6 fe80::200:5efe:94fb:d0aa/64 scope link \       valid_lft forever preferred_lft forever
66: gre-des2    inet 192.168.9.22/30 brd 192.168.9.23 scope global gre-des2\       valid_lft forever preferred_lft forever
66: gre-des2    inet6 2a03:2260:115:ffa0:0:9:5:2/126 scope global \       valid_lft forever preferred_lft forever
66: gre-des2    inet6 fe80::200:5efe:94fb:d0aa/64 scope link \       valid_lft forever preferred_lft forever

nightbounce | SUCCESS | rc=0 >>
76: gre-tj01    inet 192.168.8.53/30 brd 192.168.8.55 scope global gre-tj01\       valid_lft forever preferred_lft forever
76: gre-tj01    inet6 2a03:2260:115:ffa0:0:8:13:1/126 scope global \       valid_lft forever preferred_lft forever
76: gre-tj01    inet6 fe80::200:5efe:2e04:5adc/64 scope link \       valid_lft forever preferred_lft forever

corny | SUCCESS | rc=0 >>
58: gre-tj01    inet 192.168.7.53/30 brd 192.168.7.55 scope global gre-tj01\       valid_lft forever preferred_lft forever
58: gre-tj01    inet6 2a03:2260:115:ffa0:0:7:13:1/126 scope global \       valid_lft forever preferred_lft forever
58: gre-tj01    inet6 fe80::200:5efe:904c:519d/64 scope link \       valid_lft forever preferred_lft forever

Die ganzen GRE-Tunnel müssen noch weg. Die 41_* in /etc/network/interfaces.d müssen gelöscht werden, dann neu gestartet werden, sonst hängt sich der Kernel gerne mal weg, wenn plötzlich Tunnel fehlen und dann Ansible ausgerollt werden. In der Reihenfolge und nicht anders :).

  • Auf Corny die 41_gre_* gelöscht.
  • Corny neu gestartet.
  • Ansible komplett auf Corny ausgerollt.
  • Updates vergessen.

IPv6 in Dom46 war kaputt. Bird und Bird6 auf Corny neu gestartet.

Selbes Problem bei Des1. Reboot.

  • DHCP-Bereiche aller Domänen ≥ 16 angepasst
  • noch nicht ausgerollt
  • Machen wir dann zusammen mit dem neuen Algorithmus für die IPs auf den Tunneln
  • DNS Einträge für Bleche werden jetzt analog zu den Gateways von Ansible angelegt.
  • Icinga rollen in den Master-Zweig übernommen.

Bind auf der Service-VM neu gestartet und dadurch die Auflösung der Knoten-DNS-Einträge repariert.

auf Fanlin hat postgresql einen neustart hingelegt und damit KEA in den Tod gerissen…
KEA neu gestartet.

Handle ist wieder online. Nur ibgp zu tj01 geht nicht, weil der Algorithmus zur Berechnung der Tunnel-IPs für die große vm_id versagt.

Des1 neu gestartet. Wir müssen diesen Fehler mal analysieren…

Beobachtung:

  • Von einer vCPU fällt die last ab.
  • L2TP Tunnel reißen ab.
  • Traffic Kurven sehen aus wie Igel.

Vorschlag: Auf einen TD umschalten.

Des1 neu gestartet, war nicht pingbar.

Bind auf der Service VM neu gestartet.