Admintagebuch - Dokumentation der Admintätigkeiten

Neues Gateway corny eingerichtet und alle Domänen von des1 auf corny verschoben um bei des1 eine Ausführliche Fehleranalyse starten zu können. corny sollte über des2 und nightbounce angebunden werden, da nightbounce aber aktuell offline ist und ich daher keine Tunnel bauen konnte hängt er nur an des2.

@MPW hat währenddessen angefangen die ansible Rollen so anzupassen das wir den v4 Traffic von corny über die FFNW Tunnel und den v6 Traffic über unsere Gateways/FFRL Tunnel abkippen können. Das ist jedoch noch nicht Fertig und auch noch nicht ausgerollt.

@MPW: ich hab die gateways_gre_upstream gestern nicht mehr ausgerollt… sollte erstmal nur funktionieren damit ich ins Bett konnte :wink:

Des1 läuft jetzt nur noch mit der Dom66 als Dummy Domäne und bietet zusammen mit c1024 als Backbone upstream für remue-04 / Dom06.

Auf Deshyper-01 läuft jetzt noch das Ticketsystem und eine kiwix VM diese werde ich heute oder morgen verschieben.

3 „Gefällt mir“

Tunnel zwischen corny und nightbounce gebaut danach nightbounce neu gestartet.

grafana-docker von 4.2.0 auf 4.3.2 geupgraded

1 „Gefällt mir“
  • Ansible-Rollen für FFNW-Anbindung V4 fertig gestellt
  • Corny routet jetzt V4 über FFNW und V6 über andere Gateways über den FFRL

Yeeeah :slight_smile:

root@corny:~# vnstat -l -i tun-ffnw-erf1
Monitoring tun-ffnw-erf1...    (press CTRL-C to stop)

   rx:    28,19 Mbit/s  2366 p/s          tx:     3,73 Mbit/s  3157 p/s

root@corny:~# vnstat -l -i tun-ffnw-fra1
Monitoring tun-ffnw-fra1...    (press CTRL-C to stop)

   rx:     4,37 Mbit/s   426 p/s          tx:        0 kbit/s     0 p/s
   1 bash                                                                                                
root@corny:~# vnstat -l -i tun-ffnw-ams1
Monitoring tun-ffnw-ams1...    (press CTRL-C to stop)

   rx:      176 kbit/s    15 p/s          tx:        0 kbit/s     0 p/s

Wer die Nat-IP 185.197.132.32 sieht, der ganze Block gehört zum FFNW. Also insgesamt 185.197.132.32/28.

3 „Gefällt mir“
  • FFRL-Tunnel auf Handle ausgerollt
  • Dort sind allerdings derzeit keine Domänen konfiguriert
2 „Gefällt mir“

Remue_09 neu gestartet.

Des2 lief durch den ausfall von Nightbounce und den Reboot hänger von Remue-09 völlig am Limit.

Beim versuch Knoten aus Dom01 zu Remue-09 zu schubsen hat Des2 mal eben 700 Knoten aus allen Domänen abgeschmissen (@descilla irgendwas ist da beim Multi Tunneldigger noch Komisch…) Als dann nichts mehr ging Des2 neu gestartet. Nach dem er wieder da war schoss die Load auf >20 und Bird6 wollte aufgrund doppelter Conf Einträge nicht mehr. (Müssen wir uns nochmal ansehen wo die herkommen… ) Danach half dann nur noch der Reset Knopf.
Scheint sich jetzt beruhigt zu haben.

Merke: 833 Knoten auf einem Gateway --> Performance-Killer… :stuck_out_tongue_winking_eye:

2 „Gefällt mir“

KEA auf Des2 neu gestartet… Hatte sich wohl weggehängt…

Tunnelendpunkt Erfurt auf Corny getauscht.

Hetzner hat beim Blech von Des1 eine defekte Festplatte getauscht. Nun läuft ein erneuter Check des Systems.

2 „Gefällt mir“

TTL im servers.ff-msl.de Zonefile auf 600 reduziert um beim Gateway-Roulette die Ausfallzeit zu minimieren.

Updates auf Corny gemacht und Multiqueue aktiviert.

Das Skript zum Domänen umsortieren fertig gestellt und auf’s Ansible angewendet. Bitte derzeit nicht ausrollen, sonst gibt es Chaos.

Update zu Des1: Die Hardwartests laufen trotz Festplatten- und RAM-Tausch immer noch schief. Wir haben den Hoster gebeten, den Server zu ersetzen.

Auf Remue-04 Fehlte das Tunnelendstück zu c1024 daher war Dom06 Offline nachdem wir Des1 vom Netz genommen hatten :see_no_evil:

Hab’s jetzt Manuell eingetragen da es die Ansible Rollen aktuell nicht mehr gibt. Sollten wir vlt. mal wiederherstellen…

1 „Gefällt mir“

Des1 läuft wieder \o/

sowohl ansible-hypervisor als auch ansible-ffms ohne Domänen drüber laufen lassen.

@mpw des1 sollten wir vlt. als erstes ausrollen heute Abend da kea noch bauen muss…

1 „Gefällt mir“

@corny456 und ich haben heute Abend endlich das Gatewayroulette-Projekt verwirklich und die Liste von @jotzt in die Tat umgesetzt.

Handle von @Handle ist dadurch jetzt im Produktivbetrieb und Des1 ist auch wieder dabei, nachdem der Hoster gestern die Kiste getauscht hat.

Wir haben dabei einige Fehler noch im Zuordnungsskript und im Ansible behoben. Falls etwas noch nicht rund läuft, bitte Störungstickets erstellen. Wir haben aber eigentlich kontrolliert, dass der DHCP-Server Kea überall läuft und das Routing sah auch gut aus.

6 „Gefällt mir“

PS: Die ffmsl.net-Domäne ist derzeit leider defekt. Ursache ist unklar.

Es ist wieder Remue-09 Day! \o/ --> Reboot…

1 „Gefällt mir“

Auf Corny, Des1 und Parad0x den Multi Tunneldigger wieder ausgerollt damit die Knoten sich innerhalb einer Domäne besser auf die Gateways verteilen.

Zwecks Stabilität sollten wir Parad0x beobachten und dann entscheiden was wir da weiter machen…

2 „Gefällt mir“