Admintagebuch - Dokumentation der Admintätigkeiten

Münsterland-Domäne repariert. Auf Parad0x war die bird.conf für v4 falsch und daher gab es keine V4-Standardroute und es ging nur V6 durch. Fussel war dadurch stark ausgelastet (> 60 Mbit/s).

Jetzt sollte es wieder laufen.

Grüße
Matthias

Stabilität geht vor Geschwindigkeit. Ich weiß mir aktuell nicht anders zu helfen, als in Domäne-14 lt2p wieder abzustellen und fastd anzumachen (upload der images erfolgt gerade). Bitte auch an @Alucardo, das latest-Image zu installieren, sobald es verfügbar ist (baue gerade, und werde an einer Stelle noch testen können).

Habe zuvor die Kette experimental -> beta -> stable gebaut, einige von Hand migriert und auch ein paar autoupdates geschehen lassen. Wünscht mit viel Glück und drängt die übrigen Aktiven in Warendorf dazu mich dazu zu zwingen die Verantwortung für das Netz in Warendorf abzugeben!

2 „Gefällt mir“

Service-VM: Letsencrypt-Zertifikat für https://service.freifunk-muensterland.de/ und https://karte.freifunk-muensterland.org/ installiert, inkl. Ansible und Cron-Job für Zertifikatserneuerung.

2 „Gefällt mir“

Hallo,

ich hab heute Nacht spezifischeres Routen für IPv4 implementiert, sodass die Backbone-Server, falls sie mehrere Tunnel zu einer Domäne haben, anhand der DHCP-Bereiche der Gateways schon eine Vorentscheidung treffen, wohin die Pakete gehen sollen.

Die Problematik ist folgende: Querverkehr durch das Batmannetz lähmt die Verbindung extrem.

Wenn es also die folgende Konstellation gibt:

Backboneserver
  |-> Gateway A
  |     | (Gretap)
  |-> Gateway B

Dann haben wir immer Querverkehr. Entweder schickt der Backboneserver alles zu Gateway A und alles, was zu B gemusst hätte, wird durch den Gretap-Tunnel zurück geschoben. Oder umgekehrt.

Daher können wir derzeit pro Domäne nur #Gateways <= #Backbones bauen, damit jeder eine direkte und eindeutige Verbindung hat. Das ist natürlich nicht im Sinne des Erfinders.

Also wird per ipcalc der DHCP-Bereich im Ansible aufgeteilt und dann in Bird als statische Routen angelegt. Diese werden dann über OSPF ans Backbone geschickt.

Das ist jetzt im Ansible-Zweig spezifischeres_Routen mal umgesetzt (mit Simons Hilfe) und auf der Domäne-01 ausgerollt. Für IPv6 wird das ganze noch etwas komplizierter denke ich.

Hier ein Beispiel von Remü-01:

protocol static dhcp_Bereich {
    table ffnet;
    route 10.43.8.2/32 via "bat0";
    route 10.43.8.26/31 via "bat0";
    route 10.43.8.28/30 via "bat0";
    route 10.43.8.32/27 via "bat0";
    route 10.43.8.64/26 via "bat0";
    route 10.43.8.128/25 via "bat0";
    route 10.43.9.0/24 via "bat0";
    route 10.43.10.0/25 via "bat0";
    route 10.43.10.128/27 via "bat0";
    route 10.43.10.160/32 via "bat0";
}

OSPF-Filter:

export filter {
    if source=RTS_STATIC_DEVICE then accept;
    else reject;
};

Grüße
Matthias

1 „Gefällt mir“

Neu auftretende Fehler mit apt kann man wie folgt beheben:

Mit Unterstützung von @MPW ein bisschen Serverwartung gemacht:

  • ffms-backup (Nicht-Ansible-VM für diverse Backups)
  • apt-get dist-upgrade durchgeführt und neu gestartet
  • parad0x-01
  • apt-transport-https installiert
  • apt-key adv --keyserver keys.gnupg.net --recv-keys CB201D9C
  • apt-get dist-upgrade durchgeführt und neu gestartet
  • parad0x (Backbone)
  • apt-get dist-upgrade durchgeführt und neu gestartet
  • Hostsystem aller VMs
  • Updates installiert und neu gestartet
2 „Gefällt mir“

Auf allen fanlin-Maschinen Sicherheitsupdates für Bind9 und Linux eingespielt.
DSA-3448 & DSA3449
Reboot VirtHost heute um 24:00.

1 „Gefällt mir“

Backup-VM ist voll gelaufen. Hatte meine Kalender-Erinnerung für das manuelle Löschen alter Sicherungen übersehen.
Alles bereinigt, Backups manuell gestartet und auf dem ToDo-Zettel Anpassung Backup-Skript fett unterstrichen :wink:

1 „Gefällt mir“

Auf dem Webserver wurde jetzt der alte Docker-Container entfernt, dieser wurde nicht mehr gebraucht da die Karte jetzt auf https://service.freifunk-muensterland.de/maps/map/ bereitgestellt wird.

Für die alte Karte, also alle URLs die auf https://freifunk-muesterland.de/map/ verweisen habe ich eine Weiterleitung auf die neue Karet eingerichtet so dass diese Links auch weiterhin funktionieren.

1 „Gefällt mir“

Grafana ist jetzt auf die Version 2.6.0 aktualisiert.
Zudem habe ich die Übersicht der Knoten und Clients mal etwas aufgebohrt um die Verteilung der Clients auf die Domänen besser darzustellen: https://freifunk-muensterland.de/grafana/dashboard/db/knoten-und-clients

1 „Gefällt mir“

Wieder Lebenserhaltende Maßnahmen für die Münsterland-Domäne, auf beiden Gateways:

  • ip (-6) Regeln für die Tunnel-Schnittstellen und br0 eingetragen
  • Aus irgendeinem Grund bevorzugen beide Systeme /56 unrechable vor /64 dev br0 für unser IPv6-Präfix. Daher hab ich die unrechable jetzt auf „via “br0”“ im bird6 geändert

Rebootfestigkeit habe ich nicht getestet.

Sicherheistupdates auf Commander1024 aufgespielt. Reboot heute 23:00.
Hoffe da ist jetzt alles rebootfest.

Nope. Ging nichts mehr durch.

Folgendes war zu tun:

root@c1024:~# ip -6 rule add iif tun-ffrl-fra table ffnet
root@c1024:~# ip -6 rule add iif tun-ffrl-dus table ffnet
root@c1024:~# ip rule add iif tun-ffrl-dus table ffnet
root@c1024:~# ip rule add iif tun-ffrl-fra table ffnet

Sollten wir unbedingt mal in Ansible gießen, da:

und

Hallo,

@Parad0x und ich haben gerade die von @Fungur und mir gebaute Rolle zur Vernetzung des Backbones ausgerollt. Somit hat jede Backbone-VM jetzt zu jeder einen GRE-Tunnel.

Darüber wird aber noch nicht geroutet, das kommt erst im nächsten Schritt.

Die von @descilla angesprochenen IP Regeln sind eigentlich im Ansible vorhanden, scheinbar sind die nie korrekt ausgerollt worden.

Es ist aufgefallen, dass die Ansible-Rolle die auf den Backbones den Kernel aktualisieren soll, nicht aktiv ist. Das müssen wir alle bald nochmal ausrollen.

Grüße
Matthias

1 „Gefällt mir“

ffms-ansible: Updates installiert und Upgrade von ansible auf Version 2.0.0.2

1 „Gefällt mir“

Commander-Backbone:

  • Kernel 4.2 aufgespielt, Tunnel gehen jetzt auch über IPv6
  • Reboot
  • Bird{6} startet immer noch nicht, nochmal im sysctl aktiviert
  • Ansonsten rebootfest

Ansible-VM:

  • In /etc/ansible/ansible.cfg

    inventory = /root/ffms-ansible/hosts

gesetzt, dann brauchen wir das nicht immer mit -i hosts dazuschreiben.

  • Fanlin ist jetzt auch auf Ansible-Master stand
  • Auf des1 zickt apt-get gerade, gucke ich mir später an
2 „Gefällt mir“

Fixed. apt-transport-https musste installiert werden. wollte erst nicht, habe dann alle repos außer die hetzner deaktiviert, ging dann, dann wollte http://repo.universe-factory.net noch einen neuen key haben, jetzt alles wunderbar.

1 „Gefällt mir“

Habe gerade die Knoten gleichmäßig(er) auf die Server verteilt. Dabei gab es Probleme. service fastd restart scheint wohl nicht ganz sauber zu laufen. Außerdem braucht er ewig, bis er wieder Verbindungen aufbaut.

Daher wie folgt:
echo "peer limit 75;" >> /etc/fastd/vpn/fastd.conf && sleep 1 && service fastd stop && sleep 2 && service fastd start && sleep 2 && service fastd status
Die sleep’s kann man ggf. weglassen. Wollte aber nicht ein weiteres mal daneben landen und die Sekunden hatte ich dann noch. :wink:

Edit: Limit nach erfolgreicher Verteilung natürlich wieder entfernt:
sed -i '$ d' /etc/fastd/vpn/fastd.conf && sleep 1 && service fastd stop && sleep 2 && service fastd start && sleep 2 && service fastd status

auf c1024 und fanlin kam sowas:

Jan 28 19:02:45 c1024 kernel: [155005.551278] nf_conntrack: table full, dropping packet
Jan 28 19:02:45 c1024 kernel: [155005.551564] nf_conntrack: table full, dropping packet
Jan 28 19:02:50 c1024 kernel: [155010.558042] net_ratelimit: 3483 callbacks suppressed
Jan 28 19:02:50 c1024 kernel: [155010.558066] nf_conntrack: table full, dropping packet
Jan 28 19:02:50 c1024 kernel: [155010.568828] nf_conntrack: table full, dropping packet
Jan 28 19:02:50 c1024 kernel: [155010.570022] nf_conntrack: table full, dropping packet
Jan 28 19:02:50 c1024 kernel: [155010.572894] nf_conntrack: table full, dropping packet
Jan 28 19:02:50 c1024 kernel: [155010.573704] nf_conntrack: table full, dropping packet
Jan 28 19:02:50 c1024 kernel: [155010.573901] nf_conntrack: table full, dropping packet
Jan 28 19:02:50 c1024 kernel: [155010.574166] nf_conntrack: table full, dropping packet
Jan 28 19:02:50 c1024 kernel: [155010.574432] nf_conntrack: table full, dropping packet
Jan 28 19:02:50 c1024 kernel: [155010.574439] nf_conntrack: table full, dropping packet

net.netfilter.nf_conntrack_max war in /etc/sysctl.conf korrekt gesetzt, jedoch war ein viel geringerer Wert (32k) in Verwendung. Das lag vermutlich daran, dass der Wert Hash-Wert (warum auch immer) zu klein gesetzt war/wurde. Wert in /sys/module/nf_conntrack/parameters/hashsize neu gesetzt und Einstellungen mit /sbin/sysctl -p neu geladen. Nun glühen die Leitungen wieder. :blush:

1 „Gefällt mir“