# Admintagebuch - Dokumentation der Admintätigkeiten

**URL:** <https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75>\
**Category:** Infrastruktur / Backbone\
**Created:** [15. Oktober 2015 um 00:28 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75 "2015-10-15T00:28:46Z")\
**Posts on this page:** 20\
**Page:** 39

<div class="post-metadata">

**Author:** ![corny456](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/corny456/32/621_2.png) [@corny456](https://forum.freifunk-muensterland.de/u/corny456)\
**Post date:** [30. März 2017 um 06:58 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/766 "2017-03-30T06:58:40Z")

</div>

Parad0x hat heute Nacht den Automatischen Reboot wohl nicht überstanden…  
Neustart hat er dem syslog nach wohl gemacht. Einziges was mir im syslog auf die schnelle aufgefallen ist das er wohl nach dem Neustart mit einer falschen Uhrzeit/Datum gestartet ist bis er sich irgendwann per NTP die richtige Zeit geholt hatte…  
Zur Belustigung war das Datum auch noch der 1.April 😃

@descilla es gab keinen Grafana Alert darüber. Es kamen stumpf keine Werte mehr in Grafana an.

Hab Parad0x Rebootet und die Knoten neu verteilt. Es gehen laut vnstat rund 100 Mbit im Moment durch Parad0x von daher nehme ich an das er läuft, aber Werte kommen im Grafana nach wie vor keine mehr an.

Edith: collectd auf Parad0x neu gestartet --\> kommen wieder Werte an…

---

<div class="post-metadata">

**Author:** ![descilla](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/descilla/32/420_2.png) [@descilla](https://forum.freifunk-muensterland.de/u/descilla)\
**Post date:** [30. März 2017 um 19:16 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/767 "2017-03-30T19:16:08Z")

</div>

Für Kea **kann** jetzt neben _memfile_ auch _PostgreSQL_ als Storage Backend für die Leases genutzt werden:

> <https://github.com/FreiFunkMuenster/Ansible-Freifunk-Gateway/commit/ee80995a870f2d30f7804881b7b166c45471fafd>

> <https://github.com/FreiFunkMuenster/Ansible-Freifunk-Gateway/commit/5125fc6471e1115904fdde98358904279bc196ae>

Außerdem habe ich das Ganze mal auf _des2_ ausgerollt:

> <https://github.com/FreiFunkMuenster/ansible-ffms/commit/812dc1185c7008c6e0394479adf0ffc3bb632f1d>

Ich habe die PostgreSQL Konfiguration erstmal so gelassen, wie sie ausgeliefert wurde. Vielleicht mögen da Leute mit mehr Erfahrung als ich mal drüber schauen, @kgbvax z. B… Ich werde zeitnah aber auch Leistungsdaten des PostgreSQL ins collectd schubsen.

---

<div class="post-metadata">

**Author:** ![descilla](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/descilla/32/420_2.png) [@descilla](https://forum.freifunk-muensterland.de/u/descilla)\
**Post date:** [30. März 2017 um 19:25 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/768 "2017-03-30T19:25:38Z")

</div>

Es gibt jetzt ein Dashboard mit Statistiken von nginx (des mapservers):

[https://freifunk-muensterland.de/grafana/dashboard/db/nginx-stats](https://freifunk-muensterland.de/grafana/dashboard/db/nginx-stats)

Leider sind die Informationen nicht so umfangreich wie erhofft (keine Nutzung des Caches, Bandbreite, …).

---

<div class="post-metadata">

**Author:** ![descilla](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/descilla/32/420_2.png) [@descilla](https://forum.freifunk-muensterland.de/u/descilla)\
**Post date:** [30. März 2017 um 22:16 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/769 "2017-03-30T22:16:07Z")

</div>

PostgreSQL für kea auf _remue-09_ ebenfalls konfiguriert. Dist-upgrade durchgeführt, Kernel auf 4.9 (Debian backports) upgegraded und rebooted. Dabei ist aufgefallen, dass das systemd script für kea noch angepasst werden muss. Als kea starten wollte, war die Datenbank noch nicht da.

---

<div class="post-metadata">

**Author:** ![descilla](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/descilla/32/420_2.png) [@descilla](https://forum.freifunk-muensterland.de/u/descilla)\
**Post date:** [2. April 2017 um 00:11 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/770 "2017-04-02T00:11:53Z")

</div>

PSQL4Kea läuft jetzt ebenfalls auf nightbounce. Zuvor habe ich die Konfiguration „reboot sicher“ gemacht. Es wird als kea erst gestartet, nachdem der psql service gestartet wurde:

> <https://github.com/FreiFunkMuenster/Ansible-Freifunk-Gateway/commit/1114e789743c0bda779b93529fcb9c149e22abc5>

Morgen (oder in den nächsten Tagen) baue ich dann in das kea-collectd Script eine Abfrage ein, um die „pool utilization“ zu erfassen.

---

<div class="post-metadata">

**Author:** ![descilla](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/descilla/32/420_2.png) [@descilla](https://forum.freifunk-muensterland.de/u/descilla)\
**Post date:** [2. April 2017 um 17:46 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/771 "2017-04-02T17:46:14Z")

</div>

Aufgrund folgender Problematik

> [@Auf ICVPN-V4 verzichten und IP-Bereiche größer machen](https://forum.freifunk-muensterland.de/t/auf-icvpn-v4-verzichten-und-ip-bereiche-groesser-machen/1764/24):
>
> Nachdem ich gestern auf einigen Kisten (dort, wo kea bereits psql nutzt) das collectd script angepasst habe, sodass wir jetzt einen Überblick über die leases pool utilization bekommen, ist mir heute direkt folgendes aufgefallen: Über weite Strecken des Tages war der IPv4 Pool für Domäne-01 auf remue-09 aufgebraucht. Im kea log waren entsprechende Meldungen zu finden: ... 2017-04-02 15:06:45.260 WARN [kea-dhcp4.alloc-engine/7072] ALLOC\_ENGINE\_V4\_ALLOC\_FAIL [hwtype=1 f8:84:f2:…

habe ich die Gültigkeit der DHCP Leases temporär von 3600 Sekunden auf 1800 Sekunden reduziert. Dennoch sollten wir das Problem umgehend an gehen.

---

<div class="post-metadata">

**Author:** ![descilla](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/descilla/32/420_2.png) [@descilla](https://forum.freifunk-muensterland.de/u/descilla)\
**Post date:** [2. April 2017 um 21:19 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/772 "2017-04-02T21:19:02Z")

</div>

PSQL4Kea läuft jetzt auf allen Gateways. Ebenfalls die collectd rollen auf den Gateways neu ausgerollt.

Außerdem habe ich das Logging des Kea wieder auf _WARN_ runter gedreht. Da unsere DHCP Probleme nun hinreichend untersucht wurden und nun quantitativ über collectd erfasst werden. Die Art des Loggings lässt sich nun über Variablen konfigurieren:

> <https://github.com/FreiFunkMuenster/Ansible-Freifunk-Gateway/commit/1e334f7d0622a1e16cc25f8ec87e04ca8aed1fce>

---

<div class="post-metadata">

**Author:** ![MPW](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/mpw/32/1812_2.png) [@MPW](https://forum.freifunk-muensterland.de/u/MPW)\
**Post date:** [2. April 2017 um 21:33 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/773 "2017-04-02T21:33:07Z")

</div>

DNS auf Des2 repariert, Details siehe: [https://github.com/FreiFunkMuenster/ansible-ffms/commit/0b51b430769a6d352d90a27d3114629d0e16b4c5](https://github.com/FreiFunkMuenster/ansible-ffms/commit/0b51b430769a6d352d90a27d3114629d0e16b4c5)

Iptables-Regeln passten nicht zu den tatsächlichen DNS-Servern.

---

<div class="post-metadata">

**Author:** ![corny456](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/corny456/32/621_2.png) [@corny456](https://forum.freifunk-muensterland.de/u/corny456)\
**Post date:** [3. April 2017 um 07:04 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/774 "2017-04-03T07:04:21Z")

</div>

Auf dem Kartenserver hat der Let’s Encrypt Cronjob das Zertifikat für die .org Adresse wieder im nginx aktiviert wodurch die Karte nicht erreichbar war. Habe die komplette Konfig für die .org Domain aus dem acme Client entfernt und das Zertifikat für die .de neu generiert und wieder in den nginx gehängt. ==\> Tut wieder.

---

<div class="post-metadata">

**Author:** ![descilla](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/descilla/32/420_2.png) [@descilla](https://forum.freifunk-muensterland.de/u/descilla)\
**Post date:** [3. April 2017 um 07:40 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/775 "2017-04-03T07:40:44Z")

</div>

Auf des2 und remue-09 war die Nacht über die fork-rate so bei 200/s. Es scheint so, als hätte sich der tunneldigger wieder in einen merkwürdigen Zustand versetzt.

```auto
...
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 586!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 385!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 728!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 732!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 582!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 361!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 319!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 396!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 391!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 435!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 441!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 406!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 395!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 414!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 431!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 427!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 445!
Mon, 03 Apr 2017 06:44:44 ERROR Failed to setup tunnel with id 416!
Mon, 03 Apr 2017 06:44:45 ERROR Failed to setup tunnel with id 425!
Mon, 03 Apr 2017 06:44:45 ERROR Failed to setup tunnel with id 437!
Mon, 03 Apr 2017 06:44:45 ERROR Failed to setup tunnel with id 403!
Mon, 03 Apr 2017 06:44:45 ERROR Failed to setup tunnel with id 404!
Mon, 03 Apr 2017 06:44:45 ERROR Failed to setup tunnel with id 440!
Mon, 03 Apr 2017 06:44:45 ERROR Failed to setup tunnel with id 439!
Mon, 03 Apr 2017 06:44:45 ERROR Failed to setup tunnel with id 392!
Mon, 03 Apr 2017 06:44:45 ERROR Failed to setup tunnel with id 399!
Mon, 03 Apr 2017 06:44:45 ERROR Failed to setup tunnel with id 426!
Mon, 03 Apr 2017 06:44:45 ERROR Failed to setup tunnel with id 389!
Mon, 03 Apr 2017 06:44:45 ERROR Failed to setup tunnel with id 434!
Mon, 03 Apr 2017 06:44:45 ERROR Failed to setup tunnel with id 422!
Mon, 03 Apr 2017 06:44:45 ERROR Failed to setup tunnel with id 443!
Mon, 03 Apr 2017 06:44:45 ERROR Failed to setup tunnel with id 583!
...

```

Beide TD neu gestartet. Läuft seit dem wieder. Kurz danach auf remue-09 zwecks rebalancing erneut neu gestartet, da der dom-01 auf remue-09 innerhalb kürzester zeit die dhcpv4 leases ausgegangen sind.

---

<div class="post-metadata">

**Author:** ![MPW](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/mpw/32/1812_2.png) [@MPW](https://forum.freifunk-muensterland.de/u/MPW)\
**Post date:** [3. April 2017 um 08:42 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/776 "2017-04-03T08:42:16Z")

</div>

Unsere Systeme laufen auch nur in den zehn Minuten zwischen Neustart und bis sich alle Knoten verbunden haben…

---

<div class="post-metadata">

**Author:** ![descilla](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/descilla/32/420_2.png) [@descilla](https://forum.freifunk-muensterland.de/u/descilla)\
**Post date:** [3. April 2017 um 11:36 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/777 "2017-04-03T11:36:29Z")

</div>

> [@MPW](#):
>
> Unsere Systeme laufen auch nur in den zehn Minuten zwischen Neustart und bis sich alle Knoten verbunden haben…

?

Gibt es wieder irgendwo Probleme?

---

<div class="post-metadata">

**Author:** ![kgbvax](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/kgbvax/32/537_2.png) [@kgbvax](https://forum.freifunk-muensterland.de/u/kgbvax)\
**Post date:** [3. April 2017 um 17:03 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/778 "2017-04-03T17:03:22Z")

</div>

Forum aktualisiert

---

<div class="post-metadata">

**Author:** ![descilla](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/descilla/32/420_2.png) [@descilla](https://forum.freifunk-muensterland.de/u/descilla)\
**Post date:** [3. April 2017 um 19:04 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/779 "2017-04-03T19:04:08Z")

</div>

Optimierungen der PSQL Konfiguration von @kgbvax, sowie Optimierung des „expired-leases-processing“ auf allen Gateways ausgerollt:

> <https://github.com/FreiFunkMuenster/Ansible-Freifunk-Gateway/commit/08b72a482b498ce509dd3f422d7a58b3fa023b89>

> <https://github.com/FreiFunkMuenster/ansible-ffms/commit/71cf6d536f50b1fdd7dfdae15e569e54c0359f6a>

---

<div class="post-metadata">

**Author:** ![kgbvax](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/kgbvax/32/537_2.png) [@kgbvax](https://forum.freifunk-muensterland.de/u/kgbvax)\
**Post date:** [3. April 2017 um 19:14 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/780 "2017-04-03T19:14:59Z")

</div>

Kurz zu dem Async Commit ^^: Das kann man echt nur bringen wenn die Daten nicht kritisch sind, also nicht für anderer Zwecke übernehmen. Beim Crash gehen in diesem Falle maximal 3 \* bg\_writer\_delay Daten verloren (etwas über eine Sekunde aktuell). Die Konsistenz der Daten ist allerdings nicht bedroht - im Worst Case fehlen nur die letzten. Schien mir für DHCP Leases vertretbar 😉

---

<div class="post-metadata">

**Author:** ![descilla](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/descilla/32/420_2.png) [@descilla](https://forum.freifunk-muensterland.de/u/descilla)\
**Post date:** [3. April 2017 um 19:36 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/781 "2017-04-03T19:36:43Z")

</div>

> [@kgbvax](#):
>
> Beim Crash gehen in diesem Falle maximal 3 \* bg\_writer\_delay Daten verloren (etwas über eine Sekunde aktuell).

Selbst mehrere Minuten wären in unserem Szenario vertretbar (im Vergleich zur vorherigen Situation). Aktuell (bei verwendung der „build-in“-Database csv-\>memfile) war es nämlich so, dass die kea server sich beim Starten (z. B. nach reboot) direkt auf die Nase gelegt haben (wenn sie länger als ca. 7 Tage liefen), weil sie sich an der Dateigröße verschluckt haben (laut kea mailinglisten ist das bekannt und „ist halt so“). Ich habe dann immer von Hand die lease-Datei löschen müssen, da war dann alles weg. Daher wurde es Zeit für ein richtiges DBS.

---

<div class="post-metadata">

**Author:** ![descilla](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/descilla/32/420_2.png) [@descilla](https://forum.freifunk-muensterland.de/u/descilla)\
**Post date:** [3. April 2017 um 20:19 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/782 "2017-04-03T20:19:12Z")

</div>

Man kann jetzt über DHCPv4 mehrere Nameserver announcen. Das ist konfiguierbar und es gibt zwei Typen: Alle anderen Gateways der Domäne als Nameserver und zusätzliche Namensserver (z. B. „externe“), die in den host\_vars/group\_vars in einer Liste angegeben werden:

> <https://github.com/FreiFunkMuenster/Ansible-Freifunk-Gateway/commit/0d40ff4013f14b7418cbea54965ed4a25a44bc98>

Wenn die dhclients

> [@https://tools.ietf.org/html/rfc2132#section-3.8](#):
>
> Servers SHOULD be listed in order of preference.

auch so implementiert haben, sollte immer der Namensserver bevorzugt werden, von dem das DHCP Lease ausgestellt wurde.

Ich habe das auf _remue-09_ und _des2_ ausgerollt und ein stichprobenartiger Test verlief einwandfrei. Als zusätzliche (externe) Namensserver habe ich den vom FoeBud/Digitalcourage und den vom CCC in Berlin gesetzt.

---

<div class="post-metadata">

**Author:** ![corny456](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/corny456/32/621_2.png) [@corny456](https://forum.freifunk-muensterland.de/u/corny456)\
**Post date:** [4. April 2017 um 08:21 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/783 "2017-04-04T08:21:20Z")

</div>

Da Remue-09 die IP’s für Dom01 ausgegangen sind um ca 9.00 Uhr den Tunneldigger auf Remue-09 neu gestartet um einige Knoten aus Domäne 01 zu Des2 zu schubsen…

---

<div class="post-metadata">

**Author:** ![descilla](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/descilla/32/420_2.png) [@descilla](https://forum.freifunk-muensterland.de/u/descilla)\
**Post date:** [4. April 2017 um 10:59 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/784 "2017-04-04T10:59:37Z")

</div>

Das Gateway `c1024` kam gerade wieder online.

Ich habe

- wieder den Debian-Backports Kernel aktiviert (4.9.z)
- dist-upgrade durchgeführt
- Ansible einmal komplett drüber gebügelt
- Funktionalität der wichtigsten Dienste geprüft
- “rebalancing” mit nightbounce durchgeführt

---

<div class="post-metadata">

**Author:** ![descilla](https://forum.freifunk-muensterland.de/user_avatar/forum.freifunk-muensterland.de/descilla/32/420_2.png) [@descilla](https://forum.freifunk-muensterland.de/u/descilla)\
**Post date:** [5. April 2017 um 07:31 UTC](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75/785 "2017-04-05T07:31:37Z")

</div>

Der geplante reboot auf remue-09 heute Nacht war leider nicht erfolgreich (hing beim herunterfahren, hat nicht alle interfaces runter bekommen). Vorhin daher per Hand neu gestartet und ein paar l2tp verbindungen drauf geworfen.

[Vorherige Seite](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75.md?page=38)

[Nächste Seite](https://forum.freifunk-muensterland.de/t/admintagebuch-dokumentation-der-admintatigkeiten/75.md?page=40)
