Admintagebuch - Dokumentation der Admintätigkeiten

remue neu gestartet because of gona wild und so…
Bei der Gelegenheit auch gleich Updates auf dem Hypervisor gemacht…

2 „Gefällt mir“

Zusammen mit @stefan6 die Tunnel nach Frankfurt von allen an den FFNW angebunden Gateways mit neuem Endpunkt wieder in Betrieb genommen. Dabei die AMS Tunnel entfernt da aktuell eh tot.

Dann alle FFNW Gateways gebootet.

4 „Gefällt mir“

Die weiterleitung der adminteam Mail Adresse auf die neuen Mitglieder aktualisiert.

4 „Gefällt mir“

Großes Unifi Update aller Geräte, außer der EOL und der Offline Geräte

Bundeswehr
Geist
OVG ( EOL AP-AC Outdoor )
HBF
LAFP
Burse

4 „Gefällt mir“

@corny456 und ich haben Updates für die UniFi-VM installiert und der VM einen zweiten CPU-Kern spendiert. Dabei wurde der UniFi auf 5.6.36 aktualisiert.

4 „Gefällt mir“

Alle FFNW Tunnel abgedreht da nichts mehr durch ging. Siehe: Einzelne Dienste nicht erreichbar

Hab @stefan6 informiert…

4 „Gefällt mir“

Ping, undefinierbar was da los war:

7872327.556271] ip_tunnel: non-ECT from

Tonnenweise Nachrichten von euren Servern. Vielleicht hat da Hetzner uns nicht mehr gefunden, bei uns (FFNW) lief es.

3 „Gefällt mir“

Forum, Wiki aktualisiert, mit @Parad0x den Podcast Feed auf Wordpress umgestellt, Update bei iTunes dauert so ca 24h

3 „Gefällt mir“

DNS-Auflösung der Knotennamen repariert: DNS-Zone knoten.ffmsl.de kaputt

4 „Gefällt mir“

Zertifikate des Wikis repariert.

Da es dämlich ist, die Wiki-Konfiguration im Wiki zu sichern, mache ich das mal hier:

root@wiki ~ # cat /etc/apache2/sites-enabled/000-default.conf 
<VirtualHost *:80>
	Redirect permanent /secure https://wiki.freifunk-muensterland.de
	ServerName wiki.freifunk-muensterland.de
	ServerAlias wiki.freifunk-muensterland.org
	ServerAlias wiki.freifunk-muenster.de
	ServerAlias wiki.freifunk-muensterland.net
	ServerAlias wiki.ffmsl.de
	ServerAdmin info@freifunk-muensterland.de


	ErrorLog ${APACHE_LOG_DIR}/error.log
	LogLevel alert rewrite:trace6
	CustomLog ${APACHE_LOG_DIR}/access.log combined

	RewriteEngine on
	RewriteCond %{HTTPS} off [OR]
	RewriteCond %{HTTP:X-Forwarded-Proto} !https
	RewriteRule ^(.*) https://wiki.freifunk-muensterland.de/$1 [NC,R=301,L]
RewriteCond %{SERVER_NAME} =wiki.ffmsl.de [OR]
RewriteCond %{SERVER_NAME} =wiki.freifunk-muensterland.de
RewriteRule ^ https://%{SERVER_NAME}%{REQUEST_URI} [END,NE,R=permanent]
</VirtualHost>
root@wiki ~ # cat /etc/apache2/sites-enabled/001-default-le-ssl.conf 
Protocols h2 http/1.1
<IfModule mod_ssl.c>
SSLSessionCache memcache:127.0.0.1:11211
<VirtualHost *:443>
	Header set Strict-Transport-Security "max-age=10886400; includeSubDomains; preload"
	SSLProxyEngine on
	SSLProxyVerify none
	SSLProxyCheckPeerCN Off
        SSLProxyCheckPeerName Off
	ServerAdmin iotter@mac.com
#	DocumentRoot /var/www/html

	# Available loglevels: trace8, ..., trace1, debug, info, notice, warn,
	# error, crit, alert, emerg.
	# It is also possible to configure the loglevel for particular
	# modules, e.g.
	LogLevel info 


	ErrorLog ${APACHE_LOG_DIR}/error.log
	CustomLog ${APACHE_LOG_DIR}/access.log combined


	# For most configuration files from conf-available/, which are
	# enabled or disabled at a global level, it is possible to
	# include a line for only one particular virtual host. For example the
	# following line enables the CGI configuration for this host only
	# after it has been globally disabled with "a2disconf".
	#Include conf-available/serve-cgi-bin.conf
	SSLCertificateFile /etc/letsencrypt/live/hc.infrastruktur.ms/fullchain.pem
	SSLCertificateKeyFile /etc/letsencrypt/live/hc.infrastruktur.ms/privkey.pem
	Include /etc/letsencrypt/options-ssl-apache.conf
	ServerName hc.infrastruktur.ms

        AddOutputFilterByType DEFLATE text/html text/plain text/xml text/css text/javascript application/javascript application/json
	Header set Host hc.infrastruktur.ms

	SSLProxyCheckPeerName off
        SSLProxyCheckPeerExpire off
        ProxyPass / https://hc.infrastruktur.ms/
        ProxyPassReverse / https://hc.infrastruktur.ms/
        
</VirtualHost>


# vim: syntax=apache ts=4 sw=4 sts=4 sr noet
</IfModule>

Im Ordner /root liegt der certbot-auto von https://dl.eff.org/certbot-auto. Dieser hat noch einen Cronjob:

# Certbot-Auto
27 5 * * * "/root/certbot-auto -n renew"

Es sollten jetzt alle TLDs funktionieren.

3 „Gefällt mir“

assistent.ffmsl.de wieder in betrieb genommen. Wurde wenn ich mich recht erinnere deaktiviert da der Cert Renew auch umgeleitet wurde und fehl schlug. Das sollte jetzt durch einen Symlink behoben sein. Müssen wer beim nächsten Renew mal beobachten.

2 „Gefällt mir“

Unser Firmware-Downloader kann jetzt sysupgrade_only in der config.js.

1 „Gefällt mir“

Automatisches Erneuern der Letsencrypt-Zertifikate auf dem Web- und dem Icinga-Server (hoffentlich) gefixt.

4 „Gefällt mir“

Hab mal ein kleines Script gebaut um Knoten von der Karte löschen zu können.
Nutzungshinweis ist Hier:

https://wiki.freifunk-muensterland.de/display/FREIF/Knoten+von+der+Karte+entfernen
zu finden.

Das Script liegt im Ansible repo:

5 „Gefällt mir“
3 „Gefällt mir“

Ungenutzt Accounts im Ticketsystem deaktiviert.

2 „Gefällt mir“
Connected to domain ffms_des2
Escape character is ^]
[3924147.345245] NMI watchdog: BUG: soft lockup - CPU#0 stuck for 23s! [swapper/0:0]
[3924147.345843] Modules linked in: binfmt_misc ip_gre ip_tunnel gre ebtable_filter ebtables ip6table_mangle ip6table_filter batman_adv(O) ip6_tables bridge stp llc libcrc32c crc32c_generic xt_TCPMSS xt_tcpmss xt_tcpudp xt_mark iptable_mangle xt_nat iptable_nat nf_nat_ipv4 nf_nat iptable_filter ip_tables x_tables snd_hda_codec_generic qxl snd_hda_intel snd_hda_codec crct10dif_pclmul ttm snd_hda_core crc32_pclmul snd_hwdep drm_kms_helper ppdev snd_pcm ghash_clmulni_intel snd_timer evdev parport_pc drm parport snd soundcore serio_raw pcspkr virtio_console virtio_balloon acpi_cpufreq button l2tp_eth l2tp_netlink l2tp_core ip6_udp_tunnel udp_tunnel nf_conntrack_netlink nfnetlink nf_conntrack_ipv4 nf_defrag_ipv4 nf_conntrack autofs4 ext4 crc16 jbd2 fscrypto mbcache dm_mod crc32c_intel ata_generic ehci_pci virtio_blk aesni_intel virtio_net uhci_hcd ehci_hcd usbcore psmouse aes_x86_64 glue_helper lrw gf128mul ata_piix libata virtio_pci virtio_ring scsi_mod ablk_helper cryptd floppy virtio usb_common i2c_piix4
[3924147.352047] CPU: 0 PID: 0 Comm: swapper/0 Tainted: G      D W  O L  4.9.0-0.bpo.3-amd64 #1 Debian 4.9.30-2+deb9u5~bpo8+1
[3924147.352717] Hardware name: QEMU Standard PC (i440FX + PIIX, 1996), BIOS Ubuntu-1.8.2-1ubuntu1 04/01/2014
[3924147.353311] task: ffffffff9080e540 task.stack: ffffffff90800000
[3924147.353684] RIP: 0010:[<ffffffff8fcfc0b1>]  [<ffffffff8fcfc0b1>] smp_call_function_many+0x1f1/0x250
[3924147.354269] RSP: 0018:ffffffff90803d00  EFLAGS: 00000202
[3924147.354612] RAX: 0000000000000003 RBX: 0000000000000200 RCX: 0000000000000003
[3924147.355061] RDX: ffff98787fd9c118 RSI: 0000000000000200 RDI: ffff98787fc19748
[3924147.355506] RBP: ffff98787fc19748 R08: fffffffffffffff8 R09: 0000000000000000
[3924147.355960] R10: 0000000000000008 R11: fffffffffffffff4 R12: ffff98787fc19740
[3924147.356416] R13: ffffffff8fc66b70 R14: 0000000000000000 R15: 0000000000000001
[3924147.356900] FS:  0000000000000000(0000) GS:ffff98787fc00000(0000) knlGS:0000000000000000
[3924147.357420] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[3924147.357791] CR2: 00007f0e957a1600 CR3: 0000000083807000 CR4: 00000000001406f0
[3924147.358249] Stack:
[3924147.358395]  0000000000019700 0000000100000000 ffff98776de13b00 ffffffff8fc66b70
[3924147.358902]  0000000000000000 ffffffff90803df8 ffffffff90803e00 0000000000000040
[3924147.359408]  ffffffff8fcfc198 ffff98776de13b00 ffff98776e1dc3c0 0000000000000001
[3924147.359912] Call Trace:
[3924147.360085]  [<ffffffff8fc66b70>] ? leave_mm+0xc0/0xc0
[3924147.360399]  [<ffffffff8fcfc198>] ? on_each_cpu+0x28/0x50
[3924147.360819]  [<ffffffff8fc673e8>] ? flush_tlb_kernel_range+0x48/0x90
[3924147.361285]  [<ffffffff8fdc498a>] ? __purge_vmap_area_lazy+0xba/0x2f0
[3924147.361691]  [<ffffffff8fdc4309>] ? vunmap_page_range+0x1f9/0x340
[3924147.362076]  [<ffffffff8fdc4da4>] ? free_vmap_area_noflush+0xa4/0xb0
[3924147.362488]  [<ffffffff8fdc60ab>] ? remove_vm_area+0x5b/0x70
[3924147.362857]  [<ffffffff8fdc60e1>] ? __vunmap+0x21/0xc0
[3924147.363186]  [<ffffffff8fc747ed>] ? put_task_stack+0x7d/0x120
[3924147.363551]  [<ffffffff8fc9f865>] ? finish_task_switch+0x185/0x210
[3924147.363942]  [<ffffffff90202ac5>] ? __schedule+0x245/0x6d0
[3924147.364290]  [<ffffffff90202f82>] ? schedule+0x32/0x80
[3924147.364618]  [<ffffffff9020320a>] ? schedule_preempt_disabled+0xa/0x10
[3924147.365033]  [<ffffffff8fcbc117>] ? cpu_startup_entry+0x1d7/0x260
[3924147.365419]  [<ffffffff90949f84>] ? start_kernel+0x46d/0x48d
[3924147.365779]  [<ffffffff90949120>] ? early_idt_handler_array+0x120/0x120
[3924147.366195]  [<ffffffff909495b9>] ? x86_64_start_kernel+0x152/0x176
[3924147.366591] Code: d2 e8 e4 40 24 00 3b 05 72 8a c2 00 89 c1 0f 8d 99 fe ff ff 48 98 49 8b 14 24 48 03 14 c5 c0 e4 66 90 8b 42 18 a8 01 74 09 f3 90 <8b> 42 18 a8 01 75 f7 eb bf 0f b6 4c 24 0c 48 83 c4 10 4c 89 f2 
[3924155.361245] NMI watchdog: BUG: soft lockup - CPU#1 stuck for 22s! [kswapd0:49]
[3924155.361773] Modules linked in: binfmt_misc ip_gre ip_tunnel gre ebtable_filter ebtables ip6table_mangle ip6table_filter batman_adv(O) ip6_tables bridge stp llc libcrc32c crc32c_generic xt_TCPMSS xt_tcpmss xt_tcpudp xt_mark iptable_mangle xt_nat iptable_nat nf_nat_ipv4 nf_nat iptable_filter ip_tables x_tables snd_hda_codec_generic qxl snd_hda_intel snd_hda_codec crct10dif_pclmul ttm snd_hda_core crc32_pclmul snd_hwdep drm_kms_helper ppdev snd_pcm ghash_clmulni_intel snd_timer evdev parport_pc drm parport snd soundcore serio_raw pcspkr virtio_console virtio_balloon acpi_cpufreq button l2tp_eth l2tp_netlink l2tp_core ip6_udp_tunnel udp_tunnel nf_conntrack_netlink nfnetlink nf_conntrack_ipv4 nf_defrag_ipv4 nf_conntrack autofs4 ext4 crc16 jbd2 fscrypto mbcache dm_mod crc32c_intel ata_generic ehci_pci virtio_blk aesni_intel virtio_net uhci_hcd ehci_hcd usbcore psmouse aes_x86_64 glue_helper lrw gf128mul ata_piix libata virtio_pci virtio_ring scsi_mod ablk_helper cryptd floppy virtio usb_common i2c_piix4
[3924155.367939] CPU: 1 PID: 49 Comm: kswapd0 Tainted: G      D W  O L  4.9.0-0.bpo.3-amd64 #1 Debian 4.9.30-2+deb9u5~bpo8+1
[3924155.368606] Hardware name: QEMU Standard PC (i440FX + PIIX, 1996), BIOS Ubuntu-1.8.2-1ubuntu1 04/01/2014
[3924155.369321] task: ffff987876b0c100 task.stack: ffffb157008bc000
[3924155.369860] RIP: 0010:[<ffffffff8fcc3ed1>]  [<ffffffff8fcc3ed1>] native_queued_spin_lock_slowpath+0x21/0x190
[3924155.370737] RSP: 0000:ffffb157008bfa60  EFLAGS: 00000202
[3924155.371216] RAX: 0000000000000001 RBX: fffffa81c4fec380 RCX: ffff9877b9b16b20
[3924155.371855] RDX: 0000000000000001 RSI: 0000000000000001 RDI: fffffa81c1f42970
[3924155.372514] RBP: ffffb157008bfac8 R08: ffffc000001fffff R09: ffffb157008bfac8
[3924155.373285] R10: 0000000000000001 R11: 0000000000000000 R12: ffffb157008bfab8
[3924155.373907] R13: ffffb157008bfac0 R14: fffffa81c1f42940 R15: ffff9877bd0a5ce0
[3924155.374658] FS:  0000000000000000(0000) GS:ffff98787fc80000(0000) knlGS:0000000000000000
[3924155.375347] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[3924155.375937] CR2: 0000000004e02001 CR3: 0000000083807000 CR4: 00000000001406e0
[3924155.376571] Stack:
[3924155.376780]  ffffffff902075ed ffffffff8fdc1e5c fffffa81c1f42970 ffff9877b9b16b20
[3924155.377325]  ffff987876e50320 ffffb157008bfb50 00007f086c99c000 00000000000000e4
[3924155.377839]  00007f086c8b8000 0000000000000000 ffffffff8fdc205e ffff987877c85bf0
[3924155.378352] Call Trace:
[3924155.378526]  [<ffffffff902075ed>] ? _raw_spin_lock+0x1d/0x20
[3924155.378900]  [<ffffffff8fdc1e5c>] ? page_check_address_transhuge+0x21c/0x3e0
[3924155.379359]  [<ffffffff8fdc205e>] ? page_referenced_one+0x3e/0x150
[3924155.379780]  [<ffffffff8fdc1187>] ? rmap_walk_file+0xd7/0x260
[3924155.380158]  [<ffffffff8fdc3652>] ? page_referenced+0x132/0x180
[3924155.380549]  [<ffffffff8fdc2020>] ? page_check_address_transhuge+0x3e0/0x3e0
[3924155.381014]  [<ffffffff8fdc2e40>] ? page_get_anon_vma+0x80/0x80
[3924155.381401]  [<ffffffff8fd967a4>] ? shrink_active_list+0x1a4/0x360
[3924155.381805]  [<ffffffff8fd96fa7>] ? shrink_node_memcg+0x647/0x7c0
[3924155.382204]  [<ffffffff8fdc14e0>] ? rmap_walk_anon+0x1d0/0x270
[3924155.382585]  [<ffffffff8fd97202>] ? shrink_node+0xe2/0x320
[3924155.382946]  [<ffffffff8fd98247>] ? kswapd+0x317/0x700
[3924155.383285]  [<ffffffff8fd97f30>] ? mem_cgroup_shrink_node+0x180/0x180
[3924155.383746]  [<ffffffff8fc97580>] ? kthread+0xf0/0x110
[3924155.384086]  [<ffffffff8fc2476b>] ? __switch_to+0x2bb/0x700
[3924155.384453]  [<ffffffff8fc97490>] ? kthread_park+0x60/0x60
[3924155.384828]  [<ffffffff90207ab5>] ? ret_from_fork+0x25/0x30
[3924155.385199] Code: 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 44 00 00 0f 1f 44 00 00 ba 01 00 00 00 8b 07 85 c0 75 0a f0 0f b1 17 85 c0 75 f2 f3 c3 f3 90 <eb> ec 81 fe 00 01 00 00 0f 84 91 00 00 00 41 b8 01 00 00 00 b9 
[3924156.993235] INFO: rcu_sched detected stalls on CPUs/tasks:
[3924156.993647] 	3-...: (0 ticks this GP) idle=0d5/2/0 softirq=419508378/419508378 fqs=14153868 
[3924156.994133] 	(detected by 0, t=31499497 jiffies, g=309051080, c=309051079, q=3027341)
[3924156.994577] Task dump for CPU 3:
[3924156.994765] swapper/3       D    0     0      1 0x00000008
[3924156.995084]  ffff98787fd83cc0 0000000000000018 ffff98787fd987c0 ffff98787fd83d30
[3924156.995529]  ffffffff8fca898a ffff98787fd987c0 ffffffff90202c83 8000000000000002
[3924156.995970]  000600000000000a 00000000794a7000 ffff9878758d2000 ffff98787a41c080
[3924156.996413] Call Trace:

Glaub Des2 hat’s ganz schön erwischt. Ich drücke mal das Knöpfchen.

Nachtrag:

Kea brauchte mal wieder einen Extratritt:

root@des2 ~ # pgrep kea
root@des2 ~ # sudo systemctl start kea-dhcp4.service 
root@des2 ~ # pgrep kea
9720
4 „Gefällt mir“

FanLin-Blech und VM mit Sicherheitsupdates versorgt; u.a. DSA-4187 und DSA-4188. Reboot erfolgt direkt.

4 „Gefällt mir“

Emscherland GW01 auf Voyager neu gestartet. War tot.

3 „Gefällt mir“

Gab heute Nacht einen längeren und grade einen kleinen Schluckauf im FFNW Backbone. Sollte aber alles wieder gehen. Falls nicht eben Meldung im Sörungsbereich auf machen.

3 „Gefällt mir“