Admintagebuch - Dokumentation der Admintätigkeiten

Technik Infrastruktur / Backbone
1267

Automatisches Erneuern der Letsencrypt-Zertifikate auf dem Web- und dem Icinga-Server (hoffentlich) gefixt.

4 „Gefällt mir“
1268

Hab mal ein kleines Script gebaut um Knoten von der Karte löschen zu können.
Nutzungshinweis ist Hier:

https://wiki.freifunk-muensterland.de/display/FREIF/Knoten+von+der+Karte+entfernen
zu finden.

Das Script liegt im Ansible repo:

5 „Gefällt mir“
1269
3 „Gefällt mir“
1270

Ungenutzt Accounts im Ticketsystem deaktiviert.

2 „Gefällt mir“
1271 
Connected to domain ffms_des2
Escape character is ^]
[3924147.345245] NMI watchdog: BUG: soft lockup - CPU#0 stuck for 23s! [swapper/0:0]
[3924147.345843] Modules linked in: binfmt_misc ip_gre ip_tunnel gre ebtable_filter ebtables ip6table_mangle ip6table_filter batman_adv(O) ip6_tables bridge stp llc libcrc32c crc32c_generic xt_TCPMSS xt_tcpmss xt_tcpudp xt_mark iptable_mangle xt_nat iptable_nat nf_nat_ipv4 nf_nat iptable_filter ip_tables x_tables snd_hda_codec_generic qxl snd_hda_intel snd_hda_codec crct10dif_pclmul ttm snd_hda_core crc32_pclmul snd_hwdep drm_kms_helper ppdev snd_pcm ghash_clmulni_intel snd_timer evdev parport_pc drm parport snd soundcore serio_raw pcspkr virtio_console virtio_balloon acpi_cpufreq button l2tp_eth l2tp_netlink l2tp_core ip6_udp_tunnel udp_tunnel nf_conntrack_netlink nfnetlink nf_conntrack_ipv4 nf_defrag_ipv4 nf_conntrack autofs4 ext4 crc16 jbd2 fscrypto mbcache dm_mod crc32c_intel ata_generic ehci_pci virtio_blk aesni_intel virtio_net uhci_hcd ehci_hcd usbcore psmouse aes_x86_64 glue_helper lrw gf128mul ata_piix libata virtio_pci virtio_ring scsi_mod ablk_helper cryptd floppy virtio usb_common i2c_piix4
[3924147.352047] CPU: 0 PID: 0 Comm: swapper/0 Tainted: G      D W  O L  4.9.0-0.bpo.3-amd64 #1 Debian 4.9.30-2+deb9u5~bpo8+1
[3924147.352717] Hardware name: QEMU Standard PC (i440FX + PIIX, 1996), BIOS Ubuntu-1.8.2-1ubuntu1 04/01/2014
[3924147.353311] task: ffffffff9080e540 task.stack: ffffffff90800000
[3924147.353684] RIP: 0010:[<ffffffff8fcfc0b1>]  [<ffffffff8fcfc0b1>] smp_call_function_many+0x1f1/0x250
[3924147.354269] RSP: 0018:ffffffff90803d00  EFLAGS: 00000202
[3924147.354612] RAX: 0000000000000003 RBX: 0000000000000200 RCX: 0000000000000003
[3924147.355061] RDX: ffff98787fd9c118 RSI: 0000000000000200 RDI: ffff98787fc19748
[3924147.355506] RBP: ffff98787fc19748 R08: fffffffffffffff8 R09: 0000000000000000
[3924147.355960] R10: 0000000000000008 R11: fffffffffffffff4 R12: ffff98787fc19740
[3924147.356416] R13: ffffffff8fc66b70 R14: 0000000000000000 R15: 0000000000000001
[3924147.356900] FS:  0000000000000000(0000) GS:ffff98787fc00000(0000) knlGS:0000000000000000
[3924147.357420] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[3924147.357791] CR2: 00007f0e957a1600 CR3: 0000000083807000 CR4: 00000000001406f0
[3924147.358249] Stack:
[3924147.358395]  0000000000019700 0000000100000000 ffff98776de13b00 ffffffff8fc66b70
[3924147.358902]  0000000000000000 ffffffff90803df8 ffffffff90803e00 0000000000000040
[3924147.359408]  ffffffff8fcfc198 ffff98776de13b00 ffff98776e1dc3c0 0000000000000001
[3924147.359912] Call Trace:
[3924147.360085]  [<ffffffff8fc66b70>] ? leave_mm+0xc0/0xc0
[3924147.360399]  [<ffffffff8fcfc198>] ? on_each_cpu+0x28/0x50
[3924147.360819]  [<ffffffff8fc673e8>] ? flush_tlb_kernel_range+0x48/0x90
[3924147.361285]  [<ffffffff8fdc498a>] ? __purge_vmap_area_lazy+0xba/0x2f0
[3924147.361691]  [<ffffffff8fdc4309>] ? vunmap_page_range+0x1f9/0x340
[3924147.362076]  [<ffffffff8fdc4da4>] ? free_vmap_area_noflush+0xa4/0xb0
[3924147.362488]  [<ffffffff8fdc60ab>] ? remove_vm_area+0x5b/0x70
[3924147.362857]  [<ffffffff8fdc60e1>] ? __vunmap+0x21/0xc0
[3924147.363186]  [<ffffffff8fc747ed>] ? put_task_stack+0x7d/0x120
[3924147.363551]  [<ffffffff8fc9f865>] ? finish_task_switch+0x185/0x210
[3924147.363942]  [<ffffffff90202ac5>] ? __schedule+0x245/0x6d0
[3924147.364290]  [<ffffffff90202f82>] ? schedule+0x32/0x80
[3924147.364618]  [<ffffffff9020320a>] ? schedule_preempt_disabled+0xa/0x10
[3924147.365033]  [<ffffffff8fcbc117>] ? cpu_startup_entry+0x1d7/0x260
[3924147.365419]  [<ffffffff90949f84>] ? start_kernel+0x46d/0x48d
[3924147.365779]  [<ffffffff90949120>] ? early_idt_handler_array+0x120/0x120
[3924147.366195]  [<ffffffff909495b9>] ? x86_64_start_kernel+0x152/0x176
[3924147.366591] Code: d2 e8 e4 40 24 00 3b 05 72 8a c2 00 89 c1 0f 8d 99 fe ff ff 48 98 49 8b 14 24 48 03 14 c5 c0 e4 66 90 8b 42 18 a8 01 74 09 f3 90 <8b> 42 18 a8 01 75 f7 eb bf 0f b6 4c 24 0c 48 83 c4 10 4c 89 f2 
[3924155.361245] NMI watchdog: BUG: soft lockup - CPU#1 stuck for 22s! [kswapd0:49]
[3924155.361773] Modules linked in: binfmt_misc ip_gre ip_tunnel gre ebtable_filter ebtables ip6table_mangle ip6table_filter batman_adv(O) ip6_tables bridge stp llc libcrc32c crc32c_generic xt_TCPMSS xt_tcpmss xt_tcpudp xt_mark iptable_mangle xt_nat iptable_nat nf_nat_ipv4 nf_nat iptable_filter ip_tables x_tables snd_hda_codec_generic qxl snd_hda_intel snd_hda_codec crct10dif_pclmul ttm snd_hda_core crc32_pclmul snd_hwdep drm_kms_helper ppdev snd_pcm ghash_clmulni_intel snd_timer evdev parport_pc drm parport snd soundcore serio_raw pcspkr virtio_console virtio_balloon acpi_cpufreq button l2tp_eth l2tp_netlink l2tp_core ip6_udp_tunnel udp_tunnel nf_conntrack_netlink nfnetlink nf_conntrack_ipv4 nf_defrag_ipv4 nf_conntrack autofs4 ext4 crc16 jbd2 fscrypto mbcache dm_mod crc32c_intel ata_generic ehci_pci virtio_blk aesni_intel virtio_net uhci_hcd ehci_hcd usbcore psmouse aes_x86_64 glue_helper lrw gf128mul ata_piix libata virtio_pci virtio_ring scsi_mod ablk_helper cryptd floppy virtio usb_common i2c_piix4
[3924155.367939] CPU: 1 PID: 49 Comm: kswapd0 Tainted: G      D W  O L  4.9.0-0.bpo.3-amd64 #1 Debian 4.9.30-2+deb9u5~bpo8+1
[3924155.368606] Hardware name: QEMU Standard PC (i440FX + PIIX, 1996), BIOS Ubuntu-1.8.2-1ubuntu1 04/01/2014
[3924155.369321] task: ffff987876b0c100 task.stack: ffffb157008bc000
[3924155.369860] RIP: 0010:[<ffffffff8fcc3ed1>]  [<ffffffff8fcc3ed1>] native_queued_spin_lock_slowpath+0x21/0x190
[3924155.370737] RSP: 0000:ffffb157008bfa60  EFLAGS: 00000202
[3924155.371216] RAX: 0000000000000001 RBX: fffffa81c4fec380 RCX: ffff9877b9b16b20
[3924155.371855] RDX: 0000000000000001 RSI: 0000000000000001 RDI: fffffa81c1f42970
[3924155.372514] RBP: ffffb157008bfac8 R08: ffffc000001fffff R09: ffffb157008bfac8
[3924155.373285] R10: 0000000000000001 R11: 0000000000000000 R12: ffffb157008bfab8
[3924155.373907] R13: ffffb157008bfac0 R14: fffffa81c1f42940 R15: ffff9877bd0a5ce0
[3924155.374658] FS:  0000000000000000(0000) GS:ffff98787fc80000(0000) knlGS:0000000000000000
[3924155.375347] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[3924155.375937] CR2: 0000000004e02001 CR3: 0000000083807000 CR4: 00000000001406e0
[3924155.376571] Stack:
[3924155.376780]  ffffffff902075ed ffffffff8fdc1e5c fffffa81c1f42970 ffff9877b9b16b20
[3924155.377325]  ffff987876e50320 ffffb157008bfb50 00007f086c99c000 00000000000000e4
[3924155.377839]  00007f086c8b8000 0000000000000000 ffffffff8fdc205e ffff987877c85bf0
[3924155.378352] Call Trace:
[3924155.378526]  [<ffffffff902075ed>] ? _raw_spin_lock+0x1d/0x20
[3924155.378900]  [<ffffffff8fdc1e5c>] ? page_check_address_transhuge+0x21c/0x3e0
[3924155.379359]  [<ffffffff8fdc205e>] ? page_referenced_one+0x3e/0x150
[3924155.379780]  [<ffffffff8fdc1187>] ? rmap_walk_file+0xd7/0x260
[3924155.380158]  [<ffffffff8fdc3652>] ? page_referenced+0x132/0x180
[3924155.380549]  [<ffffffff8fdc2020>] ? page_check_address_transhuge+0x3e0/0x3e0
[3924155.381014]  [<ffffffff8fdc2e40>] ? page_get_anon_vma+0x80/0x80
[3924155.381401]  [<ffffffff8fd967a4>] ? shrink_active_list+0x1a4/0x360
[3924155.381805]  [<ffffffff8fd96fa7>] ? shrink_node_memcg+0x647/0x7c0
[3924155.382204]  [<ffffffff8fdc14e0>] ? rmap_walk_anon+0x1d0/0x270
[3924155.382585]  [<ffffffff8fd97202>] ? shrink_node+0xe2/0x320
[3924155.382946]  [<ffffffff8fd98247>] ? kswapd+0x317/0x700
[3924155.383285]  [<ffffffff8fd97f30>] ? mem_cgroup_shrink_node+0x180/0x180
[3924155.383746]  [<ffffffff8fc97580>] ? kthread+0xf0/0x110
[3924155.384086]  [<ffffffff8fc2476b>] ? __switch_to+0x2bb/0x700
[3924155.384453]  [<ffffffff8fc97490>] ? kthread_park+0x60/0x60
[3924155.384828]  [<ffffffff90207ab5>] ? ret_from_fork+0x25/0x30
[3924155.385199] Code: 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 44 00 00 0f 1f 44 00 00 ba 01 00 00 00 8b 07 85 c0 75 0a f0 0f b1 17 85 c0 75 f2 f3 c3 f3 90 <eb> ec 81 fe 00 01 00 00 0f 84 91 00 00 00 41 b8 01 00 00 00 b9 
[3924156.993235] INFO: rcu_sched detected stalls on CPUs/tasks:
[3924156.993647] 	3-...: (0 ticks this GP) idle=0d5/2/0 softirq=419508378/419508378 fqs=14153868 
[3924156.994133] 	(detected by 0, t=31499497 jiffies, g=309051080, c=309051079, q=3027341)
[3924156.994577] Task dump for CPU 3:
[3924156.994765] swapper/3       D    0     0      1 0x00000008
[3924156.995084]  ffff98787fd83cc0 0000000000000018 ffff98787fd987c0 ffff98787fd83d30
[3924156.995529]  ffffffff8fca898a ffff98787fd987c0 ffffffff90202c83 8000000000000002
[3924156.995970]  000600000000000a 00000000794a7000 ffff9878758d2000 ffff98787a41c080
[3924156.996413] Call Trace:

Glaub Des2 hat’s ganz schön erwischt. Ich drücke mal das Knöpfchen.

Nachtrag:

Kea brauchte mal wieder einen Extratritt:

root@des2 ~ # pgrep kea
root@des2 ~ # sudo systemctl start kea-dhcp4.service 
root@des2 ~ # pgrep kea
9720
4 „Gefällt mir“
1272

FanLin-Blech und VM mit Sicherheitsupdates versorgt; u.a. DSA-4187 und DSA-4188. Reboot erfolgt direkt.

4 „Gefällt mir“
1273

Emscherland GW01 auf Voyager neu gestartet. War tot.

3 „Gefällt mir“
1274

Gab heute Nacht einen längeren und grade einen kleinen Schluckauf im FFNW Backbone. Sollte aber alles wieder gehen. Falls nicht eben Meldung im Sörungsbereich auf machen.

3 „Gefällt mir“
1275

Auch von meiner Seite kurz Stellung dazu: Heute Nacht hat ein ISP an einem VLAN was rumgewurschtelt und dabei wohl alle VLANS von uns entfernt. Ende vom lied: In der Nacht ging im v4 Bereich nicht mehr viel. Heute mrogen gegen 6:30 hab ich es behoben.

Eben gerade gab es ein wenig Schluckauf, da die NAT Export IPs bei uns nicht mehr imported wurden - Techniker ist informiert :stuck_out_tongue:

4 „Gefällt mir“
1276

Forum und zugehörige VM aktualisiert.

4 „Gefällt mir“
1277

FanLin-Blech und VM mit Sicherheitsupdates versorgt; u.a. DSA-4196.
Reboot erfolgt direkt.

2 „Gefällt mir“
1278
2 „Gefällt mir“
1279

PR für Knotenstatistiken bearbeitet.

Befehl zum Filtern der nodes.json:

for i in $(cat macs.txt); do jq ".nodes[] | select(.nodeinfo.node_id==\"$i\")" nodes.json |grep 'node_id\|contact'; done

2 „Gefällt mir“
1280

Node Statistiken repariert.

2 „Gefällt mir“
1281
2 „Gefällt mir“
1282

Statistik VM upgedatet.

4 „Gefällt mir“
1283
2 „Gefällt mir“
1284

Hab mal den Loglevel von unserem Grafana vom default Level Trace auf Error runtergedreht und das Consolen bzw. syslog logging abgedreht.

2 „Gefällt mir“
1285

Voyager neu gestartet da die Auslastung hochgeschossen ist. Kam nach dem Reboot nur kurz wieder. Erst der Hetzner Hardware Reset hat ihn wieder zum leben erweckt.

4 „Gefällt mir“
1286

Mastodon auf die neue Version 2.4.0 upgedated. Außerdem eine Blacklist für Nginx angelegt, um Spambots fernzuhalten. Content Security Policy von Nginx musste nach dem Update angepasst werden, da sonst keine Bilder mehr hochgeladen werden konnten.

3 „Gefällt mir“