From 239c2d7569f98b65f85eb9143af6278a6baff385 Mon Sep 17 00:00:00 2001 From: Gregor Michels Date: Sun, 23 Jul 2023 17:17:11 +0200 Subject: [PATCH] add "wartungsmeldungen" --- .../wartungsmeldungen/20230517_hyper01.txt | 58 ++++++++++++++ .../wartungsmeldungen/20230526_hyper01.txt | 51 ++++++++++++ .../wartungsmeldungen/20230626_hyper01.txt | 40 ++++++++++ .../wartungsmeldungen/20230801_hyper01.txt | 77 +++++++++++++++++++ 4 files changed, 226 insertions(+) create mode 100644 menschenzeugs/wartungsmeldungen/20230517_hyper01.txt create mode 100644 menschenzeugs/wartungsmeldungen/20230526_hyper01.txt create mode 100644 menschenzeugs/wartungsmeldungen/20230626_hyper01.txt create mode 100644 menschenzeugs/wartungsmeldungen/20230801_hyper01.txt diff --git a/menschenzeugs/wartungsmeldungen/20230517_hyper01.txt b/menschenzeugs/wartungsmeldungen/20230517_hyper01.txt new file mode 100644 index 0000000..af02154 --- /dev/null +++ b/menschenzeugs/wartungsmeldungen/20230517_hyper01.txt @@ -0,0 +1,58 @@ +Hallo zusammen, + +am Mittwoch, den 17.05.2023, werden wir zwischen 22:00 und 24:00 Wartungen an hyper01.reudnetz.org durchführen. +In dieser Zeit werden eure VMs nicht zur Verfügung stehen. + +Nach Abschluss der Wartung werden wir alle VMs wieder starten. + +Folgende Tätigkeiten werden wir erledigen: + +* Einbau RAM-Erweiterung +* Umzug in eine andere Höheneinheit im Rack +* Migration auf einen neuen ZFS-Storage-Pool [1] +* Aktualisierung auf die neuste PVE-Version +* Migration aller VM-Disks auf `virtio`-Treiber [2] + + +Für Rückfragen stehen wir gerne zur Verfügung ! :) + +Lieben Gruß, +Euer Reudnetz + + +Anmerkungen: +============ + +[1] Migration auf einen neuen ZFS-Storage-Pool: +----------------------------------------------- + +Durch den Einsatz von nicht mit ZFS-kompatiblen SMR Festplatten wurden Inkonsistenzen auf dem ZFS Pool erzeugt. + +Mittlerweile haben wir neue Festplatten und einen nicht-SMR ZFS Pool. +Eure VMs wurden schon auf diesen migriert und sind jetzt in Sicherheit. + +Während der Wartung werden wir dann auch noch das root-fs auf den neuen Pool migrieren. + +[2] Migration aller VM-Disks auf `virtio`-Treiber: +-------------------------------------------------- + +Nicht alle Disks werden über `virtio` Geräte in die VMs gehangen. +Da dies für nicht optimale IO Performance sorgt werden wir dies vor dem Starten aller VMs am Ende der Wartung korrigieren. + +Dies ändert potenziell den Pfad/Namen der Disk in eurer VM. Das sollte idR. allerdings den Bootprozess eurer VM nicht beeinflussen. +Falls bei euch nach der Wartung doch Probleme beim Booten auftreten könnt ihr euch gerne melden. + +Folgende VMs sind betroffen: +* 1002 +* 1003 +* 1006 +* 1007 +* 1008 +-- +Reudnetz w.V. +Wurzner Straße 2 - 04315 Leipzig +Email: mail@reudnetz.org - Web: https://reudnetz.org + +Rechtsfähigkeit verliehen nach BGB §22 durch die Landesregierung Sachsens +Umsatzsteuerbefreit nach UStG §19 +Vorstand: Carl Suckfüll, Daniel Maier, Paul Spooren, Yannik Völker diff --git a/menschenzeugs/wartungsmeldungen/20230526_hyper01.txt b/menschenzeugs/wartungsmeldungen/20230526_hyper01.txt new file mode 100644 index 0000000..39dd611 --- /dev/null +++ b/menschenzeugs/wartungsmeldungen/20230526_hyper01.txt @@ -0,0 +1,51 @@ +Hallo zusammen, + +am Freitag, den 23.05.2023, werden wir zwischen 20:00 und 21:00 Wartungen an hyper01.reudnetz.org durchführen. +In dieser Zeit werden eure VMs nicht zur Verfügung stehen. + +Nach Abschluss der Wartung werden wir alle VMs wieder starten. + +Folgende Tätigkeiten werden wir erledigen: + +* Einbau RAM-Erweiterung +* Aktualisierung auf die neuste PVE-Version + +Für Rückfragen stehen wir gerne zur Verfügung ! :) + +Lieben Gruß, +Euer Reudnetz + + +Anmerkungen: +============ + +Einführung regelmäßiger Wartungstag: +------------------------------------ + +Um eine Regelmäßigkeit in die wartungsbedingten Downtimes zu bringen werden wir ab Juni +monatlich Wartungen durchführen. Diese werden + + jeden letzen Dienstag im Monat zwischen 22:00 - 24:00 stattfinden. + +Damit ist der erste regelmäßige Wartungstag am + + Dienstag, den 27.06.2023, zwischen 22:00 - 24:00 + +Ihr werdet vor jeder Wartung per Mail informiert. + +In dringenden Fällen werden wir Wartungen unter Ankündigung auch außerhalb dieses Zeitraumes durchführen. + + +Einführung Full Disk Encryption: +-------------------------------- + +Nach Abschluss der Wartung werden alle Datenträger in `hyper01.reudnetz.org` vollverschlüsselt sein. +Das ändert nichts an den Thread Models für eure VMs, hilft uns aber dabei sorgenfreier mit den Platten umgehen zu können. +-- +Reudnetz w.V. +Wurzner Straße 2 - 04315 Leipzig +Email: mail@reudnetz.org - Web: https://reudnetz.org + +Rechtsfähigkeit verliehen nach BGB §22 durch die Landesregierung Sachsens +Umsatzsteuerbefreit nach UStG §19 +Vorstand: Ludwig Pfeiffer, Daniel Maier, Yannik Völker diff --git a/menschenzeugs/wartungsmeldungen/20230626_hyper01.txt b/menschenzeugs/wartungsmeldungen/20230626_hyper01.txt new file mode 100644 index 0000000..c3fc0a0 --- /dev/null +++ b/menschenzeugs/wartungsmeldungen/20230626_hyper01.txt @@ -0,0 +1,40 @@ + +Hallo zusammen, + +am Dienstag, den 27.06.2023, werden wir zwischen 22:00 und 24:00 +Wartungen an hyper01.reudnetz.org durchführen. +In dieser Zeit werden eure VMs nicht zur Verfügung stehen. + +Nach Abschluss der Wartung werden wir alle VMs wieder starten. + +Folgende Tätigkeiten werden wir erledigen: + +* Aktualisierung auf die neuste PVE-Version + +Für Rückfragen stehen wir gerne zur Verfügung ! :) + +Lieben Gruß, +Euer Reudnetz + +Anmerkungen: +============ + +Upgrades Layer 2 Fabric +----------------------- + +Da wir aktuell Upgrades an unserem Layer 2 Fabric vornehmen ist es in +letzter Zeit +zu ein paar ungeplanten Netzwerk-Ausfällen für `hyper01` gekommen: + +* 16.06.2023 23:30 - 24:00 IPv6 und IPv4 Routing Ausfall für alle VMs +* 18.06.2023 22:25 - 22:40 IPv4 Routing Ausfall für alle VMs + +-- +Reudnetz w.V. +Wurzner Straße 2 - 04315 Leipzig +Email: mail@reudnetz.org - Web: https://reudnetz.org + +Rechtsfähigkeit verliehen nach BGB §22 durch die Landesregierung +Sachsens +Umsatzsteuerbefreit nach UStG §19 +Vorstand: Carl Suckfüll, Daniel Maier, Paul Spooren, Yannik Völker diff --git a/menschenzeugs/wartungsmeldungen/20230801_hyper01.txt b/menschenzeugs/wartungsmeldungen/20230801_hyper01.txt new file mode 100644 index 0000000..170f65d --- /dev/null +++ b/menschenzeugs/wartungsmeldungen/20230801_hyper01.txt @@ -0,0 +1,77 @@ + +Hallo zusammen, + +am Dienstag, den 01.08.2023, werden wir zwischen 22:00 und 24:00 +Wartungen an hyper01.reudnetz.org durchführen. +In dieser Zeit werden eure VMs nicht zur Verfügung stehen. + +Nach Abschluss der Wartung werden wir alle VMs wieder starten. + +Folgende Tätigkeiten werden wir erledigen: + +* Aktualisierung auf die neuste PVE-Version +* Migration der VMs auf einen anderen Access-Router +* Migration der VMs auf `x86-64-v3` CPUs + +Für Rückfragen stehen wir gerne zur Verfügung ! :) + +Lieben Gruß, +Euer Reudnetz + + +Ablauf: +======= + +0. bulk-shutdown aller VMs: `pvenode stopall --force-stop 0` +1. autostart aller VMs unterbinden: `/root/proxmox_management/manage_autostart 0` +2. rootfs snapshot: `zfs snapshot rpool/ROOT/pve-1@pve_upgrade_20230801` +3. OS-Upgrade: `apt update && apt dist-upgrade -y && reboot` +4. Migration der VMs auf neuen Access-Router `ansible-playbook -D vms.yml` +5. Migration der VM CPUs auf `x86-64-v3`: `qm list | tail -n +2 | awk '{ print $1 }' | while read vmid; do qm set $vmid --cpu x86-64-v3; done` +6. bulk-start aller VMs: `pvenode startall` +7. autostart aller VMs aktivieren: `/root/proxmox_management/manage_autostart 1` + + +Anmerkungen: +============ + +Upgrades Layer 2 Fabric +----------------------- + +Das Upgrade an unserem Layer 2 Fabric ist immernoch abgeschlossen. +Trotz erweiterter Vorsichtsmaßnahmen kahm es trotzdem zu ungeplanten/unangekündigten Ausfällen: + +* 06.07.2023 00:15 - 02:15 IPv6 und IPv4 Routing Ausfall für alle VMs +* 10.07.2023 23:45 - 00:30 kurzeitiger aber wiederholter IPv6 und IPv4 Routing Ausfall für alle VMs + + +Migration der VMs auf einen anderen Access-Router +------------------------------------------------- + +Aktuell terminiert ein gesonderter Router die VLANs der VMs. +Dieser unterstützt kein Linerate-Routing, uA. deswegen migireren wir die VM VLANs auf unsere "normalen" Access Router. + +Die Migration der Ports findet nach dem OS-Update statt während die VMs noch ausgeschaltet sind. +Nach dem Boot werden die VMs dann durch `core1.reudnetz.org` versorgt und sollten den symetrischen Gigabit Uplink voll ausnutzen können. + +Migration der VMs auf `x86-64-v3` CPUs +-------------------------------------- + +Im letzten Update-Tag haben wir `hyper01.reudnetz.org` auf PVE 8 aktualisiert. +Mit dieser Version wurde der standard CPU-Typ für neue VMs auf `x86-64-v2-AES` geändert [1]: +> Add virtual machine CPU models based on the x86-64 psABI Micro-Architecture Levels and use the widely supported x86-64-v2-AES as default for new VMs created via the web UI. + +Bis dato haben wir den standard CPU-Typen `kvm64` genutzt. +Um den VMs mehr CPU-Features zur Verfügung zu stellen werden wir alle VMs auf `x86-64-v3` upgraden. + +[1] Proxmox VE 8 Release Notes: https://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_8.0 + +-- +Reudnetz w.V. +Wurzner Straße 2 - 04315 Leipzig +Email: mail@reudnetz.org - Web: https://reudnetz.org + +Rechtsfähigkeit verliehen nach BGB §22 durch die Landesregierung +Sachsens +Umsatzsteuerbefreit nach UStG §19 +Vorstand: Carl Suckfüll, Daniel Maier, Paul Spooren, Yannik Völker