Checklista
Målet med kompismoln är en infrastruktur som lagar och uppdaterar sig själv, och är decentraliserad så att en server alltid kan återställas från de andra.
Detta är egentligen 8 klassiska ingenjörsproblem i ett, motiveringen till varför jag gör detta finns i kompismoln's policy, jag bygger på det i mån av tid.
2023
- Maj · IaC: Ett git-repo för en arbetsdators NixOS-konfiguration.
- Aug: En server i garderoben läggs till: brandvägg, nginx med https och dynamisk DNS.
- Okt · Nycklar: Deklarera nyckelhantering med agenix.
2024
- Jan–feb: De första webbplatserna, sverigesval.org, chatddx.com och esse.nu, och en VPS hos GleSYS.
- Mar: E-postserver läggs till.
- Maj–jun · Nätverk: WireGuard mellan alla servrar, med garderobsservern som gateway för resten.
2025
- Feb–mar: Drive (Nextcloud med Collabora) och evenemangsplattformen Mobilizon.
- Aug · Återställning: En server ominstalleras med ett kommando. nixos-anywhere installerar från grunden på krypterade diskar, utifrån hårdvarufakta som sparas med resten av konfigurationen.
- Aug · Användardata: Data skild från systemet. Servrarna glömmer allt vid omstart utom det som uttryckligen ska sparas.
- Aug · Nycklar: agenix → sops, och en första fullständig nyckelrotation.
- Sep · Nycklar: En isolerad service, "locksmith", och med den en andra fullständig nyckelrotation.
- Okt · Nätverk: Fler lager av subnät med en enkel mekanism för fail-over.
-
Okt · IaC: Samla all konfiguration i
org.toml.
2026
- Jan · Användardata: En tjänsts data blir dess hemkatalog, skild från allt annat.
- Jul · IaC: o11n blir ett eget ramverk, och organisationen en fil som det läser.
- Sep: En inloggning till allt (Keycloak), och Meet (Jitsi).
- Okt · Återställning: En usb-sticka som kan bootas från och kontakta kompismoln själv.
- Okt · Nycklar: Skilj identitet från nycklar.
- Nov · Livslängd: En gemensam lagringstid för alla loggar.
- Nov · Återställning: Arkiv på andra servrar. Snapshots med databasdumpar arkiveras dagligen, krypterade, med restic på en annan server.
- Nov · Användardata: Drive blir stateless: allt utom dess data byggs om när den startar.
- Nov: Foton (Immich).
- Nov · Övervakning: En statussida med Gatus, och den här webbplatsen, byggd med Zola.
8 problem
1. En gemensam konfiguration för allt
Alla maskiners konfigurationer genereras från klustrets gemensamma konfiguration (infrastructure as code).
- På plats med org.toml + o11n
2. Användardata skilt från driftmiljö
Det som ska sparas hålls isär från driftmiljön, som kan byggas om när som helst (erase your darlings).
- Ephemeral root
- Koordinera distribuerad lagring, där data finns på rätt maskiner samtidigt.
3. En huvudnyckel för alla nycklar
Nycklar som deklareras, härleds och roteras utan handpåläggning (key management).
-
SOPS komplementerad med
o11n secretocho11n identity.
4. Ett nätverk som är både skyddat och pålitligt
Avskilda subnät som klarar att en väg försvinner och är oberoende av varandra (network segmentation).
- Lager av redundanta hub-and-spoke-nätverk
- Mesh-nätverk för data
- Slopa rescue-mode som för närvarande är aktivt på nästan alla servrar och fortfarande behövs ibland.
5. Återställning som testas regelbundet
En server ska kunna installeras om och få tillbaka sin data när som helst (disaster recovery).
- Alla tjänsters data arkiverad (foton och e-post är det inte än).
- Arkiv av arkivservern, eller lager av arkiv
- Simulera övning från början till slut i virtuella maskiner.
- Regelbundna övningar för att återställa varje server från de andra (var tredje månad?).
6. Säkra kontinuerliga uppdateringar
Nya versioner byggs, appliceras i ordning och kan återställas automatiskt om något går fel (continuous delivery).
- git.kompismoln.se: Forgejo med CI/CD, grunden för servrar som uppdaterar sig själva.
- Servrarna hämtar och bygger sina egna nya versioner.
- En server som blir strandsatt går själv tillbaka till senast fungerande version.
- Koordinerade uppdateringar: en byggserver skickar den nya versionen till alla servrar, ett schema bestämmer vem som uppdaterar i vilken ordning, och hela klustret rullar tillbaka om något går fel på vägen.
7. Att veta när något går sönder
Och helst laga det (monitoring).
- Statussida som övervakar kontinuerligt
- Tjänster mailar när de fallerar
- Larm när något slutar fungera.
- Åtgärda fel automatiskt.
8. Data med livslängd
Varje uppgift har en bestämd livslängd, och det som raderas försvinner ur alla kopior inom avtalad tid (rätten att bli raderad). Kraven kommer från policyn.
- En gemensam lagringstid för loggar: journal, åtkomstloggar, spärrar och DMARC-rapporter.
- Drive tömmer papperskorgen efter 30 dagar och tar bort äldre versioner efter ett år.
- Krypterade diskar: en disk raderas genom att dess nyckel kastas.
- Varje tjänsts arkiv har en egen nyckel och kan raderas i ett svep.
- En tjänsts data kan lämnas tillbaka som en fil.
- Arkiv som rensas automatiskt efter avtalad tid, och raderingar som görs om efter en återställning.
-
Lagringstid per tjänst och typ av uppgift, deklarerad i
org.toml. - Radera en person ur alla tjänster i ett steg.
- Spårbar åtkomst till personuppgifter.
-
Förteckning över behandlingar och underbiträden, genererad från
org.toml.
Planerade tjänster
- ai.kompismoln.se: AI för medlemmar, på kompismolns egna maskiner.
- maps.kompismoln.se: kartor.
- calendar.kompismoln.se: kalender.
- internet-archive.kompismoln.se: kopior av delar av internet, som Wikipedia, för apokalypsen.