Ceph im Proxmox-Cluster kann VM-Daten auf lokalen SSDs mehrerer Hosts verteilen und damit ein separates SAN ersetzen. Entscheidend ist nicht das Etikett „hochverfügbar“, sondern was nach einem Hostausfall mit den Kopien passiert: Reichen Quorum, freie Kapazität und Netzwerk, um die gewünschte Redundanz rechtzeitig wiederherzustellen? Das folgende Rechenbeispiel trennt verfügbare Daten, automatische VM-Neustarts und tatsächliche Wiederherstellungszeit.
Die Suchintention dieses Beitrags ist die Ceph-Mechanik im Betrieb. Die konkrete HPE-Stückliste gehört in eine eigene Hardwareauslegung; die Wahl zwischen Ceph, ZFS-Replikation und externem Storage braucht einen separaten Anwendungsvergleich. Hier gilt als Basisszenario: lokale Enterprise-SSDs als einzelne Ceph-OSDs, ein replizierter VM-Pool und Host als Fehlerdomäne. Bootmedien und ein externes Backup sind nicht Teil dieses Pools.
Wie werden aus lokalen SSDs erreichbare VM-Daten?
Ceph verteilt Datenobjekte über Placement Groups auf OSDs. Die CRUSH-Regel bestimmt, auf welchen Hosts Kopien liegen. Für das Beispiel setzen wir ausdrücklich size=3 und min_size=2: drei Kopien einschließlich der primären, I/O bei mindestens zwei erreichbaren Kopien. Eine Kopie auf drei OSDs desselben Hosts wäre gegen einen Hostausfall keine dreifache Absicherung. Monitor-Quorum, OSD-Zustand und erreichbare VM-Daten sind getrennt zu prüfen. Der Proxmox-Cluster benötigt für zuverlässiges HA-Quorum mindestens drei Stimmen; ein Ceph-Monitor-Quorum und die VM-HA-Regeln kommen hinzu.
Nach dem Ausfall eines von genau drei Hosts bleiben bei korrekt verteilter Replikation zwei Hostkopien. Der Pool kann unter den genannten Voraussetzungen degradiert I/O bedienen, aber eine dritte Kopie auf einer dritten Host-Fehlerdomäne entsteht erst, wenn ein Host zurückkehrt oder ersetzt wird. Bei vier Hosts kann Ceph sie auf dem vierten Host neu aufbauen, sofern dort Platz und Leistung frei sind. Das ist ein praktischer Unterschied zwischen „Daten bleiben erreichbar“ und „Redundanz wird während des Ausfalls wiederhergestellt“. Auch mit Ceph kann eine betroffene VM ausfallen und erst auf einem anderen Host neu starten; null Sekunden Unterbrechung folgen daraus nicht.
Kapazität mit Ausfallreserve rechnen
Angenommen, jeder Host hat vier lokale Daten-SSDs mit je 1,92 TB dezimal. Drei Hosts liefern 23,04 TB roh, vier Hosts 30,72 TB. Bei drei Kopien sind das vor Metadaten, Snapshots und Betriebsreserven theoretisch 7,68 beziehungsweise 10,24 TB logische Daten. Eine hypothetische 70-Prozent-Planungsgrenze ergibt zunächst 5,38 beziehungsweise 7,17 TB. Sie ist weder ein Ceph-Standardwert noch ein zugesichertes Nutzvolumen.
| Prüfgröße | 3 Hosts | 4 Hosts |
|---|---|---|
| Roh / theoretisch logisch | 23,04 / 7,68 TB | 30,72 / 10,24 TB |
| 70 % des theoretischen Logikwerts | 5,38 TB | 7,17 TB |
| Nach Ausfall eines Hosts | Zwei Hostkopien; dritte erst nach Ersatz | Dritte Kopie auf übrigen drei Hosts möglich |
| 70-%-Grenze nach Wiederaufbau auf 3 Hosts | Nicht erreichbar ohne dritten Host | 23,04 ÷ 3 × 0,70 = 5,38 TB |
Wer den Vier-Host-Verbund auch nach einem Hostausfall nach dem Wiederaufbau unter dieser selbst gesetzten 70-Prozent-Grenze halten will, plant im Beispiel also höchstens rund 5,38 TB logische Daten ein – nicht 7,17 TB. Entscheidend sind zusätzlich die am stärksten gefüllten OSDs und die Ceph-Schwellen für nearfull, backfillfull und full. Ein einzelner voller OSD kann Schreib- oder Backfill-Vorgänge blockieren, obwohl die Gesamtsumme gut aussieht. Dezimale TB sind nicht binäre TiB.
Wie lange dauert der Wiederaufbau?
Bei beispielhaft 5 TB logischen Daten und drei Kopien liegen 15 TB Rohdaten im Vier-Host-Verbund, idealisiert gleichmäßig 3,75 TB pro Host. Fällt einer aus, müssen für die dritte Kopie ungefähr 3,75 TB auf die drei übrigen Hosts übertragen werden. Bei einer gemessenen effektiven Wiederaufbaurate von 250 MB/s wären 3,75 TB ÷ 250 MB/s = rund 4 Stunden 10 Minuten ein rechnerischer Unterwert; bei 125 MB/s rund 8 Stunden 20 Minuten. Peering, Verteilung, konkurrierende VM-I/O, Recovery-Limits und neue Schreiblast verlängern die reale Zeit. Die Nennrate einer 25-Gbit-Karte ist dafür kein Messwert.
DAXS würde einen Ausfalltest mit laufender Anwendungs-Last verlangen: ceph health detail, ceph osd df und den Verlauf der Placement Groups beobachten, tatsächliche Recovery-Bytes und Dauer erfassen sowie Latenz und VM-Verfügbarkeit mitmessen. Im Normalbetrieb sollen die PGs wieder active+clean erreichen. Ein Test muss auch zeigen, ob ein Switch-, Link- oder Strompfadausfall das Corosync-Quorum oder den Ceph-Verkehr gleichzeitig trifft. Proxmox empfiehlt für Ceph mindestens 10 Gbit/s exklusiven Verkehr und bei schnellen SSDs mehr; der konkrete Portplan richtet sich nach OSD-Durchsatz, Recovery-Ziel und getrennten physikalischen Wegen.
Was kostet die zusätzliche Wiederaufbau-Domäne?
Für die Budgetentscheidung sei h der Angebotspreis eines komplett bestückten Hosts, n das bereits für vier Anschlüsse ausgelegte redundante Netzwerk und b ein externer Backup-Server samt Medien. Pro Host fallen hypothetisch p Euro jährlich für Service, Strom und Housing an. Aufbau und Abnahme setzen wir nur für dieses Modell mit 100 Stunden à 90 € = 9.000 € an; laufenden Betrieb mit 60 Stunden à 90 € = 5.400 € jährlich. Derselbe Arbeitsaufwand wird für drei und vier Hosts angenommen und muss im konkreten Angebot neu geschätzt werden. Die offiziellen Listenwerte für Proxmox VE Standard und einen Proxmox Backup Server Standard betragen 550 € je belegtem CPU-Sockel und Jahr beziehungsweise 2.240 € je Backup-Server und Jahr. Pro Host wird genau ein belegter Sockel angenommen. Alle Werte sind netto; reale Angebote und Arbeitsaufwand sind zu ersetzen.
| Variante | 3 Jahre | 5 Jahre |
|---|---|---|
| 3 Hosts | 3h + n + b + 36.870 + 9p € | 3h + n + b + 55.450 + 15p € |
| 4 Hosts | 4h + n + b + 38.520 + 12p € | 4h + n + b + 58.200 + 20p € |
| Aufpreis für 4. Host | h + 1.650 + 3p € | h + 2.750 + 5p € |
Die Formel addiert je Jahr Proxmox-Sockel, PBS und 5.400 € Betrieb: bei drei Hosts 9.290 € plus 3p, bei vier Hosts 9.840 € plus 4p. 1.000 € mehr Hostpreis erhöhen beide Vier-Host-Horizonte um 4.000 €; 1.000 € mehr jährliche Kosten je Host um 12.000 beziehungsweise 20.000 €. Braucht die Vier-Host-Variante andere Switches, ist die Differenz zusätzlich zu n zu rechnen. Ceph-Kopien sind weiterhin kein Backup: Ein getrenntes System, externe Kopie und getesteter Restore gehören in die Abnahme. Der DAXS-Beitrag Proxmox Backup Server: Verify, Aufbewahrung und Restore beschreibt diese Prüfung.
Die Entscheidung fällt erst nach Messung von Latenz, Ausfall- und Wiederaufbauzeit sowie einem belastbaren Hardware-, Netz- und Betriebsangebot. DAXS kann dieses Mess- und Abnahmeprotokoll mit dem Unternehmen über Kontakt konkretisieren.
Quellen: Proxmox VE Administration Guide: Cluster und Ceph · Ceph: size und min_size · Ceph: Health Checks und Füllstände · Ceph: Recovery und Backfill · Proxmox VE: Preise · Proxmox Backup Server: Preise.