Ceph planen oder prüfen lassen: WZ-IT unterstützt Proxmox-Ceph-Planung, Aufbau und Health-Check. Erstgespräch vereinbaren.
Diese Anleitung führt von der Planung über Installation und OSDs bis zum Pool und zur Abnahme, mit den Befehlen der Proxmox-Dokumentation. Vor Eingriffen in produktive Cluster sind Backup, Rückfallweg und Wartungsfenster festzulegen. Stand: Oktober 2026.
Inhalt
- 1. Voraussetzungen und Ausfalldomänen planen
- 2. Ceph installieren und Netze konfigurieren
- 3. MON, MGR und OSDs anlegen
- 4. Pool und RBD-Storage prüfen
- 5. Health-Check und Abnahme
- Wartung: OSDs und Nodes
- Betrieb und nächste Schritte
- Quellen
1. Voraussetzungen und Ausfalldomänen planen
Planen Sie mindestens drei Proxmox-Nodes, geeignete OSD-Datenträger und Kapazitätsreserve für Ausfälle. Ceph repliziert Daten; die CRUSH-Regel muss Kopien auf verschiedene Hosts verteilen. Ein Pool mit drei Kopien benötigt entsprechend mehr Rohkapazität als die nutzbare Datenmenge. Der Storage-Vergleich hilft bei der Entscheidung gegen oder für Ceph.
Proxmox empfiehlt mindestens 10 Gbit/s für Ceph-Traffic. Trennen Sie insbesondere Corosync vom Storage-Verkehr. Der Speicherbedarf wird je OSD und zusätzlich zu Gästen und übrigen Diensten geplant; die Proxmox-Empfehlung nennt 8 GiB je OSD. Datenträger werden direkt bereitgestellt, bei SAS/SATA über HBA statt Hardware-RAID. Details: Proxmox-Ceph-Dokumentation.
2. Ceph installieren und Netze konfigurieren
Öffnen Sie auf einem Cluster-Node den Bereich Ceph und starten Sie den Installationsassistenten. Wählen Sie eine zur PVE-Version und zu vorhandenen Nodes passende Ceph-Version und das passende Repository. Konfigurieren Sie das Public Network für Client- und Dienstkommunikation; ein zusätzliches Cluster Network trennt Replikation und Heartbeats. Die gemeinsame Konfiguration wird im Cluster verteilt. Installieren Sie die benötigten Pakete auf allen vorgesehenen Nodes.
Für OVHcloud ist das Netz über vRack gesondert zu planen: Ceph-Adressen und MTU auf allen beteiligten Nodes konsistent halten und Corosync nicht allein durch VLAN-Trennung als physisch unabhängig betrachten. Die gebuchte Netzkapazität vor der Ceph-Freigabe gegen den Bedarf prüfen.
Auf der Kommandozeile entspricht das diesen Schritten (Netze und Adressen anpassen):
pveceph install # auf jedem Node
pveceph init --network 10.10.10.0/24 --cluster-network 10.10.20.0/24 # einmalig auf einem Node
--network legt das Public Network fest, --cluster-network das zusätzliche Netz für Replikation und Heartbeats. Ohne den zweiten Parameter nutzt Ceph ein Netz für beides.
3. MON, MGR und OSDs anlegen
Verteilen Sie Monitore auf die Hosts und prüfen Sie deren Quorum. Legen Sie Manager und anschließend OSDs auf den vorgesehenen freien Datenträgern an. OSD-Erstellung verwendet den Datenträger für Ceph; prüfen Sie deshalb Gerätezuordnung und vorhandene Daten vor der Freigabe. WAL/DB-Auslagerung, Geräteklassen und CPU-Reserven gehören in die Planung, bevor produktive Daten geschrieben werden.
Drei MONs auf drei Hosts vorsehen; MGR-Redundanz separat prüfen. Ein QDevice ersetzt keinen Ceph-Monitor und keinen Storage-Host. Installations- und Diensteschritte folgen der oben verlinkten Proxmox-Dokumentation.
Die Befehle dazu:
pveceph mon create # auf jedem Monitor-Node, mindestens drei
pveceph mgr create # auf mindestens zwei Nodes für Redundanz
pveceph osd create /dev/sdb # je Datenträger
pveceph osd create /dev/sdc -db_dev /dev/nvme0n1 # optional mit separatem DB/WAL-Gerät
4. Pool und RBD-Storage prüfen
Erstellen Sie einen replizierten Pool mit passender CRUSH-Regel. Für das hier beschriebene Drei-Host-Modell sind size 3/min_size 2 der Ausgangspunkt. Prüfen Sie die tatsächlich gesetzten Werte und binden Sie den Pool als RBD-Storage für VM-Disks ein. Reduzieren Sie die Replikation nicht als spontane Antwort auf Platzmangel. Die Ceph-Pool-Dokumentation erklärt beide Parameter.
Der Pool lässt sich in der Weboberfläche oder auf der Kommandozeile anlegen und gleich als RBD-Storage einbinden:
pveceph pool create vm-pool --size 3 --min_size 2 --add_storages
pveceph pool ls
min_size nie auf 1 setzen: Bei Ausfällen drohen Schreibzugriffe auf nur eine Kopie und damit Datenverlust. Die Anzahl der Placement Groups lässt sich dem PG-Autoscaler überlassen, den die Proxmox-Dokumentation empfiehlt.
5. Health-Check und Abnahme
Die folgenden lesenden Befehle liefern Prüfdaten, keine vorgegebenen Testergebnisse:
ceph status
ceph health detail
ceph osd tree
ceph osd df
ceph df
ceph osd pool ls detail
Bewerten Sie MON-Quorum, OSD-Zustände, Placement Groups, Ausfalldomänen, Replikation und freien Speicher gemeinsam. HEALTH_OK allein belegt weder die Leistung noch die Wiederherstellbarkeit von Anwendungen. Prüfen Sie außerdem die tatsächlich konfigurierten Full-/Nearfull-Schwellen statt einen Standardwert vorauszusetzen.
| Prüffeld | Abnahmekriterium |
|---|---|
| MON und MGR | Erwartete MONs im Quorum, aktiver MGR und vorgesehene Redundanz |
| OSDs und PGs | Vorgesehene OSDs up und in, PGs nach Abschluss der Recovery active+clean |
| CRUSH und Pool | Kopien über Hosts verteilt, size und min_size entsprechen dem Design |
| Kapazität | Freiraum je OSD mit ceph osd df und Reserve für geplante Ausfälle geprüft |
Die Ceph-Monitoring-Dokumentation erklärt Zustände und Befehle. ceph osd df liefert die Belegung jedes OSDs; ceph df zeigt aggregierte Cluster- und Pool-Werte (Ceph: Freier Speicher). Abweichungen mit Ursache und Maßnahme protokollieren; Warnungen nicht nur stummschalten.
Ein Ausfalltest gehört in einen freigegebenen Testplan mit Abbruchkriterien und ausreichender Restkapazität. Bei genau drei Hosts kann nach einem Hostausfall eine dritte Host-Kopie erst nach Rückkehr oder Ersatz wieder entstehen. Produktive Störungen werden nicht zur Demonstration ausgelöst.
Wartung: OSDs und Nodes
Vor einer Wartung am Node verhindert das Flag noout, dass Ceph fehlende OSDs sofort neu verteilt. Für einzelne OSDs prüfen Sie vor dem Stoppen, ob das sicher ist:
ceph osd set noout # vor der Wartung
ceph osd ok-to-stop 3 # darf OSD 3 gestoppt werden?
ceph osd out 3 # OSD aus der Datenverteilung nehmen
ceph osd unset noout # nach der Wartung
Ersetzen Sie einen ausgefallenen Datenträger, indem Sie die OSD entfernen und auf dem neuen Gerät mit pveceph osd create neu anlegen. Warten Sie, bis die Placement Groups wieder active+clean sind, bevor Sie den nächsten Node anfassen.
Betrieb und nächste Schritte
Ceph-Planung und Health-Check klären das Design. Managed Proxmox übernimmt den ausdrücklich vereinbarten laufenden Ceph-Umfang. Backups und Wiederanlauf werden separat mit Proxmox Backup Server geplant.
