Wie viele Nodes braucht ein Ceph-Cluster auf Proxmox?

Das Minimum sind drei Nodes - das deckt sich mit der Anforderung für Proxmox-HA-Cluster (mindestens 3 Nodes plus Shared Storage). Drei Nodes erlauben den Replikations-Default size 3 / min_size 2: drei Kopien jedes Objekts, I/O läuft weiter, solange zwei verfügbar sind. Mehr Nodes verbessern Ausfalltoleranz, Rebalancing-Verhalten und Kapazität.

Ceph oder ZFS - was ist besser für Proxmox?

Es sind unterschiedliche Werkzeuge. Ceph ist Shared Storage für 3+ Nodes: Live-Migration ohne Kopieren der VM-Daten, Self-Healing, Scale-out. ZFS ist lokaler Storage - für 2-Node-Setups oder kleinere Umgebungen kombiniert mit Storage Replication (pvesr): nur mit ZFS möglich, asynchron, minimales Intervall 1 Minute, beim Failover kann der letzte Stand fehlen. Wer echtes HA mit Shared Storage will, landet bei Ceph; wer 2 Nodes betreibt, bei ZFS plus Replikation.

Welches Netzwerk braucht Ceph?

Mindestens 10 Gbit/s exklusiv für den Ceph-Traffic - geteilt mit VM- oder Corosync-Traffic ist keine Option, zumal eine einzige moderne NVMe 10 Gbit/s sättigen kann. High-Performance-Setups trennen weiter: 25+ Gbit/s für das Ceph-interne Netz, 10+ Gbit/s Public und 1 Gbit/s dediziert für Corosync.

Kann man Ceph in einen bestehenden Proxmox-Cluster nachrüsten?

Ja, sofern die Hardware passt: mindestens 3 Nodes, eigene Datenträger für die OSDs an HBAs (keine RAID-Controller), ausreichend RAM (empfohlen mindestens 8 GiB pro OSD) und ein exklusives Netz mit mindestens 10 Gbit/s. In der Praxis ist das Netzwerk der häufigste Nachrüst-Aufwand - genau das prüfen wir vorab in der Planung.

Was passiert bei einem Plattenausfall?

Ceph heilt sich selbst: Die betroffene OSD fällt aus, die Daten werden aus den verbliebenen Replikaten neu verteilt. Mit size 3 / min_size 2 läuft der I/O währenddessen weiter. Wichtig ist, das Rebalancing abzuwarten, bis wieder genügend Replikate vorhanden sind, bevor weitere Eingriffe erfolgen - das gehört bei uns zum überwachten Standard-Ablauf.

Betreibt ihr Ceph-Cluster auch dauerhaft?

Ja. Ceph kann in den vereinbarten Managed-Proxmox-Betrieb einbezogen werden. Dazu gehören 24/7 proaktives Monitoring von OSD-, MON- und Pool-Health, Updates in Wartungsfenstern, Füllstands- und Kapazitätsplanung sowie die vereinbarte Incident-Reaktion. Der Grundpreis für Managed Proxmox beginnt bei 179,90 € pro Node und Monat; der Ceph-Umfang wird nach dem technischen Assessment im Angebot bestätigt.

Proxmox Ceph: Planung, Aufbau und Betrieb

Wir planen Ceph passend zu Nodes, Datenträgern, Netzwerk, Kapazität und Ausfallzielen, bauen den Cluster auf und übernehmen auf Wunsch den vereinbarten Betrieb.

3+ Nodes, kein SAN
Live-Migration ohne Kopieren
Self-Healing Storage

Erstgespräch vereinbaren Wann Ceph passt

Bewertungen

IT Beratung Service Consulting Soforthilfe

Unternehmen weltweit vertrauen WZ-IT

Kundenstimmen ansehen

Entscheidung

Wann Ceph - und wann ZFS reicht

Ceph ist kein Selbstzweck. Die ehrliche Antwort hängt an Node-Anzahl, Budget und der Frage, ob Sie Shared Storage wirklich brauchen.

Ceph

Ceph passt, wenn ...

Sie wollen laufende VMs ohne Downtime migrieren - Ceph/RBD ist Shared Storage, die VM-Daten müssen dafür nicht kopiert werden.
Sie planen einen HA-Cluster: der braucht mindestens 3 Nodes plus Shared Storage - Ceph liefert beides in einem Design, ganz ohne externes SAN.
Kapazität und Redundanz sollen mit dem Cluster mitwachsen - Ceph skaliert horizontal über zusätzliche Nodes und Datenträger.
Sie wollen hyperconverged arbeiten: Storage läuft direkt auf den Compute-Nodes, eine separate Storage-Appliance entfällt.

ZFS

ZFS + Replikation passt, wenn ...

Sie haben nur 2 Nodes oder ein knappes Budget - dafür ist Ceph nicht gebaut, ZFS mit Storage Replication ist hier die realistische Alternative.
ZFS ist lokaler Storage, kein Shared Storage - die Replikation (pvesr) gleicht das teilweise aus, funktioniert aber ausschließlich mit ZFS.
Die Replikation läuft asynchron mit minimal 1 Minute Intervall - beim Failover kann der letzte Stand fehlen. Ihre Workloads müssen diese Lücke tolerieren.
Sie brauchen keine Live-Migration ohne Kopieren - bei lokalem ZFS werden VM-Daten beim Verschieben übertragen.

Der ausführliche Vergleich mit LVM: Proxmox-Storage: ZFS, Ceph & LVM im Vergleich

Design

Design-Entscheidungen, die später teuer werden

Ein Ceph-Cluster verzeiht vieles im Betrieb - aber wenig im Design. Diese sechs Punkte entscheiden vor dem ersten Byte über Stabilität und Performance.

Netz

Netzwerk zuerst
Ceph braucht mindestens 10 Gbit/s - exklusiv für den Storage-Traffic. High-Performance-Setups trennen weiter: 25+ Gbit/s Ceph-intern, 10+ Gbit/s Public und 1 Gbit/s dediziert für Corosync. Schon eine einzige moderne NVMe kann 10 Gbit/s sättigen.

Hardware

HBA statt RAID-Controller
Die Doku ist eindeutig: RAID-Controller vermeiden, Host Bus Adapter (HBA) verwenden. RAID-Logik stört Cephs eigene Redundanz- und Recovery-Mechanismen, statt sie zu ergänzen.
RAM pro OSD
Aktuelle Empfehlung: mindestens 8 GiB RAM pro OSD, der Default liegt bei 4 GiB. Die alte 1-GB-pro-TB-Faustregel ist überholt - dimensionieren Sie nach OSD-Anzahl, nicht nach Kapazität.
CPU nicht vergessen
Mindestens ein Core oder Thread je Ceph-Dienst einplanen - zusätzlich zu den VMs. OSDs profitieren außerdem von hohen Taktraten, nicht nur von vielen Kernen.

Daten

Replikation: size 3 / min_size 2
Der Default bedeutet: drei Kopien jedes Objekts, I/O läuft weiter, solange zwei verfügbar sind. Wer an den Replikaten spart, spart an genau der Redundanz, für die Ceph gebaut ist.

Version

Ceph-Version bewusst wählen
Proxmox VE 9.2 liefert Ceph Squid 19.2.3 und Tentacle 20.2.1 - Neuinstallationen starten standardmäßig mit Tentacle. Die Versionswahl gehört in die Planung, nicht ins Nachspiel.

Betrieb

Betrieb: was Ceph im Alltag bedeutet

Self-Healing & Rebalancing
Fällt eine OSD aus, verteilt Ceph die Daten selbstständig neu. Wichtig im Betrieb: das Rebalancing abwarten, bis wieder genügend Replikate vorhanden sind, bevor weiter eingegriffen wird.
Füllstands-Disziplin
Die nearfull_ratio warnt per Default bei 85 % - ein Ceph-Cluster gehört kapazitätsseitig deutlich darunter geplant und laufend überwacht.
Erasure Coding: möglich, kein Standard
EC liefert mehr Nutzkapazität - zum Preis von Performance. RBD auf EC-Pools braucht zusätzlich einen Replicated Pool für Metadaten. Ein Experten-Thema, kein Default-Setup.
24/7 proaktives Monitoring
Wir überwachen OSD-, MON- und Pool-Health rund um die Uhr proaktiv und bearbeiten relevante Auffälligkeiten, bevor sie zum Incident werden.
Updates in Wartungsfenstern
Ceph- und PVE-Updates koordiniert, Node für Node, mit Blick auf den Cluster-Zustand - nie alle gleichzeitig, nie im Blindflug.

Health-Check

Typische Ceph-Fehlkonfigurationen aus unseren Health-Checks

Diese fünf Muster sehen wir immer wieder, wenn wir bestehende Ceph-Cluster prüfen - jedes einzelne kostet Stabilität, Performance oder beides.

Fehlmuster

Was wir in bestehenden Clustern finden

Ceph und Corosync im selben Netz - Corosync braucht niedrige Latenz; teilt es sich die Leitung mit dem Storage-Traffic, gefährdet I/O-Last die Cluster-Kommunikation.
RAID-Controller unter den OSDs - genau das, wovon die Ceph-Doku abrät. HBAs verwenden und Ceph die Redundanz überlassen.
size 2 statt 3, „um Platz zu sparen“ - untergräbt die Redundanz, für die Ceph gebaut ist, und macht jeden Ausfall zum Risiko.
Cluster regelmäßig über 85 % Füllstand - ab der nearfull_ratio wird es eng für Recovery und Rebalancing.
10-Gbit-Netz geteilt mit VM-Traffic - die Doku verlangt das Ceph-Netz exklusiv; eine einzige moderne NVMe kann die Leitung allein sättigen.

Bestehender Ceph-Cluster?

Unsicher, wie Ihr Ceph dasteht?

Netzwerk
Replikation
Füllstände
Hardware

Leistungsgrenze und Hinweise

Wir prüfen bestehende Proxmox- und Ceph-Umgebungen strukturiert im Health-Check - Netzwerk, Replikation, Füllstände, Hardware - und übernehmen auf Wunsch anschließend den Betrieb. Auch ohne Dokumentation.

Zur Proxmox-Übernahme →

Betrieb

Ceph im Managed-Proxmox-Betrieb

Ceph kann in Managed Proxmox einbezogen werden. Monitoring von OSD-, MON- und Pool-Health, Updates, Kapazitätsplanung und Incident-Reaktion werden nach dem technischen Assessment als konkreter Betriebsumfang bestätigt.

Managed Proxmoxab 179,90 € netto / Node und MonatGrundpreis; der Ceph-Umfang wird nach dem technischen Assessment im Angebot bestätigt.

Erstgespräch vereinbaren Managed Proxmox ansehen

Andere Wege

Für Berufsgeheimnisträger

Proxmox in der §203 Managed Cloud betreiben

Wenn Proxmox Mandanten-, Patienten- oder andere Berufsgeheimnisse verarbeitet, plant WZ-IT Anwendung, Infrastruktur, Zugriffe, Backups und laufenden Betrieb innerhalb eines darauf zugeschnittenen Betriebsmodells.

§203 Managed Cloud ansehen →

Häufig gestellte Fragen

Antworten auf die wichtigsten Fragen

Knowledge

Weiterführende Proxmox-Guides

Vertiefendes Wissen aus unserer Proxmox-Wissensdatenbank.

Guides

Passende Lösungen für Ihr Projekt

Bewertungen & Projekte

Proxmox-Erfahrungen aus echten Projekten

Kundenstimmen zu Virtualisierung, Backup, VPN, Security und laufendem Cluster-Betrieb.

WZ-IT hat unsere Studio-Infrastruktur von dezentralen Einzelgeräten auf eine zentrale Plattform gehoben: Jeder Standort ist per VPN sicher angebunden, neue Geräte werden automatisiert onboardet und ein kompletter Standort wird per Vorlage provisioniert - ohne manuelle Schritte vor Ort. Was mich am meisten beeindruckt hat, ist die Breite und Tiefe des Wissens: Timo und Robin sind kein normaler IT-Dienstleister, der einen Server aufsetzt und wieder geht. Die beiden denken sich in hochkomplexe Infrastruktur- und Softwarethemen rein, arbeiten sich in jede Anforderung ein, die wir ihnen hinlegen, und bauen Vernetzung, Provisioning und Betrieb so auf, dass am Ende alles zusammenpasst. WZ-IT ist ein hervorragender Partner, wenn es um komplexe Software-, Netzwerk- und Architekturprojekte geht.

Steve KirchnerGeschäftsführer, nextGYM GmbH

Projekt ansehen

International

Gebaut im Ruhrgebiet. Produktiv weltweit.

WZ-IT plant, entwickelt und betreibt Infrastruktur und Software für Kunden in Deutschland und international. Projekte setzen wir remote um und begleiten sie auch nach dem Go-live im laufenden Betrieb.

Ausgewählte Projekte

Kundenstimmen ansehen

Anfrage

Proxmox-Ceph-Architektur prüfen

Nennen Sie Nodes, Datenträger, Netzwerk, Kapazität und gewünschtes Ausfallverhalten.

Direkt mit Timo und Robin - kein Vertrieb, kein Sales-Pitch
Ehrliche Einschätzung, auch wenn wir nicht der richtige Partner sind
Konkrete nächste Schritte für Infrastruktur, Software oder KI

Kein Risiko: Im schlechtesten Fall gehen Sie mit mehr Klarheit über Ihr Projekt heraus als vorher.

Die Beratung von WZ-IT zu unserer Azure-Migration war schon im Erstgespräch fachlich sehr fundiert und völlig unverbindlich - wir haben eine Menge mitgenommen.

Jakob ÖschlbergerInno7 GmbH

E-Mail[email protected]Telefon+49 2922 875068

Die Beratung von WZ-IT zu unserer Azure-Migration war schon im Erstgespräch fachlich sehr fundiert und völlig unverbindlich - wir haben eine Menge mitgenommen.

Jakob ÖschlbergerInno7 GmbH

Proxmox Ceph: Planung, Aufbau und Betrieb