Saya sedang merancang skenario implementasi Proxmox 3 node, dan tulisan ini saya jadikan dasar buat memutuskan mau pakai storage mana. Pemilihan antara Ceph atau ZFS itu bukan tentang fiturnya lebih banyak, tapi soal mode failure mana yang sanggup ditangani waktu ada node yang mati/error.
Skenario
- Cluster Proxmox VE 3 node. Proxmox dengan 3 node ini jumlah minimum yang sehat buat quorum sekaligus titik masuk paling pas buat Ceph.
- Targetnya storage yang andal buat disk VM, dengan jalur naik ke HA kalau nanti dibutuhkan.
- Tiga hal yang harus saya tentukan sendiri sebelum memutuskan: butuh HA atau nggak, network-nya seberapa kencang, dan workload-nya seperti apa.
Pertanyaan kunci
Biasanya cukup jawab satu pertanyaan ini:
- Apakah dibutuhkan HA? Maksudnya node mati tapi VM tetap jalan tanpa ada yang sadar.
- Kalau ya dan network mendukung: ambil Ceph (RBD).
- Kalau failover beberapa menit masih oke dan tinggal restore dari backup: ZFS lokal + replikasi jadi jawaban.
Dua opsi di 3 node
Opsi A: Ceph (RBD)
- Cocok jika membutuhkan shared storage dan HA langsung dari Proxmox.
- Kelebihan: node mati, disk VM tetap kebaca; cluster nyembuhin diri sendiri; live migration mulus tanpa pindah-pindah disk.
- Kekurangan: operasionalnya lebih rumit, dan berkaitan sama network.
- Kebutuhan: network minimal 10GbE terpisah (idealnya 25GbE), OSD seragam (SSD/NVMe), replikasi size 3, failure domain per host.
Opsi B: ZFS lokal + replikasi
- Cocok kalau network terbatas, tim kecil, atau memakai model restore-based.
- Kelebihan: simpel, latency rendah (apalagi pakai mirror), hardware lebih murah, integritas data juara.
- Kelemahan: nggak ada shared storage bawaan; ada jeda data karena replikasi sifatnya async; failover-nya hitungan menit.
- Kebutuhan: mirror buat disk VM, replikasi (zfs send/receive) ke node lain, plus Proxmox Backup Server.
Perbandingan cepat
| Aspek | Ceph (RBD) | ZFS lokal + replikasi |
|---|---|---|
| HA / shared storage bawaan | Ya | Tidak |
| Saat node mati | VM tetap jalan | Failover atau restore beberapa menit |
| Network | 25GbE ideal, minimal 10GbE terpisah | 10GbE cukup, 1GbE pun bisa |
| Kompleksitas operasional | Tinggi | Rendah |
| Disk | OSD seragam SSD/NVMe | Mirror SSD/NVMe |
| Risiko data saat node mati | Minim (size 3) | Ada jeda replikasi |
| Paling cocok | True HA, banyak VM | Simpel, network terbatas |
Keputusan
Buat skenario 3 node ini, kalau memang tujuannya High Availability dan syarat network terpenuhi, saya pilih Ceph (RBD) dengan size 3 dan failure domain per host. Tiga node itu pas banget buat Ceph: tiga MON buat quorum, dan persis satu salinan data per host.
Perintah buat ngecek kondisi
pvesm status: lihat storage apa aja yang kebaca Proxmox dan udah kepakai berapa persen. Jaga Ceph tetap di bawah 75 sampai 80 persen.zpool status -x: cek kesehatan ZFS. Kalau jawabannya bukan “all pools are healthy”, beresin dulu sebelum lanjut.ceph -s: lihat health cluster sekilas. HEALTH_WARN dengan slow ops yang nggak ilang-ilang itu udah masuk kategori insiden produksi.ceph osd perf: cari OSD yang lambat sendirian, soalnya satu OSD aja bisa narik turun latency seluruh cluster.ceph osd pool ls detail: pastiin size-nya 3, bukan 2.
Sumber
- Proxmox Storage: Ceph vs ZFS, The Decision Tree Nobody Shows You (cr0x.net): https://cr0x.net/en/proxmox-ceph-vs-zfs-decision-tree/
Leave a Reply