Hari ini saya melanjutkan membaca artikel dari Mr.PlanB tentang penggunaan Proxmox di lingkungan production. Artikel ini membahas pengalaman beberapa system admin yang menggunakan Proxmox untuk menjalankan ratusan hingga lebih dari 10.000 VM.
Dari beberapa pembahasan tersebut, ada pembahasan yang menarik pada bagian penggunaan Ceph sebagai storage Proxmox, terutama mengenai risiko penggunaan Ceph dengan jumlah node yang sedikit.
Dalam artikel tersebut, seorang system admin yang menggunakan Ceph pada cluster dengan jumlah node cukup banyak. Namun, ada juga yang merasa bahwa penggunaan Ceph dengan tiga node masih berisiko ketika salah satu node mengalami kegagalan. Untuk kebutuhan production yang kritis, salah satu administrator lebih memilih minimal lima node. Tentunya, ini berdasarkan pengalaman dan pertimbangannya, bukan ketentuan wajib dari Ceph.
Pembahasan tersebut mengingatkan saya pada pengujian yang pernah saya lakukan menggunakan dua node Proxmox VE dengan Ceph Squid 19.2. Saat itu, saya menggunakan enam OSD dengan konfigurasi pool size 2 dan min_size 1.
Saya juga sempat melakukan pengujian dengan mematikan salah satu node untuk melihat dampaknya terhadap cluster. Hasilnya, VM yang sudah berjalan masih dapat beroperasi, tetapi pembuatan VM baru mengalami kendala karena cluster Proxmox kehilangan quorum.
Perlu dibedakan bahwa kendala tersebut berasal dari quorum Proxmox (Corosync), bukan langsung dari Ceph. Keduanya memiliki mekanisme quorum yang berbeda. Saya kemudian mencoba menambahkan Ceph MON eksternal dan mempelajari penggunaan QDevice untuk membantu quorum Proxmox.
Dari pengujian tersebut dan artikel yang saya baca, saya memahami bahwa penggunaan cluster dengan jumlah node sedikit memang perlu diperhatikan, terutama ketika salah satu node down dan mengalami kegagalan.
Pengujian saya sebelumnya masih sebatas lab untuk memahami mekanisme Proxmox dan Ceph. Namun, pengalaman tersebut cukup membantu saya memahami pembahasan dalam artikel bahwa cluster yang berhasil berjalan belum tentu langsung siap digunakan untuk production, terutama jika belum diuji bagaimana kondisinya ketika terjadi kegagalan node atau storage.
Saat testing integrasi Ceph sebagai primary storage CloudStack pada Rocky Linux 9, saya menemui kendala saat menambahkan storage dan membuat instance. Dua komponen masih menggunakan opsi auth_supported, yang ditolak library klien Ceph pada lab saya.
Perbaikannya adalah mengganti opsi tersebut menjadi auth_client_required. Untuk memudahkan penerapan ulang, saya menyiapkan dua script di GitHub.
Fungsi masing-masing script
Bagian A — fix-libvirt-rbd.sh: memperbaiki driver storage RBD libvirt untuk error failed to set RADOS option: auth_supported saat menambahkan primary storage.
Bagian B — fix-cloudstack-agent-rbd.sh: memperbaiki plugin KVM agent untuk error invalid conf option auth_supported saat konversi template atau disk instance.
Keduanya melakukan pengecekan sederhana, menyediakan backup dan rollback, serta melewati pemasangan jika komponen aktif sudah menggunakan opsi baru.
Persiapan
Ceph, pool RBD, konfigurasi klien, dan keyring harus sudah tersedia. Pastikan akses dari host KVM berhasil:
rbd --id cloudstack -p cloudstack-pool ls
Default script memakai Rocky 9 x86_64, libvirt 11.10.0-12.7.el9_8, dan CloudStack agent 4.23.0.0. Sesuaikan versi, URL, path, dan nama layanan melalui variabel di atas script. Patch tidak membutuhkan secret Ceph.
Build sebaiknya dilakukan pada mesin Rocky dengan rilis, arsitektur, dan repository klien Ceph yang sesuai host KVM:
sudo bash fix-libvirt-rbd.sh build
Hasilnya ada di /root/libvirt-rbd-backport/fixed.rpm. Jika mesin build terpisah, salin RPM ke path yang sama pada host KVM dan unduh script A di host tersebut. Kemudian pasang:
sudo bash fix-libvirt-rbd.sh install
Bagian A hanya memasang subpaket driver RBD hasil build, kemudian me-restart libvirt dan menghentikan sementara agent yang aktif.
Jalankan Bagian B
Pada host KVM:
sudo bash fix-cloudstack-agent-rbd.sh apply
Script compile ulang satu class Java, memeriksa API dan bytecode, lalu mengganti plugin dan menghentikan sementara agent yang aktif. Jalankan pemasangan ketika tidak ada deployment atau migrasi berlangsung.
Cek hasil dan rollback
Tunggu host dan primary storage berstatus Up, lalu coba deployment. Pastikan instance Running dan ROOT volume berada di storage Ceph. Patch ini menangani error kompatibilitas opsi RBD; kapasitas host, template, dan offering tetap harus sesuai.
Jika perlu mengembalikan perubahan, jalankan pada host KVM dengan direktori kerja yang sama:
Saya sedang menguji integrasi Ceph untuk dijadikan sebagai Primary Storage Apache CloudStack. Ceph disini saya menggunakan Ceph yang diinstall pada Proxmox VE. Pengujian dilakukan dengan konfigurasi berikut:
Komponen
IP
Versi
Management dan KVM
192.168.14.8
CloudStack 4.23, Rocky Linux 9.8, libvirt 11.10.0
Proxmox Ceph
192.168.14.4
Squid 19.2.6
Client Ceph pada host KVM kemudian diperbarui ke 19.2.6 untuk mendukung kunci aes256k. Catatan rilis resmi Ceph menjelaskan bahwa tipe kunci tersebut diperkenalkan pada rilis ini dan client perlu diperbarui agar dapat menggunakannya. [Baca: ceph.io]
Kendala
Setelah pembaruan, pengujian rbd ls berhasil dengan exit code 0. Artinya, operasi listing RBD berhasil menggunakan konfigurasi dan kredensial pada pengujian tersebut. Namun, saat menambahkan Primary Storage melalui CloudStack, prosesnya tetap gagal.
Penelusuran menemukan bahwa backend storage RBD libvirt 11.10.0 masih mengirim opsi auth_supported, sedangkan library Ceph yang digunakan menolak opsi tersebut. Masalah ini juga dilaporkan pada issue libvirt #918, yang membahas kegagalan storage pool dengan librados 19.2.6 dan 20.2.4. GitLab
Keberhasilan rbd ls belum membuktikan bahwa seluruh jalur integrasi sudah kompatibel. Penambahan storage melalui CloudStack melibatkan backend RBD libvirt, yang masih gagal ketika menyetel opsi autentikasi ke librados.
Pengecekan Log
Log journal libvirtd:
Oct 06 20:11:22 cs01.lab.internal libvirtd[30048]: internal error: failed to set RADOS option: auth_supported
Oct 06 20:11:58 cs01.lab.internal libvirtd[30048]: internal error: failed to set RADOS option: auth_supported
Oct 06 20:12:16 cs01.lab.internal libvirtd[30048]: internal error: failed to set RADOS option: auth_supported
Log dari /var/log/cloudstack/agent/agent.log:
2026-10-06 20:11:22,669 ERROR [kvm.storage.LibvirtStorageAdaptor] (AgentRequest-Handler-1:[]) (logid:2944b393) Failed to create RBD storage pool: org.libvirt.LibvirtException: internal error: failed to set RADOS option: auth_supported
2026-10-06 20:11:58,072 ERROR [kvm.storage.LibvirtStorageAdaptor] (AgentRequest-Handler-2:[]) (logid:2c9bcf38) Failed to create RBD storage pool: org.libvirt.LibvirtException: internal error: failed to set RADOS option: auth_supported
2026-10-06 20:12:16,544 ERROR [kvm.storage.LibvirtStorageAdaptor] (AgentRequest-Handler-5:[]) (logid:522e490d) Failed to create RBD storage pool: org.libvirt.LibvirtException: internal error: failed to set RADOS option: auth_supported
Ketiga percobaan menghasilkan error yang sama: libvirt gagal menyetel opsi RADOS auth_supported saat membuat storage pool.
Kasus serupa tercatat pada Apache CloudStack issue #13989. Laporan tersebut menggunakan CloudStack 4.22.1.1 dan Ceph Tentacle 20.2.4, sehingga menjadi pembanding dengan pesan error yang sama, sementara lab saya menggunakan CloudStack 4.23 dan Ceph Squid 19.2.6. GitHub
Solusi
Saya kemudian bertanya ke AI dengan memberikan detail infrastruktur, versi paket, hasil pengujian rbd ls, dan log error. AI menyarankan langkah berikut:
Memperbarui libvirt ke paket yang memuat perbaikan terkait, atau melakukan backport patch pada backend RBD libvirt agar menggunakan auth_client_required sebagai pengganti auth_supported.
Setelah perubahan diterapkan, melakukan restart libvirt dan CloudStack Agent.
Mencoba kembali penambahan Primary Storage melalui CloudStack.
Arah saran dari dokumentasi resmi Ceph menjelaskan opsi auth_client_required. Namun, diskusi patch pada mailing list resmi libvirt juga membahas penggunaan ketiga opsi auth_cluster_required, auth_service_required, dan auth_client_required untuk mempertahankan kondisi sebelumnya. Detail patch yang sesuai masih perlu dicari tahu lebih lanjut. Ceph Documentation
Sampai catatan ini ditulis, solusi belum saya terapkan dan akan diuji coba kembali pada artikel selanjutnya. Hasil baru sebatas rbd ls tanpa error dan temuan error auth_supported saat penambahan Primary Storage.
Saya memiliki Proxmox cluster yang terdiri dari pveceph1 dan pveceph2, dengan tiga OSD Ceph pada setiap node. Agar cluster tetap dapat dikelola dan storage Ceph tetap melayani I/O ketika salah satu node mati, saya menambahkan server Debian eksternal bernama cephmon3.
Server tersebut menjalankan dua layanan berbeda:
Ceph MON ketiga untuk menjaga quorum Ceph.
Corosync qnetd untuk memberikan vote QDevice kepada cluster PVE.
Ceph MON tidak menggantikan QDevice karena keduanya menangani quorum yang berbeda.
Topologi
Host
Layanan
pveceph1
PVE, MON, MGR, 3 OSD
pveceph2
PVE, MON, MGR, 3 OSD
cephmon3
Debian, MON, qnetd, tanpa OSD
cephmon3 harus berada pada server atau hypervisor independen. Jangan menyimpannya pada pveceph1, pveceph2, atau pool Ceph yang sama.
1. Memastikan MON dan MGR pada kedua node
Dari GUI Proxmox, buka node > Ceph > Monitor. Pastikan layanan berikut sudah terdaftar:
MON pada pveceph1 dan pveceph2.
MGR pada pveceph1 dan pveceph2, dengan satu active dan satu standby.
Jika ada yang belum tersedia, pilih node terkait lalu klik Create pada bagian Monitor atau Manager.
Lanjutkan ketika kedua MON PVE sudah berada dalam quorum.
2. Menyiapkan server cephmon3
Saya menggunakan Debian 13 minimal dengan 2 vCPU, RAM 4 GB, disk lokal 32 GB, IP statis, SSH server, dan tanpa desktop environment.
Pastikan hostname konsisten:
hostnamectl set-hostname cephmon3
hostnamectl
Tambahkan resolusi hostname ketiga server melalui DNS internal atau /etc/hosts. Pastikan waktu tersinkronisasi:
Jika Debian dipasang menggunakan ISO DVD, nonaktifkan sumber deb cdrom: dan pastikan repository online Debian Trixie sudah aktif sebelum menjalankan apt update.
3. Mengatur firewall (untuk production)
Untuk lingkungan produksi, firewall sebaiknya tetap aktif dan hanya membuka koneksi yang diperlukan:
Port
Arah
Fungsi
TCP 3300 dan 6789
Antara ketiga host MON
Komunikasi Ceph MON
TCP 5403
pveceph1/pveceph2 ke cephmon3
Corosync qnetd
TCP 22
Jaringan administrator ke cephmon3
SSH administrasi
Jika menggunakan Proxmox Firewall, tambahkan rule Ceph pada kedua node PVE dan izinkan IP cephmon3. Pada server Debian, izinkan IP kedua node PVE menuju port MON dan qnetd.
Untuk lab lokal yang terisolasi, firewall dapat dinonaktifkan sementara agar pengujian lebih mudah. Namun, jangan menggunakan cara tersebut pada lingkungan produksi dan aktifkan kembali firewall setelah pengujian selesai.
ID MON harus konsisten. Karena service bernama ceph-mon@cephmon3, direktori datanya harus bernama ceph-cephmon3 dan konfigurasi menggunakan [mon.cephmon3].
Dengan QDevice, pvecm expected 1 tidak perlu digunakan sebagai konfigurasi permanen.
8. Memeriksa konfigurasi pool
Untuk cluster dengan OSD hanya pada dua host, pool dibuat terlebih dahulu dengan size 3/min_size 2, kemudian diedit menjadi size 2/min_size 1 pada pvecephpool dan .mgr.
ceph osd pool get pvecephpool size
ceph osd pool get pvecephpool min_size
ceph osd pool get .mgr size
ceph osd pool get .mgr min_size
Nilai min_size 1 membuat storage tetap menerima I/O dari satu replika ketika satu node OSD mati, tetapi Ceph akan berada dalam kondisi degraded dan risiko kehilangan data meningkat.
9. Melakukan pengujian
Matikan salah satu node PVE melalui GUI, kemudian periksa dari node yang masih hidup:
pvecm status
ceph -s
ceph mon stat
Hasil yang diharapkan:
PVE tetap quorate menggunakan satu node dan QDevice.
Ceph tetap memiliki quorum melalui satu MON PVE dan cephmon3.
VM pada node yang masih hidup tetap berjalan.
Storage tetap dapat menerima I/O, tetapi berstatus degraded sampai node kedua kembali.
VM pada node yang mati hanya dapat otomatis menyala di node lainnya jika telah dikonfigurasi sebagai resource HA dan kapasitas node yang tersisa mencukupi.
Kesimpulan
Penambahan cephmon3 menyelesaikan dua kebutuhan pada cluster dua node: Ceph memperoleh MON ketiga, sedangkan Proxmox memperoleh vote tambahan dari QDevice. Solusi ini dapat menggunakan Debian ringan tanpa menambah node PVE ketiga, tetapi tetap merupakan desain kompromi karena data OSD hanya tersimpan pada dua host.
Saya ditugaskan untuk membuat cluster Proxmox VE yang terdiri dari dua node dan menggunakan Ceph sebagai shared storage. Setelah konfigurasi selesai, kemudian saya ditugaskan untuk melakukan pengujian dengan mematikan salah satu node untuk mengetahui kondisi VM, quorum Proxmox, dan quorum Ceph.
Eksperimen ini juga menguji solusi sementara berupa penghapusan Ceph Monitor pada pveceph2 dan penggunaan pvecm expected 1. Hasilnya menunjukkan bahwa quorum Proxmox/Corosync, quorum Ceph Monitor, dan redundansi data Ceph merupakan tiga hal berbeda yang harus ditangani secara terpisah.
Catatan: Konfigurasi dua node, satu Ceph Monitor, serta pool size 2/min_size 1 pada artikel ini digunakan untuk eksperimen. Konfigurasi tersebut bukan rekomendasi untuk lingkungan produksi.
Lingkungan Pengujian
Komponen
Konfigurasi
Proxmox VE
9.2.10
Kernel
7.0.14-12-pve
Ceph
Squid 19.2.5
Node 1
pveceph1
Node 2
pveceph2
OSD
3 OSD pada setiap node, total 6 OSD
Pool
pvecephpool
Replikasi pool
size 2, min_size 1
VM pengujian
Alpine Linux pada pveceph1 dengan disk di pvecephpool
Pada konfigurasi ini, size 2 membuat Ceph menyimpan dua salinan data. Sementara itu, min_size 1 mengizinkan I/O tetap berjalan ketika hanya tersedia satu salinan. Konfigurasi ini membantu pengujian dua node, tetapi meningkatkan risiko kehilangan data ketika penulisan berlangsung tanpa redundansi. Dokumentasi Proxmox Ceph juga memperingatkan bahwa replicated pool dengan min_size 1 dapat menyebabkan kehilangan data atau PG menjadi tidak lengkap jika salinan terakhir bermasalah.
1. Membuat Cluster Proxmox Dua Node
Pembuatan cluster dapat dilakukan melalui GUI Proxmox.
Membuat cluster pada pveceph1
Login ke GUI pveceph1.
Buka Datacenter → Cluster.
Klik Create Cluster.
Masukkan nama cluster.
Pilih jaringan Corosync yang akan digunakan pada bagian Cluster Network.
Klik Create.
Setelah cluster terbentuk, klik Join Information, lalu salin informasi yang ditampilkan.
Menggabungkan pveceph2
Login ke GUI pveceph2.
Buka Datacenter → Cluster.
Klik Join Cluster.
Tempel informasi dari pveceph1.
Masukkan password root milik pveceph1.
Pastikan alamat jaringan Corosync sudah sesuai.
Klik Join.
Node yang akan bergabung sebaiknya belum memiliki VM atau konfigurasi penting karena konfigurasi cluster pada node tersebut akan disesuaikan dengan cluster tujuan. Langkah GUI ini sesuai dengan panduan Proxmox VE Cluster Manager.
Periksa halaman Datacenter → Cluster setelah proses selesai. Pastikan pveceph1 dan pveceph2 terlihat berstatus online.
2. Menginstal dan Mengonfigurasi Ceph
Menginstal Ceph pada kedua node
Lakukan langkah berikut pada pveceph1 dan pveceph2:
Pilih nama node pada panel kiri.
Buka menu Ceph.
Klik Install Ceph atau ikuti wizard instalasi yang muncul.
Pilih Ceph Squid dan repository yang sesuai.
Selesaikan instalasi paket.
Pada node pertama, lanjutkan dengan inisialisasi konfigurasi Ceph. Tentukan Public Network dan Cluster Network sesuai jaringan yang sudah disiapkan. Node kedua menggunakan konfigurasi Ceph yang sudah tersimpan pada cluster, sehingga tidak perlu membuat cluster Ceph baru.
Periksa halaman konfigurasi Ceph.
Membuat Ceph Monitor
Pada konfigurasi awal eksperimen, MON dibuat pada kedua node:
Buka Ceph → Monitor.
Klik Create.
Pilih pveceph1, kemudian buat MON.
Ulangi untuk pveceph2.
Jika wizard konfigurasi sudah otomatis membuat MON pada pveceph1, cukup buat MON tambahan pada pveceph2.
Dengan dua MON, quorum membutuhkan keduanya aktif atau 2 dari 2 MON. Artinya, konfigurasi ini belum dapat menoleransi kegagalan satu MON. Ceph merekomendasikan sedikitnya tiga MON untuk produksi dan jumlah MON ganjil agar mayoritas tetap dapat terbentuk ketika satu MON gagal.
Periksa halaman Ceph → Monitor yang menampilkan MON pveceph1 dan pveceph2 dalam kondisi aktif serta berada dalam quorum.
Membuat enam OSD (Sesuaikan dengan kebutuhan)
Setiap node pada lab ini memiliki tiga disk khusus OSD.
Pilih node yang akan dikonfigurasi.
Buka Ceph → OSD.
Klik Create: OSD.
Pilih disk kosong yang akan digunakan.
Pastikan disk yang dipilih tidak berisi data penting.
Klik Create.
Ulangi hingga tersedia tiga OSD pada setiap node.
Peringatan: Pembuatan OSD akan menghapus isi disk yang dipilih. Periksa nama dan kapasitas disk sebelum menekan Create.
Periksa halaman Ceph → OSD atau tampilan CRUSH yang menunjukkan enam OSD berstatus up dan in, masing-masing tiga OSD di bawah pveceph1 dan pveceph2.
Membuat pool Ceph
Buka Ceph → Pools.
Klik Create.
Isi nama pool dengan pvecephpool.
Buat pool terlebih dahulu dengan Size3 dan Min. Size2.
Pilih CRUSH rule yang menempatkan replika pada host berbeda.
Aktifkan opsi penambahan storage jika tersedia, lalu klik Create.
Setelah pvecephpool berhasil dibuat, ubah konfigurasinya menjadi size 2/min_size 1:
Pilih pool pvecephpool, lalu klik Edit.
Ubah Size dari 3 menjadi 2.
Ubah Min. Size dari 2 menjadi 1.
Simpan perubahan.
Pilih pool internal .mgr, lalu klik Edit.
Ubah Size dan Min. Size pada .mgr menjadi 2 dan 1.
Simpan perubahan dan tunggu proses penyesuaian PG selesai.
Catatan: Pada eksperimen ini, konfigurasi 2/1 tidak langsung diterapkan ketika membuat pool. Pool dibuat lebih dahulu dengan nilai 3/2, kemudian pvecephpool dan pool internal .mgr diedit menjadi 2/1. Jika hanya pvecephpool yang diubah, .mgr masih menggunakan 3/2 dan Ceph dapat tetap menampilkan peringatan karena cluster hanya memiliki dua host OSD. Pool .mgr tidak perlu dihapus; cukup sesuaikan nilai replikasinya.
Jika pool belum muncul sebagai storage Proxmox, buka Datacenter → Storage → Add → RBD, lalu pilih pvecephpool sebagai pool. Aktifkan jenis konten Disk image sesuai kebutuhan.
3. Membuat VM Pengujian pada Ceph
Klik Create VM.
Tempatkan VM pada pveceph1.
Gunakan ISO Alpine Linux atau sistem operasi ringan lainnya.
Pada bagian disk, pilih pvecephpool sebagai storage.
Selesaikan instalasi, kemudian jalankan VM.
Pastikan status VM Running sebelum pengujian dimulai.
Sebelum mematikan node, pastikan status Ceph normal, kedua MON berada dalam quorum, dan seluruh OSD berstatus up serta in.
Periksa halaman Hardware VM yang menunjukkan disk berada di pvecephpool dan pastikan VM berstatus Running.
4. Pengujian Pertama: Mematikan pveceph2
Node kedua dimatikan langsung melalui GUI:
Pilih pveceph2 pada panel kiri.
Klik Shutdown.
Konfirmasi proses shutdown.
Tunggu hingga pveceph2 benar-benar tidak aktif.
Setelah itu, pemeriksaan dilakukan melalui GUI pveceph1.
Hasil pengujian
VM Alpine pada pveceph1 tetap berstatus Running.
MON pveceph2 tidak aktif sehingga dua MON tidak dapat membentuk mayoritas.
Tiga OSD milik pveceph2 menjadi down dan PG kehilangan satu salinan data.
Cluster Proxmox kehilangan quorum karena hanya tersedia satu dari dua vote Corosync.
Pembuatan VM baru tidak dapat dilakukan karena pmxcfs menjadi read-only ketika cluster Proxmox tidak quorate.
VM yang sudah berjalan dapat tetap aktif karena proses QEMU masih berjalan dan jalur data Ceph tidak selalu langsung berhenti ketika MON tidak memiliki quorum. Namun, kondisi tersebut tidak boleh dianggap sebagai jaminan ketersediaan. Perubahan peta cluster, koneksi baru, atau gangguan tambahan tetap dapat menyebabkan I/O berhenti.
VM tetap running (dapat di ping) namun tidak dapat diakses.
5. Menghapus MON pveceph2
Pengujian berikutnya bertujuan memastikan MON pada node yang mati tidak lagi menjadi bagian dari quorum Ceph. Sebelum menghapus MON, pveceph2 dinyalakan kembali dan ditunggu hingga cluster Proxmox serta Ceph kembali normal.
Jika GUI tidak dapat digunakan, perintah berikut dapat dijalankan melalui menu Shell pada pveceph2 ketika node masih aktif dan quorum tersedia:
pveceph mon destroy pveceph2
Pada eksperimen ini yang dihapus hanya service MON. OSD pada pveceph2 tetap dipertahankan sebagai bagian dari pool.
Mengulangi pengujian shutdown
Setelah MON pveceph2 berhasil dihapus, node tersebut kembali dimatikan melalui GUI. Hasilnya:
VM pada pveceph1 tetap Running.
MON tunggal pveceph1 dapat membentuk quorum 1 dari 1.
Error quorum MON yang sebelumnya terjadi tidak lagi menjadi penghambat.
Ceph tetap menampilkan kondisi degraded atau undersized karena tiga OSD pada pveceph2 tidak tersedia.
Cluster Proxmox tetap tidak quorate karena Corosync masih hanya memiliki satu dari dua vote.
Pembuatan VM atau perubahan konfigurasi tetap terblokir pada sisi Proxmox.
Penghapusan MON kedua hanya mengubah quorum Ceph. Langkah ini tidak memperbaiki quorum Proxmox dan tidak mengembalikan redundansi data Ceph.
Pengujian pembuatan VM gagal
6. Menggunakan pvecm expected 1 untuk Pengujian
Dalam pengujian ini, perintah berikut dijalankan melalui pveceph1 → Shell setelah dipastikan bahwa pveceph2 benar-benar mati:
pvecm expected 1
Perintah tersebut mengubah jumlah vote yang diharapkan menjadi satu sehingga pveceph1 kembali quorate. Setelah itu, pmxcfs dapat ditulis kembali dan pengujian melalui GUI dapat dilanjutkan. Pada lab ini, pembuatan VM baru digunakan hanya untuk membuktikan bahwa hambatan sebelumnya berasal dari quorum Proxmox.
Peringatan:pvecm expected 1 merupakan tindakan pemulihan sementara, bukan konfigurasi permanen untuk cluster dua node. Jalankan hanya setelah node lain dipastikan benar-benar mati atau sudah di-fence. Jangan menjalankannya pada dua sisi yang terpisah karena dapat menyebabkan split-brain dan perubahan konfigurasi yang saling bertentangan. Dokumentasi Proxmox menempatkan perintah ini sebagai workaround ketika quorum hilang dan memperingatkan agar perubahan yang memengaruhi cluster tidak dilakukan dalam kondisi vote dipaksa. Untuk produksi, QDevice direkomendasikan sebagai vote ketiga pada cluster dua node.
Ringkasan Hasil Pengujian
Kondisi
Quorum Proxmox
Quorum Ceph MON
Kondisi data Ceph
VM yang sudah berjalan
Perubahan konfigurasi/VM baru
Kedua node aktif, dua MON
Ada
2/2
Normal
Berjalan
Bisa
pveceph2 mati, dua MON masih terdaftar
Tidak ada
Tidak ada, hanya 1/2
Degraded, satu replika tersisa
Tetap berjalan pada pengujian
Tidak bisa
pveceph2 mati, MON-nya sudah dihapus
Tidak ada
Ada, 1/1
Degraded, satu replika tersisa
Tetap berjalan pada pengujian
Tidak bisa
Kondisi sebelumnya + pvecm expected 1
Ada secara paksa
Ada, 1/1
Tetap degraded
Tetap berjalan pada pengujian
Dapat diuji melalui GUI
Tabel tersebut menunjukkan bahwa MON Ceph dan quorum Corosync bekerja secara independen. Memperbaiki salah satunya tidak otomatis memperbaiki komponen lain.
Solusi Implementasi Dua Node
Menggunakan satu MON memang membuat Ceph memiliki quorum 1/1, tetapi seluruh cluster bergantung pada pveceph1. Jika MON tersebut mati, Ceph tidak memiliki MON lain untuk mengambil alih. Karena itu, konfigurasi ini hanya sesuai untuk membuktikan perilaku sistem dalam lab.
Untuk implementasi dua node yang mempertimbangkan biaya subscription Proxmox, rencana pengujian berikutnya adalah menambahkan satu VM atau server Linux independen. Perannya mirip witness, tetapi komponen yang digunakan berbeda untuk Proxmox dan Ceph.
1. QDevice untuk quorum Proxmox
Pada sisi Proxmox/Corosync, server independen menjalankan corosync-qnetd. Kedua node PVE kemudian menggunakan QDevice untuk memperoleh vote ketiga. Dengan demikian, satu node PVE yang masih aktif bersama QDevice dapat mempertahankan quorum. Proxmox secara resmi merekomendasikan QDevice untuk cluster dua node yang membutuhkan ketersediaan lebih baik pada panduan Proxmox VE Cluster Manager.
2. MON ketiga untuk quorum Ceph
Pada sisi Ceph tidak terdapat QDevice yang sama seperti Corosync. Solusinya adalah menjalankan Ceph Monitor ketiga pada server atau VM independen. Sebelum pengujian ini dilakukan, MON pveceph2 perlu dibuat kembali sehingga susunannya menjadi:
MON pveceph1;
MON pveceph2;
MON ketiga pada host independen.
Dengan tiga MON, Ceph dapat mempertahankan quorum ketika satu MON mati karena masih tersedia dua dari tiga MON. MON ketiga adalah MON penuh yang menyimpan cluster map dan ikut melakukan voting, bukan sekadar QDevice. Prinsip mayoritas dan rekomendasi minimal tiga MON dijelaskan pada dokumentasi Adding/Removing Monitors.
Jika MON ketiga ditempatkan pada VM, disk dan proses boot VM tersebut tidak boleh bergantung pada pvecephpool yang sedang dilindungi. VM harus berjalan pada host, storage, dan jalur daya yang independen agar tidak terjadi ketergantungan melingkar.
Untuk lab atau lingkungan dengan sumber daya terbatas, satu server independen dapat diuji untuk menjalankan corosync-qnetd dan Ceph MON ketiga. Keduanya tetap merupakan service berbeda dan harus diuji secara terpisah. Kompatibilitas versi Ceph, prosedur pemeliharaan, serta dukungan vendor perlu dipastikan sebelum digunakan pada produksi.
3. MON ketiga tidak menambah replika data
Penambahan MON ketiga hanya mempertahankan quorum monitor. Ketika pveceph2 mati, tiga OSD di node tersebut tetap hilang dan pool size 2/min_size 1 hanya dapat melanjutkan I/O dengan satu salinan data jika PG masih aktif. Ceph tetap dapat menampilkan HEALTH_WARN, degraded, atau undersized.
Jika dibutuhkan redundansi storage yang benar-benar dapat menoleransi kegagalan satu host tanpa berjalan pada satu salinan, diperlukan host OSD ketiga atau desain storage lain yang sesuai. Backup eksternal juga tetap wajib karena replikasi Ceph bukan pengganti backup.
Pertimbangan Biaya Subscription
Jika pada lingkungan produksi menggunakan subscription Proxmox, setiap server fisik Proxmox VE harus dicakup sesuai jumlah CPU socket yang digunakan, dan seluruh node dalam satu cluster menggunakan tingkat subscription yang sama. Karena itu, menambahkan node PVE ketiga dapat meningkatkan biaya subscription. Ketentuan ini dapat dilihat pada Proxmox Subscription FAQ.
Alternatif berupa server Linux independen yang hanya menjalankan QDevice dan Ceph MON dapat menghindari penambahan node PVE ketiga. Namun, desain ini menggunakan MON eksternal yang dikelola secara manual.
Rencana Pengujian Berikutnya
Sesuai arahan yang ditugaskan pada saya, pengujian selanjutnya berfokus pada penambahan Ceph MON di luar cluster PVE agar jumlah MON menjadi 3 dan min_size menjadi 2 dan quorum Ceph tetap tersedia ketika salah satu node PVE mati. Host eksternal akan berperan mirip QDevice, tetapi menjalankan Ceph MON penuh.
Topologi yang akan diuji:
Host
Cluster PVE
Service Ceph
pveceph1
Cluster pveceph
MON dan 3 OSD
pveceph2
Cluster pveceph
MON dan 3 OSD
PVE standalone atau Linux lain
Di luar cluster
MON eksternal tanpa OSD
Tahapan pengujiannya adalah sebagai berikut:
Menyiapkan PVE standalone atau server/VM Linux pada infrastruktur dan storage yang independen dari pvecephpool.
Memasang paket Ceph yang kompatibel dengan Ceph Squid 19.2.5 pada host eksternal.
Menyalakan pveceph2 dan membuat kembali MON pada node tersebut.
Menambahkan Ceph MON ketiga pada host eksternal.
Memastikan ketiga MON berstatus aktif dan membentuk quorum 3/2.
Kesimpulan
Pada eksperimen ini, VM di pveceph1 tetap berjalan ketika pveceph2 dimatikan, tetapi pembuatan VM baru terblokir karena cluster Proxmox kehilangan quorum. Menghapus MON pveceph2 membuat MON tunggal pveceph1 memiliki quorum 1/1, sedangkan pvecm expected 1 memungkinkan pengujian lanjutan pada sisi Proxmox.
Kedua tindakan tersebut hanya solusi sementara untuk lab. Desain dua node yang lebih tepat membutuhkan QDevice untuk quorum Proxmox dan MON ketiga pada host independen untuk quorum Ceph. Jika targetnya juga mempertahankan redundansi data ketika satu node mati, MON ketiga saja tidak cukup—dibutuhkan OSD pada host ketiga atau arsitektur storage lain yang sesuai.
Ceph umumnya menggunakan minimal tiga Monitor untuk menyediakan quorum dan redundansi. Namun, pada pengujian ini saya mencoba menjalankan cluster Proxmox VE dua node dengan hanya satu Ceph Monitor.
Tujuan pengujian ini adalah mengetahui kondisi VM dan storage Ceph ketika node kedua dimatikan, serta memastikan apakah VM baru masih dapat dibuat pada node yang tetap aktif.
Konfigurasi Homelab
Pengujian dilakukan menggunakan konfigurasi berikut:
Komponen
Konfigurasi
Proxmox VE
9.2.10
Ceph
19.2.5 Squid
Node pertama
pveceph1 – 192.168.14.57
Node kedua
pveceph2 – 192.168.14.58
Jumlah OSD
6 OSD
OSD pveceph1
osd.3, osd.4, dan osd.5
OSD pveceph2
osd.0, osd.1, dan osd.2
Storage VM
pvecephpool
Pool replica
size=2
Minimum replica
min_size=1
Ceph Monitor
Hanya di pveceph1
VM pengujian
Alpine Linux di pveceph1
Pada kondisi awal, kedua node aktif, enam OSD berstatus up/in, seluruh Placement Group berstatus active+clean, dan Ceph menunjukkan status HEALTH_OK.
Mengubah Ceph Menjadi Satu Monitor
Awalnya Ceph memiliki dua Monitor, yaitu:
pveceph1
pveceph2
Sebelum Monitor kedua dihapus, dilakukan pemeriksaan untuk memastikan bahwa mon.pveceph2 aman dikeluarkan dari monmap. Hasil pemeriksaan menunjukkan:
root@pveceph1:~# ceph mon ok-to-rm pveceph2
safe to remove mon.pveceph2
Monitor pveceph2 kemudian dihapus melalui Proxmox Web GUI dengan langkah berikut:
Pilih node pveceph2.
Buka menu Ceph → Monitor.
Pilih Monitor pveceph2.
Klik Destroy.
Konfirmasi penghapusan dan tunggu sampai proses selesai.
Alternatifnya, penghapusan Monitor dapat dilakukan melalui CLI pada node pveceph2:
pveceph mon destroy pveceph2
Proses tersebut hanya menghapus fungsi Ceph Monitor pada pveceph2. Node Proxmox, tiga OSD, dan layanan Ceph lainnya pada node tersebut tetap dipertahankan.
Setelah proses selesai, Ceph hanya memiliki satu Monitor aktif, yaitu pveceph1, dengan quorum 1/1.
Dokumentasi Ceph menjelaskan:
“A cluster will run fine with a single Monitor; however, a single Monitor is a single-point-of-failure.”
Artinya, satu Monitor tetap dapat melayani cluster Ceph. Namun, jika Monitor tersebut gagal, tidak ada Monitor lain yang dapat mengambil alih. Ceph Monitor Configuration Reference.
Membuat VM Pengujian
Selanjutnya, dibuat satu VM Alpine Linux dengan ketentuan berikut:
VM ditempatkan di node pveceph1.
Disk VM menggunakan storage pvecephpool.
VM tidak dimasukkan ke dalam konfigurasi Proxmox HA.
VM dinyalakan sebelum proses pengujian dimulai.
Melalui Web GUI, VM dipastikan telah berstatus Running dan disk-nya menggunakan storage Ceph.
Mematikan pveceph2
Setelah VM Alpine berjalan, node pveceph2 dimatikan melalui Proxmox Web GUI:
Pilih node pveceph2.
Klik tombol Shutdown.
Konfirmasi proses shutdown.
Tunggu sampai node benar-benar berstatus offline.
Setelah pveceph2 mati, pemeriksaan dilakukan melalui Web GUI pada pveceph1, meliputi:
Status VM Alpine pada halaman Summary.
Status node pada halaman Datacenter.
Status Ceph pada menu Ceph.
Status Monitor pada menu Ceph → Monitor.
Status OSD pada menu Ceph → OSD.
Status storage pvecephpool.
Percobaan membuat VM baru di pveceph1.
Hasil Pengujian
VM yang sudah berjalan tetap running
Setelah pveceph2 dimatikan, VM Alpine di pveceph1 tetap berstatus Running.
Hal ini terjadi karena:
Ceph Monitor pveceph1 tetap memiliki quorum 1/1.
Tiga OSD di pveceph1 masih aktif.
Pool menggunakan min_size=1.
Proses VM telah berjalan di pveceph1.
Meskipun VM tetap berjalan, Ceph berada dalam kondisi degraded karena tiga OSD pada pveceph2 sudah tidak tersedia.
Dengan size=2 dan min_size=1, Ceph masih dapat melayani I/O menggunakan satu replica yang tersedia. Namun, data pada kondisi tersebut hanya memiliki satu salinan aktif.
Dokumentasi Ceph memperingatkan bahwa penggunaan size=2 atau min_size=1 memiliki risiko kehilangan data dan tidak direkomendasikan sebagai konfigurasi normal untuk production. Dokumentasi Ceph Pool.
VM baru tidak dapat dibuat
Ketika dilakukan percobaan membuat VM baru di pveceph1, proses tersebut gagal walaupun storage Ceph masih dapat diakses.
Kegagalan ini bukan disebabkan oleh single Ceph Monitor, melainkan karena cluster Proxmox kehilangan quorum.
Cluster Proxmox masih mengharapkan dua vote, sedangkan setelah pveceph2 dimatikan hanya tersedia satu vote dari pveceph1. Akibatnya, Proxmox Cluster File System atau pmxcfs berubah menjadi read-only.
Dokumentasi Proxmox menjelaskan salah satu karakteristik pmxcfs sebagai berikut:
“Read-only when a node loses quorum.”
Karena konfigurasi VM disimpan di dalam /etc/pve, Proxmox tidak dapat menulis konfigurasi VM baru ketika cluster tidak memiliki quorum. Dokumentasi Proxmox pmxcfs.
Ringkasan Hasil
Pengujian
Hasil
Ceph Monitor pveceph2 dihapus
Berhasil
Ceph berjalan dengan satu Monitor
Berhasil, quorum 1/1
pveceph2 dimatikan
Berhasil
VM Alpine di pveceph1
Tetap running
Storage Ceph
Tetap tersedia, tetapi degraded
OSD pada pveceph2
Down
Membuat VM baru di pveceph1
Gagal
Penyebab kegagalan
PVE/Corosync kehilangan quorum
Pengujian Lanjutan
Untuk kebutuhan lab, jumlah expected vote dapat diubah sementara menjadi satu:
pvecm expected 1
Perintah tersebut dapat membuat pveceph1 kembali memiliki quorum sehingga pengujian pembuatan VM baru dapat dilanjutkan.
Namun, perintah ini hanya boleh digunakan setelah memastikan pveceph2 benar-benar mati, bukan sekadar terputus dari jaringan. Penggunaannya dalam kondisi node lain masih aktif dapat menimbulkan risiko split-brain.
Untuk cluster Proxmox dua node yang digunakan secara permanen, Proxmox merekomendasikan QDevice sebagai vote ketiga. Dokumentasi Proxmox Cluster Manager.
Kesimpulan
Pengujian menunjukkan bahwa satu Ceph Monitor di pveceph1 tetap dapat melayani storage ketika pveceph2 dimatikan. VM Alpine yang sudah berjalan tetap berstatus Running karena Ceph masih memiliki MON quorum 1/1 dan pool memperbolehkan I/O dengan satu replica.
Namun, VM baru tidak dapat dibuat karena cluster Proxmox kehilangan quorum dan pmxcfs berubah menjadi read-only. Dengan demikian, kegagalan pembuatan VM baru berasal dari quorum PVE/Corosync, bukan dari quorum Ceph.
Konfigurasi satu Ceph Monitor dan pool size=2/min_size=1 dapat digunakan untuk eksperimen, tetapi tidak direkomendasikan untuk production karena tidak memiliki redundansi Monitor dan hanya menyisakan satu salinan data ketika salah satu node mati.
NAKIVO dapat digunakan untuk membuat replica VM dari satu Proxmox ke Proxmox lainnya. Replica tersebut dapat dinyalakan ketika VM utama mengalami gangguan atau saat melakukan pengujian recovery.
Pada pengujian homelab ini, replication sempat gagal dan menghasilkan beberapa warning. Berikut konfigurasi yang saya lakukan agar prosesnya dapat berjalan dengan lancar.
Homelab yang Digunakan
Saya menggunakan dua server Proxmox dengan backend storage Ceph.
Komponen
Fungsi
pve-nakivo
Host VM sumber
pve-nakivo2
Host VM replica
Ceph RBD
Storage disk VM sumber dan replica
NAKIVO
Mengatur dan menjalankan proses replication
Alur replication-nya sebagai berikut:
VM sumber
pve-nakivo + Ceph
↓
NAKIVO
↓
VM replica
pve-nakivo2 + Ceph
NAKIVO berperan memproses dan memindahkan data. Hasil akhirnya tetap berupa VM replica pada pve-nakivo2, bukan disimpan di server NAKIVO.
Sebelum menjalankan replication, ada empat hal yang perlu diperiksa.
1. Ubah Lokasi Temporary Overlay
Untuk VM yang berada pada block storage seperti Ceph RBD, NAKIVO membuat temporary overlay pada host Proxmox. Secara default, file tersebut disimpan di /tmp.
Pada pengujian pertama, replication gagal dengan error:
Host has no free space for overlay files
Not enough space for creation of temporary overlay file in "/tmp" location.
Periksa kapasitas /tmp pada pve-nakivo:
df -hT /tmp
findmnt -T /tmp
Pada homelab saya, /tmp menggunakan tmpfs dengan kapasitas 2 GB. Karena tidak cukup, saya membuat lokasi temporary baru pada filesystem root yang sudah memiliki ruang lebih besar:
Simpan konfigurasi lalu lakukan Refresh Inventory.
Untuk homelab, direktori tersebut cukup digunakan selama kapasitas root dipantau. Pada production, sebaiknya gunakan filesystem terpisah agar temporary overlay tidak memenuhi root Proxmox.
2. Pastikan VM Sumber Menyala
Pada pengujian berikutnya, replication VM yang sedang off dapat diproses oleh NAKIVO, tetapi menghasilkan warning karena VM dijalankan dalam temporary prelaunch state.
Untuk mendapatkan hasil job yang bersih, saya memastikan VM sumber sudah menyala sebelum replication dimulai:
qm list
qm start <VMID>
Pastikan status VM pada pve-nakivo menunjukkan running.
3. Pasang dan Aktifkan QEMU Guest Agent
QEMU Guest Agent membantu Proxmox berkomunikasi dengan guest OS. NAKIVO membutuhkannya untuk melakukan guest OS quiescing agar filesystem berada dalam kondisi konsisten saat snapshot dibuat.
Tanpa agent, job dapat tetap berjalan tergantung konfigurasinya. Namun, dapat muncul warning karena quiesced snapshot tidak berhasil dibuat.
Jika agent baru diaktifkan tetapi belum terdeteksi, lakukan shutdown lalu start kembali VM. Uji komunikasinya dari host Proxmox:
qm agent <VMID> ping
Jika perintah tidak menghasilkan error, QEMU Guest Agent sudah terhubung.
4. Pisahkan Jadwal Backup dan Replication
Backup dan replication sebaiknya tidak dijalankan pada waktu yang sama. Keduanya menggunakan VM sumber, storage Ceph, jaringan, dan NAKIVO Transporter.
Pada homelab ini, jadwalnya dipisahkan seperti berikut:
Job
Contoh Jadwal
Backup
21.00 WIB
Replication
23.00 WIB
Berikan jeda sesuai durasi backup ditambah buffer. Pilihan yang lebih aman adalah menggunakan Run after another job, sehingga replication baru berjalan setelah backup selesai.
Periksa juga menu Calendar pada NAKIVO untuk memastikan tidak ada jadwal yang saling tumpang tindih.
Verifikasi Hasil Replication
Setelah konfigurasi diperbaiki, jalankan kembali job dan pastikan:
Job replication berstatus Successful tanpa error atau warning.
VM replica muncul pada pve-nakivo2.
Disk replica berada pada storage Ceph tujuan.
Temporary overlay dibersihkan setelah job selesai.
Penggunaan temporary storage dapat dipantau selama job berjalan:
watch -n 5 'df -h /var/lib/nakivo-temp; du -sh /var/lib/nakivo-temp 2>/dev/null'
Penutup
Replication NAKIVO pada Proxmox dapat berjalan lancar setelah lokasi temporary overlay memiliki ruang yang cukup, VM sumber dalam kondisi menyala, QEMU Guest Agent aktif, dan jadwal job tidak saling bertabrakan.
Empat pemeriksaan tersebut cukup sederhana, tetapi penting dilakukan sebelum replication diterapkan pada VM lainnya.
Saat melakukan pengujian replication NAKIVO pada Proxmox dengan backend storage Ceph, job gagal karena NAKIVO tidak memiliki ruang yang cukup untuk membuat temporary overlay. Masalah ini terjadi walaupun kapasitas Ceph masih tersedia.
Artikel ini membahas penyebabnya, proses pemeriksaan, dan solusi yang digunakan pada lab.
Kondisi Lab
Komponen
Konfigurasi
Proxmox
pve-nakivo.local
IP Proxmox
192.168.14.45
Disk OS awal
30 GB, ext4 dan LVM
Backend storage VM
Ceph
Ceph OSD
3 × 50 GB
VM pengujian
test1
VM sumber berada di Ceph, sedangkan replication dijalankan melalui NAKIVO.
Pesan Error
Pada replication pertama, NAKIVO menampilkan error berikut:
ReplicationDataCopy: Host has no free space for overlay files
Not enough space for creation of temporary overlay file in "/tmp" location.
Please make sure there is sufficient free space in the specified location.
Error tersebut menunjukkan bahwa masalah berada pada temporary file location di host Proxmox, bukan pada kapasitas Ceph.
Memahami Alur Replication NAKIVO
Pada storage berbasis block seperti Ceph RBD, NAKIVO membutuhkan overlay sementara selama pemrosesan VM.
VM test1 di Ceph
→ temporary overlay di host Proxmox
→ data diproses oleh NAKIVO
→ VM replica dibuat pada storage tujuan
→ temporary overlay dibersihkan
Jadi, /tmp bukan lokasi akhir replica. Hasil replication tetap berupa VM pada Proxmox dan storage tujuan yang dipilih dalam job.
Penyebab
Pada Proxmox VE 9, /tmp menggunakan tmpfs. Artinya, kapasitas /tmp berasal dari memory dan swap, bukan dari filesystem root.
Karena itu, memperbesar disk OS dan pve-root tidak otomatis menambah kapasitas /tmp. Root sudah memiliki ruang kosong 97 GB, tetapi NAKIVO masih menggunakan /tmp yang hanya 2 GB.
Memperbesar tmpfs juga bukan pilihan yang digunakan pada pengujian ini karena akan menambah batas penggunaan memory atau swap. Solusinya adalah membuat direktori temporary NAKIVO pada filesystem ext4 yang sudah diperbesar.
Simpan perubahan, kemudian lakukan Refresh Inventory.
Menjalankan Ulang Replication
Jalankan kembali replication job melalui NAKIVO. Selama proses berlangsung, kapasitas dan penggunaan direktori temporary dapat dipantau dengan:
watch -n 5 'df -h /var/lib/nakivo-temp; du -sh /var/lib/nakivo-temp 2>/dev/null'
Hasil yang diharapkan:
Job replication berstatus Successful.
VM replica muncul pada Proxmox.
Disk replica berada pada storage tujuan yang dipilih.
Temporary overlay dibersihkan setelah job selesai.
VM sumber tetap berjalan normal.
Catatan Penting
Penggunaan /var/lib/nakivo-temp sesuai untuk pengujian lab karena root sudah memiliki ruang yang cukup. Namun, direktori tersebut masih berada pada root volume Proxmox.
Untuk production atau VM dengan perubahan data tinggi, gunakan disk atau filesystem terpisah sebagai temporary file location. Tujuannya agar pertumbuhan overlay tidak memenuhi root dan mengganggu service Proxmox.
Selain itu, replication ke node dan Ceph yang sama hanya membuktikan fungsi replication. Skenario tersebut belum memberikan perlindungan disaster recovery karena VM sumber dan replica tetap bergantung pada host yang sama.
Kesimpulan
Replication gagal bukan karena Ceph kehabisan ruang, tetapi karena /tmp pada Proxmox hanya berupa tmpfs 2 GB. Memperbesar disk OS tidak menambah kapasitas /tmp secara otomatis.
Solusi pada lab ini adalah membuat /var/lib/nakivo-temp, kemudian mengarahkannya sebagai Temporary file location pada inventory NAKIVO. Dengan begitu, overlay dapat memakai ruang kosong filesystem ext4 tanpa bergantung pada tmpfs.
Hari ini saya membaca cara pengecekan jika Ceph lambat dari artikel cr0x.net (sumber di akhir tulisan), kemudian dari bacaan tersebut saya jadikan tulisan ini dan saya rangkum dan ringkas dan fokus ke sepuluh pengecekannya saja.
Ceph di Proxmox sering jalan mulus sampai kalian migrasi VM atau mulai backup, lalu tiba-tiba latency naik dan iowait melonjak. Penyebabnya jarang misterius, biasanya cuma salah satu dari sepuluh hal yang bisa diukur: jaringan, recovery, disk class yang ketukar, metadata BlueStore, CPU, atau CRUSH rule.
Prinsip utamanya, sebelum tuning apa pun, buktikan dulu bottleneck-nya ada di jaringan, media OSD, atau recovery. Tuning di layer yang salah cuma memperparah.
Check 1: Kesehatan cluster dan slow ops
Cek dulu apakah cluster sedang rebuild, karena recovery bisa menurunkan performa secara wajar.
ceph -s
ceph health detail
Di detail slow ops, “waiting for subops” mengarah ke jaringan atau replikasi, sedangkan “waiting for BlueStore kv commit” mengarah ke DB/WAL atau disk.
Check 2: Pastikan masalahnya di Ceph
Pastikan VM yang lambat memang ada di RBD, bukan di storage lokal.
pvesm status
rbd -p ceph-vm ls | head
Kalau cuma sebagian workload di Ceph, bandingkan dengan storage lain dulu. Kalau rbd ls saja lambat, curigai MON/MGR atau jaringan.
Check 3: Jaringan, drops, dan MTU
Jaringan adalah bus storage Ceph, jadi cek drops, retransmit, dan konsistensi MTU.
ip -s link show dev eno2
ping -c 5 -M do -s 8972 10.10.10.12
ss -ti dst 10.10.10.12 | head
RX drops tinggi dan retransmit yang naik saat beban adalah tanda jaringan, bukan tanda perlu tuning BlueStore. Kalau ping -M do gagal atau ada loss, berarti MTU tidak konsisten antar NIC, bond, bridge, dan switch.
Check 4: Public vs cluster network
Pastikan trafik replikasi tidak berebut jalur dengan trafik klien.
ceph config get mon public_network
ceph config get mon cluster_network
Kalau cluster_network kosong, recovery dan replikasi berbagi jaringan dengan klien. Pisahkan kalau kalian punya NIC atau VLAN terpisah.
Check 5: Overhead replikasi atau EC
Setiap write di pool size 3 jadi tiga write. Erasure coding hemat kapasitas tapi berat untuk write kecil.
ceph osd pool ls detail
ceph tell osd.* perf dump | head -n 20
Untuk VM dengan write random kecil, replikasi biasanya pilihan paling masuk akal. Kalau subop_latency naik relatif terhadap op_latency, curigai jaringan atau ada OSD peer yang lambat.
Check 6: Disk class dan CRUSH rule
Jangan biarkan OSD HDD nyelinap ke pool yang seharusnya full SSD.
ceph osd tree
ceph osd crush rule dump replicated_rule
Cek kolom CLASS di osd tree. Kalau rule tidak menyaring device class, HDD bisa terpilih jadi replika di pool SSD. Solusinya buat rule berbasis class.
Check 7: Penempatan DB/WAL BlueStore
OSD SSD pun bisa lambat kalau metadata (DB/WAL) ditaruh di media yang salah.
ceph-volume lvm list
ceph daemon osd.3 perf dump
lvm list menunjukkan DB/WAL tiap OSD ada di device mana, idealnya DB/WAL OSD HDD ada di SSD atau NVMe. Di perf dump, lihat bagian bluestore. Latency kv commit yang tinggi (puluhan sampai ratusan ms) berarti device DB jenuh atau terlalu banyak OSD numpuk di satu DB.
Check 8: CPU, memori, dan scheduler OSD
OSD juga butuh CPU untuk checksum dan jaringan, terutama di node hyperconverged.
ceph daemon osd.3 dump_historic_ops
top -b -n 1 | head -n 15
cat /sys/block/sdb/queue/scheduler
Operasi lebih dari satu detik tidak normal untuk SSD yang sehat. Korelasikan dengan load average, iowait, dan CPU steal. mq-deadline wajar untuk SSD, none wajar untuk NVMe.
Check 9: Recovery, backfill, dan scrub
Kerja latar belakang Ceph rebutan disk dan jaringan dengan klien, dan bisa aktif meski status HEALTH_OK.
ceph config get osd osd_recovery_max_active
ceph config get osd osd_max_backfills
ceph config set osd osd_recovery_sleep 0.1
Nilai lebih tinggi berarti recovery cepat tapi latency klien buruk, nilai lebih rendah sebaliknya. Untuk cluster kecil, jaga tetap konservatif saat jam sibuk dan kembalikan setelah insiden.
Check 10: Benchmark yang benar
Benchmark berguna kalau menjawab pertanyaan spesifik, bukan sekadar “seberapa cepat Ceph”.
rados bench jelek berarti masalah di sisi cluster (jaringan, OSD, recovery). rados bench bagus tapi VM tetap lambat berarti masalah di sisi klien (setting RBD, pola IO). Bersihkan sisa benchmark dengan rados -p ceph-vm cleanup.
Penutup
Urutannya: tangkap kondisi saat lambat (ceph -s, ceph health detail, drops NIC, tes MTU, retransmit), pastikan rule pool tidak mencampur disk class dan network sudah terpisah, lalu perbaiki strukturnya (DB/WAL ke device yang benar, keluarkan disk outlier, atasi oversubscription). Tuning dilakukan paling akhir.
