Rclone: Solusi Cepat Salin Data Skala Besar

Di tulisan sebelumnya, saya ada tulis terkait dengan Strategi Migrasi dan Upgrade Zimbra. Dari beberapa strategi yang disiapkan, skenario ke-3 lebih cepat dari segi timeline. Maka tools yang digunakan adalah rsync atau rclone untuk salin data.

Server baru sudah ready dengan OS terbaru dan sesuai sizing yang direkomendasikan. Untuk memudahkan, berikut informasi data servernya

Server lama:
IP address : 192.168.1.21

Server baru:
IP address : 172.16.1.121

Install Rclone pada Server lama

Proses salin data bersifat push. Jadi, saya install rclone pada server lama (192.168.1.21)

sudo -v ; curl https://rclone.org/install.sh | sudo bash

Konfigurasi SSH Less Password

Konfigurasi SSH less password pada server baru. Sehingga server lama bisa langsung SSH ke server baru tanpa diminta password. Jalankan perintah ini pada server lama

ssh-keygen -f /srv/ssh-rclone

Cukup tekan tombol enter hingga selesai

Salin SSH pubkey ke server baru

ssh-copy-id -i /srv/ssh-rclone.pub [email protected]

Setelah tersalin, testing SSH dari server lama ke server baru (ssh -i /srv/ssh-rclone [email protected]). Pastikan tidak diminta password

Konfigurasi Rclone

Buat konfigurasi Rclone

vi /root/.config/rclone/rclone.conf

Isi seperti berikut dan sesuaikan

[zimbra-baru]
type = sftp
host = 172.16.1.121
key_file = /root/.ssh/id_rsa
shell_type = unix
use_insecure_cipher = true
disable_hashcheck = true

Salin data via Rclone

Jalankan perintah berikut untuk memulai salin data

time rclone copy /opt/zimbra zimbra-baru:/srv/backup-zimbra/ --exclude "data.mdb" --multi-thread-streams=32 --ignore-size -P

Untuk salin data ke-2 dan seterusnya, ganti copy menjadi sync

time rclone sync /opt/zimbra zimbra-baru:/srv/backup-zimbra/ --exclude "data.mdb" --multi-thread-streams=32 --ignore-size -P

Keterangan:
– Perintah time di awal untuk mengetahui berapa lama proses salin data selesai
– Opsi copy digunakan untuk salin data pertama kali. Jika datanya ingin sama persis antara asal dan tujuan, gunakan opsi sync
– /opt/zimbra adalah folder yang disalin ke server baru
– zimbra-baru adalah nama yang didefinisikan pada file rclone.conf
– data.mdb tidak disalin ke server baru. Khusus data LDAP, akan menggunakan slapcat agar lebih kecil

Catatan pribadi: Sebelum menggunakan rclone, sebenarnya saya menggunakan rsync. Hanya saja, entah kenapa penggunaan rsync untuk data kecil yang sangat banyak membutuhkan waktu lebih lama dibandingkan menggunakan rclone

Hasil dari ujicoba, data sebesar 13.5 TiB membutuhkan waktu lebih kurang 3 hari. Berikut sample-nya

Transferred:       13.519 TiB / 13.519 TiB, 100%, 38.310 MiB/s, ETA 0s
Checks:           8544489 / 8544489, 100%, Listed 25673894
Transferred:      8554578 / 8554578, 100%
Elapsed time:  2d20h30m24.5s

real    4110m24.841s
user    205m23.663s
sys     389m44.616s

Dengan hasil di atas yang cukup memuaskan, Strategi Migrasi dan Upgrade Zimbra skenario ke-3 ada penyesuaian. Tidak lagi menggunakan mounting NFS. Melainkan langsung salin data secara full

Selamat mencoba 🙂