Rclone - failide kataloogide sünkroonimine erinevatest pilvesalvestustest

Rclone on käsureaprogramm, mis on kirjutatud erinevates pilvemälu pakkujates, näiteks: Amazon Drive, Amazon S3, Backblaze B2, Box, Ceph, DigitalOcean Spaces, Dropbox, FTP, Google Cloud Storage, Google Drive jne.

Nagu näete, toetab see mitut platvormi, mistõttu on see kasulik tööriist andmete sünkroonimiseks serverite vahel või privaatse salvestusruumiga.

Rclone'il on järgmised funktsioonid

  • MD5/SHA1 räsikontrollid tagavad failide terviklikkuse terviklikkuse tagamise alati.
  • Failides säilitatakse ajatemplid.
  • Osalisi sünkroonimisi toetatakse kogu failipõhiselt.
  • Kopeerimisrežiim uutele või muudetud failidele.
  • Üks võimalus sünkroonida kataloogi identseks muutmiseks.
  • Kontrollimisrežiim - räsi võrdsuse kontroll.
  • Saab sünkroonida võrku ja võrgust, nt kahest erinevast pilvekontost.
  • (krüptimine) taustaprogramm.
  • (vahemälu) taustaprogramm.
  • (Liidu) taustaprogramm.
  • Valikuline FUSE-kinnitus (rclone-kinnitus).

Kuidas installida rclone Linuxi süsteemidesse

Rclone'i installimist saab lõpule viia kahel erineval viisil. Lihtsam on kasutada nende installiskripti, väljastades järgmise käsu.

# curl https://rclone.org/install.sh | sudo bash

Selle skripti eesmärk on kontrollida operatsioonisüsteemi tüüpi ja selle operatsioonisüsteemiga seotud arhiivi. Seejärel eraldab see arhiivi ja kopeerib rclone binaarse kausta/usr/bin/rclone ning annab failile 755 õigust.

Lõpuks peaksite installimise lõppedes nägema järgmist rida:

Rclone v1.44 has successfully installed.
Now run “rclone config” for setup, Check https://rclone.org/docs/ for  more details.

Teine võimalus rclone'i installimiseks on järgmiste käskude väljastamine.

# curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip
# unzip rclone-current-linux-amd64.zip
# cd rclone-*-linux-amd64

Nüüd kopeerige binaarfail ja andke sellele käivitatavad õigused.

# cp rclone /usr/bin/
# chown root:root /usr/bin/rclone
# chmod 755 /usr/bin/rclone

Installige rclone'i käsileht.

# mkdir -p /usr/local/share/man/man1
# cp rclone.1 /usr/local/share/man/man1/
# mandb

Kuidas konfigureerida rclone Linuxi süsteemides

Järgmine, mida peate tegema, on käivitada konfiguratsioonifaili loomiseks rclone config. Seda kasutatakse autentimiseks rclone'i edaspidiseks kasutamiseks. Konfiguratsiooni seadistamise käivitamiseks käivitage järgmine käsk.

# rclone config

Näete järgmist viipa:

2018/11/13 11:39:58 NOTICE: Config file “/home/user/.config/rclone/rclone.conf” not found - using defaults
No remotes found - make a new one
n) New remote
s) Set configuration password
q) Quit config
n/s/q>

Valikud on järgmised:

  • n) - looge uus kaugühendus
  • s) - määrake oma konfiguratsioonile paroolikaitse
  • q) - väljuge konfiguratsioonist

Selle õpetuse jaoks saate vajutada \"n \" ja luua uue ühenduse. Teil palutakse anda uuele ühendusele nimi. Pärast seda palutakse teil valida konfigureeritava salvestusruumi tüüp:

Olen ühenduse järgi nimetanud\"Google \" ja valinud\"Google Drive", mis on numbri all 12. Ülejäänud küsimustele saate vastata, jättes lihtsalt vaikevastuse, mis on tühi\"".

Kui teilt seda palutakse, võite valida\"automaatse seadistuse", mis loob kogu vajaliku teabe teie Google Drive'iga ühenduse loomiseks ja annab rclone'ile õigused Google Drive'i andmete kasutamiseks.

Protsess näeb välja umbes selline:

Google Application Client Secret - leave blank normally.
client_secret>
Scope that rclone should use when requesting access from drive.
Choose a number from below, or type in your own value
 1 / Full access all files, excluding Application Data Folder.
   \ "drive"
 2 / Read-only access to file metadata and file contents.
   \ "drive.readonly"
   / Access to files created by rclone only.
 3 | These are visible in the drive website.
   | File authorization is revoked when the user deauthorizes the app.
   \ "drive.file"
   / Allows read and write access to the Application Data folder.
 4 | This is not visible in the drive website.
   \ "drive.appfolder"
   / Allows read-only access to file metadata but
 5 | does not allow any access to read or download file content.
   \ "drive.metadata.readonly"
scope> 1
ID of the root folder - leave blank normally.  Fill in to access "Computers" folders. (see docs).
root_folder_id> 
Service Account Credentials JSON file path - needed only if you want use SA instead of interactive login.
service_account_file>
Remote config
Use auto config?
 * Say Y if not sure
 * Say N if you are working on a remote or headless machine or Y didn't work
y) Yes
n) No
y/n> y
If your browser doesn't open automatically go to the following link: http://127.0.0.1:53682/auth
Log in and authorize rclone for access
Waiting for code...
Got code
Configure this as a team drive?
y) Yes
n) No
y/n> n
--------------------
[remote]
client_id = 
client_secret = 
scope = drive
root_folder_id = 
service_account_file =
token = {"access_token":"XXX","token_type":"Bearer","refresh_token":"XXX","expiry":"2018-11-13T11:57:58.955387075Z"}
--------------------
y) Yes this is OK
e) Edit this remote
d) Delete this remote
y/e/d> y

Kuidas kasutada rclone'i Linuxi süsteemides

Rclone'is on üsna pikk nimekiri saadaolevatest suvanditest ja käskudest, mida kasutada. Püüame käsitleda mõnda olulisemat:

# rclone lsd <remote-dir-name>:

# rclone copy source:sourcepath dest:destpath

Pange tähele, et kui rclone leiab duplikaate, ignoreeritakse neid:

Kui soovite mõned andmed kataloogide vahel sünkroonida, peaksite kasutama käsku sünkroonima rclone.

Käsk peaks välja nägema selline:

# rclone sync source:path dest:path [flags]

Sel juhul sünkroonitakse allikas sihtkohaga, muutes ainult sihtkohta! See meetod jätab muutmata failid vahele. Kuna käsk võib põhjustada andmete kadu, saate seda kasutada\"- dry-run" abil, et näha, mida täpselt kopeeritakse ja kustutatakse.

Andmete teisaldamiseks võite kasutada käsku rclone käsu liikumiseks. Käsk peaks välja nägema selline:

# rclone move source:path dest:path [flags]

Allikast pärit sisu teisaldatakse (kustutatakse) ja paigutatakse valitud sihtkohta.

Sihtkoha kataloogi loomiseks.

# rclone mkdir remote:path

Kataloogi eemaldamiseks.

# rclone rmdir remote:path

Kontrollige, kas allika ja sihtkoha failid vastavad:

# rclone check source:path dest:path

Kustuta failid:

# rclone delete remote:path

Kõiki rclone'i käske saab kasutada erinevate lippudega ja see sisaldab oma abimenüüd. Näiteks saate kustutamisvaliku abil teha valikulise kustutamise. Oletame, et soovite kustutada suuremad kui 100M failid, käsk näeks välja selline.

# rclone --min-size 100M delete remote:path

Rclone'i maksimaalseks kasutamiseks on tungivalt soovitatav vaadata käsiraamat ja abi iga käsu jaoks. Rclone'i täielik dokumentatsioon on saadaval aadressil: https://rclone.org/

rclone on võimas käsurea utiliit, mis aitab teil andmeid hallata erinevate pilvemälu pakkujate vahel. Kui selles artiklis kraapisime vaid rclone'i võimaluste pinda, on sellega palju rohkem saavutada, eriti kui seda kasutatakse koos croni teenusega (näiteks).