Dati è uno dei beni più preziosi al mondo, e non è difficile capire perché. Dal marketing alla genomica, l’analisi di grandi insiemi di dati porta a modelli predittivi, che condurre a risultati favorevoli per il business. I dati di più si utilizza, il migliore di questi modelli sono, il che significa che i risultati migliori sono in grado di produrre. Naturalmente, questo significa che lo spostamento dei dati da un luogo ad un altro è una competenza fondamentale per qualsiasi ingegnere, ma non è sempre così facile come sembra.
Per esempio, se si utilizza AWS S3 secchio di stoccaggio, per poi passare i dati ad un altro S3 secchio è un singolo comando CLI, aws s3 cp s3://SourceBucket/* s3://DestinationBucket/. Lo spostamento di questi stessi file a un altro fornitore di servizi cloud, come Microsoft Azure o Google Cloud Platform, richiede tutto un altro strumento.
Entro la fine di questo tutorial, sarete in grado di sincronizzare i file da un secchio di AWS S3 per un Azure blob storage contenitore utilizzando rclone, un open-source, strumento di sincronizzazione di dati che funziona con la maggior parte dei fornitori di cloud e sistemi di file locale.
Prerequisiti
A seguire, è necessario il seguente:
- Un secchio di AWS S3
- Un Azure blob storage contenitore
- AWS le chiavi di accesso e account di archiviazione di Azure chiavi di accesso
- Un computer che esegue un sistema operativo moderno
- Le immagini sono prese da Windows 10 con WSL
- Alcuni file da copiare
Come Impostare rclone
L’installazione di rclone è diverso per ogni sistema operativo, ma una volta installato, le istruzioni sono le stesse: eseguire rclone config
Esegue il comando config verrà chiesto di collegare l’account del tuo provider cloud rclone. Il rclone termine per questo è remoto. Quando si esegue il comando config, digitare n per creare un nuovo telecomando. Avrete bisogno di uno per entrambi AWS e Azure, ma ci sono molti altri fornitori tra cui scegliere.
Azure
Dopo la scelta di archiviazione blob di Azure, è necessario:
- Un nome per il telecomando. (In questa demo, è “Azzurro”.)
- Il nome dell’account di archiviazione
- Uno degli account di archiviazione chiavi di accesso
Ti verrà richiesta una Firma di Accesso Condiviso URL, e mentre è possibile impostare utilizzando che, questa demo è solo utilizzando una chiave di accesso. Dopo aver inserito di default per il resto i valori premendo Invio attraverso il resto della configurazione, si dovrebbe essere in grado di iniziare a utilizzare il telecomando.
Per elencare i telecomandi configurato nel sistema, immettere rclone listremotes, che mostra i telecomandi disponibili. È anche possibile elencare qualsiasi blob contenitori di stoccaggio mediante l’esecuzione di rclone lsd <remote_name>:. Assicurati di includere una : alla fine del telecomando, quando l’esecuzione di questi comandi, perché è come rclone determina se si desidera utilizzare un telecomando o non. È possibile eseguire rclone –help al momento, per ottenere l’elenco dei comandi disponibili.
Utilizzando il comando ls e comandi cat con un rclone remoto.
AWS S3
Impostazione del telecomando per S3 secchio è molto simile a Azure blob storage contenitore, con un paio di piccole differenze. Perché ci sono altri fornitori di cloud storage che sono considerati S3 compatibile con rclone, è anche possibile ottenere alcuni extra prompt quando si esegue rclone config. Avrete bisogno di:
- Un nome per il telecomando. (In questa demo, è “AWS.”)
- Un AWS chiave di accesso e la corrispondente chiave di accesso segreta
- AWS regione che il secchio è in
Il resto delle indicazioni può essere configurato per creare altri secchi o eseguire altre operazioni, ma per la copia, si può saltare il resto di loro premendo Invio.
Se l’utente le chiavi di accesso appartengono a ha accesso al secchio, si avrà accesso ad esso con gli stessi comandi che utilizzate per accedere Azzurro remoto.
È possibile verificare il tipo di telecomando aggiungendo l’opzione –lunga bandiera rclone listremotes comando.
In esecuzione rclone
Ora che i telecomandi sono stati configurati, è possibile trasferire file, creare nuove secchi, o manipolare i file in qualsiasi modo che si desidera, usando un insieme di comandi. Invece di basarsi sulla conoscenza di come lavorare con il AWS S3 CLI o Azure PowerShell, è in grado di comunicare tra di conservazione secchi con rclone.
Alcuni comandi utili per iniziare sono:
- rclone albero <Remote>:<BucketName>—Elenca il contenuto del secchio in un formato struttura. Aggiungere il flag C di aggiungere il colore in uscita.
- rclone dimensione <Remote>:<BucketName>—consente di visualizzare il numero di file nel secchio e la loro dimensione totale.
- rclone sync <Sorgente> <Destinazione>—Rende il bersaglio partita la fonte, ma solo a modificare la destinazione. Di origine e di destinazione possono essere locali o percorsi file rclone percorsi remoti. Aggiungere l’opzione-P per visualizzare i progressi in modo interattivo.
Nell’esempio seguente, il secchio AWS S3 è sincronizzato Azzurro, remoto, che consente di eliminare il file esistente in Azzurro e poi copia i dati da S3. Se è necessario mantenere i file nella cartella di destinazione, quindi utilizzare il rclone copyto comando.
Riepilogo
Ora si dovrebbe essere confortevole installazione rclone e la configurazione di telecomandi, oltre all’utilizzo di quei telecomandi per copiare i dati tra i diversi nuvole. rclone è estremamente flessibile strumento e non è solo limitato a AWS e Azure, quindi se si utilizza un altro fornitore di servizi cloud, provare a impostare telecomandi per loro.