Daten ist einer der wertvollsten Rohstoffe der Welt, und es ist nicht schwer zu sehen warum. Vom marketing bis zur Genomik, der Analyse von großen Datenmengen führt zu prädiktiven Modellen, die Steuern zu günstigen Ergebnissen für das Unternehmen. Die mehr Daten Sie verwenden, desto besser diese Modelle sind, das heißt, die besseren Ergebnisse zu produzieren. Das bedeutet natürlich auch, dass das verschieben von Daten von einem Ort zum anderen ist eine entscheidende Fähigkeit für jeden Ingenieur, aber es ist nicht immer so einfach, wie es klingt.
Zum Beispiel, wenn Sie AWS-S3-bucket-Speicher, dann das verschieben von Daten zu einem anderen S3-bucket ist mit einem einzigen CLI-Befehl, aws s3 cp s3://SourceBucket/* s3://DestinationBucket/. Moving die gleichen Dateien auf einen anderen cloud-Anbieter wie Microsoft Azure oder Google Cloud Platform, erfordert ein ganz anderes tool.
Am Ende dieses Tutorials werden Sie in der Lage, synchronisieren von Dateien von einem AWS-S3-bucket, um ein Azure blob storage container mit rclone, eine open-source-Daten-Synchronisierung-tool, dass funktioniert mit den meisten cloud-Anbietern und lokalen file-Systemen.
Voraussetzungen
Zu Folgen, müssen Sie die folgenden:
- Eine AWS S3 bucket
- Ein Azure blob Speicher container
- AWS-Zugriffsschlüssel und Azure storage-Konto-Zugriff-Tasten
- Ein computer unter jedem modernen Betriebssystem
- Screenshots von Windows 10 mit der WSL
- , Einige Dateien zu kopieren
Wie einrichten rclone
Installation rclone ist für jedes Betriebssystem unterschiedlich, aber sobald es installiert ist, die Anweisungen sind die gleichen: laufen rclone config
Ausführen des config-Befehls werden Sie aufgefordert, die Verknüpfung der Konten von Ihrem cloud-Anbieter, rclone. Die rclone Begriff für diese ist eine Fernbedienung. Wenn Sie den Befehl config aus, geben Sie “n”, um eine neue Fernbedienung. Sie müssen eine für beide AWS und Azure, aber es gibt einige andere Anbieter, von ebenso wählen.
Azure
Nach der Auswahl von Azure blob-Speicher, Sie brauchen:
- Einen Namen für die remote. (In dieser demo, es ist “Azure”.)
- Der storage account-Namen
- Einer der Speicher-Konto zugreifen Schlüssel
Sie werden aufgefordert, für eine Shared Access Signature URL, und während es ist möglich, mit, dass, dieses demo ist nur mit einem access-key. Nach der Eingabe Standardwert für den rest der Werte durch drücken der EINGABETASTE durch den rest des setup, sollten Sie in der Lage zu starten, benutzen Sie Ihre Fernbedienung.
Die Liste der Fernbedienungen auf Ihrem system konfiguriert sind, geben Sie rclone listremotes, die zeigen, Fernbedienungen zur Verfügung. Sie können auch eine Liste blob storage Container durch ausführen rclone lsd <remote_name>:. Stellen Sie sicher, dass a : am Ende der Fernbedienung, wenn Sie die folgenden Befehle ausführen, denn das ist wie rclone bestimmt, wenn Sie möchten, verwenden Sie eine Fernbedienung oder nicht. Sie können laufen rclone –help jederzeit aus, um die Liste der verfügbaren Befehle.
Mit dem ls und cat Befehle mit einem rclone Fernbedienung.
AWS-S3
Einrichten der Fernbedienung für ein S3-bucket ist sehr ähnlich zu den Azure blob storage container, nur mit ein paar kleinen unterschieden. Denn es gibt auch andere cloud-storage-Anbieter, die als S3-kompatibel mit rclone, können Sie auch ein paar extra-Aufforderungen beim ausführen von rclone config. Sie brauchen:
- Einen Namen für die remote. (In dieser demo, es ist “AWS.”)
- Einen AWS access key und das entsprechende secret access key
- Die AWS-region der Eimer ist in
Der rest der Eingaben kann so konfiguriert werden, erstellen andere die Eimer oder andere Operationen durchführen, aber für die Kopie Sie können überspringen Sie den rest von Ihnen durch drücken der EINGABETASTE.
Wenn der Benutzer die access-keys gehören, hat Zugriff auf den Eimer, haben Sie Zugang zu ihm mit der gleichen Befehle, die Sie verwendet, um den Zugriff auf die Azure remote.
Bestätigen Sie den Typ der Fernbedienung durch hinzufügen der-lang-flag an der rclone listremotes Befehl.
Läuft rclone
Nun, dass die Fernbedienungen so konfiguriert wurden, können Sie die übertragung von Dateien, erstellen Sie neue Eimer, oder Bearbeiten Sie die Dateien in irgendeiner Weise, die Sie benötigen, um mit einem standard-Satz von Befehlen. Anstatt sich auf das wissen, wie die Arbeit mit den AWS-S3-CLI oder Azure PowerShell können Sie die Kommunikation zwischen den beiden Speicher-Eimer mit rclone.
Einige Allgemeine nützliche Befehle, um Ihnen den Einstieg sind:
- rclone Baum <Remote>:<BucketName>—Listet den Inhalt des Eimers in einem Baum-format. Fügen Sie das -C-flag zum hinzufügen von Farbe zu der Ausgabe.
- rclone Größe <Remote>:<BucketName>—Zeigt die Anzahl der Dateien im Eimer sind und Ihre Gesamtgröße.
- rclone sync <Quelle> <Ziel>—der Ziel mit die Quelle, verändert aber nur die Gegner. Quelle und Ziel können entweder auf lokalen Pfaden oder rclone remote-Pfade. Fügen Sie das flag “- P”, um den Fortschritt anzuzeigen interaktiv.
Im folgenden Beispiel wird die AWS S3 bucket synchronisiert ist, um die Azure remote, die löscht die vorhandene Datei in Azure und kopiert dann die Daten vom S3. Wenn Sie brauchen, um die Dateien in den Zielordner, dann verwenden Sie die rclone copyto-Befehl.
Zusammenfassung
Sie sollte bequem installieren rclone und Konfiguration von Fernbedienungen, sowie mit diesen Fernbedienungen zum kopieren von Daten zwischen verschiedenen Wolken. rclone ist ein extrem flexibles Werkzeug und beschränkt sich nicht nur auf AWS und Azure, also, wenn Sie einen anderen cloud-Anbieter versuchen, die Einrichtung von Fernbedienungen für Sie als gut.