Data is een van de meest waardevolle grondstoffen ter wereld, en het is niet moeilijk te zien waarom. Van marketing tot genomics, de analyse van grote sets van gegevens leidt tot voorspellende modellen, die sturen op gunstige resultaten voor de business. Hoe meer gegevens u gebruikt, hoe beter deze modellen zijn, wat betekent dat de betere resultaten die ze kunnen produceren. Natuurlijk, dit betekent dat het verplaatsen van gegevens van de ene plaats naar de andere is een cruciale vaardigheid te hebben voor elke ingenieur, maar het is niet altijd zo eenvoudig als het klinkt.
Bijvoorbeeld, als u gebruik AWS S3 emmer opslag, dan het verplaatsen van gegevens naar een ander S3 bucket is een enkele CLI commando, aws s3 cp s3://SourceBucket/* s3://DestinationBucket/. Het verplaatsen van de bestanden naar een andere cloud-provider, zoals Microsoft Azure of Google Cloud Platform, vereist een geheel ander gereedschap.
Tegen het einde van deze tutorial, u zult in staat zijn om bestanden te synchroniseren van een AWS S3 bucket naar een Azure blob storage container met behulp van rclone, een open-source data synchronization tool die werkt met de meeste cloud providers en de lokale bestandssystemen.
Voorwaarden
Mee te volgen, heeft u het volgende nodig:
- Een AWS S3 bucket
- Een Azure blob storage container
- AWS toegang tot de sleutels en Azure storage account toegang sleutels
- Een computer waarop een modern besturingssysteem
- Hier zijn de Screenshots van Windows 10 met WSL
- Sommige bestanden kopiëren
Het Instellen van rclone
Het installeren van rclone is verschillend voor elk besturingssysteem, maar als het eenmaal geïnstalleerd is, de instructies zijn dezelfde: uitvoeren rclone config
Het uitvoeren van de config commando zal je vragen om de rekeningen koppelen van uw cloud providers te rclone. De rclone term hiervoor is een externe. Wanneer u de config commando, voer n om een nieuwe afstandsbediening. U moet een voor beide AWS en Azure, maar er zijn ook verschillende andere aanbieders om uit te kiezen als goed.
Azure
Na het kiezen van Azure blob storage, moet u:
- Een naam voor de afstandsbediening. (In deze demo, het is “Azure.”)
- De opslag account naam
- Een van de opslag account toegang sleutels
U zult worden gevraagd om een Gedeelde Toegang Handtekening URL, en hoewel het mogelijk is om met behulp van deze demo is alleen met behulp van een sneltoets. Na het invoeren van de standaard voor de rest van de waarden door het raken van de rest van de setup, moet u in staat zijn om te starten met behulp van uw afstandsbediening.
Om een lijst van de afstandsbedieningen die zijn geconfigureerd op uw systeem, voer rclone listremotes, waardoor de afstandsbedieningen beschikbaar. U kunt ook een lijst van alle blob opslag van containers door het uitvoeren van rclone lsd <remote_name>:. Zorg ervoor dat u een : aan het einde van de afstandsbediening bij het uitvoeren van deze commando ‘ s, want dat is hoe rclone bepaalt of u gebruik wilt maken van een externe of niet. U kan uitvoeren rclone –help op elk gewenst moment om de lijst van beschikbare commando ‘ s.
Met behulp van de ls-en cat-commando ‘ s met een rclone afstandsbediening.
AWS S3
Het instellen van de afstandsbediening voor een S3 emmer is zeer vergelijkbaar met de Azure blob storage container, gewoon met een paar kleine verschillen. Want er zijn andere aanbieders van cloud-opslag die worden beschouwd als de S3-compatibele door rclone, je kunt ook een paar extra aanwijzingen bij het uitvoeren van rclone config. U hebt het volgende nodig:
- Een naam voor de afstandsbediening. (In deze demo, het is “AWS.”)
- Een AWS-toets voor toegang tot en de bijbehorende geheime sleutel
- De AWS regio die de emmer is
De rest van de aanwijzingen kunnen worden geconfigureerd voor het maken van andere emmers of andere handelingen uit te voeren, maar voor het kopiëren, kunt u de rest van hen door een druk op Enter.
Als de gebruiker de toegang tot sleutels behoren, heeft toegang tot de emmer, zult u toegang hebben tot het met dezelfde commando ‘ s die u gebruikt om toegang te krijgen tot de Azure afstandsbediening.
Kunt u bevestigen dat de soort van op afstand door het toevoegen van de-lange-vlag aan de rclone listremotes opdracht.
Uitgevoerd rclone
Nu dat de afstandsbedieningen zijn geconfigureerd, kunt u de overdracht van bestanden, aanmaken van nieuwe emmers, of het bewerken van de bestanden op welke manier moet u met behulp van een standaard set van commando ‘ s. In plaats van te vertrouwen op de kennis van hoe te werken met de AWS S3 CLI of Azure PowerShell kunt u communiceren tussen beide opslag emmers met rclone.
Enkele algemene nuttige commando ‘ s om u begonnen te krijgen zijn:
- rclone boom <Remote>:<BucketName>—geeft de inhoud van de emmer in een boomstructuur. Voeg de -C vlag te gebruiken om kleur toe te voegen aan de uitgang.
- rclone grootte <Remote>:<BucketName>—hiermee Geeft u het aantal bestanden in de emmer, en hun totale grootte.
- rclone sync <Bron> <Doel>—Maakt het doel overeenkomt met de bron, maar wijzigt alleen het doel. De bron en het doel kunnen lokaal bestand paden of rclone externe paden. Voeg de vlag-P om de voortgang te bekijken interactief.
In het volgende voorbeeld, de AWS S3 bucket is gesynchroniseerd met de Azuurblauwe afstandsbediening, die hiermee verwijdert u het bestaande bestand in Azure en kopieert de gegevens van de S3. Als u nodig hebt om de bestanden in de doelmap, gebruik dan de rclone copyto opdracht.
Samenvatting
Door nu, moet u comfortabel installeren rclone en configureren van afstandsbedieningen, alsmede het gebruik van deze afstandsbedieningen om de gegevens te kopiëren tussen verschillende wolken. rclone is een uiterst flexibel programma en is niet alleen beperkt tot AWS en Azure, dus als u een andere cloud-provider, probeer het instellen van afstandsbedieningen voor hen.