Data är en av de mest värdefulla råvaror i världen, och det är inte svårt att se varför. Från marknadsföring till genomik, analys av stora mängder av data leder till prediktiva modeller, som styr till gynnsamma utfall för verksamheten. Ju mer data du använder, desto bättre de modeller som finns, vilket innebär bättre resultat de kan producera. Detta innebär naturligtvis att flytta data från en plats till en annan är en avgörande färdighet för att ha någon ingenjör, men det är inte alltid så lätt som det låter.
Till exempel, om du använder AWS S3 bucket lagring, så att de kan flytta data till en annan S3 bucket är en enda CLI-kommandot, aws s3 cp s3://SourceBucket/* s3://DestinationBucket/. Flytta dessa filer till en annan molnleverantör, som Microsoft Azure eller Google Cloud Platform, kräver ett helt annat verktyg.
I slutet av den här handledningen, kommer du kunna synka filer från en AWS S3 bucket till en Azure blob storage container med hjälp av rclone, ett open-source synkronisering verktyg som fungerar med de flesta moln leverantörer och lokala filsystem.
Förutsättningar
Att följa med, du behöver följande:
- En AWS S3 bucket
- En Azure blob storage container
- AWS tillgång till nycklar och Azure storage-konto tillgång till nycklar
- En dator med alla moderna operativsystem
- Skärmdumpar från Windows 10 med WSL
- Vissa filer att kopiera
Hur man Ställer Upp rclone
Installera rclone är olika för varje operativsystem, men när det väl är installerat, instruktionerna är desamma: kör rclone config
Kör config kommando kommer att uppmana dig att länka konton i ditt moln att rclone. Den rclone termen för detta är en fjärrkontroll. När du kör config kommando, skriv n för att skapa en ny fjärrkontroll. Du behöver en för båda AWS och Azure, men det finns flera andra leverantörer att välja mellan också.
Azure
Efter att ha valt Azure blob storage behöver du:
- Ett namn för den fjärranslutna. (I detta demo, det är “Azure.”)
- Lagring företagets namn
- En av lagring-konto tillgång till nycklar
Du kommer att bli tillfrågad om en Gemensam Tillgång Signatur URL, och även om det är möjligt att ställa in med hjälp att denna demo är att bara använda ett snabbkommando. Efter att du angett som standard för resten av värdena genom att trycka In genom resten av installationen, bör du kunna för att börja använda din fjärrkontroll.
För att lista de fjärrkontroller som är konfigurerade i ditt system, ange rclone listremotes, vilket kommer att visa fjärrkontroller finns tillgängliga. Du kan också lista alla blob storage behållare genom att köra rclone lsd <remote_name>:. Se till att inkludera en : i slutet av fjärrkontrollen när du kör dessa kommandon eftersom det är hur rclone bestämmer om du vill använda en fjärransluten eller inte. Du kan köra rclone –hjälp på när som helst för att få en lista med tillgängliga kommandon.
Med hjälp av ls och katt kommandon med en rclone fjärrkontrollen.
AWS S3
Ställa in fjärrkontrollen för en S3 bucket är mycket liknande till Azure blob storage container, bara med några små skillnader. Eftersom det finns andra leverantörer moln lagring som anses S3 kompatibel med rclone, du kan också få ett par extra anvisningarna när du kör rclone config. Du behöver:
- Ett namn för den fjärranslutna. (I detta demo, det är “FELFRIA.”)
- En AWS tillgång till nyckel och motsvarande, hemliga nyckel
- AWS regionen att skopan är i
Resten av anvisningarna kan konfigureras för att skapa andra hinkar eller utföra andra åtgärder, men för att göra en kopia, kan du hoppa över resten av dem genom att trycka på returtangenten.
Om användaren tillgång till nycklarna tillhör har tillgång till hinken, du kommer att ha tillgång till den med samma kommandon som du använder för att använda Azure-för synkronisering av fjärrkontrollen.
Du kan bekräfta den typ av fjärrkontroll genom att lägga till-lång flagga rclone listremotes kommando.
Kör rclone
Nu fjärrkontroller har konfigurerats, kan du överföra filer, skapa nya hinkar eller manipulera en av filerna på något sätt måste du använda en standard uppsättning av kommandon. I stället för att förlita sig på att veta hur man ska arbeta med AWS S3 CLI eller Azure PowerShell, du kan kommunicera mellan de båda lagring hinkar med rclone.
Några vanliga användbara kommandon för att komma igång är:
- rclone träd <Remote>:<BucketName>—Listor innehållet av hinken i ett trädformat. Lägg till den -C-flaggan för att lägga till färg till produktionen.
- rclone storlek <Remote>:<BucketName>—Visar antalet filer i hinken och deras totala storlek.
- rclone sync – <Source> <Mål>—Gör mål match källan, men ändrar bara målet. Källan och målet kan vara antingen lokala sökvägar eller rclone avlägsna vägar. Lägg till-P-flaggan för att se hur det interaktivt.
I följande exempel, AWS S3 bucket är synkroniserade till Azure-för synkronisering av fjärrkontrollen, som tar bort den befintliga filen i Azure och sedan kopieras data från S3. Om du behöver för att hålla filerna i målmappen och sedan använda den rclone copyto kommando.
Sammanfattning
Genom att nu, du bör vara bekväm med att installera rclone och konfigurera fjärrkontroller, samt att använda dem som fjärrkontroller för att kopiera data mellan olika moln. rclone är ett mycket flexibelt verktyg och är inte bara begränsat till AWS och Azure, så om du använder en annan molnleverantör, försök att ställa upp fjärrkontroller för dem också.