Hvordan åpne virkelig store tekst- og CSV-filer

0
270

MS Excel kan vise 1 048 576 rader. Selv om det kan virke som et veldig stort antall ved normal bruk, er det mange scenarier der det ikke er nok.

Enten du ser på loggfiler eller store datasett, er det lett å komme på tvers av CSV-filer med millioner av rader eller enorme tekstfiler. Siden Excel ikke kan støtte så store filer, hvordan åpner du dem? La oss finne det ut.

Innholdsfortegnelse

    Hvorfor kan ikke vanlige tekstredigerere åpne virkelig store filer?

    En datamaskin har gigabyte lagringsplass, så hvorfor kan ikke tekstredigerere åpne store filer?< /p>

    Det er to faktorer som spiller inn her. Noen applikasjoner har en hardkodet grense for hvor mye data de kan vise. Det spiller ingen rolle hvor mye minne PC-en din har, de vil bare ikke bruke den.

    Det andre problemet er RAM. Mange tekstredigerere har ikke en hard grense for antall rader, men kan ikke vise store filer på grunn av minnebegrensninger. De laster hele filen inn i system -RAM, så hvis dette minnet ikke er stort nok, mislykkes prosessen.

    Metode #1: Bruke gratis redaktører

    Den beste måten å se på ekstremt store tekstfiler er å bruke … et tekstredigeringsprogram. Ikke et hvilket som helst tekstredigeringsprogram, men verktøyene som er ment for å skrive kode. Slike apper kan vanligvis håndtere store filer uten problemer og er gratis.

    Large Text File Viewer er sannsynligvis den enkleste av disse programmene. Det er veldig enkelt å bruke, fungerer raskt og har et svært lite ressursavtrykk. Den eneste ulempen? Den kan ikke redigere filene. Men hvis du bare vil se store CSV-filer, er dette det beste verktøyet for jobben.

    For å redigere store tekstfiler også, bør du prøve Emacs. Opprinnelig laget for Unix-systemer, fungerer det utmerket på Windows også, og kan håndtere store filer. På samme måte er Neovim og Sublime Text to lette IDE-er som kan brukes til å åpne CSV-tekstfiler i gigabyte.

    Hvis alt du leter etter er å søke etter data gjennom store loggfiler, er klogg bare verktøyet for deg. Denne applikasjonen er en oppdateringsgaffel fra den populære glogg, og lar deg enkelt utføre komplekse søkeoperasjoner gjennom enorme tekstfiler. Siden datamaskingenererte loggfiler ofte kan ha millioner av rader, er klogg designet for å fungere med slike filstørrelser uten problemer.

    Metode #2: Del opp i flere deler

    Hele problemet med å prøve å åpne store CSV-filer er at de er for store. Men hva om du skulle dele disse i flere mindre filer?

    Dette er en populær løsning, siden det vanligvis ikke innebærer å måtte lære grensesnittet til en ny tekstredigerer. I stedet kan du bruke en av de mange CSV-splitterne som er tilgjengelige på nettet for å dele opp den store filen i en rekke filer som er enkle å åpne. Hver av disse filene kan da nås på vanlig måte.

    Dette er imidlertid ikke den beste måten å gjøre dette på. Å dele en stor fil kan ofte føre til rare skrivefeil eller feil konfigurerte filer. Å åpne hver del for seg forhindrer deg dessuten i å filtrere gjennom hele dataen samtidig.

    Metode #3: Importer til en database

    Tekst- og .csv-filer som utvides til flere gigabyte er vanligvis store datasett. Så hvorfor ikke bare importere dem til en database?

    SQL er det vanligste databasemarkupspråket som brukes i disse dager. Det er mange versjoner av SQL i bruk, men det enkleste er sannsynligvis MySQL. Og heldigvis er det mulig å konvertere en CSV-fil til en MySQL-tabell.

    Dette er på ingen måte den enkleste metoden for å håndtere store CSV -filer, så vi anbefaler dette bare hvis du vil håndtere store datasett med jevne mellomrom. Hvis MySQL høres for tøft ut, kan du alltid importere CSV -filene til MS Access i stedet.

    Metode #4: Analyser med Python-biblioteker

    Når du jobber med en .csv-fil med millioner av rader med data, kommer du åpenbart ikke til å forstå det manuelt. Du vil sannsynligvis filtrere dataene og kjøre spesifikke søk for å forstå trender.

    Så hvorfor ikke skrive Python-kode for å gjøre nettopp det?

    Nok en gang er dette ikke den mest brukervennlige metoden. Selv om Python ikke er det vanskeligste programmeringsspråket å lære, er det koding, så det er kanskje ikke den beste tilnærmingen for deg. Likevel, hvis du ser deg selv nødt til å analysere gjennom virkelig store CSV-filer på daglig basis, kan det være lurt å automatisere oppgaven med litt Python-kode.

    Metode #5:  Med Premium Tools

    Tekstredigererne vi så i den første metoden var ikke dedikerte verktøy beregnet for CSV -behandling. De var generelle verktøy som også kunne brukes til å jobbe med store .csv-filer.

    Men hva med spesialiserte applikasjoner? Er det ingen apper der ute som er laget for å løse dette problemet?

    Det er det faktisk. CSV Explorer, for eksempel, bygger på selve prosessen vi beskrev i de to siste metodene (SQL-database og Python-kode) for å lage en app som er i stand til å vise og redigere CSV-filer av alle størrelser. Du kan gjøre alt du forventer av et regnearkverktøy som å lage grafer eller filtrere dataene i CSV Explorer.

    Et annet alternativ er UltraEdit. I motsetning til det forrige verktøyet, er dette ikke bare ment for .csv-filer, men for alle typer tekstfiler. Den kan enkelt håndtere tekst- og CSV-filer som strekker seg til noen få gigabyte, med et grensesnitt som ligner på mange av de gratis redaktørene vi diskuterte tidligere.

    Den eneste ulempen med disse verktøyene er at de er premiumapplikasjoner, som krever at du får en betalt lisens for å kunne bruke dem. Du kan alltid prøve gratisversjonene deres for å sjekke funksjonene, eller hvis du bare har en engangsbruk.

    Hva er den beste måten å åpne stor tekst og CSV-filer på?

    I denne tiden med Big Data er det ikke uvanlig å støte på tekstfiler som kjører opp i gigabyte, noe som kan være vanskelig å se med innebygde verktøy som Notisblokk eller MS Excel. For å kunne åpne slike store CSV-filer, må du laste ned og bruke et tredjepartsprogram.

    Hvis alt du vil er å se slike filer, er Large Text File Viewer det beste valget for deg . For å faktisk redigere dem, kan du prøve et funksjonsrikt tekstredigeringsprogram som Emacs, eller gå til et førsteklasses verktøy som CSV Explorer.

    Teknikker som å dele opp CSV-filen eller importere den til en database involverer altfor mange trinn. Du er bedre å få en betalt lisens for et dedikert premiumverktøy hvis du finner deg selv å jobbe mye med store tekstfiler.