Hur man kör en ChatGPT-liknande AI på din egen dator

0
128
MidJourney

Du kan köra en ChatGPT-liknande AI på din egen dator med Alpaca, en chatbot skapad av Stanford-forskare. Den stöder Windows, macOS och Linux. Du behöver bara minst 8 GB RAM och cirka 30 GB ledigt lagringsutrymme.

Chatbots är på modet just nu, och alla vill ha en del av handlingen. Google har Bard, Microsoft har Bing Chat och OpenAI’s ChatGPT är praktiskt taget synonymt med AI vid denna tidpunkt. Men vad händer om du inte vill lita på en molntjänst för din chatbot? Vi har en ChatGPT-liknande AI som du kan ladda ner — en alpacka.

Innehållsförteckning

Vad är alpacka?
Hur fungerar alpacka Jämför med ChatGPT?
Vad behöver du för att köra Alpaca?
Hur man kör Alpaca lokalt på din PC
Installera Windows Subsystem för Linux 2
Installera Docker
Installera GIT på Windows
Installera Serge och Alpaca
Använd Serge och Alpaca

Vad är Alpaca?

Alpacka är en språkmodell (en chatbot, i princip), ungefär som ChatGPT. Den kan svara på frågor, resonera, berätta skämt och nästan allt annat vi har förväntat oss av chatbots. Alpaca skapades av Stanford-forskare genom att finjustera Facebook’s LLaMA.

Till skillnad från ChatGPT, och de flesta andra chatbots som finns tillgängliga idag, körs Alpaca helt på din egen dator. Det betyder att ingen kan snoka på dina konversationer eller vad du frågar Alpaca, och dina utbyten kan inte heller läcka ut av misstag. Det betyder också att du inte behöver betala några månadsavgifter, du kan träna modellen vidare för att bättre passa dina behov om du har hårdvaran, och du kan integrera den i vilken applikation du vill. Du begränsas bara av din hårdvara och dina programmeringsfragment.

Den fungerar dock också vackert som bara en vanlig gammal chatbot du kan prata med, och vi kommer att visa dig hur du kör den på nästan vilken dator som helst där ute.

Hur jämförs Alpaca med ChatGPT?

Vi får det ur vägen först: ChatGPT 4 är smartare och snabbare än Alpaca för tillfället.< /p>

Alpaca’s hastighet begränsas mestadels av datorn den körs på — om du har en blixtsnabb speldator med massor av kärnor och massor av RAM får du bra prestanda av den. Långsammare datorer med färre kärnor kommer att ta längre tid att generera svar. Naturligtvis är det inte precis rättvist eller ens rimligt att jämföra det med ChatGPT i detta avseende — vi vet inte vilken typ av dator som ChatGPT körs på, men den är definitivt bättre än din vanliga stationära PC.

Det finns tre huvudvarianter av Alpaca för närvarande, 7B, 13B och 30B. Generellt sett gäller att ju större antal, desto smartare blir chatboten.

Alpaca, speciellt 7B-modellen, är märkbart “dummare” än ChatGPT är. Det resonerar inte lika bra och kommer definitivt inte att klara Turing-testet. 7B är ändå bra om du vill ha ett receptförslag.

13B- och 30B-modellerna är en helt annan historia. 13B kan tillhandahålla en sammanhängande, människoliknande konversation och kan svara på komplexa frågor. 30B är ännu mer imponerande, om du har hårdvaran för att köra den, och är inom räckhåll från ChatGPT. Det kommer att växa på filosofiskt eller göra ett skämt utan att missa ett slag om du uppmanas.

Vad behöver du för att köra Alpaca?

Alpaca har ganska flexibla systemkrav. Dessa riktlinjer ligger över det absoluta minimum men är bra riktlinjer. Vi kommer också att installera detta på Windows. Om du installerar detta på ett system som kör Linux eller macOS, hoppa över avsnittet Windows Subsystem for Linux — det är inte relevant för dig.

  • 16 GB RAM
    • 32 GB är bättre och är nödvändigt om du vill köra 30B-modellen
  • 35 GB lagringsutrymme på en SSD om du vill ha alla tre modellerna.
    • 4 GB för 7B-modellen, 8 GB för 13B-modellen och 20 GB för 30B-modellen
    • 500 MB för standard Ubuntu med WSL2
    • Några till GB mellan andra beroenden
  • En modern CPU är idealisk
    • Alla Ryzen-processorer
    • 7:e generationens Intel-processor eller nyare
  • Windows Subsystem for Linux 2 (WSL2)
  • GIT
  • Docker
  • Ett samhällsprojekt, Serge, som ger Alpaca ett snyggt webbgränssnitt

Varning: Det finns för närvarande ingen anledning att misstänka att just detta projekt har någon stora säkerhetsfel eller är skadlig. Vi har gått igenom koden och kört programvaran själva utan att hitta något angående. Det betyder inte att det är eller kommer att förbli säkert. Var alltid försiktig med saker du hittar på internet och omvärdera säkerheten med jämna mellanrum.

Hur man kör Alpaca lokalt på din PC

Det är viktigt att du följer dessa steg i den ordning de ges. Docker kommer förmodligen att gå sönder om du inte gör det, vilket kräver en fullständig ominstallation av både WSL2 och Docker.

Installera Windows Subsystem for Linux 2

Microsofts Windows-undersystem för Linux 2 (WSL2) låter dig köra Linux-programvara i Windows. Den har en låg overhead och är väldigt praktisk i många fall. Docker för Windows förlitar sig på WSL2, så vi måste installera WSL2 först.

Obs: Om du redan har WSL2 installerat, kör bara wsl –update i PowerShell för att se till att allt är uppdaterat.

Öppna ett PowerShell-fönster som admin och skriv sedan in kommandot:

wsl –install

It&#8217 Det tar lite tid att ladda ner alla WSL2-filer och Ubuntu. Du måste starta om datorn efter att installationen är klar.

< /p>

När omstarten har utförts, öppna PowerShell igen (inte nödvändigtvis som admin) och kör:

wsl -l -v 

Du bör se något som liknar bilden nedan om allt fungerade korrekt. Du behöver inte heller installera Ubuntu speciellt. Du kan installera vilken distro du vill, Ubuntu är bara standard.

< /p>

Installera Docker

Docker är ett program som låter dig köra program i en “behållare.” Behållare liknar virtuella maskiner, men de tenderar att ha mindre overhead och är mer presterande för många applikationer. Serge använder Docker för att göra installationen superbekväm.

RELATERAT: Vad gör Docker, och när ska du använda det?

Ladda först ner Docker-installationsprogrammet från Docker-webbplatsen. Om du ska köra Docker på Linux eller macOS, se till att du tar rätt installationsprogram.

Obs: Om du’re kör en huvudlös Linux-server, vill du följa lämpliga instruktioner för din Linux-distro för att få Docker att köra.

Kör installationsprogrammet och var beredd på att vänta några minuter. Docker kommer att ta ett tag och sätta upp en massa saker bakom kulisserna. När det är gjort vill du starta om din dator.

Efter omstart öppnar du PowerShell och kör wsl -l -v igen. Den här gången bör du också se några poster relaterade till Docker.

Installera GIT på Windows

Den sista förutsättningen är Git, som vi kommer att använda för att ladda ner (och uppdatera) Serge automatiskt från Github. Det är inte absolut nödvändigt eftersom du alltid kan ladda ner ZIP och extrahera det manuellt, men Git är bättre.

Gå över till Git-webbplatsen och ladda ner rätt version för ditt operativsystem. Windows-användare behöver bara köra den körbara filen. Se till att åtminstone titta på installationsalternativen istället för att bara klicka snabbt igenom alla alternativ. En, som visas i skärmdumpen nedan, är helt avgörande.

När Git är klar med installationen är du redo att installera Serge och Alpaca.

Installera Serge och Alpaca

Se först till att Docker Desktop körs. Öppna sedan PowerShell eller Windows Terminal med ett PowerShell-fönster öppet (inte som admin) och kör följande kommando:

git clone https://github.com/nsarrazin/serge.git && cd serge

Detta laddar ner filerna från GitHub till en mapp på din PC och ändrar sedan den aktiva katalogen till den mapp som skapades.

Nästa kommando du behöver köra är:< /p>

cp .env.sample .env

Den raden skapar en kopia av .env.sample och namnger kopian “.env.” Filen innehåller argument relaterade till den lokala databasen som lagrar dina konversationer och porten som den lokala webbservern använder när du ansluter.

Kör sedan:

docker compose up -d

p>

Docker compose kopplar ihop ett antal olika behållare till ett snyggt paket. Du kan kolla in filen docker-compose.yml i Serge-mappen om du vill se mer specifikt vad det handlar om här.

Det sista kommandot initierar en nedladdning, och här måste du göra ett val innan du fortsätter. Det finns tre olika varianter du kan ladda ner: 7B, 13B och 30B. 7B är den enklaste och “dummaste” modell, medan 30B är den mest sofistikerade och smartaste. 13B är medelvägen.

Variant Nedladdningsstorlek Fritt RAM krävs System-RAM rekommenderas i Windows < strong>System-RAM rekommenderas för Linux 7B4 GB 4 GB 16 GB 8 GB 13B 8 GB 8 GB 16 GB 16 GB 30B 20 20 GB 64 GB (sannolikt) 32 GB

Linux (och förmodligen macOS ) installationer kommer att kunna komma undan med mindre system-RAM än Windows-installationer — Windows är lite av en RAM-svin. Du bör nog börja med 7B-varianten först eftersom det är det minst krävande alternativet. Du kan alltid ladda ner 13B eller 30B senare om du vill.

Kör följande kommando för att ladda ner 7B-modellen (eller ersätt 13B eller 30B).

docker compose exec api python3 /usr/src/app/utils/download.py tokenizer 7B

Var beredd på att vänta, speciellt om du väljer 30B-varianten. Huggingface-servern verkar toppa med cirka 20 megabyte per sekund, så du kommer att titta på 50 sekunder per nedladdad gigabyte i bästa fall.

Använd Serge och Alpaca

Docker och alla nödvändiga behållare körs för närvarande om du har följt dessa instruktioner, men du måste slå på dem igen om du startar om din dator. För att göra det, öppna bara Docker Desktop och klicka på de små triangulära knapparna. Ikonerna till vänster om “Namn” kolumnen blir grön när behållarna körs.

Allt är installerat och redo att köras nu. Öppna bara din webbläsare och ange “localhost:8008″ i adressfältet, precis som du skulle besöka Facebook eller någon annan webbplats.

Obs! Om du är värd för Alpaca/Serge på en annan dator måste du ange enhetens lokala IP-adress istället för localhost.

På huvudskärmen visas dina tidigare konversationer till vänster och inställningarna för en ny chatt visas i mitten.

Det finns ett ganska stort antal inställningar tillgängliga, men det finns fem som du verkligen vill vara uppmärksam på:

  • Temperature – Bestämmer hur fritt AI:n svarar. Lägre siffror resulterar i stelare svar, medan högre siffror är mer kreativa.
  • Maximal genererad textlängd i tokens – Hur långa svaren boten skriver kan vara.
  • Modellval – Välj mellan 7B, 13B, 30B och vilken annan modell du installerar.
  • n_threads – Antalet trådar Serge/Alpaca kan använda på din CPU. Om du tilldelar mer kommer du att förbättra prestandan
  • Förhandsbegäran för att initiera en konversation– Tillhandahåller sammanhang innan konversationen startas för att påverka hur chatboten svarar.

I det här fallet höjde vi temperaturen och trådarna, valde 13B-modellen och sa till chatboten att det är en pirat .

Här är ett exempel på hur konversationen gick.

Du kan prata om allt du vill med Alpaca, och du behöver inte oroa dig för vad som händer med din data. Den finns kvar på din enhet, under din kontroll hela tiden.

Kom ihåg att ChatGPT, Alpaca och andra chatbots verkar tillförlitliga, men det är de inte vid denna tidpunkt. De förkroppsligar i hög grad känslan: “Om du inte kan blända dem med briljans, förbrylla dem med BS.” Deras tendens att hitta på saker har dubbats till “hallucinerande.” Lita inte på dem för något väsentligt, särskilt inte något som är avgörande för ditt jobb eller din hälsa. De bör endast användas för underhållning eller experimentella ändamål för närvarande.

Tekniken kommer dock bara att bli bättre med tiden — det kommer inte att dröja länge innan vi ser Alpaca (eller annan lokalt körd AI) integrerad i Discord-servrar, Minecraft-moddar och valfritt antal andra kreativa applikationer. Ytterligare förfining kommer också att resultera i snabbare, mer exakta modeller som kan köras på svagare hårdvara.

LÄS NÄSTA

  • › Uppdatera din dator nu för att åtgärda säkerhetsfelet för klippverktyget
  • › Din iPhone, iPad, Mac, & Apple Watch Få nya funktioner idag
  • › Microsoft Teams är nu snabbare, med en Windows 11-liknande design
  • › Intels nya lilla PC har en 13:e generationens Core i7-processor
  • › Hur man signerar dokument online med SIGN.PLUS
  • › SIMO Solis Lite Hotspot Review: Wi-Fi Wingman i fickstorlek