Jag kör en anpassad GPT Chatbot i Windows: Här är varför och hur man gör det

Snabblänkar

• Varför skulle du vilja ha en egen lokal AI Chatbot?

• Hur du är värd för din egen lokala GPT-chattbot på Windows

• Steg 1: Installera Docker och Windows Terminal-appen

• Steg 2: Ladda ner Text Generation Web UI GitHub Repository

• Steg 3: Starta webbgränssnittet för textgenerering

• Steg 4: Installera GPT-2-modellen från OpenAI

• Steg 5: Börja använda din anpassade GPT AI Chatbot

Nyckel Takeaways

• Att köra din egen lokala GPT-chatbot på Windows är fri från onlinerestriktioner och censur.
• Installera text-generation-web-ui med Docker på en Windows-dator med WSL-stöd och en kompatibel GPU.
• Anpassa och träna din GPT-chattbot för dina egna specifika användningsfall, som att fråga och sammanfatta dina egna dokument, hjälpa dig att skriva program eller imitera dina egna karaktärer.

Det finns ett antal fördelar med att köra en GPT/AI-chattbot på din egen dator istället för att komma åt en på Internet. Vi visar varför du kanske vill, och det enklaste sättet att få det konfigurerat på Windows.

Varför skulle du vilja ha din egen lokala AI-chattbot?

Även om online AI chatbots som ChatGPT är dominerande, med tillgång till enorma mängder träningsdata och uppdaterad information, finns det några anledningar till att du kanske vill köra din egen lokala chatbot på din Windows-dator .

Att köra dina egna AI-verktyg lokalt är gratis och kommer utan begränsningarna av onlineverktyg: Det finns ingen censur, och du kan ladda vilka maskininlärningsmodeller som helst, skräddarsy deras svar och beteende och ge alla uppmaningar, allt utan begränsningar (och i total avskildhet). Det är också ett bra sätt att få en förståelse för hur moderna AI-verktyg för stora språkmodeller (LLM) fungerar under huven, särskilt om du vill komma in i AI- eller teknisk industri.

Du kan hitta modeller för nästan vad som helst, från fiktiva karaktärsinteraktioner till programmering till allmän kunskap , och många andra användningsfall som mer allmänna onlinemodeller kanske inte täcker.

Hur du är värd för din egen lokala GPT Chatbot på Windows

Denna handledning kommer använd text-generation-web-ui-docker, ett gränssnitt med öppen källkod för stora språkmodeller, som förenklar installation och användning av LLM:er.

text-generation-web-ui-docker kombinerar text-generation-web-ui-projektet med Docker, vilket tar bort behovet av att installera och hantera alla komplexa beroenden som lokala AI-verktyg vanligtvis kräver genom att lagra allt i en behållare separat till ditt system . Det enda du behöver för att köra din lokala chatbot är en Windows-dator som stöder Docker som körs med Windows Subsystem for Linux (WSL). Du behöver också en ganska ny grafikprocessor, helst en från NVIDIA, för maximal kompatibilitet.

strong>

Steg 1: Installera Docker och Windows Terminal-appen

Docker-behållare liknar virtuella maskiner genom att de innehåller ett helt körande system, men de är mycket lättare och perfekta för att distribuera applikationer och alla deras krav i ett enda, lättinstallerat paket. För att köra text-generation-web-ui-docker i Docker, ladda ner och installera Docker på ditt Windows-system.

Docker kan köras på Windows på ett av två sätt: WSL- eller Hyper-V-läge. WSL rekommenderas för de flesta användare, så du kan behöva aktivera det innan du installerar Docker.

Det rekommenderas också att installera Windows Terminal-appen, eftersom den ger ett bekvämt gränssnitt för WSL, PowerShell och Windows-kommandoraden.

Steg 2: Ladda ner Text Generation Web UI GitHub Repository

För att ladda ner text-generation-web-ui-docker, besök dess GitHub-sida. Du kan ladda ner en ".zip" fil som innehåller alla filer du behöver genom att klicka på den gröna "koden" knappen och klicka sedan på "Ladda ner zip" från rullgardinsmenyn.

Skärmdumpen nedan visar var du kan hitta detta på GitHub-sidan.

Brad Morton/How-To Geek

Extrahera den nedladdade ZIP-filen till en egen mapp och öppna sedan mappen som innehåller de uppackade filerna . Oroa dig inte för mycket om innehållet i den här mappen: det är alla rörliga delar för din AI-chatbot, men Docker tar hand om att ställa in allt åt dig.

Steg 3: Starta textgenereringswebbgränssnittet

Innan du startar text-generation-web-ui-docker måste du se till att den är konfigurerad för din PC-hårdvara. Redigera filen docker-compose.yml för att ange varianten som matchar din hårdvara: default-nvidia eller default-cpu (om du gör det 39;t har en kompatibel GPU).

Brad Morton/How-To Geek

Sedan, fortfarande i mappen som innehåller de nedladdade och extraherade filerna, högerklicka på ett tomt utrymme och klicka på &quot ;Öppna i terminal" för att öppna katalogen i ett nytt PowerShell-fönster.

Brad Morton/How-To Geek

Se till att Docker Desktop körs innan du skriver in följande Docker-kommando i terminalfönstret:

docker compose up -d

Det här kommandot gör följande:

< ul>

Kör docker compose, programmet som hanterar Docker-applikationer

Starta behållaren med kommandot up

Kör behållaren i bakgrunden (kallas fristående läge, vilket anges av -d)

Brad Morton/How-To Geek

Om du inte har kört det här kommandot tidigare och programmet måste laddas ner (dras), kan du behöva gå och göra en kopp te, eftersom det kan ta ett tag. När kommandot har körts framgångsrikt ser du att text-generation-web-ui-docker Docker-behållaren har skapats och startat.

Brad Morton/How-To Nörd

Den körande behållaren kommer också att visas i Docker Desktop, där du kan stoppa, starta och hantera den.

Brad Morton/How-To Geek

Steg 4 : Installera GPT-2-modellen från OpenAI

När text-generation-web-ui-docker är igång i Docker kan du komma åt den genom att skriva adressen http://localhost: 7860 i webbläsarens adressfält. Localhost är adressen som din dator använder för att komma åt tjänster som den kör själv, som var och en tilldelas ett unikt portnummer (i det här fallet 7860). Du kan se vilka portar en körande Docker-container har gjort tillgänglig på localhost genom att öppna den i Docker-skrivbordet.

Det här är en äldre version av GPT än du får när du använder ChatGPT på internet. Följaktligen kommer det inte att vara så smart eller så intuitivt som du kan förvänta dig, men det är anpassningsbart och privat.

Navigera till fliken Modell i webbgränssnittet och ange openai- community/gpt2 i "Ladda ned modell eller LoRA" och klicka sedan på knappen Ladda ner. Detta kan ta några minuter.

Brad Morton/How-To Geek

Klicka på ikonen Uppdatera uppe till vänster och välj sedan den nyligen nedladdade openai-community/gpt2 från den intilliggande rullgardinsmenyn Modell. Klicka slutligen på knappen "Ladda" och vänta några minuter tills du ser ett lyckat meddelande.

Brad Morton/How-To Geek

Den här modellen fungerar direkt och kräver ingen registrering. När du kommer in på AI och vill experimentera med olika modeller och AI-verktyg kan du hitta mer på HuggingFace.

Steg 5: Börja använda din anpassade GPT AI Chatbot

Det här är inte riktigt som de AI-chatbotar du är van vid att använda online, som redan är inställda för allmänt bruk som täcker många situationer. Du måste berätta för modellen hur den ska bete sig innan du interagerar med den, annars blir dess utdata lite…

Brad Morton/How-To-nörd

Hej pojke, även om den fick rätt svar, behöver den här AI-chatboten lite finjustering.

Det finns mycket du kan justera, och det kan vara lite klumpigt till en början, men med övning och erfarenhet kan du bygga en chatbot som är specifik för din egen användning, och som behåller dina data till 100 % på din egen dator, vilket är bra för företag och andra konfidentiella användningsfall. För att lära dig hur du konfigurerar och tränar din lokala GPT-chattbot, kolla in text-generation-web-ui-dokumentationen och OpenAI GP2-dokumenten på HuggingFace.

Om du vill generera bilder med AI från din Windows-dator kan du använda Fooocus för att få enklare och mer omedelbara resultat.