Ik voer een aangepaste GPT-chatbot uit in Windows: hier leest u waarom en hoe u dit moet doen

Snelle links

• Waarom zou u uw eigen lokale AI-chatbot?

• Hoe u uw eigen lokale GPT-chatbot op Windows kunt hosten

• Stap 1: Installeer Docker en de Windows Terminal-app

• Stap 2: Download de Web UI GitHub Repository voor het genereren van tekst

• Stap 3: Start de webinterface voor het genereren van tekst

• Stap 4: Installeer het GPT-2-model vanuit OpenAI

• Stap 5: Begin met het gebruik van uw aangepaste GPT AI-chatbot

Sleutel Takeaways

• Het runnen van uw eigen lokale GPT-chatbot op Windows is vrij van online beperkingen en censuur.
• Installeer text-generation-web-ui met Docker op een Windows-pc met WSL-ondersteuning en een compatibele GPU.
• Pas uw GPT-chatbot aan en train deze voor uw eigen specifieke gebruiksscenario's, zoals het opvragen en samenvatten van uw eigen documenten, het helpen bij het schrijven van programma's of het imiteren van uw eigen karakters.

Er zijn een aantal voordelen verbonden aan het runnen van een GPT/AI-chatbot op uw eigen computer in plaats van er een op internet te gebruiken. We laten zien waarom u dat zou willen, en wat de eenvoudigste manier is om het op Windows te installeren.

Waarom zou u uw eigen lokale AI-chatbot willen?

Hoewel online AI-chatbots zoals ChatGPT dominant zijn, met toegang tot enorme hoeveelheden trainingsgegevens en up-to-date informatie, zijn er een paar redenen waarom u misschien uw eigen lokale chatbot op uw Windows-computer zou willen gebruiken .

Het lokaal uitvoeren van uw eigen AI-tools is gratis en zonder de beperkingen van online tools: er is geen censuur en u kunt alle machine-learning-modellen laden, de reacties en het gedrag ervan aanpassen en elke prompt geven, allemaal zonder beperkingen (en in totale privacy). Het is ook een goede manier om inzicht te krijgen in hoe moderne AI-tools voor grote taalmodellen (LLM) onder de motorkap werken, vooral als je de AI- of technologie-industrie wilt betreden.

Je kunt modellen vinden voor vrijwel alles, van fictieve karakterinteracties tot programmeren en algemene kennis , en vele andere gebruiksscenario's die meer algemene online modellen mogelijk niet dekken.

Hoe u uw eigen lokale GPT-chatbot kunt hosten op Windows

Deze tutorial zal gebruik text-generation-web-ui-docker, een open-source interface voor grote taalmodellen, die het installeren en gebruiken van LLM's vereenvoudigt.

text-generation-web-ui-docker bundelt het text-generation-web-ui-project met behulp van Docker, waardoor het niet meer nodig is om alle complexe afhankelijkheden te installeren en te beheren die lokale AI-tools gewoonlijk vereisen, door alles op te slaan in een container die gescheiden is van uw systeem . Het enige dat u nodig heeft om uw lokale chatbot te laten draaien, is een Windows-pc die Docker ondersteunt en draait op het Windows Subsystem for Linux (WSL). Voor maximale compatibiliteit heb je ook een redelijk recente GPU nodig, idealiter één van NVIDIA.

Stap 1: Installeer Docker en de Windows Terminal-app

Docker-containers lijken op virtuele machines omdat ze een heel draaiend systeem bevatten, maar ze zijn veel lichter en perfect voor het distribueren van applicaties en al hun vereisten in één enkele, eenvoudig te installeren bundel. Om text-generation-web-ui-docker in Docker uit te voeren, downloadt en installeert u Docker op uw Windows-systeem.

Docker kan op twee manieren op Windows worden uitgevoerd: WSL- of Hyper-V-modus. WSL wordt aanbevolen voor de meeste gebruikers, dus het kan zijn dat u dit moet inschakelen voordat u Docker installeert.

Het wordt ook aanbevolen om de Windows Terminal-app te installeren, omdat deze een handige interface biedt voor WSL, PowerShell en de Windows-opdrachtregel.

Stap 2: Download de Text Generation Web UI GitHub Repository

Om text-generation-web-ui-docker te downloaden, gaat u naar de GitHub-pagina. U kunt een ".zip" bestand met alle bestanden die u nodig heeft door op de groene "Code" en klik vervolgens op "Zip downloaden" uit het vervolgkeuzemenu.

De onderstaande schermafbeelding laat zien waar je dit kunt vinden op de GitHub-pagina.

Brad Morton/How-To Geek

Pak het gedownloade ZIP-bestand uit in een eigen map en open vervolgens de map met de uitgepakte bestanden . Maak je niet al te veel zorgen over de inhoud van deze map: het zijn alle bewegende delen van je AI-chatbot, maar Docker zorgt ervoor dat alles voor je wordt ingesteld.

Stap 3: Start de Text Generation Web UI

Voordat u text-generation-web-ui-docker start , moet u ervoor zorgen dat deze is geconfigureerd voor uw pc-hardware. Bewerk het bestand docker-compose.yml om de variant op te geven die overeenkomt met uw hardware: default-nvidia of default-cpu (als u dat niet doet 39; Ik heb geen compatibele GPU).

Brad Morton/How-To Geek

Klik vervolgens, nog steeds in de map met de gedownloade en uitgepakte bestanden, met de rechtermuisknop op een lege ruimte en klik op &quot ;Openen in Terminal" om de map in een nieuw PowerShell-venster te openen.

Brad Morton/How-To Geek

Zorg ervoor dat Docker Desktop actief is voordat u de volgende Docker-opdracht in het Terminal-venster typt:

docker compose up -d

Deze opdracht doet het volgende:

< ul>

Voert docker compose uit, het programma dat Docker-applicaties beheert

Start de container met de opdracht up

Voert de container op de achtergrond uit (de zogenaamde vrijstaande modus, die wordt gespecificeerd door de -d)

Brad Morton/How-To Geek

Als u deze opdracht nog niet eerder hebt uitgevoerd en de applicatie moet worden gedownload (getrokken), moet u mogelijk een kopje thee gaan zetten, omdat dit een tijdje kan duren. Zodra de opdracht succesvol is uitgevoerd, ziet u dat de text-generation-web-ui-docker Docker-container is gemaakt en gestart.

Brad Morton/How-To Geek

De actieve container verschijnt ook in Docker Desktop, waar u deze kunt stoppen, starten en beheren.

Brad Morton/How-To Geek

Stap 4 : Installeer het GPT-2-model vanuit OpenAI

Zodra text-generation-web-ui-docker actief is in Docker, kunt u er toegang toe krijgen door het adres http://localhost: te typen: 7860 in de adresbalk van uw browser. Localhost is het adres dat uw computer gebruikt om toegang te krijgen tot de services die deze zelf uitvoert, waarbij elk adres een uniek poortnummer krijgt toegewezen (in dit geval 7860). U kunt zien welke poorten een actieve Docker-container beschikbaar heeft gemaakt op localhost door deze te openen in Docker-desktop.

Dit is een oudere versie van GPT dan je krijgt als je ChatGPT op internet gebruikt. Het zal dus niet zo slim of intuïtief zijn als je zou verwachten, maar het is aanpasbaar en privé.

Navigeer naar het tabblad Model in de webinterface en voer openai- in community/gpt2 in de map "Downloadmodel of LoRA" vak en klik vervolgens op de knop Downloaden. Dit kan een paar minuten duren.

Brad Morton/How-To-nerd

Klik op het pictogram Vernieuwen linksboven en selecteer vervolgens de nieuw gedownloade openai-community/gpt2 in het aangrenzende vervolgkeuzemenu Model. Klik ten slotte op de knop "Laden" en wacht een paar minuten totdat u een succesbericht ziet.

Brad Morton/How-To Geek

Dit model werkt kant-en-klaar en vereist geen aanmelding. Als je met AI begint en wilt experimenteren met verschillende modellen en AI-tools, kun je meer vinden op HuggingFace.

Stap 5: Begin met het gebruik van uw aangepaste GPT AI-chatbot

Dit lijkt niet helemaal op de AI-chatbots die je online gewend bent, die al zijn ingesteld voor algemeen gebruik en die veel situaties bestrijken. Je moet het model vertellen hoe het zich moet gedragen voordat je ermee gaat communiceren, anders zal de uitvoer een beetje… losgeslagen zijn.

Brad Morton/How-To Geek

Hoera, hoewel hij het juiste antwoord heeft gekregen, heeft deze AI-chatbot nog wat verfijning nodig.

Er is veel dat je kunt aanpassen, en het kan in het begin een beetje onhandig zijn, maar met oefening en ervaring kun je een chatbot bouwen die specifiek is voor je eigen gebruik, en die bewaart uw gegevens 100% op uw eigen computer, wat geweldig is voor zakelijk en ander vertrouwelijk gebruik. Om te leren hoe u uw lokale GPT-chatbot kunt configureren en trainen, bekijkt u de tekstgeneratie-web-ui-documentatie en de OpenAI GP2-documentatie op HuggingFace.

Als u afbeeldingen wilt genereren met behulp van AI vanaf uw Windows-pc, kunt u Fooocus gebruiken om eenvoudiger en directer resultaten te krijgen.