Hoe u een ChatGPT-achtige AI op uw eigen pc uitvoert

0
93
MidJourney

U kunt een ChatGPT-achtige AI op uw eigen pc uitvoeren met Alpaca, een chatbot gemaakt door onderzoekers van Stanford. Het ondersteunt Windows, macOS en Linux. Je hebt minimaal 8 GB RAM en ongeveer 30 GB vrije opslagruimte nodig.

Chatbots zijn momenteel een rage en iedereen wil een deel van de actie. Google heeft Bard, Microsoft heeft Bing Chat en OpenAI's ChatGPT is op dit moment praktisch synoniem met AI. Maar wat als u niet wilt vertrouwen op een cloudservice voor uw chatbot? We hebben een ChatGPT-achtige AI die je kunt downloaden — een Alpaca.

Inhoudsopgave

Wat is Alpaca?
Hoe werkt Alpaca Vergelijk met ChatGPT?
Wat heb je nodig om Alpaca uit te voeren?
Hoe zet je Alpaca lokaal uit op je pc
Installeer Windows Subsystem voor Linux 2
Installeer Docker
Installeer GIT op Windows
Installeer Serge en Alpaca
Gebruik Serge en Alpaca

Wat is Alpaca?

Alpaca is een taalmodel (eigenlijk een chatbot), vergelijkbaar met ChatGPT. Het is in staat om vragen te beantwoorden, te redeneren, grappen te vertellen en zo ongeveer alles wat we van chatbots gewend zijn. Alpaca is gemaakt door onderzoekers van Stanford door de LLaMA van Facebook te verfijnen.

In tegenstelling tot ChatGPT en de meeste andere chatbots die tegenwoordig beschikbaar zijn, draait Alpaca volledig op uw eigen pc. Dat betekent dat niemand kan snuffelen in uw gesprekken of wat u Alpaca vraagt, en dat uw uitwisselingen ook niet per ongeluk kunnen worden gelekt. Het betekent ook dat u geen maandelijkse kosten hoeft te betalen, u kunt het model verder trainen om beter aan uw behoeften te voldoen als u over de hardware beschikt, en u kunt het integreren in elke gewenste toepassing. U wordt alleen beperkt door uw hardware en uw programmeerkarbonades.

Het werkt echter ook uitstekend als gewone oude chatbot waarmee je kunt praten, en we gaan je laten zien hoe je het kunt gebruiken op vrijwel elke pc die er is.

Hoe verhoudt Alpaca zich tot ChatGPT?

We zullen het eerst uit de weg ruimen: ChatGPT 4 is op dit moment slimmer en sneller dan Alpaca.< /p>

De snelheid van Alpaca wordt grotendeels beperkt door de computer waarop het draait — als je een razendsnelle gaming-pc hebt met heel veel kernen en veel RAM, haal je er goede prestaties uit. Langzamere pc's met minder kernen hebben meer tijd nodig om reacties te genereren. Het is natuurlijk niet bepaald eerlijk of zelfs maar redelijk om het in dit opzicht te vergelijken met ChatGPT — we weten niet op wat voor soort computer ChatGPT draait, maar het is zeker krachtiger dan je gemiddelde desktop-pc.

Er zijn momenteel drie hoofdvarianten van Alpaca, 7B, 13B en 30B. Over het algemeen geldt: hoe groter het getal, hoe slimmer de chatbot zal zijn.

Alpaca, vooral het 7B-model, is merkbaar “dommer” dan ChatGPT is. Het redeneert ook niet en zal de Turing-test zeker niet doorstaan. 7B is echter nog steeds geweldig als u een receptsuggestie wilt.

De modellen 13B en 30B zijn een heel ander verhaal. 13B is in staat om een ​​coherent, menselijk gesprek te voeren en kan complexe vragen beantwoorden. 30B is zelfs nog indrukwekkender, als je de hardware hebt om het uit te voeren, en bevindt zich op zeer korte afstand van ChatGPT. Het zal filosofisch doorgaan of een grap maken zonder een beat te missen als daarom wordt gevraagd.

Wat heb je nodig om Alpaca te runnen?

Alpaca heeft behoorlijk flexibele systeemvereisten. Deze richtlijnen zijn boven het absolute minimum, maar zijn goede richtlijnen. We gaan dit ook op Windows installeren. Als u dit installeert op een systeem met Linux of macOS, slaat u de sectie Windows Subsystem for Linux — het is niet relevant voor jou.

  • 16 GB RAM
    • 32 GB is beter en is nodig als je het 30B-model wilt gebruiken
  • 35 GB opslag op een SSD als je alle drie de modellen wilt.
    • 4 GB voor het 7B-model, 8 GB voor het 13B-model en 20 GB voor het 30B-model
    • 500 MB voor standaard Ubuntu met WSL2
    • Nog een paar GB's tussen andere afhankelijkheden
  • Een moderne CPU is ideaal
    • Elke Ryzen CPU
    • 7e generatie Intel-processor of nieuwer
  • Windows-subsysteem voor Linux 2 (WSL2)
  • GIT
  • Docker
  • Een gemeenschapsproject, Serge, dat Alpaca een mooie webinterface geeft

Waarschuwing: er is momenteel geen reden om te vermoeden dat dit specifieke project enige grote beveiligingsfouten of kwaadaardig is. We hebben de code doorgenomen en de software zelf uitgevoerd en niets gevonden. Dat betekent niet dat het veilig is of zal blijven. Wees altijd voorzichtig met dingen die u op internet vindt en evalueer de veiligheid regelmatig opnieuw.

Alpaca lokaal uitvoeren op uw pc

Het is belangrijk dat u deze stappen volgt in de aangegeven volgorde. Docker zal waarschijnlijk kapot gaan als u dat niet doet, waardoor een volledige herinstallatie van zowel WSL2 als Docker nodig is.

Installeer Windows Subsystem voor Linux 2

Met het Windows-subsysteem voor Linux 2 (WSL2) van Microsoft kunt u Linux-software in Windows uitvoeren. Het heeft een lage overhead en is in veel gevallen erg handig. Docker voor Windows is afhankelijk van WSL2, dus we moeten eerst WSL2 installeren.

Opmerking: Als u WSL2 al hebt geïnstalleerd, voert u gewoon wsl –update uit in PowerShell om er zeker van te zijn dat alles is bijgewerkt.

Open een PowerShell-venster als beheerder en voer de volgende opdracht in:

wsl –install

It&#8217 ;Het duurt even voordat alle WSL2-bestanden en Ubuntu zijn gedownload. U moet uw pc opnieuw opstarten nadat de installatie is voltooid.

< /p>

Nadat de herstart is uitgevoerd, heropent u PowerShell (niet noodzakelijkerwijs als admin) en voert u uit:

wsl -l -v 

U zou zoiets als de afbeelding moeten zien hieronder als alles correct werkte. U hoeft Ubuntu ook niet in het bijzonder te installeren. Je kunt elke distro installeren die je wilt, Ubuntu is gewoon de standaard.

< /p>

Docker installeren

Docker is een programma waarmee u programma's kunt uitvoeren in een “container.” Containers zijn vergelijkbaar met virtuele machines, maar ze hebben meestal minder overhead en presteren beter voor veel toepassingen. Serge gebruikt Docker om de installatie supergemakkelijk te maken.

GERELATEERD: Wat doet Docker en wanneer moet je het gebruiken?

Download eerst het Docker-installatieprogramma van de Docker-website. Als u Docker op Linux of macOS gaat gebruiken, zorg er dan voor dat u het juiste installatieprogramma gebruikt.

Opmerking: als u Als u een headless Linux-server draait, wilt u de juiste instructies voor uw Linux-distro volgen om Docker aan de praat te krijgen.

Voer het installatieprogramma uit en wees bereid om een ​​paar minuten te wachten. Docker zal een tijdje duren en achter de schermen een heleboel dingen opzetten. Zodra het klaar is, wilt u uw pc opnieuw opstarten.

Na het opnieuw opstarten, opent u PowerShell en voert u wsl -l -v opnieuw uit. Deze keer zou u ook enkele vermeldingen moeten zien die verband houden met Docker.

GIT installeren op Windows

De laatste vereiste is Git, die we zullen gebruiken om Serge automatisch te downloaden (en bij te werken) van Github. Het is niet strikt noodzakelijk aangezien je altijd de ZIP kunt downloaden en handmatig kunt uitpakken, maar Git is beter.

Ga naar de Git-website en download de juiste versie voor uw besturingssysteem. Windows-gebruikers hoeven alleen het uitvoerbare bestand uit te voeren. Zorg ervoor dat u op zijn minst naar de installatie-opties kijkt in plaats van gewoon snel door alle opties te klikken. Eén, weergegeven in de onderstaande schermafbeelding, is absoluut essentieel.

Zodra Git klaar is met installeren, ben je klaar om Serge en Alpaca te installeren.

Installeer Serge en Alpaca

Zorg er eerst voor dat Docker Desktop draait. Open vervolgens PowerShell of Windows Terminal met een geopend PowerShell-venster (niet als admin) en voer de volgende opdracht uit:

git clone https://github.com/nsarrazin/serge.git && cd serge

Hierdoor worden de bestanden van GitHub naar een map op uw pc gedownload en wordt vervolgens de actieve map gewijzigd in de map die is gemaakt.

Het volgende commando dat je moet uitvoeren is:< /p>

cp .env.sample .env

Die regel maakt een kopie van .env.sample en noemt de kopie “.env.” Het bestand bevat argumenten met betrekking tot de lokale database die uw gesprekken opslaat en de poort die de lokale webserver gebruikt wanneer u verbinding maakt.

Voer vervolgens uit:

docker compose up -d

Docker compose bindt een aantal verschillende containers samen tot een mooi pakket. Je kunt het bestand docker-compose.yml in de Serge-map bekijken als je meer specifiek wilt zien wat hier bij komt kijken.

De laatste opdracht start een download en hier moet u een keuze maken voordat u verder gaat. Er zijn drie verschillende varianten die u kunt downloaden: 7B, 13B en 30B. 7B is de eenvoudigste en “domste” model, terwijl 30B het meest geavanceerde en slimste is. 13B is de middenweg.

Variant Downloadgrootte Vrije RAM vereist Systeem-RAM aanbevolen op Windows < strong>Systeem-RAM Aanbevolen op Linux 7B4 GB 4 GB 16 GB 8 GB 13B 8 GB 8 GB 16 GB 16 GB 30B 20 20 GB 64 GB (waarschijnlijk) 32 GB

Linux (en waarschijnlijk macOS ) installaties kunnen wegkomen met minder systeem-RAM dan Windows-installaties — Windows is een beetje een RAM-varken. U moet waarschijnlijk eerst met de 7B-variant beginnen, aangezien dit de minst veeleisende optie is. Je kunt 13B of 30B altijd later downloaden als je wilt.

Voer de volgende opdracht uit om het 7B-model te downloaden (of vervang 13B of 30B).

docker compose exec api python3 /usr/src/app/utils/download.py tokenizer 7B

Wees bereid om te wachten, vooral als u kiest voor de 30B-variant. De Huggingface-server lijkt uit te komen op ongeveer 20 megabytes per seconde, dus in het beste geval kijk je naar 50 seconden per gigabyte die is gedownload.

Gebruik Serge en Alpaca

Docker en alle vereiste containers zijn momenteel actief als u deze instructies hebt gevolgd, maar u moet ze weer inschakelen als u uw computer opnieuw opstart. Om dat te doen, opent u gewoon Docker Desktop en klikt u op de kleine driehoekige knoppen. De iconen links van de “Naam” kolom wordt groen als de containers draaien.

Alles is nu geïnstalleerd en klaar voor gebruik. Open gewoon uw browser en typ “localhost:8008″ in de adresbalk, net zoals u Facebook of een andere website zou bezoeken.

Opmerking: als u Alpaca/Serge host op een andere computer, moet u het lokale IP-adres van dat apparaat invoeren in plaats van localhost.

Op het hoofdscherm worden uw eerdere gesprekken aan de linkerkant weergegeven en de instellingen voor een nieuwe chat in het midden.

Er zijn een behoorlijk aantal instellingen beschikbaar, maar er zijn vijf waar u echt op wilt letten:

  • Temperatuur – Bepaalt hoe vrij de AI antwoordt. Lagere getallen resulteren in meer rigide antwoorden, terwijl hogere getallen creatiever zijn.
  • Maximale gegenereerde tekstlengte in tokens – Hoe lang de antwoorden die de bot schrijft kunnen zijn.
  • Modelkeuze – Kies tussen 7B, 13B, 30B en elk ander model dat u installeert.
  • n_threads – Het aantal threads dat Serge/Alpaca op je CPU kan gebruiken. Meer toewijzen zal de prestaties verbeteren
  • Pre-Prompt voor het initialiseren van een gesprek– Biedt context voordat het gesprek wordt gestart om de manier waarop de chatbot reageert te vertekenen.

In dit geval hebben we de temperatuur en threads verhoogd, het 13B-model geselecteerd en de chatbot verteld dat het een piraat is .

Hier is een voorbeeld van hoe het gesprek verliep.

U kunt praten over alles wat u maar wilt met Alpaca en u hoeft zich geen zorgen te maken over wat er met uw gegevens gebeurt. Het blijft op uw apparaat staan, te allen tijde onder uw controle.

Onthoud dat ChatGPT, Alpaca en andere chatbots betrouwbaar lijken, maar dat zijn ze op dit moment niet. Ze belichamen heel goed het gevoel: “Als je ze niet kunt verblinden met schittering, verbijster ze dan met BS.” Hun neiging om dingen te verzinnen wordt wel 'hallucinerend' genoemd. Vertrouw niet op hen voor iets essentieels, vooral niet voor iets dat cruciaal is voor uw werk of gezondheid. Ze mogen op dit moment alleen worden gebruikt voor entertainment of experimentele doeleinden.

De technologie wordt echter alleen maar beter met de tijd — het zal niet lang meer duren voordat we Alpaca (of andere lokaal beheerde AI) geïntegreerd zien in Discord-servers, Minecraft-mods en een aantal andere creatieve toepassingen. Verdere verfijning zal ook resulteren in snellere, nauwkeurigere modellen die op zwakkere hardware kunnen draaien.

LEES VOLGENDE

  • › Werk uw pc nu bij om de beveiligingsfout van Snipping Tool te verhelpen
  • › Je iPhone, iPad, Mac, & Apple Watch krijgt vandaag nieuwe functies
  • › Microsoft Teams is nu sneller, met een Windows 11-achtig ontwerp
  • › Intel's nieuwe kleine pc heeft een 13e generatie Core i7 CPU
  • › Documenten online ondertekenen met SIGN.PLUS
  • › SIMO Solis Lite Hotspot Review: Wi-Fi Wingman in zakformaat