Slechts 4-8 GB RAM? Deze lokale LLM's kunnen rechtstreeks op uw pc werken

Belangrijkste punten

• Het gebruik van lokale LLM-aangedreven chatbots versterkt de gegevensprivacy, verhoogt de beschikbaarheid van chatbots en helpt de kosten van maandelijkse online AI-abonnementen te minimaliseren.
• Lokale LLM-aangedreven chatbots DistilBERT, ALBERT, GPT-2 124M en GPT-Neo 125M kunnen goed werken op pc's met 4 tot 8 GB RAM.

Lokale AI-chatbots, aangedreven door grote taalmodellen (LLM's), werken alleen op uw computer nadat u ze correct hebt gedownload en ingesteld. Ze hebben meestal veel computergeheugen (RAM) nodig om goed te kunnen werken. Een paar geweldige modellen kunnen echter presteren op computers met slechts 4 GB RAM.

Waarom lokale LLM-chatbots gebruiken?

Online AI-chatbots zijn krachtige tools die uw dagelijkse efficiëntie aanzienlijk kunnen verhogen. U typt wat u wilt, en deze LLM's maken tekst op basis van uw instructies. Als je nog maar net vertrouwd raakt met het gebruik van AI-chatbots, bekijk dan ons vergelijkingsartikel over de verschillen tussen ChatGPT, Claude en Perplexity om grip te krijgen op de basisprincipes.

Waarom zou u een lokale chatbot gebruiken in plaats van een populaire online optie? Ten eerste is het gewoon leuk om een ​​chatbot te hebben waar alleen jij mee kunt praten. Uiteindelijk hangt het echter af van hoeveel u geeft om privacy, beschikbaarheid en kosten.

Hoe gênant het voor sommigen ook mag zijn, ik maak me niet al te veel zorgen als online chatbotmakers naar mijn chatgeschiedenis kunnen kijken en zien dat ik moet weten hoe lang het duurt om een ​​kalkoen te braden of hoe ik mijn schoenen goed moet poetsen. Hoe dan ook, er is informatie die ik misschien met een chatbot wil delen en die altijd tussen ons moet blijven.

Ik heb bijvoorbeeld het meest gewerkt met de lokale LLM-aangedreven GPT-Neo 125M chatbot om mijn financiën te organiseren. Het kan behoorlijk ingewikkeld worden met studieleningen, renteberekeningen en dergelijke. Het is erg handig om ideeën te bespreken en vragen te stellen aan een lokale chatbot die nooit van de laptop kan ontsnappen en mijn geheimen kan verkopen.

Je moet ook bedenken dat grote datalekken angstaanjagend vaak voorkomen. Daarom kun je beter gevoelige informatie over jezelf en je dierbaren op je eigen computer bewaren dan in de database van een groot AI-bedrijf.

Op dezelfde manier zijn sommige lokale chatbots na installatie volledig internetonafhankelijk, dus u hoeft geen verbinding met internet te hebben om te chatten. Anderen hebben af ​​en toe internettoegang nodig voor updates. Toch zijn lokale chatbots betrouwbaarder toegankelijk dan online chatbots, omdat u zich op belangrijke momenten geen zorgen hoeft te maken over servicestoringen.

Ten slotte genereren online chatbots hun bedrijven honderden miljoenen dollars aan abonnementskosten. OpenAI, het bedrijf achter de beroemde ChatGPT-modellen, rekent momenteel $20 per maand aan voor toegang tot zijn nieuwste chatbot. Zijn naaste rivaal, Anthropic, rekent ook $ 20 per maand voor de meest geavanceerde functies. U moet jaarlijks $ 240 of meer uitgeven als u zich op meerdere services abonneert.

Lokale chatbots kunnen dergelijke kosten helpen beperken. Ze zijn echter niet allemaal gratis. Voor sommige zijn licentie- en/of gebruikskosten vereist, zoals OpenAI's GPT-3. Verschillende open-source lokale chatbotmodellen zijn echter gratis te downloaden en ermee te werken. Deze moeten strategisch worden gebruikt voor eenvoudigere problemen. U kunt dus alleen opschalen naar de weliswaar geavanceerdere online-versies als dat absoluut noodzakelijk is.

Deze LLM-chatbots draaien op pc's met weinig RAM

Ik heb meerdere gratis door LLM aangedreven chatbots moeten aanschaffen die werkten op pc's met een laag RAM-geheugen, vooral omdat dat tot voor kort alles was wat ik me kon veroorloven.

Daarom vond ik dat de DistilBERT- en ALBERT-modellen de meest beheersbare configuratie hebben, deels omdat ze zo licht van gewicht zijn. Lichtgewicht betekent dat deze modellen zijn ontworpen om zeer efficiënt te zijn wat betreft geheugengebruik en verwerkingskracht. Dit beperkt hun chatbot-krachten voor complexe taken, die andere online chatbots gemakkelijk aankunnen. Maar ze kunnen allebei comfortabel werken op slechts 4 GB RAM, wat een grote eer is voor hun ontwikkelaars bij Hugging Face.

Voor DistilBERT hebben de ontwikkelaars van Hugging Face veel kracht in een klein, efficiënt model gestopt door het ontwerp te optimaliseren. Ik denk dat DistilBERT een van de, zo niet het meest efficiënte, modellen is die tot nu toe beschikbaar zijn.

ALBERT is anders ontworpen dan DistilBERT, omdat het werkt door delen van het model te delen op een manier die het helpt gegevens snel te verwerken zonder veel geheugen te gebruiken.

Ik raad ten zeerste aan om als beginner te beginnen met DistilBERT en ALBERT, zelfs als je een pc met veel geheugen hebt. Door met deze twee modellen te beginnen, kon ik de basis leren zonder overweldigd te worden door de complexiteit van grotere modellen.

Als je ambitieus bent of een machine hebt met 8 GB of meer, kun je de BERT's overslaan en werken met de GPT-2-modellen van OpenAI. Die lijken op de Zwitserse zakmessen van de lokale AI-wereld. GPT-2-modellen zijn er in verschillende maten, sommige meer geschikt voor pc's met een laag RAM-geheugen dan andere.

De 124M-parameterversie is de lichtste. Ondanks dat de 124M minder krachtig is dan zijn online chatbot-broers en zussen, heeft hij een enorme kracht op het gebied van taalcreatie en is hij, naar mijn ervaring, op zijn minst vergelijkbaar, zo niet beter, in staat tot taalcreatie dan de twee BERT's.

Mijn favoriete lichtgewicht LLM is veruit de GPT-Neo 125M vanwege de aanpasbare aanpassingsmogelijkheden. Het is ontwikkeld door de gerespecteerde ontwikkelaars van EleutherAI en lijkt op de open-source neef van GPT-2.

De Neo 125M is ontworpen om de prestatie- en hulpbronnenvereisten in evenwicht te brengen. De prestaties van dit model zijn vergelijkbaar met GPT-2, maar zijn aangepast om het geheugen efficiënter te gebruiken. Hij is krachtig genoeg voor veel taken en toch licht genoeg om op slechts 8 GB te werken, hoewel hij met minder dan dat moeite heeft.

Hoe u aan de slag kunt gaan met lokale LLM-chatbots

Je eigen chatbot runnen is eenvoudiger dan je denkt. Eerst moet u weten wat uw computer kan doen. Controleer hoeveel geheugen (RAM) je hebt en hoe snel je computer is. Zorg er aan de hand van de hierboven verstrekte informatie voor dat het systeem van uw computer kan werken met de gewenste chatbot.

Zodra u dit weet, kunt u de juiste software downloaden. Mogelijk hebt u iets nodig dat Docker heet, een hulpmiddel waarmee u toepassingen kunt uitvoeren in speciale vakken die containers worden genoemd, zodat ze op elke computer hetzelfde werken.

Zoek naar LLM-software op websites als Hugging Face en GitHub. Zorg ervoor dat u de instructies leest voor elk model dat u gebruikt, zodat u begrijpt hoe ze werken. Download en chat vervolgens. Houd ook eventuele updates van de modelsoftware in de gaten.

Als uw computer niet erg krachtig is, moet u echt beginnen met DistilBERT of ALBERT. Naarmate u meer te weten komt, kunt u GPT-2 uitproberen met onze uitgebreide GPT-2-installatiegids voor Windows of tientallen andere modellen uitproberen met onze LM Studio-gids.

U zult vragen hebben. De kans is groot dat veel vragen al zijn beantwoord in online communities of forums. Bekijk Reddit's r/MachineLearning, de Hugging Face-community, of ons gedetailleerde artikel over hoe LLM's werken als je op enig moment vastloopt.

Laat hardware je er niet van weerhouden om lokale LLM-chatbots uit te proberen. Er zijn tal van opties die efficiënt kunnen werken op systemen met weinig geheugen. Probeer ze vandaag nog!