Bara 4–8 GB RAM? Dessa lokala LLM kan arbeta direkt på din dator

Nyckelalternativ

• Att använda lokala LLM-drivna chatbots stärker datasekretessen, ökar chatbot-tillgängligheten och hjälper till att minimera kostnaderna för månatliga online AI-prenumerationer.
• Lokala LLM-drivna chatbots DistilBERT, ALBERT, GPT-2 124M och GPT-Neo 125M kan fungera bra på datorer med 4 till 8 GB RAM.

Lokala AI-chatbotar, som drivs av stora språkmodeller (LLM), fungerar bara på din dator efter att ha laddat ner och konfigurerat dem korrekt. De behöver vanligtvis mycket datorminne (RAM) för att fungera bra. Men några bra modeller kan prestera på datorer med så lite som 4 GB RAM.

Varför använda lokala LLM Chatbots?

Online AI chatbots är kraftfulla verktyg som på allvar kan öka din dagliga effektivitet. Du skriver in vad du vill, och dessa LLMs skapar text baserat på dina instruktioner. Om du fortfarande precis har blivit bekant med att använda AI-chatbots, kolla in vår jämförelseartikel om skillnader mellan ChatGPT, Claude och Perplexity för att få grepp om grunderna.

Varför kan du använda en lokal chatbot istället för ett populärt onlinealternativ? För det första är det bara roligt att ha en chatbot som bara du kan prata med. I slutändan beror det dock på hur mycket du bryr dig om integritet, tillgänglighet och kostnad.

Hur pinsamt det än kan vara för vissa är jag inte så orolig om online-chatbottillverkare kan titta på min chatthistorik och se att jag behöver veta hur lång tid det tar att steka en kalkon eller hur jag ska putsa mina skor ordentligt. Oavsett så finns det information som jag kanske vill dela med en chatbot som alltid ska stanna mellan oss.

Till exempel har jag arbetat mest med den lokala LLM-drivna GPT-Neo 125M chatboten för att hjälpa mig att organisera min ekonomi. Det kan bli ganska komplicerat med betalningar av studielån, ränteberäkningar och liknande. Det är till stor hjälp att prata igenom idéer och ställa frågor till en lokal chatbot som aldrig kan fly från den bärbara datorn och sälja mina hemligheter.

Du måste också tänka på att stora dataintrång är skrämmande vanliga. Som sådan är det bättre för dig att behålla känslig information om dig själv och nära och kära på din persondator snarare än i något stort AI-företags databas.

På samma sätt är vissa lokala chatbotar helt internetoberoende när de väl har installerats, så du behöver inte vara ansluten till internet för att chatta. Andra kommer att behöva tillgång till internet då och då för uppdateringar. Ändå är lokala chatbots mer tillförlitligt tillgängliga än online eftersom du inte behöver oroa dig för tjänstavbrott vid viktiga ögonblick.

Slutligen genererar online chatbots sina företag hundratals miljoner dollar i prenumerationsavgifter. OpenAI, företaget bakom de berömda ChatGPT-modellerna, tar för närvarande $20 per månad för att komma åt sin senaste chatbot. Dess nära rival, Anthropic, tar också betalt $20 per månad för sina mest avancerade funktioner. Du kommer att behöva spendera $240 eller mer årligen om du prenumererar på flera tjänster.

Lokala chatbots kan hjälpa till att minska sådana kostnader. Alla är dock inte gratis. Vissa kräver licens- och/eller användningsavgifter, som OpenAI's GPT-3. Flera lokala chatbot-modeller med öppen källkod är dock gratis att ladda ner och arbeta med. Dessa bör användas strategiskt för lättare problem. Så du uppskalar till de visserligen mer avancerade online bara när du absolut måste.

Dessa LLM Chatbots körs på datorer med låg RAM

Jag har varit tvungen att skaffa flera gratis LLM-drivna chatbots som fungerar på datorer med låg RAM, främst för att det tills nyligen var allt jag hade råd med.

Som sådan har jag funnit att DistilBERT- och ALBERT-modellerna har den mest hanterbara inställningen, delvis för att de är så lätta. Lättvikt betyder att dessa modeller är designade för att vara mycket effektiva när det gäller minnesanvändning och processorkraft. Detta begränsar deras chatbot-befogenheter för komplexa uppgifter, som andra online-chatbotar lätt skulle kunna hantera. Men de kan båda bekvämt köra på endast 4 GB RAM, vilket är en stor kredit till deras utvecklare på Hugging Face.

strong>

För DistilBERT packade Hugging Face-utvecklarna mycket kraft i en liten, effektiv modell genom att optimera dess design. Jag tror att DistilBERT är en av, om inte den mest effektiva, modeller som finns hittills.

ALBERT är designad annorlunda än DistilBERT, eftersom den fungerar genom att dela delar av modellen på ett sätt som hjälper den att bearbeta data snabbt utan att använda mycket minne.

Jag rekommenderar starkt att börja som nybörjare med DistilBERT och ALBERT, även om du har en dator med högt minne. Från och med dessa två modeller fick jag lära mig grunderna utan att bli överväldigad av komplexiteten hos större modeller.

Om du känner dig ambitiös eller har en maskin med 8 GB eller mer, kan du hoppa över BERTs och arbeta med OpenAIs GPT-2-modeller. Som är som de schweiziska arméknivarna i den lokala AI-världen. GPT-2-modeller finns i olika storlekar, vissa mer lämpade för datorer med låg RAM än andra.

124M parameterversionen är den lättaste. Trots att 124M är mindre kraftfull än sina online-chatbot-syskon, ger den en kraft för språkskapande och, enligt min erfarenhet, är den åtminstone i nivå med, om inte mer, kapabel till språkskapande än de två BERT:erna.

Min favorit lätta LLM överlägset är GPT-Neo 125M på grund av dess justerbara anpassningsalternativ. Det utvecklades av de respekterade utvecklarna på EleutherAI och är som kusinen med öppen källkod till GPT-2.

Neo 125M är designad för att balansera prestanda och resurskrav. Den här modellens prestanda är i nivå med GPT-2, men den är justerad för att använda minnet mer effektivt. Den är tillräckligt kraftfull för många uppgifter men ändå lätt nog att köras på endast 8 GB, även om den kämpar med allt mindre än så.

figur>

Hur man kommer igång med lokala LLM Chatbots

Att driva din egen chatbot är enklare än du tror. Först måste du veta vad din dator kan göra. Kontrollera hur mycket minne (RAM) du har och hur snabb din dator är. Använd informationen ovan, se till att din dators system kan fungera med den chatbot du vill ha.

När du vet detta kan du ladda ner rätt programvara. Du kanske behöver något som heter Docker, ett verktyg som hjälper dig att köra applikationer i speciella lådor som kallas behållare, vilket säkerställer att de fungerar likadant på vilken dator som helst.

Leta efter LLM-programvara på webbplatser som Hugging Face och GitHub. Se till att läsa instruktionerna för varje modell du använder för att förstå hur de fungerar. Ladda sedan ner och chatta bort. Kom ihåg att hålla utkik efter eventuella uppdateringar av modellprogramvara också.

Om din dator inte är särskilt kraftfull bör du verkligen börja med DistilBERT eller ALBERT. När du lär dig mer kan du prova GPT-2 med vår omfattande GPT-2 installationsguide för Windows eller prova dussintals andra modeller med vår LM Studio-guide.

Du kommer att ha frågor. Chansen är stor att många redan har besvarats i onlinecommunities eller forum. Kolla in Reddits r/MachineLearning, Hugging Face-gemenskapen eller vår detaljerade artikel om hur LLM:er fungerar om du fastnar vid något tillfälle.

Låt inte hårdvara hindra dig från att prova lokala LLM-chatbotar. Det finns många alternativ som kan köras effektivt på system med lågt minne. Ge dem ett försök idag!