Aspetti principali
- L'utilizzo di chatbot locali basati su LLM rafforza la privacy dei dati, aumenta la disponibilità dei chatbot e aiuta a ridurre al minimo il costo degli abbonamenti mensili all'intelligenza artificiale online.
- I chatbot locali basati su LLM DistilBERT, ALBERT, GPT-2 124M e GPT-Neo 125M possono funzionare bene su PC con da 4 a 8 GB di RAM.
I chatbot IA locali, basati su modelli linguistici di grandi dimensioni (LLM), funzionano solo sul tuo computer dopo averli scaricati e configurati correttamente. Di solito hanno bisogno di molta memoria del computer (RAM) per funzionare bene. Tuttavia, alcuni ottimi modelli possono funzionare su computer con un minimo di 4 GB di RAM.
Perché utilizzare i chatbot LLM locali?
I chatbot IA online sono strumenti potenti che possono aumentare seriamente la tua efficienza quotidiana. Digiti ciò che desideri e questi LLM creano testo in base alle tue istruzioni. Se hai ancora familiarità con l'uso dei chatbot AI, consulta il nostro articolo comparativo sulle differenze tra ChatGPT, Claude e Perplexity per comprendere le nozioni di base.
Perché potresti utilizzare un chatbot locale invece di una popolare opzione online? Innanzitutto, è semplicemente divertente avere un chatbot con cui puoi parlare solo tu. Alla fine, però, dipende da quanto tieni alla privacy, alla disponibilità e ai costi.
Per quanto imbarazzante possa essere per alcuni, non sono troppo preoccupato se i creatori di chatbot online possono guardare la cronologia della mia chat e vedere che ho bisogno di sapere quanto tempo ci vuole per arrostire un tacchino o come lucidarmi adeguatamente le scarpe. In ogni caso, ci sono informazioni che potrei voler condividere con un chatbot e che dovrebbero rimanere sempre tra noi.
Ad esempio, ho lavorato di più con il chatbot GPT-Neo 125M locale basato su LLM per aiutarmi a organizzare le mie finanze. Può diventare piuttosto complicato con i pagamenti dei prestiti studenteschi, i calcoli degli interessi e simili. È molto utile discutere di idee e porre domande a un chatbot locale che non può mai scappare dal laptop e vendere i miei segreti.
Bisogna anche considerare che le violazioni dei big data sono spaventosamente comuni. Pertanto, è meglio conservare le informazioni sensibili su di te e sui tuoi cari sul tuo personal computer piuttosto che nel database di una grande azienda di intelligenza artificiale.
Allo stesso modo, alcuni chatbot locali sono completamente indipendenti da Internet una volta installati, quindi non è necessario essere connessi a Internet per chattare. Altri avranno bisogno di un accesso occasionale a Internet per gli aggiornamenti. Tuttavia, i chatbot locali sono accessibili in modo più affidabile rispetto a quelli online, poiché non devi preoccuparti di interruzioni del servizio nei momenti importanti.
Infine, i chatbot online fruttano alle loro aziende centinaia di milioni di dollari in canoni di abbonamento. OpenAI, la società dietro i famosi modelli ChatGPT, attualmente addebita $ 20 al mese per accedere al suo ultimo chatbot. Anche il suo stretto rivale, Anthropic, addebita $ 20 al mese per le sue funzionalità più avanzate. Dovrai spendere $ 240 o più all'anno se ti abboni a più servizi.
I chatbot locali possono aiutare a mitigare tali costi. Non tutti, però, sono gratuiti. Alcuni richiedono licenze e/o costi di utilizzo, come GPT-3 di OpenAI. Tuttavia, diversi modelli di chatbot locali open source possono essere scaricati e utilizzati gratuitamente. Questi dovrebbero essere usati strategicamente per problemi più facili. Quindi, passi a quelli online certamente più avanzati solo quando è assolutamente necessario.
Questi chatbot LLM funzionano su PC con poca RAM
Ho dovuto procurarmi più chatbot gratuiti basati su LLM che funzionassero su PC con poca RAM principalmente perché, fino a poco tempo fa, era tutto ciò che potevo permettermi.
Pertanto, ho scoperto che i modelli DistilBERT e ALBERT hanno la configurazione più gestibile, in parte perché sono così leggeri. Leggeri significa che questi modelli sono progettati per essere altamente efficienti in termini di utilizzo della memoria e potenza di elaborazione. Ciò limita i poteri dei chatbot per compiti complessi, che altri chatbot online potrebbero facilmente gestire. Ma entrambi possono funzionare comodamente con soli 4 GB di RAM, il che è un grande merito per gli sviluppatori di Hugging Face.
Per DistilBERT, gli sviluppatori di Hugging Face hanno concentrato molta potenza in un modello piccolo ed efficiente ottimizzandone il design. Penso che DistilBERT sia uno dei modelli più efficienti, se non il più efficiente, finora disponibile.
ALBERT è progettato in modo diverso rispetto a DistilBERT, poiché funziona condividendo parti del modello in modo da aiutarlo a elaborare i dati rapidamente senza utilizzare molta memoria.
Consiglio vivamente di iniziare come principiante con DistilBERT e ALBERT, anche se hai un PC con memoria elevata. Iniziare con questi due modelli mi ha permesso di apprendere le basi senza essere sopraffatto dalla complessità dei modelli più grandi.
Se ti senti ambizioso o hai una macchina con 8 GB o più, potresti scavalcare i BERT e lavorare con i modelli GPT-2 di OpenAI. Che sono come i coltellini svizzeri del mondo dell'intelligenza artificiale locale. I modelli GPT-2 sono disponibili in diverse dimensioni, alcuni più adatti a PC con poca RAM rispetto ad altri.
La versione con parametro 124M è la più leggera. Nonostante la 124M sia meno potente dei suoi fratelli chatbot online, ha un pugno nella creazione di linguaggi e, secondo la mia esperienza, è almeno alla pari, se non di più, in grado di creare linguaggi rispetto ai due BERT.
Il mio LLM leggero preferito in assoluto è il GPT-Neo 125M grazie alle sue opzioni di personalizzazione regolabili. È stato sviluppato dagli rispettati sviluppatori di EleutherAI ed è come il cugino open source di GPT-2.
Il Neo 125M è progettato per bilanciare prestazioni e requisiti di risorse. Le prestazioni di questo modello sono alla pari con GPT-2, ma sono state adattate per utilizzare la memoria in modo più efficiente. È abbastanza potente per molte attività ma abbastanza leggero da funzionare con soli 8 GB, anche se ha difficoltà con qualcosa di meno.
Come iniziare con i chatbot LLM locali
Gestire il tuo chatbot è più facile di quanto pensi. Per prima cosa devi sapere cosa può fare il tuo computer. Controlla quanta memoria (RAM) hai e quanto è veloce il tuo computer. Utilizzando le informazioni fornite sopra, assicurati che il sistema del tuo computer possa funzionare con il chatbot che desideri.
Una volta che lo sai, puoi scaricare il software giusto. Potresti aver bisogno di qualcosa chiamato Docker, uno strumento che ti aiuta a eseguire le applicazioni in scatole speciali chiamate contenitori, garantendo che funzionino allo stesso modo su qualsiasi computer.
Cerca il software LLM su siti Web come Hugging Face e GitHub. Assicurati di leggere le istruzioni per ciascun modello che utilizzi per capire come funzionano. Quindi scarica e chatta. Ricordati di tenere d'occhio anche eventuali aggiornamenti software del modello.
Se il tuo computer non è molto potente, dovresti davvero iniziare con DistilBERT o ALBERT. Man mano che impari di più, puoi provare GPT-2 con la nostra guida completa all'installazione di GPT-2 per Windows o provare decine di altri modelli con la nostra guida LM Studio.
Avrai domande. È probabile che a molte sia già stata data risposta nelle comunità o nei forum online. Dai un'occhiata a r/MachineLearning di Reddit, alla community di Hugging Face o al nostro articolo dettagliato su come funzionano i LLM se rimani bloccato in qualsiasi momento.
Non lasciare che l'hardware ti impedisca di cimentarti con i chatbot LLM locali. Esistono molte opzioni che possono essere eseguite in modo efficiente su sistemi con poca memoria. Provateli oggi!
Leave a Reply
You must be logged in to post a comment.