MidJourneyPuoi eseguire un'intelligenza artificiale simile a ChatGPT sul tuo PC con Alpaca, un chatbot creato dai ricercatori di Stanford. Supporta Windows, macOS e Linux. Hai solo bisogno di almeno 8 GB di RAM e circa 30 GB di spazio di archiviazione gratuito.
I chatbot sono di gran moda in questo momento e tutti vogliono un pezzo dell'azione. Google ha Bard, Microsoft ha Bing Chat e ChatGPT di OpenAI è praticamente sinonimo di AI a questo punto. Ma cosa succede se non vuoi fare affidamento su un servizio cloud per il tuo chatbot? Abbiamo un'intelligenza artificiale simile a ChatGPT che puoi scaricare — un alpaca.
Sommario
Cos'è l'alpaca?
Come funziona l'alpaca Confronta con ChatGPT?
Di cosa hai bisogno per eseguire Alpaca?
Come eseguire Alpaca in locale sul tuo PC
Installa il sottosistema Windows per Linux 2
Installa Docker
Installa GIT su Windows
Installa Serge e Alpaca
Usa Serge e Alpaca
Cos'è Alpaca?
Alpaca è un modello linguistico (un chatbot, fondamentalmente), molto simile a ChatGPT. È in grado di rispondere a domande, ragionare, raccontare barzellette e praticamente ogni altra cosa che ci si aspetta dai chatbot. Alpaca è stato creato dai ricercatori di Stanford perfezionando LLaMA di Facebook.
A differenza di ChatGPT e della maggior parte degli altri chatbot disponibili oggi, Alpaca funziona completamente sul tuo PC. Ciò significa che nessuno può spiare le tue conversazioni o ciò che chiedi ad Alpaca, e nemmeno i tuoi scambi possono essere trapelati accidentalmente. Significa anche che non devi pagare alcun canone mensile, puoi addestrare ulteriormente il modello per soddisfare meglio le tue esigenze se disponi dell'hardware e puoi integrarlo in qualsiasi applicazione desideri. Sei limitato solo dal tuo hardware e dalle tue capacità di programmazione.
Tuttavia, funziona magnificamente anche come un normale vecchio chatbot con cui puoi parlare, e ti mostreremo come per eseguirlo praticamente su qualsiasi PC là fuori.
Come si confronta Alpaca con ChatGPT?
Ci limiteremo a toglierlo di mezzo: ChatGPT, in particolare ChatGPT che esegue GPT -4, al momento è più intelligente e veloce di Alpaca.
La velocità di Alpaca è per lo più limitata dal computer su cui è in esecuzione — se hai un PC da gioco incredibilmente veloce con un sacco di core e molta RAM, otterrai buone prestazioni. I PC più lenti con meno core impiegheranno più tempo a generare risposte. Naturalmente, non è esattamente giusto o addirittura ragionevole confrontarlo con ChatGPT a questo proposito — non sappiamo su che tipo di computer sia in esecuzione ChatGPT, ma è sicuramente più robusto del tuo PC desktop medio.
Al momento esistono tre varianti principali di Alpaca, 7B, 13B e 30B. In generale, maggiore è il numero, più intelligente sarà il chatbot.
L'alpaca, in particolare il modello 7B, è notevolmente “più stupido” di ChatGPT. Non ragiona bene e di certo non supererà il test di Turing. Tuttavia, il 7B è comunque ottimo se desideri un suggerimento per una ricetta.
I modelli 13B e 30B sono tutta un'altra storia. 13B è in grado di fornire una conversazione coerente e umana e può rispondere a domande complesse. 30B è ancora più impressionante, se hai l'hardware per eseguirlo ed è a una distanza impressionante da ChatGPT. Se richiesto, cercherà filosoficamente o farà una battuta senza perdere un colpo.
Di cosa hai bisogno per eseguire Alpaca?
Alpaca ha requisiti di sistema piuttosto flessibili. Queste linee guida sono al di sopra del minimo indispensabile, ma sono buone linee guida. Lo installeremo anche su Windows. Se stai installando questo su un sistema che esegue Linux o macOS, salta semplicemente la sezione Sottosistema Windows per Linux — non è rilevante per te.
- 16 GB di RAM
- 32 GB è meglio ed è necessario se vuoi eseguire il modello 30B
- 35 GB di spazio di archiviazione su un SSD se desideri tutti e tre i modelli.
- 4 GB per il modello 7B, 8 GB per il modello 13B e 20 GB per il modello 30B
- 500 MB per Ubuntu predefinito con WSL2
- Qualche altro GB tra altre dipendenze
- Una CPU moderna è l'ideale
- Qualsiasi CPU Ryzen
- Processore Intel di settima generazione o più recente
- Sottosistema Windows per Linux 2 (WSL2)
- GIT
- Docker
- Un progetto comunitario, Serge, che offre Alpaca una bella interfaccia web
Avviso: al momento non c'è motivo di sospettare che questo particolare progetto abbia gravi problemi di sicurezza o sia dannoso. Abbiamo esaminato il codice ed eseguito noi stessi il software e non abbiamo trovato nulla di preoccupante. Ciò non significa che sia o rimarrà al sicuro. Sii sempre cauto con le cose che trovi su internet e rivaluta periodicamente la sicurezza.
Come eseguire Alpaca localmente sul tuo PC
È importante seguire questi passaggi nell'ordine in cui sono indicati. Docker probabilmente si romperà se non lo fai, richiedendo una reinstallazione completa sia di WSL2 che di Docker.
Installa il sottosistema Windows per Linux 2
Il sottosistema Windows di Microsoft per Linux 2 (WSL2) consente di eseguire il software Linux in Windows. Ha un basso sovraccarico ed è davvero utile in molti casi. Docker per Windows si basa su WSL2, quindi dobbiamo prima installare WSL2.
Nota: se hai già installato WSL2, esegui semplicemente wsl –update in PowerShell per assicurarti che tutto sia aggiornato.
Apri una finestra di PowerShell come amministratore, quindi inserisci il command:
wsl –install
Ci vorrà un po' per scaricare tutti i file WSL2 e Ubuntu. È necessario riavviare il PC al termine dell'installazione.
Una volta eseguito il riavvio, riapri PowerShell (non necessariamente come amministratore) ed esegui:
wsl -l -v
Dovresti vedere qualcosa come l'immagine qui sotto se tutto ha funzionato correttamente. Inoltre, non è necessario installare Ubuntu in particolare. Puoi installare qualsiasi distro che ti piace, Ubuntu è solo quella predefinita.
RELAZIONATO: Come eseguire ChatGPT utilizzando ShellGPT dal terminale Ubuntu
Installa Docker
Docker è un programma che consente di eseguire programmi in un “contenitore.” I container sono simili alle macchine virtuali, ma tendono ad avere meno sovraccarico e sono più performanti per molte applicazioni. Serge usa Docker per rendere l'installazione super conveniente.
RELAZIONATO: Cosa fa Docker e quando dovresti usarlo?
Innanzitutto, scarica il programma di installazione di Docker dal sito Web di Docker. Se intendi eseguire Docker su Linux o macOS, assicurati di scaricare il programma di installazione appropriato.
Nota: se stai eseguendo un server Linux headless, ti consigliamo di seguire le istruzioni appropriate per la tua distribuzione Linux per far funzionare Docker.
Esegui il programma di installazione e preparati ad attendere qualche minuto. Docker impiegherà un po' di tempo e organizzerà un sacco di cose dietro le quinte. Al termine, riavvia il PC.
Dopo il riavvio, apri PowerShell ed esegui di nuovo wsl -l -v. Questa volta dovresti vedere anche alcune voci relative a Docker.
< h3>Installa GIT su Windows
L'ultimo prerequisito è Git, che useremo per scaricare (e aggiornare) Serge automaticamente da Github. Non è strettamente necessario poiché puoi sempre scaricare lo ZIP ed estrarlo manualmente, ma Git è meglio.
Vai sul sito web di Git e scarica la versione corretta per il tuo sistema operativo. Gli utenti Windows devono solo eseguire l'eseguibile. Assicurati di guardare almeno le opzioni di installazione invece di fare semplicemente clic rapidamente su tutte le opzioni. Uno, mostrato nello screenshot qui sotto, è assolutamente fondamentale.
Al termine dell'installazione di Git, sei pronto per installare Serge e Alpaca.
Installa Serge e Alpaca
In primo luogo, assicurati che Docker Desktop sia in esecuzione. Quindi, apri PowerShell o Windows Terminal con una finestra di PowerShell aperta (non come amministratore) ed esegui il seguente comando:
git clone https://github.com/nsarrazin/serge.git && cd serge
Questo scarica i file da GitHub in una cartella sul tuo PC, quindi cambia la directory attiva nella cartella che è stata creata.
Il prossimo comando che devi eseguire è:
cp .env.sample .env
Quella riga crea una copia di .env.sample e nomina la copia “.env .” Il file contiene argomenti relativi al database locale che memorizza le tue conversazioni e la porta che il server web locale utilizza quando ti connetti.
Quindi esegui:
docker compose up -d
Docker Compose raccoglie insieme una serie di contenitori diversi in un pacchetto ordinato. Puoi controllare il file docker-compose.yml nella cartella Serge se vuoi vedere più specificamente cosa è coinvolto qui.
L'ultimo comando avvierà un download, e qui devi fare una scelta prima di procedere. Esistono tre diverse varianti che puoi scaricare: 7B, 13B e 30B. 7B è il più semplice e “stupido” modello, mentre 30B è il più sofisticato e intelligente. 13B è la via di mezzo.
Variante Dimensione download RAM libera richiesta RAM di sistema consigliata su Windows RAM di sistema consigliata su Linux 7B 4 GB 4 GB 16 GB 8 GB 13B 8 GB 8 GB 16 GB 16 GB 30B 20 20 GB 64 GB (probabile) 32 GB
Le installazioni Linux (e probabilmente macOS) saranno in grado di farla franca con meno RAM di sistema rispetto alle installazioni Windows — Windows è un po 'un maiale della RAM. Probabilmente dovresti iniziare prima con la variante 7B poiché è l'opzione meno impegnativa. Puoi sempre scaricare 13B o 30B in seguito, se lo desideri.
Esegui il seguente comando per scaricare il modello 7B (o sostituisci 13B o 30B).
docker compose exec api python3 /usr /src/app/utils/download.py tokenizer 7B
Preparati ad aspettare, specialmente se opti per la variante 30B. Il server Huggingface sembra raggiungere il massimo a circa 20 megabyte al secondo, quindi nella migliore delle ipotesi vedrai 50 secondi per gigabyte scaricato.
Usa Serge e Alpaca
Docker e tutti i contenitori richiesti sono attualmente in esecuzione se hai seguito queste istruzioni, tuttavia, dovrai riattivarli se riavvii il computer. Per farlo, basta aprire Docker Desktop e fare clic sui piccoli pulsanti triangolari. Le icone a sinistra del “Nome” colonna diventa verde quando i contenitori sono in esecuzione.
Tutto è installato e pronto per l'uso a questo punto. Basta aprire il browser e inserire “localhost:8008″ nella barra degli indirizzi, proprio come faresti per visitare Facebook o qualsiasi altro sito web.
Nota: se stai ospitando Alpaca/Serge su un altro computer, dovrai inserire l'indirizzo IP locale di quel dispositivo invece di localhost.
La schermata principale mostra le tue conversazioni precedenti a sinistra e le impostazioni per una nuova chat visualizzate al centro.
È disponibile un discreto numero di impostazioni, ma ce ne sono cinque a cui vorrai davvero prestare attenzione:
- Temperatura – Determina la libertà di risposta dell'IA. I numeri più bassi danno luogo a risposte più rigide, mentre i numeri più alti sono più creativi.
- Lunghezza massima del testo generato in token – Quanto possono essere lunghe le risposte che il bot scrive.
- Scelta del modello – Scegli tra 7B, 13B, 30B e qualsiasi altro modello che installi.
- n_thread – Il numero di thread che Serge/Alpaca può usare sulla tua CPU. L'assegnazione di più migliorerà le prestazioni
- Richiesta preliminare per l'inizializzazione di una conversazione– Fornisce il contesto prima dell'inizio della conversazione per influenzare il modo in cui il chatbot risponde.
In questo caso, abbiamo alzato la temperatura e i thread, selezionato il modello 13B e detto al chatbot che si tratta di un pirata .
Ecco un esempio di come è andata la conversazione.
Puoi parlare di tutto ciò che desideri con Alpaca e non devi preoccuparti di ciò che sta accadendo ai tuoi dati. Rimane sul tuo dispositivo, sotto il tuo controllo in ogni momento.
Ricorda, ChatGPT, Alpaca e altri chatbot sembrano affidabili, ma in questo momento non lo sono. Incarnano perfettamente il sentimento: “Se non puoi abbagliarli con la brillantezza, confondili con BS.” La loro tendenza a inventare cose è stata soprannominata “allucinante.” Non fare affidamento su di loro per nulla di essenziale, soprattutto non per qualcosa di critico per il tuo lavoro o la tua salute. Dovrebbero essere utilizzati solo per scopi di intrattenimento o sperimentali in questo momento.
Tuttavia, la tecnologia migliorerà solo con il tempo — non passerà molto tempo prima che Alpaca (o altra intelligenza artificiale gestita localmente) sia integrata nei server Discord, nelle mod di Minecraft e in qualsiasi altra applicazione creativa. Un ulteriore perfezionamento si tradurrà anche in modelli più veloci e accurati che possono essere eseguiti su hardware più debole.
LEGGI SUCCESSIVO
- › No, l'Assistente Google non sta morendo
- › Come utilizzare ChatGPT come l'Assistente Google su Android
- › Come eseguire ChatGPT utilizzando ShellGPT dal terminale Ubuntu
- › Come controllare i fatti ChatGPT con Bing AI Chat
- › 8 alternative ChatGPT AI (gratuite ea pagamento)
- › 8 cose sorprendenti che puoi fare con ChatGPT
- › Cosa fare se i servizi di OpenAI non sono disponibili nel tuo Paese
- › Recensione del caricabatterie compatibile Nomad Stand MagSafe: ricarica Qi di lusso