AllInfo

Eseguo un chatbot GPT personalizzato in Windows: ecco perché e come farlo

admin

Link rapidi

Chiave Conclusioni

Esistono numerosi vantaggi nell'eseguire un chatbot GPT/AI sul tuo computer anziché accedervi su Internet. Mostreremo perché potresti volerlo e il modo più semplice per configurarlo su Windows.

Perché vorresti il ​​tuo chatbot AI locale?

Sebbene i chatbot IA online come ChatGPT siano dominanti, con accesso a enormi quantità di dati di addestramento e informazioni aggiornate, ci sono alcuni motivi per cui potresti voler eseguire il tuo chatbot locale sul tuo computer Windows .

L'esecuzione locale dei tuoi strumenti di intelligenza artificiale è gratuita e non presenta le restrizioni degli strumenti online: non c'è censura e puoi caricare qualsiasi modello di apprendimento automatico, personalizzare le risposte e il comportamento e fornire qualsiasi suggerimento, il tutto senza restrizioni (e in totale privacy). È anche un buon modo per comprendere come funzionano i moderni strumenti di intelligenza artificiale del modello LLM (Large Language Model), soprattutto se stai cercando di entrare nel settore dell'intelligenza artificiale o della tecnologia.

Puoi trovare modelli per qualsiasi cosa, dalle interazioni con personaggi immaginari, alla programmazione, alla conoscenza generale e molti altri casi d'uso che i modelli online più generali potrebbero non coprire.

Come ospitare il tuo chatbot GPT locale su Windows

Questo tutorial ti aiuterà utilizzare text- generation-web-ui-docker, un'interfaccia open source per modelli linguistici di grandi dimensioni, che semplifica l'installazione e l'utilizzo di LLM.

text- generation-web-ui-docker raggruppa il progetto text- generation-web-ui utilizzando Docker, eliminando la necessità di installare e gestire tutte le complesse dipendenze che gli strumenti di intelligenza artificiale locali solitamente richiedono archiviando tutto in un contenitore separato dal sistema . L'unica cosa di cui hai bisogno per eseguire il tuo chatbot locale è un PC Windows che supporti Docker in esecuzione utilizzando il sottosistema Windows per Linux (WSL). Avrai anche bisogno di una GPU abbastanza recente, idealmente una di NVIDIA, per la massima compatibilità.

Passaggio 1: installa Docker e l'app Terminale di Windows

I contenitori Docker sono simili alle macchine virtuali in quanto contengono un intero sistema in esecuzione, ma sono molto più leggeri e perfetti per distribuire le applicazioni e tutti i loro requisiti in un unico pacchetto facile da installare. Per eseguire text- generation-web-ui-docker in Docker, scarica e installa Docker sul tuo sistema Windows.

Docker può essere eseguito su Windows in due modi: modalità WSL o Hyper-V. WSL è consigliato per la maggior parte degli utenti, quindi potrebbe essere necessario abilitarlo prima di installare Docker.

Si consiglia inoltre di installare l'app Terminale di Windows, poiché fornisce un'interfaccia pratica per WSL, PowerShell e la riga di comando di Windows.

Passaggio 2: scarica il repository GitHub dell'interfaccia utente Web per la generazione di testo

Per scaricare text- generation-web-ui-docker, visita la relativa pagina GitHub. Puoi scaricare un file ".zip" contenente tutti i file necessari cliccando sul pulsante verde "Codice" pulsante e quindi facendo clic su "Scarica Zip" dal menu a discesa.

Lo screenshot qui sotto mostra dove trovarlo nella pagina GitHub.

Brad Morton/How-To Geek

Estrai il file ZIP scaricato nella sua cartella, quindi apri la cartella contenente i file decompressi . Non preoccuparti troppo del contenuto di questa cartella: contiene tutte le parti mobili del tuo chatbot AI, ma Docker si occuperà di impostare tutto per te.

Passaggio 3: avvia l'interfaccia utente Web di generazione del testo

Prima di avviare text- generation-web-ui-docker , devi assicurarti che sia configurato per l'hardware del tuo PC. Modifica il file docker-compose.yml per specificare la variante che corrisponde al tuo hardware: default-nvidia o default-cpu (se non 39;non ho una GPU compatibile).

Brad Morton/How-To Geek

Quindi, sempre nella cartella contenente i file scaricati ed estratti, fare clic con il tasto destro su uno spazio vuoto e fare clic su &quot ;Apri nel terminale” per aprire la directory in una nuova finestra di PowerShell.

Brad Morton/How-To Geek

Assicurati che Docker Desktop sia in esecuzione prima di digitare il seguente comando Docker nella finestra Terminale:

docker compose up -d

Questo comando eseguirà quanto segue:

< ul>

  • Esegue docker compose, il programma che gestisce le applicazioni Docker
  • Avvia il contenitore utilizzando il comando up
  • Esegue il contenitore in background (chiamato modalità distaccata, specificata da -d)

    • Brad Morton/How-To Geek

    Se non hai eseguito questo comando prima e l'applicazione deve essere scaricata (estratta), potresti dover andare a preparare una tazza di tè, poiché potrebbe volerci un po'. Una volta completata l'esecuzione del comando, vedrai che il contenitore Docker text- generation-web-ui-docker è stato creato e avviato.

    Brad Morton/Istruzioni Geek

    Il contenitore in esecuzione verrà visualizzato anche in Docker Desktop, dove potrai arrestarlo, avviarlo e gestirlo.

    Brad Morton/How-To Geek

    Passaggio 4 : Installa il modello GPT-2 da OpenAI

    Una volta che text- generation-web-ui-docker è attivo e funzionante in Docker, puoi accedervi digitando l'indirizzo http://localhost: 7860nella barra degli indirizzi del tuo browser. Localhost è l'indirizzo utilizzato dal tuo computer per accedere ai servizi che esegue, a ciascuno dei quali viene assegnato un numero di porta univoco (in questo caso 7860). Puoi vedere quali porte un contenitore Docker in esecuzione ha reso disponibili su localhost aprendolo nel desktop Docker.

    Questa è una versione di GPT precedente a quella che ottieni quando usi ChatGPT su Internet. Di conseguenza, non sarà così intelligente o intuitivo come potresti aspettarti, ma è personalizzabile e privato.

    Vai alla scheda Modello nell'interfaccia web e inserisci openai-community/gpt2 nella casella “Scarica modello o LoRA”, quindi fai clic sul pulsante Scarica. Potrebbero volerci alcuni minuti.

    Brad Morton/How-To Geek

    Fai clic sull'icona Aggiorna in alto a sinistra, quindi seleziona openai-community/gpt2 appena scaricato dal menu a discesa Modello adiacente. Infine, fai clic sul pulsante "Carica" pulsante e attendi qualche minuto finché non viene visualizzato un messaggio di successo.

    Brad Morton/Appassionato di istruzioni

    Questo modello funziona immediatamente e non richiede alcuna registrazione. Quando entri nel mondo dell'intelligenza artificiale e desideri sperimentare diversi modelli e strumenti di intelligenza artificiale, puoi trovare di più su HuggingFace.

    Passaggio 5: inizia a utilizzare il tuo chatbot AI GPT personalizzato

    Questo non è proprio come i chatbot AI che sei abituato a utilizzare online, che sono già configurati per un uso generale e coprono molte situazioni. Dovrai dire al modello come comportarsi prima di interagire con esso, altrimenti il ​​suo output sarà un po'… scardinato.

    Brad Morton/How-To Geek

    Ciao ragazzo, anche se ha ottenuto la risposta giusta, questo chatbot AI ha bisogno di un po' di messa a punto.

    C'è molto che puoi modificare e all'inizio può essere un po' macchinoso, ma con la pratica e l'esperienza puoi creare un chatbot specifico per il tuo utilizzo e che mantiene i tuoi dati al 100% sul tuo computer, il che è ottimo per il lavoro e altri casi d'uso riservati. Per sapere come configurare e addestrare il tuo chatbot GPT locale, consulta la documentazione sulla generazione di testo-web-ui e i documenti OpenAI GP2 su HuggingFace.

    Se vuoi generare immagini utilizzando l'intelligenza artificiale dal tuo PC Windows, puoi utilizzare Fooocus per ottenere risultati più semplici e immediati.

    Exit mobile version