Il nuovo chatbot AI di NVIDIA si basa su file locali, non sul cloud

Chi dispone di hardware compatibile può ora installare Chat With RTX, un chatbot AI che trasforma i file locali nel suo set di dati. L'applicazione Chat With RTX è considerata una "tech demo" ma è efficace nel recuperare, riepilogare e sintetizzare informazioni da file basati su testo.

Sostanzialmente, Chat With RTX è un assistente personale che analizza i tuoi documenti e le tue note. Ti risparmia la fatica di cercare manualmente i file che hai scritto, scaricato o ricevuto da altri. Potresti chiedere a Chat With RTX di recuperare un'informazione da un lungo documento tecnico, ma puoi anche usarla per rispondere a domande casuali come “Qual è stato il ristorante consigliato dal mio partner mentre era a Las Vegas?”.

Il LLM personalizzato può anche estrarre trascrizioni dai video di YouTube. Se desideri istruzioni passo passo stampabili per un progetto di lavorazione del legno, trova semplicemente un tutorial su YouTube, copia l'URL e collegalo a Chat With RTX. Funziona con video e playlist di YouTube autonomi.

Poiché Chat With RTX viene eseguito localmente, produce risultati rapidi senza inviare i tuoi dati personali nel cloud. LLM eseguirà la scansione solo dei file o delle cartelle selezionati dall'utente. Dovrei notare che altri LLM, compresi quelli di HuggingFace e OpenAI, possono essere eseguiti localmente. Chat With RTX è degno di nota per due motivi: non richiede alcuna competenza e mostra le capacità del sistema TensorRT-LLM RAG open source di NVIDIA, che gli sviluppatori possono utilizzare per creare le proprie applicazioni IA.< /p>

Abbiamo provato Chat With RTX al CES 2024. È sicuramente una “demo tecnologica”, ha detto. ed è qualcosa che deve essere usato con intenzione. Ma è comunque impressionante. Anche se non sei interessato alle funzionalità di recupero delle informazioni o di riepilogo dei documenti di Chat With RTX, questo è un ottimo esempio di come gli LLM gestiti localmente possono insinuarsi nelle esigenze delle persone. flussi di lavoro.

E, sebbene non sia menzionato sul sito Web di NVIDIA, Chat With RTX può produrre risposte interessanti a suggerimenti creativi. Abbiamo chiesto al LLM di scrivere una storia basata sulle trascrizioni di una playlist di YouTube e lui ha obbedito, anche se con un tono pratico. Sono entusiasta di vedere come le persone sperimenteranno questa applicazione.

Puoi installare Chat With RTX dal sito Web NVIDIA. Tieni presente che questa app richiede una GPU RTX serie 30 o 40 con almeno 8 GB di VRAM. NVIDIA offre anche un progetto di riferimento open source TensorRT-LLM RAG per coloro che desiderano creare app simili a Chat with RTX.

Fonte: NVIDIA