NVIDIAs On-Device AI Chatbot unterstützt jetzt Google Gemma und ChatGLM3

Das dritte Update für NVIDIAs ChatRTX-App ist da. Es bietet neue Bilderkennungsfunktionen, Spracheingabefunktionen und eine erweiterte Auswahl an Open-Source-LLMs.

NVIDIA ChatRTX, früher „Chat with RTX“ genannt, ist ein personalisierbarer KI-Chatbot, der lokal auf Windows-PCs ausgeführt werden kann. Es fungiert als eine Art persönlicher Assistent und beantwortet Fragen zu Dokumenten, Notizen und anderen Dateien auf Ihrem Computer, ohne dass eine Cloud-Interaktion erforderlich ist. Es kann auch YouTube-Videos zusammenfassen, was nützlich sein kann, wenn Sie ein Rezept erhalten oder ein Tutorial durchgehen möchten, ohne jemandem 15 Minuten lang zuzuhören. (Allerdings ist das Scannen von YouTube seit dem Sicherheitspatch 0.2 nicht mehr verfügbar.)

Eines der interessanten Dinge an ChatRTX ist seine Fähigkeit, eine Vielzahl von LLMs auszuführen. ChatRTX wurde mit Unterstützung für Mistral und Llama 2 eingeführt, unterstützt jetzt jedoch Google Gemma (einen leichten Ableger von Gemini) und ChatGLM3 (ein englisches und chinesisches LLM, das auf dem GLM-Framework basiert). Jeder dieser LLMs ist für bestimmte Aufgaben geeignet, daher ist Abwechslung erforderlich.

Die neue ChatRTX-Version verfügt außerdem über die Integration von Whisper und Open AI CLIP. Während Whisper eine KI-basierte Spracherkennung für die Spracheingabe hinzufügt, erweitert CLIP die Bilderkennungsfunktionen von ChatRTX. Ein Fotograf kann ChatRTX beispielsweise verwenden, um eine Reihe unbeschrifteter Bilder zu finden und zu organisieren.

Um es klarzustellen: ChatRTX gilt immer noch als „Tech-Demo“. Es ist ein Beispiel dafür, was Entwickler mit dem Open-Source-Referenzprojekt TensorRT-LLM RAG erstellen können, und es ist etwas, das dem durchschnittlichen Computerbenutzer helfen kann, sich besser mit LLMs vertraut zu machen.

Und ich sollte beachten, dass keines dieser ChatRTX-kompatiblen LLMs tatsächlich ChatRTX erfordert. Der Vorteil von ChatRTX besteht darin, dass keine Fachkenntnisse erforderlich sind und Sie ohne großen Aufwand einen personalisierten lokalen Chatbot trainieren können. Ich hoffe zwar, dass sich ChatRTX zu einem echten Produkt entwickelt, aber das ist nicht nötig, denn es wird Entwickler dazu inspirieren, noch bessere KI-Anwendungen zu entwickeln.

Sie können ChatRTXtoday kostenlos von der NVIDIA-Website installieren. Allerdings erfordert ChatRTX eine GPU der RTX 30- oder 40-Serie mit mindestens 8 GB VRAM (ja, einige Laptops erfüllen diese Spezifikationen). Sie benötigen außerdem genügend Geduld, um einen 30-GB-Download abzuwarten – ChatRTX ist eine relativ große Anwendung.

Quelle: NVIDIA