So führen Sie eine ChatGPT-ähnliche KI auf Ihrem eigenen PC aus

0
99
MidJourney

Mit Alpaca, einem von Stanford-Forschern entwickelten Chatbot, können Sie eine ChatGPT-ähnliche KI auf Ihrem eigenen PC ausführen. Es unterstützt Windows, macOS und Linux. Sie benötigen lediglich mindestens 8 GB RAM und etwa 30 GB freien Speicherplatz.

Chatbots liegen derzeit voll im Trend und jeder will ein Stück vom Geschehen abhaben. Google hat Bard, Microsoft hat Bing Chat und ChatGPT von OpenAI ist an dieser Stelle praktisch gleichbedeutend mit KI. Was aber, wenn Sie sich für Ihren Chatbot nicht auf einen Cloud-Dienst verlassen möchten? Wir haben eine ChatGPT-ähnliche KI, die Sie herunterladen können — ein Alpaka.

Inhaltsverzeichnis

Was ist Alpaka?
Wie funktioniert Alpaka Vergleichen Sie mit ChatGPT?
Was brauchen Sie, um Alpaca auszuführen?
So führen Sie Alpaca lokal auf Ihrem PC aus
Installieren Sie das Windows-Subsystem für Linux 2
Installieren Sie Docker
Installieren Sie GIT unter Windows
Installieren Sie Serge und Alpaca
Verwenden Sie Serge und Alpaca

Was ist Alpaka?

Alpaca ist ein Sprachmodell (im Grunde ein Chatbot), ähnlich wie ChatGPT. Es ist in der Lage, Fragen zu beantworten, zu argumentieren, Witze zu erzählen und so ziemlich alles andere, was wir von Chatbots erwarten. Alpaka wurde von Stanford-Forschern durch die Feinabstimmung von Facebook LLaMA entwickelt.

Im Gegensatz zu ChatGPT und den meisten anderen heute verfügbaren Chatbots läuft Alpaca vollständig auf Ihrem eigenen PC. Das bedeutet, dass niemand Ihre Gespräche oder Ihre Fragen an Alpaca ausspionieren kann, und Ihr Austausch kann auch nicht versehentlich durchgesickert sein. Es bedeutet auch, dass Sie keine monatlichen Gebühren zahlen müssen, Sie können das Modell weiter trainieren, um es besser an Ihre Bedürfnisse anzupassen, wenn Sie über die Hardware verfügen, und Sie können es in jede gewünschte Anwendung integrieren. Sie sind nur durch Ihre Hardware und Ihre Programmierkenntnisse eingeschränkt.

Es funktioniert jedoch auch wunderbar als normaler alter Chatbot, mit dem Sie sprechen können, und wir zeigen Ihnen, wie um es auf fast jedem PC da draußen auszuführen.

Wie schneidet Alpaca im Vergleich zu ChatGPT ab?

Wir werden einfach Gleich vorweg: ChatGPT 4 ist im Moment intelligenter und schneller als Alpaca.

Die Geschwindigkeit von Alpaca wird hauptsächlich durch den Computer begrenzt, auf dem es läuft — Wenn Sie einen blitzschnellen Gaming-PC mit einer Menge Kernen und viel RAM haben, erhalten Sie eine gute Leistung. Langsamere PCs mit weniger Kernen brauchen länger, um Antworten zu generieren. Natürlich ist es nicht gerade fair oder vernünftig, es in dieser Hinsicht mit ChatGPT zu vergleichen — Wir wissen nicht, auf was für einem Computer ChatGPT läuft, aber er ist sicherlich leistungsfähiger als ein durchschnittlicher Desktop-PC.

Derzeit gibt es drei Hauptvarianten von Alpaka, 7B, 13B und 30B. Im Allgemeinen gilt: Je größer die Zahl, desto intelligenter ist der Chatbot.

Alpaca, insbesondere das 7B-Modell, ist deutlich “dümmer” als ChatGPT ist. Es argumentiert auch nicht und wird den Turing-Test sicherlich nicht bestehen. 7B ist jedoch immer noch großartig, wenn Sie einen Rezeptvorschlag wünschen.

Die Modelle 13B und 30B sind eine ganz andere Geschichte. 13B ist in der Lage, ein kohärentes, menschenähnliches Gespräch zu führen und komplexe Fragen zu beantworten. 30B ist noch beeindruckender, wenn Sie die Hardware haben, um es auszuführen, und sich in unmittelbarer Nähe von ChatGPT befindet. Es wird philosophisch weitergehen oder einen Witz machen, ohne einen Takt zu verpassen, wenn Sie dazu aufgefordert werden.

Was brauchen Sie, um Alpaca zu führen?

Alpaca hat ziemlich flexible Systemanforderungen. Diese Richtlinien liegen über dem absoluten Minimum, sind aber gute Richtlinien. Wir werden dies auch unter Windows installieren. Wenn Sie dies auf einem System installieren, auf dem Linux oder macOS ausgeführt wird, überspringen Sie einfach den Abschnitt „Windows-Subsystem für Linux“ — es ist für Sie nicht relevant.

  • 16 GB RAM
    • 32 GB sind besser und erforderlich, wenn Sie das 30-B-Modell ausführen möchten
  • 35 GB Speicherplatz auf einer SSD, wenn Sie alle drei Modelle möchten.
    • 4 GB für das 7B-Modell, 8 GB für das 13B-Modell und 20 GB für das 30B-Modell
    • 500 MB für Standard-Ubuntu mit WSL2
    • Ein paar mehr GBs zwischen anderen Abhängigkeiten
  • Eine moderne CPU ist ideal
    • Jede Ryzen-CPU
    • Intel-Prozessor der 7. Generation oder neuer
  • Windows-Subsystem für Linux 2 (WSL2)
  • GIT
  • Docker
  • < li>Ein Gemeinschaftsprojekt, Serge, das Alpaca eine nette Webschnittstelle gibt

Warnung:Es gibt derzeit keinen Grund zu der Annahme, dass dieses spezielle Projekt größere Sicherheitslücken aufweist oder böswillig ist. Wir haben den Code durchgesehen und die Software selbst ausgeführt und nichts Besorgniserregendes gefunden. Das bedeutet nicht, dass es sicher ist oder bleiben wird. Seien Sie immer vorsichtig mit Dingen, die Sie im Internet finden, und bewerten Sie die Sicherheit regelmäßig neu.

So führen Sie Alpaca lokal auf Ihrem PC aus

Es Es ist wichtig, dass Sie diese Schritte in der angegebenen Reihenfolge ausführen. Docker wird wahrscheinlich kaputt gehen, wenn Sie es nicht tun, was eine komplette Neuinstallation von WSL2 und Docker erfordert.

Installieren Sie das Windows-Subsystem für Linux 2

Microsofts Windows-Subsystem für Linux 2 (WSL2) ermöglicht es Ihnen, Linux-Software in Windows auszuführen. Es hat einen geringen Overhead und ist in vielen Fällen sehr praktisch. Docker für Windows ist auf WSL2 angewiesen, daher müssen wir WSL2 zuerst installieren.

Hinweis: Wenn Sie WSL2 bereits installiert haben, führen Sie einfach wsl –update aus in PowerShell, um sicherzustellen, dass alles aktualisiert wird.

Öffnen Sie ein PowerShell-Fenster als Administrator und geben Sie dann den Befehl ein:

wsl —install

Es dauert ein wenig, alle WSL2-Dateien und Ubuntu herunterzuladen. Nach Abschluss der Installation müssen Sie Ihren PC neu starten.

Sobald der Neustart durchgeführt wurde, öffnen Sie PowerShell erneut (nicht unbedingt als Administrator) und führen Sie Folgendes aus:

wsl -l -v 

Sie sollten so etwas wie das Bild unten sehen, wenn alles richtig funktioniert hat. Sie müssen auch nicht speziell Ubuntu installieren. Sie können jede beliebige Distribution installieren, Ubuntu ist nur die Standardeinstellung.

Docker installieren

Docker ist ein Programm, mit dem Sie Programme ausführen können in einem “Container.” Container ähneln virtuellen Maschinen, haben aber in der Regel weniger Overhead und sind für viele Anwendungen leistungsfähiger. Serge verwendet Docker, um die Installation super bequem zu machen.

VERWANDTE ARTIKEL: Was macht Docker und wann sollten Sie es verwenden?

Laden Sie zunächst das Docker-Installationsprogramm von der Docker-Website herunter. Wenn Sie Docker unter Linux oder macOS ausführen, stellen Sie sicher, dass Sie das entsprechende Installationsprogramm verwenden.

Hinweis: Wenn Sie Wenn Sie einen Headless-Linux-Server ausführen, sollten Sie die entsprechenden Anweisungen für Ihre Linux-Distribution befolgen, um Docker zum Laufen zu bringen.

Führen Sie das Installationsprogramm aus und warten Sie einige Minuten. Docker wird eine Weile brauchen und eine Menge Dinge hinter den Kulissen einrichten. Sobald dies erledigt ist, sollten Sie Ihren PC neu starten.

Öffnen Sie nach dem Neustart PowerShell und führen Sie wsl -l -v erneut aus. Dieses Mal sollten Sie auch einige Einträge sehen, die sich auf Docker beziehen.

< h3>GIT unter Windows installieren

Die letzte Voraussetzung ist Git, mit dem wir Serge automatisch von Github herunterladen (und aktualisieren). Es ist nicht unbedingt erforderlich, da Sie die ZIP-Datei jederzeit herunterladen und manuell extrahieren können, aber Git ist besser.

Besuchen Sie die Git-Website und laden Sie die richtige Version für Ihr Betriebssystem herunter. Windows-Benutzer müssen nur die ausführbare Datei ausführen. Schauen Sie sich zumindest die Installationsoptionen an, anstatt sich schnell durch alle Optionen zu klicken. Einer, der im Screenshot unten gezeigt wird, ist absolut kritisch.

Sobald die Git-Installation abgeschlossen ist, können Sie Serge und Alpaca installieren.

Serge und Alpaca installieren

Stellen Sie zunächst sicher, dass Docker Desktop läuft. Öffnen Sie dann PowerShell oder Windows Terminal mit einem geöffneten PowerShell-Fenster (nicht als Administrator) und führen Sie den folgenden Befehl aus:

git clone https://github.com/nsarrazin/serge.git && CD-Server

Dadurch werden die Dateien von GitHub in einen Ordner auf Ihrem PC heruntergeladen und dann das aktive Verzeichnis in den Ordner geändert, der erstellt wurde.

Der nächste Befehl, den Sie ausführen müssen, ist:

cp .env.sample .env

Diese Zeile erstellt eine Kopie von .env.sample und benennt die Kopie “.env.” Die Datei enthält Argumente in Bezug auf die lokale Datenbank, die Ihre Konversationen speichert, und den Port, den der lokale Webserver verwendet, wenn Sie eine Verbindung herstellen.

Führen Sie dann Folgendes aus:

docker compose up -d

Docker Compose bindet eine Reihe verschiedener Container zu einem übersichtlichen Paket zusammen. Sie können sich die Datei docker-compose.yml im Serge-Ordner ansehen, wenn Sie genauer sehen möchten, worum es hier geht.

Der letzte Befehl initiiert einen Download, und hier müssen Sie eine Auswahl treffen, bevor Sie fortfahren. Es gibt drei verschiedene Varianten, die Sie herunterladen können: 7B, 13B und 30B. 7B ist die einfachste und “dümmste” Modell, während 30B das raffinierteste und intelligenteste ist. 13B ist der Mittelweg.

Variante Download-Größe Freier RAM erforderlich System-RAM unter Windows empfohlen < strong>System-RAM Empfohlen unter Linux 7B 4 GB 4 GB 16 GB 8 GB 13B 8 GB 8 GB 16 GB 16 GB 30B 20 20 GB 64 GB (Wahrscheinlich) 32 GB

Linux- (und wahrscheinlich auch macOS-) Installationen kommen mit weniger System-RAM aus als Windows-Installationen — Windows ist ein bisschen ein RAM-Hog. Sie sollten wahrscheinlich zuerst mit der 7B-Variante beginnen, da dies die am wenigsten anspruchsvolle Option ist. Sie können 13B oder 30B später jederzeit herunterladen, wenn Sie möchten.

Führen Sie den folgenden Befehl aus, um das 7B-Modell herunterzuladen (oder ersetzen Sie 13B oder 30B).

docker compose exec api python3 /usr /src/app/utils/download.py Tokenizer 7B

Seien Sie bereit zu warten, besonders wenn Sie sich für die 30B-Variante entscheiden. Der Huggingface-Server scheint mit etwa 20 Megabyte pro Sekunde die Obergrenze zu erreichen, sodass Sie im besten Fall 50 Sekunden pro heruntergeladenem Gigabyte erwarten.

Verwenden Sie Serge und Alpaka

Docker und alle erforderlichen Container werden derzeit ausgeführt, wenn Sie diese Anweisungen befolgt haben. Sie müssen sie jedoch wieder aktivieren, wenn Sie Ihren Computer neu starten. Öffnen Sie dazu einfach Docker Desktop und klicken Sie auf die kleinen dreieckigen Schaltflächen. Die Symbole links neben dem “Namen” Spalte wird grün, wenn die Container ausgeführt werden.

Alles ist installiert und zu diesem Zeitpunkt einsatzbereit. Öffnen Sie einfach Ihren Browser und geben Sie “localhost:8008″ in die Adressleiste ein, genauso wie Sie Facebook oder jede andere Website besuchen würden.

Hinweis:Wenn Sie Alpaca/Serge auf einem anderen Computer hosten, müssen Sie die lokale IP-Adresse dieses Geräts anstelle von localhost eingeben.

Auf dem Hauptbildschirm werden Ihre vorherigen Konversationen angezeigt links und die Einstellungen für einen neuen Chat in der Mitte.

Es gibt eine ganze Reihe von Einstellungen, aber es gibt fünf, auf die Sie wirklich achten sollten:

  • Temperatur– Legt fest, wie frei die KI antwortet. Niedrigere Zahlen führen zu starreren Antworten, während höhere Zahlen kreativer sind.
  • Maximale generierte Textlänge in Token – Wie lang die Antworten sein dürfen, die der Bot schreibt.
  • Model Choice – Wählen Sie zwischen 7B, 13B, 30B und jedem anderen Modell, das Sie installieren.
  • n_threads – Die Anzahl der Threads, die Serge/Alpaca auf Ihrer CPU verwenden kann. Wenn Sie mehr zuweisen, wird die Leistung verbessert
  • Pre-Promptzum Initialisieren einer Konversation – Bietet Kontext, bevor die Konversation beginnt, um die Art und Weise, wie der Chatbot antwortet, zu beeinflussen.

In diesem Fall haben wir die Temperatur und die Threads erhöht, das 13B-Modell ausgewählt und dem Chatbot mitgeteilt, dass es sich um einen Piraten handelt .

Hier ist ein Beispiel dafür, wie das Gespräch verlief.

Mit Alpaca können Sie über alles reden, was Sie möchten, und Sie müssen sich keine Gedanken darüber machen, was mit Ihren Daten passiert. Es bleibt auf Ihrem Gerät und jederzeit unter Ihrer Kontrolle.

Denken Sie daran, ChatGPT, Alpaca und andere Chatbots scheinen zuverlässig zu sein, sind es aber derzeit nicht. Sie verkörpern sehr stark das Gefühl: “Wenn Sie sie nicht mit Brillanz blenden können, verblüffen Sie sie mit BS.” Ihre Neigung, Dinge zu erfinden, wurde als „halluzinierend“ bezeichnet. Verlassen Sie sich nicht auf sie für etwas Wesentliches, insbesondere nicht für etwas, das für Ihren Job oder Ihre Gesundheit von entscheidender Bedeutung ist. Sie sollten derzeit nur zu Unterhaltungs- oder Versuchszwecken verwendet werden.

Allerdings wird die Technologie mit der Zeit immer besser werden — Es wird nicht lange dauern, bis wir Alpaca (oder andere lokal betriebene KI) in Discord-Server, Minecraft-Mods und eine beliebige Anzahl anderer kreativer Anwendungen integriert sehen. Eine weitere Verfeinerung wird auch zu schnelleren, genaueren Modellen führen, die auf schwächerer Hardware ausgeführt werden können.

WEITER LESEN

  • › SIMO Solis Lite Hotspot im Test: Wi-Fi Wingman im Taschenformat
  • › Lenovo hat gerade neue Yoga- und Slim-Windows-Laptops vorgestellt
  • › So erstellen Sie ChatGPT-Personas für jeden Anlass
  • › Sie können jetzt die Registerkartenfreigabe in Echtzeit von Microsoft Edge ausprobieren.
  • › DirectX 11 vs. DirectX 12: Was ist besser für Gaming?
  • › Der Lesemodus in Chrome ist endlich offiziell, aber mit einem Haken