Ideal wäre es, KI-Modelle offline auszuführen, doch dafür ist in der Regel leistungsstarke und teure Hardware erforderlich. Dies ist jedoch nicht immer der Fall: Das Modell DeepSeek R1 bietet eine praktische Option für Geräte mit eingeschränkten Fähigkeiten und ist zudem unglaublich einfach zu installieren.
Schnelle Links
Was bedeutet es, einen KI-Chatbot lokal auszuführen?
Wenn Sie Online-KI-Chatbots wie ChatGPT verwenden, werden Ihre Anfragen auf den Servern von OpenAI verarbeitet, sodass Ihr Gerät die schwere Arbeit nicht übernimmt. Für die Kommunikation mit KI-Chatbots benötigen Sie eine ständige Internetverbindung und haben nie die volle Kontrolle über Ihre Daten. Große Sprachmodelle, die KI-Chatbots wie ChatGPT, Gemini, Claude usw. antreiben, haben sehr hohe Betriebsanforderungen, da sie auf GPUs mit großer Videospeicherkapazität (VRAM) angewiesen sind. Aus diesem Grund sind die meisten KI-Modelle Cloud-basiert.
Der lokale KI-Chatbot wird wie jede andere Software direkt auf Ihrem Gerät installiert. Das bedeutet, dass Sie für die Nutzung des KI-Chatbots keine ständige Internetverbindung benötigen und jederzeit eine Anfrage stellen können. DeepSeek-R1 ist ein großes natives Sprachmodell, das auf vielen Geräten installiert werden kann. Das destillierte 7B-Modell (sieben Milliarden Parameter) ist eine kleinere, optimierte Version, die auf Geräten der Mittelklasse gut funktioniert und es mir ermöglicht, KI-Antworten ohne Cloud-Verarbeitung zu generieren. Einfach ausgedrückt bedeutet dies schnellere Antworten, mehr Datenschutz und vollständige Kontrolle über meine Daten.
So installieren Sie DeepSeek-R1 auf einem Laptop
Das Ausführen von DeepSeek-R1 auf Ihrem Gerät ist relativ einfach. Beachten Sie jedoch, dass Sie eine weniger leistungsstarke Version des webbasierten KI-Chatbots von verwenden. DeepSeek. Der KI-Chatbot von DeepSeek verwendet etwa 671 Milliarden Parameter und enthält DeepSeek-R1 Auf rund 7 Milliarden Parametern.
Sie können DeepSeek-R1 auf Ihren Computer herunterladen und verwenden, indem Sie die folgenden Schritte ausführen:
- Gehe zu Ollama Website Und laden Sie die neueste Version herunter. Installieren Sie es dann wie jede andere App auf Ihrem Gerät.
- Öffnen Sie Terminal und geben Sie den folgenden Befehl ein:
ollama laufe Deepseek-r1:7b
Dadurch wird das Modell DeepSeek-R1 7B auf Ihren Computer heruntergeladen, sodass Sie Abfragen in das Terminal eingeben und Antworten erhalten können. Wenn Sie Leistungsprobleme oder Abstürze feststellen, versuchen Sie es mit einem weniger anspruchsvollen Modell, indem Sie 7b ب 1.5b In der oben angegebenen Reihenfolge.
Obwohl das Modell im Terminal gut funktioniert, können Sie, wenn Sie eine voll funktionsfähige Benutzeroberfläche mit korrekter Textformatierung wie ChatGPT wünschen, auch eine App wie Chat Box.
DeepSeek lokal auszuführen ist nicht ideal – aber es funktioniert
Wie bereits erwähnt, sind die Antworten nicht so gut (oder schnell!) wie beim Online-Chatbot von DeepSeek, da dieser ein leistungsfähigeres Modell verwendet und alles in der Cloud verarbeitet. Aber schauen wir mal, wie die kleineren Modelle abschneiden.
Mathematische Probleme lösen
Um die Leistung des 7-Milliarden-Faktorenmodells zu testen, gab ich ihm eine Gleichung und bat es, ihr Integral zu lösen. Ich war mit der Leistung sehr zufrieden, insbesondere weil einfache Modelle oft Probleme mit der Mathematik haben. Dieses Experiment demonstriert die Fähigkeit großer Sprachmodelle, Kalkulationsprobleme zu bewältigen, was in Bereichen wie der Physik und dem Ingenieurwesen sehr vielversprechend ist.
Dies ist nicht das komplexeste Problem, aber gerade deshalb ist die lokale Ausführung eines großen Sprachmodells so nützlich. Es geht darum, ein jederzeit verfügbares Tool zu haben, mit dem sich einfache Abfragen sofort bearbeiten lassen, statt sich bei allem auf die Cloud zu verlassen. Dieser Ansatz verbessert die Reaktionsgeschwindigkeit und verringert die Abhängigkeit von der Internetverbindung, was bei interaktiven KI-Anwendungen von entscheidender Bedeutung ist.
Korrigieren von Fehlern im Code
Einer der besten Einsatzmöglichkeiten für die lokale Ausführung des DeepSeek-R1-Modells besteht in der Unterstützung von KI-Projekten. Es ist sehr nützlich, insbesondere wenn ich Code in Flugzeugen schreibe, wo es keinen Internetzugang gibt, und ich mich beim Debuggen stark auf große Sprachmodelle verlasse. Um seine Wirksamkeit zu testen, habe ich ihm diesen Code mit einem einfachen, absichtlichen Fehler hinzugefügt.
Die Verarbeitung des Codes verlief problemlos, allerdings muss erwähnt werden, dass ich ihn auf einem MacBook Air M1 mit nur 8 GB einheitlichem Speicher ausgeführt habe. (Einheitlicher Speicher ist Speicher, der von CPU, GPU und anderen Teilen eines System-on-a-Chip gemeinsam genutzt wird.)
Bei geöffneter IDE und mehreren geöffneten Browser-Tabs wurde die Leistung meines MacBooks stark beeinträchtigt – ich musste alles zwangsweise schließen, um es wieder reaktionsfähig zu machen. Wenn Sie über 16 GB RAM oder sogar eine GPU der Mittelklasse verfügen, treten diese Probleme wahrscheinlich nicht auf.
Ich habe es auch mit größeren Codebasen getestet, aber es bleibt in einer Schleife hängen, daher würde ich nicht empfehlen, sich darauf als vollständigen Ersatz für leistungsfähigere Modelle zu verlassen. Es ist jedoch immer noch nützlich, um schnell kleine Codeausschnitte zu erstellen.
Löse die Rätsel
Ich war auch neugierig, wie gut das Modell mit Rätseln und logischem Denken zurechtkam, also testete ich es mit einem Problem: Monty Hall, das ich problemlos lösen konnte, aber ich habe begonnen, DeepSeek aus einem anderen Grund wirklich zu schätzen.
Wie in der Abbildung gezeigt, erhalten Sie nicht nur die Antwort, sondern Sie werden durch den gesamten Denkprozess geführt und erklärt, wie Sie zur Lösung gelangt sind. Dies zeigt, dass der Computer über das Problem nachdenkt und nicht nur eine auswendig gelernte Antwort aus seinen Trainingsdaten abruft. Dies deutet darauf hin, dass DeepSeek in der Lage ist, Informationen zu verarbeiten und Lösungen auf eine Weise abzuleiten, die das menschliche Denken nachahmt, was ein wichtiger Schritt in der Entwicklung von KI-Modellen ist.
Suchen
Einer der größten Nachteile bei der lokalen Ausführung eines großen Sprachmodells ist die Wissensdiskontinuität. Da er keinen Internetzugang hat, kann es schwierig sein, zuverlässige Informationen über aktuelle Ereignisse zu finden. Diese Einschränkung war bei meinen Tests deutlich zu erkennen, wurde aber noch schlimmer, als ich nach einem kurzen Überblick über das Original-iPhone fragte – die Antwort war ungenau und ungewollt komisch.
Offensichtlich kam das erste iPhone nicht mit iOS 5 auf den Markt und das nicht existierende „iPhone 3“ ist bisher nicht erschienen. Er hat fast alles falsch gemacht. Ich habe es mit einigen anderen grundlegenden Fragen getestet, aber die Ungenauigkeit blieb bestehen.
بعد DeepSeek-DatenleckEs beruhigte mich, dass ich dieses Modell lokal ausführen konnte, ohne mir Sorgen über eine Gefährdung meiner Daten machen zu müssen. Auch wenn es nicht perfekt ist, ist ein Offline-KI-Assistent ein großer Vorteil. Ich würde mir wünschen, dass mehr solcher Modelle in Verbrauchergeräten wie Smartphones integriert werden, insbesondere nach Meine Enttäuschung über Apple Intelligence.
