Lange Zeit zögerte ich nicht, Verträge in ChatGPT einzufügen, vertrauliche Berichte hochzuladen, um eine Zusammenfassung anzufordern, oder Kundenangebote in ein Cloud-KI-Tool einzugeben. Doch dann hielt ich eines Tages inne und las mir die Nutzungsbedingungen durch (etwas, das ich jahrelang nur überflogen hatte) und mir wurde klar: Diese Dateien verließen mein Gerät und landeten, zumindest vorübergehend, auf fremden Servern. Interessanterweise erinnerte ich mich daran, dass ein ehemaliger Kollege einmal erklärt hatte, warum. Vertrauen Sie ChatGPT keine vertraulichen Informationen an.Diese Unannehmlichkeit veranlasste mich, nach einer besseren Lösung zu suchen.
Ich stieß auf AnythingLLM, eine kostenlose Open-Source-Desktop-Anwendung, mit der man aus eigenen Dokumenten einen vollständig individualisierten KI-Assistenten erstellen kann – und das alles direkt auf dem eigenen Gerät. Sie hat sich zu einer der beliebtesten Anwendungen entwickelt. Open-Source-KI-Anwendungen, die ich täglich nutzeSo sah die Transformation tatsächlich aus.
Schnelle Links
Die Installation und Konfiguration von AnythingLLM dauert nur wenige Minuten.
Es zeigt Ihnen genau an, wohin Ihre Daten gelangen, noch bevor Sie überhaupt beginnen.
Nachdem Sie die Installationsdatei heruntergeladen haben, doppelklicken Sie darauf. Der Installationsassistent führt Sie dann durch den Installationsprozess. Während der Installation werden automatisch die benötigten Komponenten heruntergeladen: die CUDA-Bibliotheken von Ollama, sofern Sie eine kompatible NVIDIA-Grafikkarte besitzen – ein Vorgang, den Sie zu schätzen wissen werden, sobald Sie ihn verstanden haben. Was sind CUDA-Kerne und wie verbessern sie die allgemeine Rechenleistung? FFProbe für die Medienverarbeitung und Meeting Assistant für Audiofunktionen. Sie müssen dafür nichts tun. Der gesamte Vorgang, vom Doppelklick auf die Installationsdatei bis zum Erscheinen des Hauptbedienfelds, dauerte weniger als fünf Minuten.
Sobald Sie AnythingLLM öffnen, erscheint als Erstes ein Fenster zur Datenverarbeitung und zum Datenschutz – und es lohnt sich, dieses zu lesen. Darin wird klar erklärt, dass Ihr Formular und Ihre Konversationen nur auf Ihrem Gerät zugänglich sind, dass der Dokumenttext in diesem Fall mithilfe des integrierten AnythingLLM Embedders privat eingebettet wird und dass Ihre Vektoren lokal über LanceDB gespeichert werden. Falls Sie jemals nach … gesucht haben Was ist eine Vektordatenbank und wie verbessert sie die künstliche Intelligenz?Sie werden feststellen, dass die vollständige Offline-Nutzung dieser Komponente einen großen Vorteil für den Datenschutz darstellt. Es gibt keine Umschaltknöpfe, und die Deaktivierungsoptionen sind tief in den Einstellungen versteckt. Standardmäßig bleiben alle Daten lokal.
Unmittelbar nach der Datenschutzübersicht führt AnythingLLM Sie durch die LLM-Einstellungen. Die Liste der unterstützten Anbieter ist umfangreich: In der Cloud sind unter anderem OpenAI, Anthropic, Azure OpenAI, Gemini und Groq verfügbar. Für die On-Premises-Umgebung stehen unter anderem Ollama, LM Studio, LocalAI, KoboldCPP, Dell Pro AI Studio, Microsoft Foundry Local und Docker Model Runner zur Verfügung. Die Standardoption „AnythingLLM“ kombiniert einen lokalen Modell-Runner von Ollama. Dadurch können Sie Modelle wie Microsofts Phi-4 (9.1 GB) oder Alibabas Qwen3 0.6B (nur 600 MB) direkt aus der Anwendung herunterladen – ohne zusätzliche Konfiguration.
Wenn Ihr Rechner keine dedizierte Grafikkarte (GPU) besitzt, ist das kein Problem. Die Verbindung zur Groq-API ermöglicht Ihnen den Zugriff auf schnelle Inferenzmodelle wie den Llama 3 70B nahezu kostenlos. Sie benötigen lediglich einen API-Schlüssel. Sie können Ihren Anbieter jederzeit in den Einstellungen wechseln und sind somit nicht an die bei der Einrichtung gewählte Option gebunden. Ich begann mit dem lokalen Anbieter für Tests – der Phi-3 3.8B überraschte mich mit seiner Leistung bei der Bearbeitung von Dokumenten-Fragen und -Antworten auf einem Mittelklasse-Laptop – und wechselte dann für rechenintensive Aufgaben, bei denen Geschwindigkeit wichtiger war, zu Groq.
Nach der Einrichtung verwandelt AnythingLLM Ihre persönlichen Dokumente in einen zielgerichteten KI-Assistenten.
Ihre Dateien sprechen nun wieder, und zwar deutlicher.
Das Dashboard begrüßt Sie mit einer Checkliste für den Einstieg und einer Seitenleiste, die bereits einen virtuellen Arbeitsbereich namens „Mein Arbeitsbereich“ enthält. Arbeitsbereiche sind das zentrale Organisationskonzept von AnythingLLM: Jeder Arbeitsbereich ist eine in sich abgeschlossene Umgebung, in der Ihre Dokumente und Konversationen zusammengeführt werden. Stellen Sie sich jeden Arbeitsbereich wie einen separaten Raum vor: einen für Kundenverträge, einen für interne Recherchen und einen dritten für persönliche Notizen. Dokumente können bei Bedarf zwischen Arbeitsbereichen ausgetauscht werden, ohne sich gegenseitig zu beeinträchtigen. So bleiben die Antworten der KI fokussiert und präzise.
Dokumente lassen sich per Drag & Drop ganz einfach zum Arbeitsbereich hinzufügen. AnythingLLM unterstützt Word-Dokumente, einfache Textdateien, CSV-Dateien, Tabellenkalkulationen, Audiodateien und sogar PDFs, ähnlich wie andere Programme auch. NotebookLM nutzt diese Funktion, um jede PDF-Datei in ein interaktives Gespräch zu verwandeln.Im Upload-Bereich gibt es außerdem ein Feld „Website abrufen“. Wenn Sie eine Webseite oder Online-Ressource abrufen möchten, fügen Sie einfach die URL ein, und der Inhalt wird automatisch geladen. Nach dem Hochladen verarbeitet AnythingLLM jede Datei, teilt den Text auf und speichert die Vektoren lokal. Eine typische zehnseitige PDF-Datei benötigt dafür nur wenige Sekunden.
Agenten und einseitige Polizeianweisungen treiben AnythingLLM über eine intelligente Suchbox hinaus.
Hier wird es erst richtig spannend.
AnythingLLM verfügt über Agentenfunktionen, die über einfache Dokumenten-Fragen und -Antworten hinausgehen. Es übernimmt das Tippen. @Agent Im Chat können Sie einen KI-Agenten aktivieren, der Aufgaben wie Websuchen, Tiefenrecherchen und anwendungsübergreifende Aktionen übernimmt. Benutzerdefinierte Agentenfunktionen sind über den AnythingLLM Community Hub verfügbar, dessen Bibliothek stetig erweitert wird. Mit der Slash-Befehlsfunktion können Sie Vorlagen für wiederkehrende Aufgaben erstellen und speichern – beispielsweise das Zusammenfassen von Besprechungsnotizen in einem einheitlichen Format, das Verfassen von E-Mail-Antworten in einem bestimmten Tonfall oder das Extrahieren bestimmter Felder aus hochgeladenen Dokumenten.
Wer noch einen Schritt weiter gehen möchte, kann eine Browsererweiterung nutzen, mit der sich AnythingLLM von jeder Webseite aus steuern lässt, sowie eine GPTLocalhost-Integration, die den Assistenten direkt in Microsoft Word einbindet. Teams, die gemeinsamen Zugriff benötigen, können die Docker-Version wählen, die Mehrbenutzerunterstützung, rollenbasierte Kontrollen und Whitelisting bietet. Die Desktop-Anwendung ist für den persönlichen Gebrauch mehr als ausreichend, aber es ist gut zu wissen, dass auch eine Team-Konfiguration möglich ist.
Willkommen zur KI-Revolution für Sie (Bevölkerung: Sie)
Durch den Wechsel zu AnythingLLM habe ich aufgehört, KI als Mietdienst zu betrachten, und angefangen, sie als mein eigenes Werkzeug zu sehen. Meine Dokumente bleiben auf meiner Festplatte, meine Anfragen bleiben privat, und ich habe jetzt einen digitalen Assistenten, der meinen Kontext wirklich versteht, nicht nur das öffentliche Internet.
