Der Bereich der Verarbeitung natürlicher Sprache (NLP) hat in den letzten Jahren mit der Entstehung großer Sprachmodelle (LLMs) eine enorme Revolution erlebt, die außergewöhnliche Fähigkeiten zum Verstehen und Verarbeiten menschlicher Sprache bieten. Gemini 1.5 ist eines der neuesten dieser Modelle und bietet enorme kontextbezogene Möglichkeiten. Das Google Gemini 1.5-Modell verfügt jetzt über ein riesiges Kontextfenster mit XNUMX Million einzigartigen Symbolen und stellt seine direkten Konkurrenten wie ChatGPT, Claude und andere KI-gestützte Chatbots in den Schatten.
Das Kontextfenster mit einer Million Token in Gemini 1.5 verändert das Spiel und ermöglicht dem Modell ein tieferes und genaueres Verständnis der Sprache. Mit größerer Kontextkapazität kann das Modell mehr Wörter und Phrasen rund um ein bestimmtes Wort oder einen bestimmten Satz analysieren und so besser auf die Bedeutung schließen. Verifizieren Googles Gemini AI kommt: Hebt es sich in der KI-Welt stärker von der Masse ab als ChatGPT?
Schnelle Links
Was ist das Kontextfenster?
Bei der Beantwortung Ihrer Fragen, etwa der Erläuterung eines Konzepts oder der Zusammenfassung eines Textes, unterliegen KI-Modelle einer begrenzten Datenmenge, die sie zur Generierung einer Antwort berücksichtigen können. Die maximale Textgröße, die berücksichtigt werden kann, wird als Kontextfenster bezeichnet.
Hier ist eine andere Möglichkeit, dieses Konzept zu betrachten. Angenommen, Sie gehen in ein Lebensmittelgeschäft, um Gemüse und Haushaltswaren zu kaufen, ohne Ihre Einkaufsliste dabei zu haben. Die maximale Anzahl an Lebensmitteln, die Sie sich beim Einkaufen merken, ist das Kontextfenster. Je mehr Lebensmittel Sie sich merken können, desto besser sind die Chancen, Ihre geplanten Einkaufspläne nicht zunichte zu machen. Je größer das Kontextfenster eines KI-Modells ist, desto wahrscheinlicher ist es, dass sich das Modell alles merkt, was es braucht, um Ihnen die besten Ergebnisse zu liefern.
Zum Zeitpunkt des Schreibens ist das Claude 2.1-Kontextfenster von Anthropic mit 200 Token das größte Kontextfenster aller öffentlich verfügbaren KI-Modelle. Es folgt GPT-4 Turbo mit einem Kontextfenster von 128 Token. Google Gemini 1.5 bietet eine Million kontextbezogene Fenster, viermal größer als alles andere auf dem Markt. Dies führt zu der großen Frage: Was ist das Besondere an einem Kontextfenster mit einer Million verschiedener Symbole? Verifizieren Wie hoch ist das ChatGPT-Token-Limit und können Sie es überschreiten?
Warum ist das Kontextfenster in Gemini 1.5 so eine große Sache?
Genauer gesagt bedeutet das 200-Kontextfenster von Claude AI, dass es ein Buch mit etwa 150 Wörtern aufnehmen und Antworten darauf liefern kann. Das ist wirklich riesig. Aber Google Gemini 1.5 kann 700000 Wörter auf einmal aufnehmen!
Wenn Sie einem KI-Chatbot wie ChatGPT oder Gemini einen großen Textblock in Eingabeaufforderungen zuführen, versucht dieser, so viel Text wie möglich aufzunehmen, aber wie viel er aufnehmen kann, hängt von seinem Kontextfenster ab. Wenn Sie also eine Konversation mit 100 Wörtern auf einem Modell führen, das nur 28 Wörter verarbeiten kann, und ihm dann Fragen stellen, die vollständige Kenntnisse über die gesamten 100 Wörter der Konversation erfordern, ist das Scheitern des Modells vorprogrammiert .
Stellen Sie sich vor, Sie sehen sich nur 20 Minuten eines einstündigen Films an, werden aber gebeten, den gesamten Film zu erklären. Wie gut werden Ihre Ergebnisse sein? Entweder Sie weigern sich zu antworten oder Sie erfinden einfach Dinge, was genau das ist, was ein KI-Chatbot tun wird, was zu ... führt. Eine Halluzination künstlicher Intelligenz.
Wenn Sie glauben, dass Sie noch nie 100 Wörter in einen Chatbot eingeben mussten, ist das nicht alles, was zählt. Das Kontextfenster geht über den Text hinaus, der dem KI-Modell in nur einer Eingabeaufforderung zugeführt wird. KI-Modelle berücksichtigen die gesamte Konversation, die Sie während einer Chat-Sitzung führen, um sicherzustellen, dass ihre Antworten so relevant wie möglich sind.
Auch wenn Sie dem Modell also kein Buch mit 100 Wörtern vorlegen, summieren sich Ihre Hin- und Her-Gespräche und die Antworten, die es gibt, zur Berechnung des Kontextfensters. Fragen Sie sich, warum ChatGPT oder Gemini von Google ständig Dinge vergessen, die Sie zuvor im Gespräch gesagt haben? Möglicherweise ist ihm der Platz im Kontextfenster ausgegangen und er hat begonnen, Dinge zu vergessen.
Das größere Kontextfenster ist besonders wichtig für Aufgaben, die ein tiefes Verständnis des Kontexts erfordern, wie z. B. das Zusammenfassen langer Artikel, das Beantworten komplexer Fragen oder die Aufrechterhaltung einer kohärenten Erzählung im generierten Text. Möchten Sie einen Roman mit 50 Wörtern schreiben, der durchgehend eine einheitliche Erzählung aufweist? Möchten Sie ein Model, das in einem einstündigen Video „zuschauen“ und Fragen beantworten kann? Sie benötigen ein größeres Kontextfenster!
Kurz gesagt: Das größere Kontextfenster von Gemini 1.5 kann die Leistung seines KI-Modells erheblich verbessern, Halluzinationen reduzieren und die Genauigkeit sowie die Fähigkeit, Anweisungen besser zu befolgen, drastisch erhöhen.
Wird Gemini 1.5 den Erwartungen gerecht?
Wenn alles wie geplant verläuft, wird Gemini 1.5 wahrscheinlich die besten KI-Modelle auf dem Markt übertreffen. Angesichts der zahlreichen Fehler von Google beim Aufbau eines stabilen KI-Modells ist jedoch Vorsicht geboten. Das Erhöhen des Kontextfensters des Formulars allein führt nicht automatisch zu einer Verbesserung des Formulars.
Ich verwende das 2.1k-Kontextfenster von Claude 200 seit seiner Veröffentlichung mehrere Monate lang und eines war mir klar: Ein größeres Kontextfenster kann die Kontextsensitivität wirklich verbessern, aber Probleme mit der Leistung des zugrunde liegenden Modells können zu einem größeren Kontext führen problematisch dafür.
Wird Google Gemini 1.5 das Spiel verändern? In den sozialen Medien wimmelt es derzeit von begeisterten Rezensionen von Early-Access-Benutzern zu Gemini 1.5. Die meisten Fünf-Sterne-Bewertungen stammen jedoch aus überstürzten oder vereinfachenden Anwendungsfällen. Ein guter Ort, um zu überprüfen, wie sich der Gemini 1.5 in freier Wildbahn schlägt, ist der technische Bericht für Google Gemini 1.5 [PDF]. Der Bericht zeigt, dass das Modell selbst bei „kontrollierten Tests“ nicht in der Lage war, alle feinen Details von Dokumenten innerhalb der Größe seines Kontextfensters abzurufen.
Ein Kontextfenster von einer Million Token ist bereits eine beeindruckende technische Errungenschaft, aber ohne die Möglichkeit, Dokumentdetails zuverlässig abzurufen, ist ein größeres Kontextfenster von geringem praktischen Wert und kann zur Ursache für verminderte Genauigkeit und zusätzliche Halluzinationen werden. Sie können es jetzt ansehen Jenseits von ChatGPT: Eine Vision für die Zukunft von Chatbots und generativer KI?
