Wann sollte man einen neuen KI-Chat anfangen?

Der Chat läuft seit Stunden, und er war gut. Die Struktur fürs Angebot steht, drei Varianten sind verworfen, eine ist beschlossen. Dann fragst du nach einer Kleinigkeit, und die KI schlägt dir genau die Variante vor, die ihr vor zwei Stunden gemeinsam aussortiert habt. Die Antwort kommt außerdem spürbar langsamer als am Anfang.

Eine Kundin hat uns vor Kurzem genau danach gefragt: Woran erkenne ich, dass ich einen neuen Chat anfangen sollte? Und wie nehme ich das Wichtige mit, ohne jedes Mal ein Übergabeprotokoll zu schreiben? Die Frage ist besser, als sie klingt, denn die übliche Antwort darauf ist ein Übergabeprotokoll, und das löst das Problem nur halb.

In diesem Artikel erfährst du, warum lange Chats schlechter werden, woran du den richtigen Moment erkennst, was bei der automatischen Verdichtung passiert und welche Lösung besser funktioniert als ein Protokoll.

---

Inhaltsverzeichnis

1. Warum werden lange KI-Chats schlechter?
2. Woran erkennst du, dass ein Chat zu lang ist?
3. Was passiert, wenn die KI den Chat automatisch verdichtet?
4. Warum sind Übergabeprotokolle die schwächere Lösung?
5. Was funktioniert besser als ein Protokoll?
6. Wie geht das konkret mit Hermes Agent?
7. Häufige Fragen

---

Warum werden lange KI-Chats schlechter?

Kurz gesagt: Ein Sprachmodell liest bei jeder Antwort den gesamten bisherigen Chat noch einmal. Je länger der Chat, desto mehr muss es lesen, desto länger dauert es, desto mehr kostet es, und desto schlechter findet es darin das Wichtige.

Ein KI-Chat hat kein Gedächtnis im menschlichen Sinn. Bei jeder neuen Nachricht wird der komplette Verlauf erneut an das Modell geschickt, alle Fragen, alle Antworten, alle eingefügten Dokumente. Das Modell verarbeitet diesen Text als sogenannten Kontext. Die Obergrenze dafür heißt Kontextfenster und wird in Tokens gemessen, das sind Wortbausteine.

Daraus folgen drei Effekte, die du direkt spürst:

• Langsamer: Mehr Text im Kontext heißt mehr Rechenarbeit, bevor die erste Zeile der Antwort erscheint.
• Teurer: Die meisten Anbieter rechnen nach verarbeiteten Tokens ab. Ein Chat mit 100.000 Tokens Verlauf kostet bei jeder weiteren Frage diesen Verlauf mit. Prompt-Caching senkt den Preis für wiederholte Teile, die Menge Text bleibt aber gleich.
• Ungenauer: Das ist der wichtigste Punkt, und er ist gut untersucht.

Forscher um Nelson F. Liu von der Stanford University haben 2023 in der Studie Lost in the Middle gezeigt, dass Sprachmodelle Informationen am Anfang und am Ende eines langen Kontexts am besten nutzen. Steht die entscheidende Information in der Mitte, sinkt die Trefferquote deutlich, auch bei Modellen, die ausdrücklich für lange Kontexte gebaut sind.

Der Datenbank-Anbieter Chroma hat 2025 in seinem Bericht Context Rot 18 aktuelle Modelle getestet, darunter GPT-4.1, Claude 4, Gemini 2.5 und Qwen3. Das Ergebnis: Die Leistung wird mit wachsender Eingabelänge immer unzuverlässiger, schon bei einfachen Aufgaben. Besonders aufschlussreich ist ein Test mit echten Chatverläufen. Bekamen die Modelle nur die relevanten Teile eines Gesprächs (rund 300 Tokens), antworteten sie deutlich besser als mit dem vollen Verlauf von durchschnittlich rund 113.000 Tokens, obwohl die Antwort in beiden Fällen enthalten war.

Für deinen Alltag heißt das: Ein großes Kontextfenster ist eine Obergrenze, keine Qualitätsgarantie. Ein Modell kann 200.000 Tokens annehmen und trotzdem bei 80.000 schon schlechter arbeiten als bei 8.000.

Woran erkennst du, dass ein Chat zu lang ist?

Kurz gesagt: Wenn die KI Beschlossenes vergisst, Fehler wiederholt oder spürbar langsamer wird, ist der Chat zu lang. Besser ist es, schon vorher zu wechseln, nämlich immer dann, wenn eine Etappe abgeschlossen ist.

Typische Warnzeichen:

1. Die KI schlägt etwas vor, das ihr schon verworfen habt.
2. Vereinbarungen vom Anfang (Tonalität, Format, Namen) werden nicht mehr eingehalten.
3. Ein Fehler, den du korrigiert hast, taucht wieder auf.
4. Antworten werden allgemeiner und greifen weniger auf konkrete Details aus dem Chat zurück.
5. Die Antwortzeit steigt spürbar.

Das Problem an diesen Zeichen: Sie zeigen sich erst, wenn die Qualität schon gelitten hat. Du merkst es meistens an einem Fehler, nicht vorher. Hilfreicher sind deshalb feste Anlässe für einen neuen Chat:

• Neues Thema: Ein Chat pro Aufgabe. Wer im Angebots-Chat noch schnell eine Mail an die Steuerberaterin schreiben lässt, mischt Kontexte.
• Etappe erledigt: Ist eine Entscheidung gefallen oder ein Entwurf fertig, ist das ein guter Schnitt.
• Großer Dokument-Import: Lange PDFs oder Tabellen füllen den Kontext schnell. Danach lieber mit dem Ergebnis neu starten.

Was fast alle Chat-Oberflächen nicht tun: dir sagen, wie voll der aktuelle Chat ist. Genau diese Lücke war der Auslöser für die Frage unserer Kundin.

Was passiert, wenn die KI den Chat automatisch verdichtet?

Kurz gesagt: Viele KI-Werkzeuge fassen lange Chats automatisch zusammen, bevor das Kontextfenster voll ist. Das hält den Chat am Laufen, aber jede Zusammenfassung verliert Details.

Einige Werkzeuge verdichten lange Chats automatisch, sobald der Kontext eine bestimmte Größe erreicht. Ältere Teile des Gesprächs werden dabei durch eine Zusammenfassung ersetzt. Bei Hermes Agent, dem Open-Source-Agenten, mit dem wir arbeiten, greift die Verdichtung je nach Modell standardmäßig zwischen der Hälfte und drei Vierteln des Kontextfensters.

Das ist sinnvoll, weil der Chat sonst irgendwann abbrechen würde. Aber eine Zusammenfassung ist immer eine Auswahl. Was das Modell beim Zusammenfassen für unwichtig hält, ist danach weg: die genaue Zahl aus der dritten Nachricht, der Grund, warum Variante B verworfen wurde, der Name der Ansprechpartnerin. Du merkst nicht, was fehlt, weil du nicht siehst, was gekürzt wurde.

Automatische Verdichtung ist deshalb ein Sicherheitsnetz, kein Arbeitsmodus. Wer regelmäßig in sie hineinläuft, hätte den Chat besser vorher selbst beendet.

Warum sind Übergabeprotokolle die schwächere Lösung?

Kurz gesagt: Ein Übergabeprotokoll kostet Zeit, ist selbst eine verlustbehaftete Zusammenfassung und füllt den neuen Chat gleich zu Beginn wieder mit Text. Es verschiebt das Problem, statt es zu lösen.

Der übliche Rat für den Chatwechsel lautet: Lass dir am Ende eine Zusammenfassung schreiben, kopiere sie in den neuen Chat, mach weiter. Das funktioniert, hat aber vier Schwächen.

1. Der Zeitpunkt ist schlecht. Das Protokoll entsteht genau dann, wenn der Chat schon zu lang ist. Das Modell fasst also in dem Zustand zusammen, in dem es Details am schlechtesten findet.
2. Es ist wieder eine Auswahl. Ein Protokoll ist nichts anderes als eine Verdichtung von Hand. Was nicht drinsteht, ist im neuen Chat nicht vorhanden.
3. Es wird lang und veraltet. Protokolle wachsen mit jeder Übergabe, weil niemand etwas streichen will. Nach der dritten Übergabe liest sie niemand mehr vollständig, auch du nicht.
4. Der neue Chat startet halbvoll. Wer drei Seiten Protokoll einfügt, beginnt den neuen Chat mit genau dem Ballast, den er loswerden wollte.

Dazu kommt der Aufwand. Wer bei jedem Wechsel ein Protokoll anfordert, prüft und einfügt, wechselt seltener, als er sollte. Und dann ist man wieder beim Ausgangsproblem.

Was funktioniert besser als ein Protokoll?

Kurz gesagt: Ein kurzer Zeiger auf den alten Chat statt einer langen Zusammenfassung. Die KI sucht sich im neuen Chat selbst heraus, was sie gerade braucht.

Die Grundidee: Der alte Chat ist ja nicht weg. Wenn das KI-System frühere Gespräche durchsuchen kann, braucht der neue Chat keine Kopie des alten, sondern nur einen Hinweis, wo er nachsehen soll, plus den aktuellen Stand in zwei, drei Sätzen.

Das hat drei Vorteile:

• Der neue Chat bleibt schlank. Er startet mit ein paar Zeilen statt mit Seiten.
• Nichts geht verloren. Der vollständige alte Verlauf bleibt erhalten und durchsuchbar. Das Modell holt gezielt die Stelle, die zur aktuellen Frage passt, statt mit einer Zusammenfassung zu arbeiten, die jemand vorher ausgewählt hat.
• Es passt zur Forschung. Die Chroma-Ergebnisse zeigen, dass Modelle mit fokussiertem, relevantem Kontext besser antworten als mit dem vollen Verlauf. Gezieltes Nachschlagen liefert genau diesen fokussierten Kontext.

Bleibt die Frage nach dem richtigen Moment. Denn der beste Zeiger nützt nichts, wenn du den Wechsel zu spät bemerkst.

Wie geht das konkret mit Hermes Agent?

Kurz gesagt: Mit dem kostenlosen Plugin chat-length meldet sich Hermes selbst, wenn ein Chat zu lang wird, und liefert einen fertigen Startsatz für den neuen Chat. Den Rest holt sich Hermes per Session-Suche aus dem alten Gespräch.

Aus der Frage unserer Kundin ist ein kleines Plugin für Hermes Agent entstanden: chat-length. Es macht genau die zwei Dinge, die in diesem Artikel fehlen: Es sagt dir, wann es Zeit ist, und es gibt dir den Zeiger.

So läuft es ab:

1. Nach jeder Antwort merkt sich das Plugin, wie viele Tokens der KI-Anbieter tatsächlich verarbeitet hat. Es schätzt nicht, es nimmt die echten Zahlen.
2. Gemessen wird gegen den Punkt, an dem Hermes verdichten würde. So kommt der Hinweis rechtzeitig, bevor Details verloren gehen.
3. Bei 70 Prozent (einstellbar) erscheint unter der normalen Antwort ein kurzer Hinweis, bei 90 Prozent eine dringlichere Version. Jede Stufe kommt nur einmal pro Chat.
4. Im Hinweis steht ein fertiger Startsatz: Titel und ID des alten Chats, zwei bis drei Stichpunkte zum Stand, die offenen Punkte.
5. Diesen Satz kopierst du in einen neuen Chat. Hermes sucht den alten Verlauf mit seiner eingebauten Session-Suche (session_search) selbst heraus.

So sieht ein solcher Startsatz aus:

Weiter mit unserem Chat "Sommerfest in Köln" (Session 20261015_141559_2a617f).
Hol dir zuerst selbst den Verlauf per session_search.
Stand:
* Strand-Motto beschlossen
* Budget für Deko, Technik und Catering grob geplant
Offen: Location, Schlechtwetter-Plan.

Was wichtig ist, damit du es einordnen kannst:

• chat-length ist kostenlos, Open Source unter MIT-Lizenz und liegt öffentlich auf GitHub.
• Es ändert den System-Prompt nicht, deshalb bleibt Prompt-Caching intakt. Es baut keine Netzwerkverbindungen auf und speichert keine Chat-Inhalte.
• Live getestet ist es mit der Hermes-CLI auf v0.21.6 und v0.22.2. Es läuft serverseitig und ist damit auch für WebUI, Desktop und Telegram gebaut, dort haben wir es aber noch nicht live getestet.
• Es steht im offiziellen Plugin-Katalog von Hermes. Nous Research hat den Eintrag geprüft und am 23. Oktober 2026 aufgenommen. Installiert ist es mit einem Befehl:

hermes plugins install chat-length --enable
hermes gateway restart

Praxistipp: Ergänze in der SOUL.md deines Hermes eine Regel, dass er bei Formulierungen wie “wie besprochen” oder “im letzten Chat” zuerst per session_search nachsieht. Dann funktioniert der Wechsel sogar ohne Startsatz. Die fertige Formulierung steht im README des Plugins.

Alle unsere Plugins und Skills für Hermes sammeln wir auf der Seite Hermes-Plugins.

Häufige Fragen

Wie lang darf ein KI-Chat sein?

Eine feste Grenze gibt es nicht, sie hängt vom Modell und von der Aufgabe ab. Studien zeigen aber, dass die Qualität schon lange vor dem Ende des Kontextfensters nachlässt. Ein Chat pro Aufgabe und ein Wechsel nach jeder abgeschlossenen Etappe sind eine gute Faustregel.

Ist ein größeres Kontextfenster die Lösung?

Nur bedingt. Ein größeres Fenster verschiebt die harte Grenze, löst aber nicht das Problem, dass Modelle in langen Kontexten schlechter das Relevante finden. Fokussierter Kontext schlägt viel Kontext.

Wie nehme ich wichtige Informationen in einen neuen Chat mit?

Am besten mit einem kurzen Startsatz: worum es geht, was beschlossen ist, was offen ist. Kann dein KI-System frühere Chats durchsuchen, gib zusätzlich einen Verweis auf den alten Chat mit, statt ihn zusammenzufassen.

Was ist der Unterschied zwischen Verdichtung und einem neuen Chat?

Bei der Verdichtung ersetzt die KI ältere Teile des Chats durch eine Zusammenfassung, Details gehen dabei verloren. Ein neuer Chat startet leer, und der alte bleibt vollständig erhalten und durchsuchbar.

Funktioniert das auch mit ChatGPT oder Claude?

Die Regeln zum richtigen Zeitpunkt gelten für jeden KI-Chat. Das Plugin chat-length gibt es nur für Hermes Agent, weil es dessen Schnittstellen und Session-Suche nutzt.

Fazit

Lange KI-Chats werden nicht klüger, sondern langsamer, teurer und ungenauer. Das ist keine Schwäche einzelner Modelle, sondern gut belegt. Die richtige Antwort darauf ist ein rechtzeitiger Wechsel, und für den Wechsel reicht ein kurzer Zeiger auf den alten Chat. Ein langes Übergabeprotokoll ist dagegen eine weitere verlustbehaftete Zusammenfassung, geschrieben im ungünstigsten Moment.

Wenn du Hermes Agent nutzt, nimmt dir chat-length beides ab: den Hinweis zur richtigen Zeit und den fertigen Startsatz. Wenn du ein KI-System suchst, das solche Dinge von Anfang an mitbringt und auf einem Server läuft, der dir gehört, sieh dir B.R.A.I.N. an.

Über MadeByBrain: Wir bauen KI-Automatisierung für den Mittelstand, eigene AI-Agenten, n8n-Workflows und GEO-Strategien, live im Einsatz. Von der ersten Idee bis zur produktiven Automatisierung.

Jetzt kostenloses Strategiegespräch vereinbaren