Kontextfenster verstehen: warum lange Dokumente in der KI-Analyse kippen

Ein Lastenheft, 180 Seiten, hochgeladen. Deine Frage: „Welche Fristen stehen drin?” Die Antwort nennt vier. Drei stimmen, eine steht so nicht im Dokument, und die fünfte, die auf Seite 112 in einem Nebensatz mitläuft, taucht überhaupt nicht auf.

Der Reflex danach ist meistens: besserer Prompt. Der hilft hier nur begrenzt, weil das Problem eine Ebene tiefer sitzt: bei der Menge Text, die ein Modell gleichzeitig ansehen kann, und bei der Ungleichmäßigkeit, mit der es ihn dabei behandelt.

Modelle rechnen in Tokens, nicht in Seiten

Ein Token ist ein Textstück. Mal eine Silbe, mal ein ganzes Wort, mal nur ein Komma. OpenAI nennt für Englisch die Faustregel: ein Token entspricht ungefähr vier Zeichen oder drei Vierteln eines Wortes, 100 Tokens sind also rund 75 Wörter.

Für Deutsch fällt die Rechnung schlechter aus. Die verbreiteten Tokenizer sind an englischem Text ausgerichtet, und deutsche Komposita zerfallen in mehr Einzelteile als englische Wortketten. Petrov und Kollegen haben diese Ungleichheit 2023 systematisch vermessen und beziffern den Aufschlag für Deutsch gegenüber demselben Inhalt auf Englisch auf rund die Hälfte.

Was das für deine Unterlagen heißt, lässt sich überschlagen. Eine normal gefüllte Seite Vertragstext hat vielleicht 400 bis 500 Wörter. Auf Deutsch landest du damit grob bei 800 bis 1.000 Tokens pro Seite. Ein 200-Seiten-PDF liegt also in der Größenordnung von 160.000 bis 200.000 Tokens, und das ist ein Überschlag, kein Messwert. Anhänge, Tabellen und eingebettete Bilder verschieben ihn nach oben, oft deutlich.

Dazu kommt: Deine Frage, die bisherige Unterhaltung und die Antwort des Modells zählen mit. Das Fenster ist ein gemeinsames Budget für alles, nicht nur für das Dokument.

Das erklärt einen Effekt, den viele als Launenhaftigkeit erleben. Am Anfang eines Chats sitzen die Antworten, nach vierzig Nachrichten werden sie schwammig, und irgendwann widerspricht das Modell dem, was es selbst vor einer Stunde geschrieben hat. Dahinter steckt oft nur Arithmetik. Das Dokument bekommt anteilig immer weniger Platz, je länger die Unterhaltung wird. Bei ernsthafter Dokumentenarbeit lohnt sich deshalb die unspektakulärste Maßnahme überhaupt: für jede größere Frage eine frische Unterhaltung starten und das Dokument neu mitgeben.

Was passiert, wenn das Fenster voll ist

Drei Verhaltensweisen sind verbreitet, und du siehst von außen selten, welche gerade greift.

Manche Werkzeuge brechen ab und melden einen Fehler. Das ist der angenehmste Fall, weil du sofort weißt, woran du bist.

Manche kürzen still. Der Anfang bleibt, der Rest fällt weg, die Antwort kommt trotzdem und klingt vollständig.

Und viele Chat-Oberflächen schalten bei großen Dateien auf Retrieval um: Das Dokument wird zerlegt und durchsuchbar gemacht, und pro Frage wandern nur die Passagen ins Fenster, die zur Frage zu passen scheinen. Der Effekt ist erst mal gut, weil überhaupt etwas geht. Der Preis: Was der Suchschritt nicht findet, existiert für die Antwort nicht, und dein Modell weiß davon nichts. Welche Systeme wann so arbeiten, steht in warum manche Modelle mit langen Dokumenten besser umgehen.

Der Effekt, der öfter zuschlägt: die Mitte

Jetzt der Teil, der in der Praxis mehr Schaden anrichtet als das harte Limit. Auch wenn dein Dokument bequem ins Fenster passt, wird es nicht gleichmäßig gelesen.

Nelson F. Liu und Kollegen von der Stanford University haben das 2024 in den Transactions of the ACL unter dem Titel „Lost in the Middle” veröffentlicht. Sie haben zwei Aufgaben gestellt, die man mechanisch auswerten kann: Fragen, deren Antwort in genau einem von vielen mitgelieferten Dokumenten steht, und ein simples Nachschlagen von Schlüssel-Wert-Paaren. Dann haben sie die relevante Stelle im Kontext verschoben. Ergebnis: eine U-Kurve. Steht die gesuchte Information am Anfang oder am Ende, wird sie zuverlässig gefunden. Steht sie in der Mitte, sinkt die Trefferquote spürbar. Kein einziges der untersuchten Modelle nutzte alle Positionen gleich gut.

Der zweite Strang kommt aus der Praxis. Greg Kamradt hat 2023 den „Needle in a Haystack”-Test populär gemacht: ein einzelner eingeschmuggelter Satz in einem langen Fülltext, dann die Frage danach. Seine Auswertung für GPT-4 zeigte denselben Bauch nach unten, mit den schwächsten Werten im mittleren Tiefenbereich.

Der Test hat allerdings eine Schwäche: Wenn im gesuchten Satz dieselben Wörter stehen wie in der Frage, reicht Stichwortsuche. Genau da setzt NoLiMa an, eine Arbeit von Modarressi und Kollegen aus dem Umfeld von Adobe Research, vorgestellt auf der ICML 2025. Die Autoren bauen die Nadel so, dass sie mit der Frage kaum wörtliche Überschneidung hat. Man muss also verstehen, nicht nur matchen. Die Kurve fällt daraufhin sehr viel früher: Bei 32.000 Tokens rutschten zehn der zwölf getesteten Modelle unter die Hälfte ihres eigenen Werts bei kurzem Kontext. Alle diese Modelle sind für 128.000 Tokens und mehr beworben.

Chroma hat im Juli 2025 unter dem Stichwort „Context Rot” 18 aktuelle Modelle über wachsende Eingabelängen getestet, darunter die damaligen Spitzenmodelle. Befund: Jedes einzelne baute mit zunehmender Länge ab, und zwar ungleichmäßig, nicht als sanfte Gerade. NVIDIAs Benchmark RULER kommt aus einer anderen Richtung zum selben Punkt. Dort wird die nutzbare Kontextlänge gegen die beworbene gestellt, und die nutzbare liegt regelmäßig darunter.

Vier Untersuchungen, vier Methoden, ein gemeinsamer Kern: Kapazität und Aufmerksamkeit sind zwei verschiedene Dinge.

Sonst wird die Sache größer erzählt, als sie ist: Alle vier Arbeiten messen an künstlich gebauten Aufgaben, oft mit synthetischem Fülltext, und die getesteten Modellstände sind inzwischen teilweise überholt. Neuere Modelle halten die Kurve länger flach. Der Befund ist kein fester Prozentwert, sondern eine Richtung, die sich in vier unabhängigen Anläufen wiederholt hat. Für deine Arbeit reicht das, weil du daraus keine Zahl brauchst, sondern eine Arbeitsweise.

Was du praktisch daraus machst

Teile nach Sinn, nicht nach Seitenzahl. Ein Vertrag zerfällt in Präambel, Leistungen, Vergütung, Laufzeit, Haftung, Anlagen. Diese Grenzen sind brauchbare Schnittkanten. „Seite 1 bis 50” ist eine schlechte, weil sie mitten in einem Argument trennt.

Leg das Dokument nach oben, deine Frage nach unten. Anthropic empfiehlt in der eigenen Dokumentation genau das für lange Eingaben und berichtet aus internen Tests von bis zu 30 Prozent besserer Antwortqualität, wenn die Frage ans Ende rutscht. Das ist eine Herstellerangabe, kein unabhängiges Ergebnis. Sie kostet dich nichts und passt zur U-Kurve, also nimm sie mit.

Wichtiges nicht in die Mitte legen. Das gilt vor allem, wenn du selbst zusammenstellst: fünf Angebote in einer Datei, ein Anschreiben plus drei Anlagen, ein Protokoll mit angehängten Vorversionen. Was du wirklich beantwortet haben willst, gehört an den Anfang oder ans Ende.

Arbeite in Durchgängen. Erster Durchgang: Struktur. Was für ein Dokument ist das, wie ist es gegliedert, wo stehen die Themen? Zweiter Durchgang: gezielt einen Abschnitt vorlegen und die eigentliche Frage stellen. Dritter Durchgang: Gegenprobe an einer Stelle, die du selbst kennst. Das Vorgehen im Detail steht in ein langes PDF mit KI analysieren.

Der erste Durchgang wirkt wie ein Umweg und spart am meisten Zeit. Er liefert dir eine Landkarte: Kapitelüberschriften mit Seitenzahlen, dazu die Notiz, wo Fristen, Preise und Haftung überhaupt vorkommen. Danach arbeitest du nicht mehr mit 180 Seiten, sondern mit vier Ausschnitten von je zwölf Seiten. Und jeder dieser Ausschnitte liegt komfortabel im gut gelesenen Bereich, statt irgendwo in der Mitte eines Riesenblocks zu versinken.

Verlange Belege. „Zitiere zu jeder Aussage den Wortlaut und die Seitenzahl” verwandelt eine ungeprüfte Behauptung in etwas, das du in zwei Minuten nachschlagen kannst. Warum das der wirksamste einzelne Hebel ist, steht in Halluzinationen in der Dokumentenanalyse erkennen.

Dieses Vorgehen kostet Aufwand, und für eine schnelle Orientierung lohnt er sich nicht. Dann lade das Dokument in einem Stück hoch und behandle die Antwort als Grobskizze, auf der niemand weiterbaut. Die Durchgänge brauchst du in dem Moment, in dem jemand anders auf dem Ergebnis aufsetzt.

Warum ein größeres Fenster die Sorgfalt nicht ersetzt

Die beworbenen Fenster wachsen weiter, und das ist real nützlich. Es löst nur eine andere Aufgabe als die, die du meistens hast.

Die Benchmarks messen fast immer: Findest du diese eine Sache? Deine Frage im Alltag lautet dagegen: Habe ich alle? Alle Fristen. Alle Kündigungsrechte. Alle Stellen, an denen eine Haftung ausgeweitet wird. Bei einer Vollständigkeitsfrage merkst du einen fehlenden Treffer nicht, weil nichts fehlt, was du sehen könntest. Der teure Fehler in der Dokumentenanalyse ist selten die falsche Angabe. Es ist die, die gar nicht erst auftaucht.

Keine der Maßnahmen oben macht Vollständigkeit prüfbar. Sie erhöhen die Trefferquote. Prüfen musst du stichprobenweise selbst, und bei rechtlich oder finanziell bindenden Dokumenten prüft zusätzlich ein Mensch mit Fachkenntnis. Die Einordnung, wo diese Grenze im Gesamtablauf liegt, steht im Leitfaden zur KI-Dokumentenanalyse im Business.

Ein Test, der zehn Minuten dauert

Nimm dein längstes Arbeitsdokument. Setz ungefähr in der Mitte einen Satz ein, der dort nicht hingehört und den du dir merken kannst, etwa „Die Wartungspauschale beträgt 240 Euro je Quartal.” Lade das Dokument hoch und frag nach der Wartungspauschale.

Dann dieselbe Datei, denselben Satz, diesmal auf den letzten beiden Seiten. Frag noch einmal.

Wenn beide Antworten sitzen, ist das für dieses Dokument und dieses Werkzeug eine gute Nachricht. Wenn die erste danebengeht, hast du keinen Bedienfehler gefunden, sondern deine eigene Messung der U-Kurve.

Quellen

• Lost in the Middle: How Language Models Use Long Contexts – Liu et al., TACL Band 12, 2024
• Lost in the Middle (Volltext-PDF) – Transactions of the ACL, 2024
• NoLiMa: Long-Context Evaluation Beyond Literal Matching – Modarressi et al., 2025
• NoLiMa: Long-Context Evaluation Beyond Literal Matching – ICML 2025 Poster
• NoLiMa – offizielles Repository, Adobe Research
• Context Rot: How Increasing Input Tokens Impacts LLM Performance – Hong, Troynikov, Huber, Chroma, Juli 2025
• Notes on Context Rot – Hamel Husain (unabhängige Einordnung)
• RULER: What's the Real Context Size of Your Long-Context Language Models? – NVIDIA, 2024
• RULER – offizielles Repository, NVIDIA
• What are tokens and how to count them? – OpenAI Help Center
• Language Model Tokenizers Introduce Unfairness Between Languages – Petrov et al., 2023
• Long context prompting tips – Anthropic Dokumentation
• The Needle In a Haystack Test – Arize AI (Einordnung des Kamradt-Tests)