15.08.2026•8 Min. Lesezeit

Lange Dokumente: warum manche Modelle besser damit umgehen

Zwei Leute im selben Büro, dasselbe 140-seitige Ausschreibungs-PDF, dieselbe Frage nach den Eignungsnachweisen. Eine bekommt eine Liste mit sieben Punkten und Seitenzahlen. Der andere bekommt fünf Punkte, keine Seitenzahlen, und einen davon gibt es im Dokument nicht. Unterschiedliche Werkzeuge, gleicher Input.

Daraus wird im Büro dann: „Nimm lieber das andere.” Und drei Monate später stimmt der Satz nicht mehr, weil beide Anbieter zwischendurch etwas ausgetauscht haben. Deshalb hier keine Rangliste, sondern die sechs Eigenschaften, an denen sich das tatsächlich entscheidet. Die kannst du beim nächsten Wechsel wieder anwenden.

Die Größe des Kontextfensters taugt dabei kaum noch zur Unterscheidung. Die großen Anbieter liegen dort dicht beieinander, und wer heute vorn ist, ist es nach dem nächsten Release vielleicht nicht mehr. Die Unterschiede, die deine Auswertung tatsächlich brauchbar oder unbrauchbar machen, sitzen woanders: im Umgang mit Belegen, mit Scans, mit dem, was nicht gefunden wurde.

1. Nutzbare Kontextlänge, nicht beworbene

Die Zahl auf der Produktseite sagt, wie viel Text technisch hineinpasst. Sie sagt nichts darüber, wie gut das Modell diesen Text noch verwertet. Behandle sie als Obergrenze eines Behälters, nicht als Reichweite.

Für den Abstand zwischen beidem gibt es einen Namen. NVIDIAs Benchmark RULER nennt die Länge, bis zu der ein Modell seine Qualität hält, „effective length”, und sie liegt regelmäßig unter der beworbenen, teils deutlich. NoLiMa (ICML 2025) baut die gesuchte Stelle so, dass sie mit der Frage kaum wörtlich überlappt, Stichwortsuche reicht also nicht: Bei 32.000 Tokens fielen zehn der zwölf getesteten Modelle unter die Hälfte ihres eigenen Kurzkontext-Werts, obwohl alle für 128.000 Tokens und mehr beworben sind. Chroma hat im Juli 2025 18 Modelle über wachsende Eingabelängen geprüft und bei jedem einzelnen einen Abbau gemessen.

Die Messungen im Einzelnen und der Grund, warum ausgerechnet die Mitte leidet, stehen in Kontextfenster verstehen.

2. Verhalten bei Belegpflicht

Das ist für Geschäftsunterlagen das wichtigste Kriterium, und es ist erstaunlich gut prüfbar.

Frag nach einer Auskunft und verlange dazu den Wortlaut plus die Fundstelle. Dann sieh dir an, was zurückkommt. Manche Systeme liefern belastbare Zitate mit Seiten- oder Abschnittsbezug. Manche liefern Zitate, die im Dokument so nicht stehen. Und manche weichen aus und schreiben sinngemäß, das stehe „im Abschnitt zur Vergütung”, ohne den Satz zu nennen.

Auf der technischen Seite gibt es dafür seit Januar 2025 eine eigene Bauform: Anthropic hat mit „Citations” eine Schnittstelle veröffentlicht, die Antworten automatisch an die zugelieferten Textabschnitte bindet, statt die Belege vom Modell formulieren zu lassen. Das ist ein Anbieterangebot mit Anbieter-Zahlen, und mehrere Fachmedien haben die Einführung damals unabhängig berichtet. Für dich zählt weniger die Marke als das Prinzip: Ein Beleg, den das System aus dem Dokument heraus setzt, ist etwas anderes als ein Beleg, den das Modell schreibt.

Prüfmethode ohne jede Technik: drei Zitate aus der Antwort nehmen, im PDF nach dem Wortlaut suchen. Zwei Minuten. Mehr zur Systematik in Halluzinationen in der Dokumentenanalyse erkennen.

3. Umgang mit Scans und Tabellen

Hier trennt sich mehr, als die meisten erwarten, und es hat wenig mit „Intelligenz” zu tun.

Ein PDF kann eine Textebene haben oder ein Bild sein. Bei einem eingescannten Vertrag ist es ein Bild. Systeme, die nur die Textebene auslesen, sehen dann schlicht nichts und sagen das nicht immer. Systeme mit Bildverarbeitung sehen die Seite, müssen die Zeichen aber erst erkennen, und dabei entstehen die klassischen Verwechslungen bei Zahlen, Umlauten und Handschrift.

Tabellen sind der zweite Bruch. Eine PDF-Tabelle ist im Dateiformat oft keine Tabelle, sondern eine Ansammlung von Textkästchen mit Koordinaten. Verbundene Zellen, mehrzeilige Überschriften und Fußnoten in der Zelle sind die üblichen Stellen, an denen eine Zahl in die falsche Spalte rutscht. Genau deshalb prüfst du bei Preistabellen und Leistungsverzeichnissen zwei, drei Werte von Hand nach, unabhängig davon, welches System du benutzt.

Beachte auch die harten Limits pro Anfrage. Anthropic dokumentiert für die eigene Schnittstelle eine Obergrenze von 32 MB je Anfrage und 600 Seiten, bei Kontextfenstern unter einer Million Tokens 100, und weist ausdrücklich darauf hin, dass dichte Seiten das Kontextfenster füllen können, bevor die Seitengrenze erreicht ist, weil jede Seite als Bild verarbeitet wird (Stand Juli 2026). Solche Grenzen sind je Anbieter unterschiedlich und ändern sich; sie sind trotzdem der Grund, warum ein dichter 300-Seiten-Scan in Teilen kommen muss. Welche Dateiarten überhaupt wie ankommen, steht in PDF, Scan, Excel, Word: was wirklich gelesen wird.

4. Retrieval oder Volltext

Zwei völlig verschiedene Betriebsarten, gleiche Oberfläche, und kaum jemand sagt dir, welche gerade läuft.

Volltext heißt: Das Dokument wandert vollständig ins Kontextfenster. Das Modell hat alles gleichzeitig vor sich. Gut für Fragen, die das Ganze betreffen, etwa Widersprüche zwischen Kapitel 3 und Anlage B. Teuer und begrenzt.

Retrieval heißt: Das Dokument wird zerlegt und indexiert, und pro Frage werden nur die passend erscheinenden Ausschnitte geladen. OpenAI beschreibt für Datei-Uploads in ChatGPT Enterprise genau diesen Weg, und dieselbe Mechanik greift auch in vielen Notizbuch- und Projekt-Funktionen anderer Anbieter (Stand Juli 2026). Gut für punktuelle Fragen an große Bestände. Schlecht für Vollständigkeit, weil alles, was der Suchschritt übersieht, für die Antwort nicht existiert.

Der Test dafür ist simpel. Stell eine Frage, deren Antwort nur entsteht, wenn zwei weit auseinanderliegende Stellen zusammengebracht werden. Zum Beispiel: „Widerspricht die Zahlungsfrist in der Anlage der Regelung im Hauptvertrag?” Ein Retrieval-System, das nur eine der beiden Stellen findet, antwortet zuversichtlich und falsch.

Zwei weitere Anzeichen helfen beim Erkennen. Erstens die Dateigröße: Wenn ein Werkzeug ein 300-Seiten-PDF ohne Murren annimmt, obwohl das rechnerisch weit über jedem Fenster liegt, läuft mit hoher Wahrscheinlichkeit Retrieval. Zweitens die Zusammenfassung: Bitte um eine Gliederung des gesamten Dokuments mit allen Hauptkapiteln. Fehlen dabei ganze Blöcke aus der Mitte oder aus dem Anhang, hat das System nie alles gesehen.

Keine der beiden Bauformen ist grundsätzlich besser. Für „finde mir die Stelle zu Thema X in diesen 40 Handbüchern” ist Retrieval das richtige Werkzeug. Für „prüf diesen einen Vertrag auf innere Widersprüche” willst du Volltext. Der Fehler entsteht, wenn du die eine Frage an die andere Bauform stellst und das Ergebnis für vollständig hältst.

5. Verhalten bei Nicht-Gefundenem

Was macht das System, wenn die Information schlicht nicht drinsteht?

Die ehrliche Antwort für alle Systeme lautet: zu selten das Richtige. AbstentionBench, 2025 veröffentlicht und auf der NeurIPS 2025 vorgestellt, prüft genau diese Fähigkeit über 20 Datensätze und 20 aktuelle Modelle hinweg, unter anderem für Fragen ohne Antwort und für unterbestimmte Kontexte. Fazit der Autoren: ungelöst. Größere Modelle helfen dabei kaum, und ausgeprägtes Reasoning-Training verbessert es nicht zuverlässig.

Für dich ist das ein Auswahlkriterium mit klarer Prüfung: Stell eine Frage, deren Antwort garantiert nicht im Dokument steht. „Wie hoch ist die Konventionalstrafe bei Verzug?” in einem Vertrag, der keine enthält. Ein „Dazu steht nichts im Dokument” ist ein sehr gutes Ergebnis. Eine plausibel klingende Zahl ist ein Ausschlusskriterium für alles, was du nicht Zeile für Zeile nachprüfst.

Ein Teil davon liegt allerdings bei dir. Wenn in deiner Anweisung ausdrücklich steht, dass Nicht-Gefundenes als solches zu melden ist und Raten unerwünscht, verhalten sich die meisten Systeme spürbar besser. Ein System, das auch mit dieser Ansage noch erfindet, fällt aus der Auswahl.

6. Das Datenschutz-Setup

Technisch identische Modelle verhalten sich rechtlich sehr unterschiedlich, je nachdem, über welchen Zugang du sie nutzt. Kostenloser Consumer-Account, bezahlter Team-Tarif, Unternehmensvertrag mit Auftragsverarbeitung, Zugang über einen Cloud-Anbieter mit Region in der EU: Das sind vier verschiedene Rechtslagen bei derselben Modellfamilie.

Deshalb gehört dieses Kriterium nicht ans Ende deiner Auswahl, sondern an den Anfang. Ein System, das den Mandantenvertrag nicht sehen darf, muss nicht verglichen werden. Details dazu stehen in DSGVO und Vertraulichkeit: welches Dokument in welches Tool, und für die verbindliche Beurteilung deines Falls brauchst du Rechtsrat, keinen Blogartikel.

Der Eigentest in zwanzig Minuten

Nimm ein echtes Dokument aus deinem Alltag, dessen Inhalt du kennst. Dann vier Fragen, in dieser Reihenfolge:

Eine Frage, deren Antwort du kennst, samt Zitat und Fundstelle. Prüft Kriterium 2.
Eine Frage nach einer Zahl aus einer Tabelle oder aus einem gescannten Teil. Prüft Kriterium 3.
Eine Frage, die zwei weit auseinanderliegende Stellen verbindet. Prüft Kriterium 4.
Eine Frage nach etwas, das garantiert nicht drinsteht. Prüft Kriterium 5.

Notier die vier Ergebnisse in vier Zeilen. Diese Notiz ist mehr wert als jeder Vergleichsartikel, weil sie an deinen Unterlagen gemessen wurde und nicht an einem Benchmark-Datensatz. Und beim nächsten Modellwechsel wiederholst du dieselben vier Fragen in zehn Minuten.

Die ehrliche Grenze

Keines der sechs Kriterien misst, ob eine Auswertung vollständig war. Sie zeigen, wie ein System sich verhält, wenn es an seine Kanten kommt. Vollständigkeit prüfst du weiterhin stichprobenweise selbst, und bei allem, was bindet, prüft ein Mensch mit Fachkenntnis. Wo diese Grenze im Gesamtablauf liegt, steht im Leitfaden zur KI-Dokumentenanalyse im Business.

Die Zahlen in diesem Artikel tragen einen Stand-Marker, und in sechs Monaten stimmt vermutlich die Hälfte davon nicht mehr. Das Kriterium überlebt den Modellwechsel, die Modellnamen nicht.

Quellen

Benedikt Backhaus

Experte für KI, Automatisierung und die Zukunft der Arbeit. Ich helfe Unternehmen und Einzelpersonen dabei, die Potenziale neuer Technologien zu nutzen.

Mehr über mich →Termin buchen →