14.08.2026•8 Min. Lesezeit

Halluzinationen in Dokumentenanalysen erkennen: Zitatpflicht, Stichprobe, Fangfrage

Die Analyse liegt vor dir, sauber in Spalten, mit Paragraf und Seitenzahl in jeder Zeile. Du liest „§ 12 Abs. 4, S. 19”, schlägst nach, und auf Seite 19 steht etwas anderes. Nicht ungefähr etwas anderes. Ein völlig anderes Thema.

Das passiert selten genug, dass man es für einen Ausrutscher hält, und oft genug, dass es irgendwann teuer wird. Wer mit KI Dokumente auswertet, braucht deshalb ein Prüfverfahren, das in Minuten läuft und nicht davon abhängt, ob man an dem Tag gerade misstrauisch ist.

Warum gerade Dokumentenanalyse so trügerisch ist

Bei einer allgemeinen Wissensfrage ist die Skepsis eingebaut. Du weißt, dass das Modell aus dem Gedächtnis antwortet, und prüfst reflexhaft nach.

Bei der Dokumentenanalyse fällt genau dieser Reflex weg. Es lag ja ein Dokument dabei. Die Antwort zitiert und nummeriert, und das erzeugt den Eindruck, hier sei etwas abgelesen worden. Der Eindruck ist die Falle: Ein Zitat mit Seitenzahl sieht überprüft aus, obwohl es nur überprüfbar ist. Das sind zwei sehr verschiedene Zustände, und dazwischen liegt genau die Arbeit, die niemand machen will.

Dazu kommt der Kontext, in dem solche Auswertungen entstehen. Man liest sie, weil man das Dokument nicht selbst lesen will. Wer soll den Fehler dann finden?

Praktisch treten drei Fehlerbilder auf, und sie sind unterschiedlich leicht zu erwischen. Erstens die frei erfundene Fundstelle, Paragraf und Seite existieren so nicht. Zweitens das echte Zitat an der falschen Stelle: Der Satz steht im Dokument, aber in einem anderen Abschnitt und in einem anderen Zusammenhang. Drittens die stille Vermischung. Ein Halbsatz aus dem Dokument wird mit Branchenüblichem ergänzt, das dort nirgends steht. Fall drei ist der häufigste, und der unauffälligste, weil das Ergebnis klüger wirkt als das Dokument.

Warum Sprachmodelle überhaupt halluzinieren

Adam Tauman Kalai und Santosh Vempala haben 2023 eine unangenehme Eigenschaft formal gezeigt: Für bestimmte Arten von Fakten ist Halluzination bei kalibrierten Sprachmodellen nicht vermeidbar. Ihr Argument hängt weder an der Transformer-Architektur noch an schlechten Trainingsdaten. Für „arbiträre” Fakten, deren Wahrheitsgehalt sich aus den Trainingsdaten nicht bestimmen lässt, liegt die Wahrscheinlichkeit einer Halluzination demnach nahe am Anteil der Fakten, die im Training genau einmal vorkommen. Selbst bei fehlerfreien Trainingsdaten.

Das erklärt die Grundneigung. Es erklärt noch nicht, warum sie auch dann auftritt, wenn das Dokument direkt danebenliegt.

Zwei Messungen geben eine Vorstellung von der Größenordnung. Vectara betreibt ein öffentliches Leaderboard, bei dem Modelle ein Dokument bekommen und ausschließlich daraus zusammenfassen sollen, über mehr als 7.700 Artikel hinweg. Gezählt wird der Anteil der Zusammenfassungen mit nicht gedeckter Information. Beim Stand vom 11. Mai 2026 führte dort ein Modell mit 1,8 Prozent, mehrere weitere lagen zwischen 3 und 4 Prozent.

Der Datensatz RAGTruth von Particle Media geht ins Detail: 17.790 Antworten, alle mit bereitgestelltem Quelltext erzeugt, von Hand auf Wortebene annotiert. In 7.664 dieser Antworten fanden die Annotatoren Passagen ohne Deckung im Quelltext, insgesamt 14.289 markierte Stellen. Die getesteten Modelle stammen aus der Generation um GPT-3.5, GPT-4, Llama 2 und Mistral 7B und sind heute überholt. Die Zahl taugt deshalb nicht als Prognose für dein Werkzeug. Sie taugt als Beleg dafür, dass ein Dokument im Kontext den Fehler nicht abschaltet, sondern nur seltener macht.

Verlass dich also nicht darauf, dass die Rate klein ist. Bei zwanzig Zeilen Vertragsanalyse und ein bis zwei Prozent Fehlerquote geht es statistisch meist gut. Die Frage ist, was die eine Zeile kostet, wenn sie die Haftungsklausel betrifft.

Vier Gegenmittel, die in der Praxis halten

Wörtliche Belegstellen mit Fundstelle

Die Grundregel steht schon im Prompt, nicht erst in der Prüfung: Jede Aussage braucht ein wörtliches Zitat und eine Fundstelle, keine Paraphrase. Wie so ein Prompt aussieht, steht in Der Prompt für Dokumentenanalyse.

Der Grund ist banal und wirksam. Ein wörtliches Zitat kannst du mit Strg+F suchen, in fünf Sekunden, ohne den Absatz zu lesen. Eine Paraphrase kannst du nur bewerten, indem du die Stelle liest und interpretierst, und dann bist du wieder bei der Arbeit, die du gerade abgeben wolltest.

Anthropic behandelt genau diesen Kniff im offenen Prompting-Kurs unter „Avoiding Hallucinations”: erst Belegstellen wörtlich ziehen lassen, dann darauf antworten. Die Reihenfolge ist der halbe Trick.

Stichprobe mit fester Quote

Jetzt kommt der Teil, den fast alle falsch machen. Sie prüfen die Zeilen, die ihnen komisch vorkommen.

Das ist der schlechteste mögliche Filter, weil eine gut erfundene Zeile nicht komisch aussieht. Plausibel zu wirken ist das definierende Merkmal einer Halluzination. Wer nach Auffälligkeit auswählt, prüft systematisch das Falsche.

Also legst du die Quote vorher fest und ziehst zufällig. Meine Arbeitsregel: drei Zeilen oder zwanzig Prozent, je nachdem, was größer ist. Bei einer Zwanzig-Zeilen-Tabelle sind das vier Stichproben und ungefähr zwei Minuten.

Die zweite Hälfte der Regel ist die wichtigere: Ein falscher Beleg entwertet den ganzen Durchgang, nicht nur die eine Zeile. Du korrigierst sie nicht still und arbeitest weiter. Du setzt neu an, mit einem engeren Prompt oder in kleineren Abschnitten. Sonst passiert das Übliche, nämlich dass du das Ergebnis behältst und den Fehler als Ausnahme verbuchst.

Die Fangfrage

Frag nach etwas, das garantiert nicht im Dokument steht. Bei einem Dienstleistungsvertrag zum Beispiel: „Welche Regelung trifft der Vertrag zur Nutzung von Firmenfahrzeugen?”

Die richtige Antwort ist „dazu steht nichts drin”. Kommt stattdessen eine Klausel, mit Paragraf und allem, hast du zwei Informationen auf einmal: Dieses Ergebnis ist unbrauchbar, und deine Anweisung für nicht gefundene Punkte greift nicht.

Der Test kostet dreißig Sekunden und ist der einzige, der ohne jede Kenntnis des Dokuments funktioniert. Deshalb eignet er sich auch für Kolleginnen, die die Analyse nur weiterverarbeiten.

Zwei unabhängige Durchgänge vergleichen

Denselben Prompt, dasselbe Dokument, neuer Chat. Idealerweise zusätzlich ein zweites Modell.

Danach legst du die beiden Tabellen nebeneinander. Zeilen, die übereinstimmen, sind wahrscheinlich in Ordnung. Zeilen, die auseinandergehen, markieren die Stellen, an denen das Dokument unklar ist oder das Modell rät, und beides willst du wissen. Das feste Ausgabeschema zahlt sich hier zum zweiten Mal aus, weil sich zwei Tabellen vergleichen lassen und zwei Fließtexte nicht.

So sieht eine typische Abweichung aus: Lauf A nennt für die Kündigungsfrist drei Monate zum Quartalsende, Lauf B drei Monate zum Jahresende. Beide zitieren denselben Paragrafen. In dem Fall steht im Vertrag fast immer eine Formulierung, die zwei Lesarten zulässt, und dann ist die Uneinigkeit der Maschine ein brauchbarer Hinweis auf eine Stelle, über die du mit der Gegenseite reden solltest.

Die ehrliche Einschränkung dazu: Übereinstimmung ist kein Beweis. Zwei Läufe desselben Modells können denselben Fehler machen, gerade bei mehrdeutigen Formulierungen. Der Vergleich findet Instabilität, nicht Wahrheit.

Was diese Verfahren nicht finden

Alle vier prüfen, ob das Gesagte im Dokument steht. Keines prüft, ob das Wichtige gesagt wurde.

Auslassung ist der teurere Fehler und der unsichtbarere. Eine Klausel, die in der Tabelle fehlt, produziert keine falsche Zeile, sondern gar keine, und eine Stichprobe über vorhandene Zeilen findet sie nie. Dagegen hilft nur, die Frage umzudrehen: eine feste Liste erwarteter Punkte vorgeben und explizit „nicht gefunden” verlangen, statt eine offene Sammlung zu bestellen. Was sonst noch regelmäßig schiefgeht, steht in Häufige Fehler bei der KI-Dokumentenanalyse.

Ebenfalls außerhalb der Reichweite: die Fehlinterpretation eines korrekt zitierten Satzes. Das Zitat stimmt, die Fundstelle stimmt, die Schlussfolgerung in der letzten Spalte ist trotzdem falsch. Das erwischst du nur mit Fachwissen, und deshalb bleibt die Bewertung bei Verträgen an der Stelle, an der sie in Verträge mit KI prüfen beschrieben ist: beim Menschen.

Automatische Prüfung ist möglich, aber selten dein erster Schritt

Technisch ist das Problem seit Jahren bearbeitet. Microsoft Research hat 2023 mit LLM-Augmenter einen Aufbau gezeigt, bei dem ein Prüfmodul jede Antwort gegen die bereitgestellten Belege hält und sie bei Nichtübereinstimmung zurückgibt, bis sie besteht. In der Wiki-Frage-Antwort-Aufgabe berichteten die Autoren eine Verbesserung der Faktentreue um 10 Prozent im F1-Maß.

Für ein Team unter zwanzig Leuten ist das trotzdem selten der nächste Schritt. Ein solcher Prüfkreislauf lohnt sich, wenn täglich dutzende Dokumente durchlaufen, etwa beim automatischen Auslesen von Rechnungen. Bei fünf Verträgen im Monat schlägt die Stichprobe von Hand jeden Automatisierungsaufwand.

Ein Prüfprotokoll aus drei Zeilen

Halt fest, was du geprüft hast, sonst verschwindet die Information beim nächsten Dokument. Drei Zeilen unter der Analyse reichen: Quote und Auswahl, geprüfte Fundstellen mit Ergebnis, Fangfrage bestanden ja oder nein.

Nach zehn Dokumenten siehst du daraus etwas, das dir sonst niemand sagt: bei welchen Dokumenttypen dein Vorgehen trägt und wo es reißt. Bei sauberen Text-PDFs stimmen die Fundstellen meist, bei Scans deutlich seltener, weil dort die Seitenzuordnung schon beim Auslesen verrutscht. Der Leitfaden zur KI-Dokumentenanalyse ordnet die Prüfung in den Gesamtablauf ein.

Nimm die letzte KI-Auswertung, die du behalten hast, und prüf drei Belegstellen im Original nach. Wenn alle drei sitzen, weißt du mehr über dein Verfahren als vorher. Wenn eine daneben liegt, weißt du noch mehr.

Quellen

Benedikt Backhaus

Experte für KI, Automatisierung und die Zukunft der Arbeit. Ich helfe Unternehmen und Einzelpersonen dabei, die Potenziale neuer Technologien zu nutzen.

Mehr über mich →Termin buchen →