16.08.2026•7 Min. Lesezeit

Häufige Fehler bei der KI-Dokumentenanalyse, sortiert nach Schaden

Sortiert ist diese Liste nach Schaden, nicht nach Häufigkeit. Ganz oben steht der Fehler, den du nicht mehr zurückholen kannst. Ganz unten der, der dich nur Zeit kostet und trotzdem am häufigsten passiert.

Die sechs tauchen im Cluster KI-Dokumentenanalyse im Business an verschiedenen Stellen auf, hier stehen sie gebündelt. Das Erkennungszeichen steht jeweils dabei, und es liegt in deiner Arbeitsweise, nicht im Ergebnis der KI. Das Ergebnis sieht meistens gut aus.

1. Vertrauliches im falschen Konto

Der teuerste Fehler passiert vor der ersten Frage. Jemand zieht den Kundenvertrag, die Bewerbungsunterlagen oder die Krankmeldung ins nächstbeste Chatfenster, weil es gerade offen ist.

Woran du ihn merkst: Du kannst nicht sagen, ob dein Konto ein Privat- oder ein Firmenkonto ist. Du weißt nicht, ob es einen Auftragsverarbeitungsvertrag gibt. Auf die Frage, ob deine Eingaben zum Training verwendet werden, folgt ein Achselzucken. Meistens fällt es niemandem auf, und genau das macht es gefährlich: Ein Upload lässt sich nicht rückgängig machen, und bei Berufsgeheimnissen hängt daran mehr als ein Bußgeld.

Was stattdessen: Einmal die Kontofrage klären, dann für alle Dokumente. Drei Fragen vor dem Upload, eine Ampel für den Alltag, dazu Schwärzen als Mittelweg: Das steht vollständig in DSGVO und KI-Tools. Zehn Minuten einmalig, danach entscheidest du in Sekunden.

2. Das Ergebnis ungeprüft weitergegeben

Die Zusammenfassung wandert direkt in die Mail an den Kunden. Die Anforderungsliste geht ungelesen ins Angebot. Der Prüfvermerk landet unverändert in der Akte.

Wie gut das aussehen kann und wie falsch es trotzdem sein darf, hat die Untersuchung „Large Legal Fictions” von Stanfords RegLab 2024 gezeigt: Bei über 800.000 überprüfbaren juristischen Fragen lagen die Halluzinationsraten der getesteten Allzweckmodelle je nach Modell zwischen 58 und 88 Prozent, und die Modelle konnten ihre eigenen Fehler schlecht vorhersagen.

Woran du ihn merkst: Zwischen „fertig” und „raus” liegt kein Arbeitsschritt. Niemand hat das Dokument selbst aufgemacht.

Was stattdessen: Sortiere jede Ausgabe in eine von zwei Schubladen. Interne Orientierung darf schnell gehen. Alles, was ein anderer Mensch als deine Aussage liest, bekommt einen Prüfschritt mit Namen und Datum. Bei einer Vertragsprüfung ist das die Stelle, an der die Verantwortung wieder beim Menschen liegt, unabhängig davon, wie überzeugend der Text klingt.

Der Prüfschritt selbst ist unspektakulär. Eine Zeile unter der Auswertung genügt: „Fundstellen S. 4, S. 17 und S. 31 geprüft, 12.08., BB.” Dieser Satz wirkt mehr als jede Absichtserklärung, weil er die Prüfung sichtbar macht. Wer sie auslässt, sieht die Lücke.

3. Das gescannte PDF, das gar nicht gelesen wurde

Ein eingescannter Vertrag ist technisch ein Bild. Ohne Texterkennung steht in der Datei kein einziges Zeichen, das ein Programm auslesen könnte.

Der Ärger daran: Viele Werkzeuge sagen das nicht. Sie antworten trotzdem, gestützt auf den Dateinamen, deine Frage und allgemeines Weltwissen. Die Antwort klingt dann wie eine Vertragsanalyse und ist eine Erfindung.

Woran du ihn merkst: Die Antwort bleibt auffallend allgemein. Es fehlen Seitenzahlen, Paragrafennummern und wörtliche Formulierungen. Auf die Nachfrage „Zitiere mir den Satz, auf den du dich beziehst” kommt eine Umschreibung statt eines Zitats.

Was stattdessen: Vor der ersten inhaltlichen Frage ein Kontrollgriff. Markiere im PDF-Betrachter einen beliebigen Textabschnitt: Lässt er sich markieren und kopieren, gibt es eine Textebene. Geht das nicht, jagst du die Datei vorher durch eine Texterkennung, wie sie gängige PDF-Programme mitbringen. Welche Formate wie gut ankommen, steht in welche Dateien KI wirklich lesen kann.

Der gemeine Fall sind gemischte Dokumente. Ein digital erzeugter Vertrag, an den hinten die eingescannte Unterschriftenseite und zwei fotografierte Anlagen geheftet wurden. Der Test am Anfang gelingt, die Auswertung wirkt vollständig, und ausgerechnet die Anlagen mit den Preisen sind unsichtbar geblieben. Prüfe deshalb zwei Stellen: die erste Seite und eine aus dem letzten Drittel.

4. Keine Belegstellen verlangt

Eine Aussage ohne Fundstelle kannst du nicht prüfen, nur glauben. Und Glauben ist bei einem 200-seitigen Lastenheft eine schlechte Arbeitsgrundlage.

Woran du ihn merkst: In der Antwort stehen Ergebnisse, aber keine Seiten, Abschnitte oder Zitate. Formulierungen wie „das Dokument regelt an mehreren Stellen” ohne Angabe, welche Stellen das sind.

Was stattdessen: Die Zitatpflicht gehört in den Prompt, nicht in die Nachfrage. Also: „Zu jeder Aussage ein wörtliches Zitat von maximal 25 Wörtern plus Seitenzahl. Wenn im Dokument nichts dazu steht, schreib: nicht gefunden.” Der zweite Satz ist der wichtigere, weil er dem Modell einen erlaubten Ausweg gibt. Wie du daraus eine belastbare Prüfroutine machst, steht in Halluzinationen in der Dokumentenanalyse erkennen, und der Aufbau des Prompts in der Prompt für Dokumentenanalyse.

5. Die Stichprobe weggelassen, weil die Antwort gut klang

Die Belegstellen sind da. Sauber formatiert, mit Seitenzahlen. Also stimmt es.

Genau hier reißt die Kette am häufigsten, denn eine erfundene Fundstelle sieht aus wie eine echte. Nachschlagen kostet zwei Minuten, und niemand tut es, wenn die Antwort plausibel wirkt. Die Formatierung ist ein Hinweis auf Sorgfalt beim Formulieren, nicht auf Richtigkeit im Inhalt.

Woran du ihn merkst: Du kannst nicht sagen, wann du zuletzt eine Fundstelle im Originaldokument nachgeschlagen hast.

Was stattdessen: Drei Stichproben pro Auswertung, nach festem Muster. Eine aus dem Anfang, eine aus der Mitte, eine aus dem Schluss des Dokuments. Die Mitte ist kein Zufall: Liu und Kollegen haben 2024 in „Lost in the Middle” gezeigt, dass die Trefferquote von Sprachmodellen davon abhängt, wo die relevante Stelle im Kontext liegt, mit dem schwächsten Ergebnis in der Mitte langer Eingaben. Warum lange Dokumente deshalb kippen, steht in Kontextfenster und lange Dokumente, und welche Modelle damit unterschiedlich umgehen, in Modellunterschiede bei langen Dokumenten.

Stimmen alle drei Stichproben, arbeitest du weiter. Weicht eine ab, gilt die ganze Auswertung als ungeprüft und wird neu gemacht.

6. „Fass mal zusammen” statt einer echten Frage

Der billigste Fehler von allen. Eine Zusammenfassung ohne Zweck erzeugt einen Text, der alles ein bisschen erwähnt und keine Entscheidung stützt.

Woran du ihn merkst: Du liest das Ergebnis und weißt danach nicht, was du tun sollst. Oder du merkst, dass die Passage, wegen der du das Dokument überhaupt geöffnet hast, gar nicht vorkommt.

Was stattdessen: Formuliere die Entscheidung, die hinter deiner Frage steht. „Welche Kündigungsfristen und Verlängerungsklauseln enthält der Vertrag, mit Zitat und Seitenzahl?” „Welche der 40 Anforderungen im Lastenheft können wir mit unserem heutigen Leistungsumfang erfüllen, welche nicht?” Der Unterschied ist nicht Länge, sondern Richtung. Wie ein Prompt für Dokumente aufgebaut wird, mit Rolle, Aufgabe und Ausgabeformat, steht in der Prompt für Dokumentenanalyse, und der Ablauf für ein einzelnes langes Dokument in ein langes PDF mit KI analysieren.

In welcher Reihenfolge du sie abstellst

Alle sechs auf einmal anzugehen, funktioniert selten. Und die Reihenfolge fürs Abstellen ist eine andere als die nach Schaden, weil manches einmalig geklärt wird und anderes eine Gewohnheit braucht.

Einmalig und dann erledigt: die Kontofrage aus Fehler 1 und der Textebenen-Test aus Fehler 3. Das sind Einstellungen und Handgriffe, keine Haltungsfragen. Eine halbe Stunde, ein Vermerk im Ablageordner, fertig.

Gewohnheit brauchen die anderen vier. Zitatpflicht im Prompt, drei Stichproben, Prüfvermerk vor der Weitergabe, echte Frage statt „fass mal zusammen”. Am schnellsten setzen sie sich, wenn du sie an ein vorhandenes Ritual hängst, etwa an die Vorlage, aus der deine Angebote entstehen, oder an die Checkliste für die Übergabe an den Kunden. Ein Vorsatz im Kopf hält bis zum ersten stressigen Freitag.

Der Einwand dagegen ist berechtigt: Wer prüft, gibt einen Teil der Zeitersparnis zurück, wegen der die KI überhaupt im Spiel war. Das stimmt, und es lässt sich nicht wegorganisieren. Ein Dokument, das die paar Minuten Prüfung nicht wert ist, war auch keine KI-Auswertung wert, die du weitergibst.

Womit du anfängst, verrät dir die Liste selbst. Geh die sechs Überschriften noch einmal durch und markier die, bei der du beim Lesen kurz weggeschaut hast.

Was diese Liste nicht leistet

Sie schützt dich nicht vor Fehlern im Dokument selbst. Wenn im Lastenheft eine Anforderung widersprüchlich formuliert ist, liest die KI den Widerspruch mit, und deine Auswertung erbt ihn. Auch der Vergleich mehrerer Dokumente bleibt anfällig, weil kleine Unterschiede in Struktur und Wortwahl große Unterschiede in der Auswertung erzeugen können. Was dabei hilft, steht in Angebote vergleichen mit KI und Ausschreibungen und Lastenhefte analysieren.

Und sie ersetzt keine Fachprüfung. Eine juristische Bewertung bleibt juristisch, eine steuerliche steuerlich.

Das eine Prinzip

Alle sechs Fehler entstehen an derselben Stelle, nämlich dort, wo jemand zwei Vorgänge für harmlos hält, die es nicht sind.

Was du hochlädst, gibst du weiter. Was du bekommst, ist ein Entwurf.

Quellen

Benedikt Backhaus

Experte für KI, Automatisierung und die Zukunft der Arbeit. Ich helfe Unternehmen und Einzelpersonen dabei, die Potenziale neuer Technologien zu nutzen.

Mehr über mich →Termin buchen →