8 Min. Lesezeit

Angebote vergleichen mit KI: die strukturierte Zweitmeinung

Drei Angebote für dieselbe Sache liegen auf dem Tisch. Das erste hat vier Seiten und nennt einen Festpreis. Das zweite hat vierzehn, davon acht Seiten Vertragsbedingungen. Das dritte besteht fast nur aus einer Tabelle mit Tagessätzen, darunter ein Halbsatz über Aufwand nach tatsächlichem Anfall.

Vergleichbar ist daran erst mal nichts. Jeder Anbieter bringt seine eigene Gliederung mit: einer schneidet die Leistung nach Projektphasen, einer nach Rollen, einer nach Modulen. Bei zweien steht irgendwo im Mittelteil ein Satz, der die Preise an einen Index koppelt. Bei einem steht er nicht drin, was entweder gut ist oder bedeutet, dass er im mitgeltenden Dokument steht, das gar nicht beilag.

Die naheliegende Bewegung: alle drei PDFs in den Chat ziehen, „vergleich die mal” schreiben, Kaffee holen. Was zurückkommt, sieht ordentlich aus. Eine Tabelle, drei Spalten, ein Fazit. Nur stammt die Struktur dieser Tabelle vom Modell und nicht von dir, und du kannst keiner einzelnen Zelle ansehen, aus welchem Dokument und welcher Seite sie kommt.

Was bei „vergleich die mal” schiefgeht

Drei Dinge, und keines davon ist ein Bedienfehler.

Die Reihenfolge färbt das Urteil. Sprachmodelle bewerten nicht positionsneutral. Die Arbeitsgruppe hinter „Large Language Models are not Fair Evaluators” beschreibt es als ausgeprägten Positionsbias, der die Fairness von Modellen als Bewerter beschädigt, und schlägt eigene Verfahren vor, um ihn auszugleichen. Übersetzt in deine Situation: Wenn du die drei Angebote in einer anderen Reihenfolge hochlädst, kann das Ergebnis kippen. Bei einer fünfstelligen Entscheidung ist das keine Kleinigkeit.

Die Menge kostet Genauigkeit. Drei vollständige Angebote plus Anlagen sind schnell hundert Seiten. Der Benchmark RULER von NVIDIA prüft, wie viel Kontext Modelle tatsächlich verarbeiten statt nur entgegenzunehmen. Von den getesteten Modellen, die 32.000 Tokens oder mehr angeben, hält nur etwa die Hälfte die gesetzte Qualitätsschwelle bei dieser Länge ein. Der Needle-in-a-Haystack-Test von Greg Kamradt zeigt dieselbe Schwäche aus einem anderen Winkel: Ob eine Information gefunden wird, hängt davon ab, an welcher Stelle im Kontext sie steht. Genau das beschreibt auch die Arbeit „Lost in the Middle”. Die Klausel auf Seite 9 von 14 ist statistisch die gefährlichste.

Und du bekommst keine Prüfspur. Eine fertige Vergleichstabelle ohne Fundstellen lässt sich nicht nachrechnen. Du müsstest jede Zelle selbst in den Dokumenten suchen, und dann hättest du den Vergleich auch gleich selbst machen können.

Erst das Raster, dann die Angebote

Die Reihenfolge ist der ganze Trick. Du legst fest, wonach verglichen wird, bevor irgendein Angebot das Modell zu sehen bekommt.

Warum das mehr ist als Ordnungsliebe: Wenn du die Dimensionen aus den vorliegenden Angeboten ableitest, übernimmst du die Gliederung desjenigen, der am besten geschrieben hat. Der Anbieter bestimmt dann, worüber gesprochen wird. Ein eigenes Raster dreht das um.

Sechs Dimensionen tragen in fast jedem Beschaffungsfall:

  1. Leistungsumfang. Was genau wird geliefert, in welcher Menge, bis wann, in welcher Qualität.
  2. Ausschlüsse. Was ausdrücklich nicht enthalten ist. Diese Zeile ist die wertvollste im ganzen Raster.
  3. Laufzeit und Kündigung. Mindestlaufzeit, Verlängerung, Kündigungsfrist, Ausstiegskosten.
  4. Zahlungsbedingungen. Vorkasse, Abschläge, Zahlungsziel, Sicherheiten, Skonto.
  5. Preisanpassung. Gleitklauseln, Indexbindung, Materialzuschläge, Nachtragsregeln.
  6. Gesamtkosten über die Laufzeit. Einmalig plus laufend plus absehbare Zusatzposten, gerechnet über denselben Zeitraum für alle drei.

Dazu kommen deine eigenen Ausschlusskriterien. Wenn ein Vertrag mit 36 Monaten Mindestlaufzeit für dich nicht infrage kommt, gehört das ins Raster, und zwar vorher.

Jedes Angebot einzeln gegen dasselbe Raster

Jetzt kommt der Teil, den die meisten überspringen: Du arbeitest die Angebote nacheinander ab. Ein Chat pro Angebot, dieselbe Anweisung, dieselben Dimensionen. Verglichen wird dabei noch nichts. Übersetzt wird: aus der Gliederung des Anbieters in deine.

Ein Prompt, der das leistet:

Du bist Einkaufsassistenz. Im Anhang liegt ein Angebot. Fülle ausschließlich das folgende Raster aus. Für jede Zeile gibst du an: (a) den Inhalt in maximal zwei Sätzen, (b) die Fundstelle als Seite und Abschnittsüberschrift, (c) ein wörtliches Zitat von höchstens 20 Wörtern.

Findest du zu einer Zeile nichts, schreibst du „nicht im Dokument”. Du ergänzt nichts aus Erfahrung, du rechnest nichts hoch, du bewertest nicht.

Zeilen: Leistungsumfang, Ausschlüsse, Laufzeit und Kündigung, Zahlungsbedingungen, Preisanpassung, Einmalkosten, laufende Kosten pro Jahr, Zusatzposten.

Die Zelle „nicht im Dokument” ist der eigentliche Ertrag. Bei drei Angeboten und acht Zeilen hast du 24 Felder, und die Leerstellen verteilen sich nie gleichmäßig. Wo bei zweien eine Kündigungsfrist steht und beim dritten nichts, hast du deine erste Rückfrage.

Erst wenn alle drei Raster gefüllt sind, legst du sie nebeneinander. Das kannst du selbst tun oder die drei ausgefüllten Raster als kurzen Text erneut ins Modell geben, mit der Frage nach Abweichungen. Der Unterschied zum Anfang: Die Vergleichsgrundlage ist kurz, von dir strukturiert, Zeile für Zeile belegt. Wie du solche Zitatpflichten formulierst und was zu tun ist, wenn eine Fundstelle nicht stimmt, steht in Halluzinationen in der Dokumentenanalyse erkennen.

Aus den Leerstellen werden Rückfragen

Bevor eine Entscheidung fällt, entsteht aus den drei Rastern zuerst eine Liste von Fragen. Das fühlt sich nach Umweg an und ist der kürzeste Weg zu einem belastbaren Angebot.

Nimm alle Felder, in denen „nicht im Dokument” steht, und formuliere daraus eine Mail pro Anbieter. Drei bis fünf Fragen, nummeriert, mit Bezug auf die eigene Angebotsnummer. Beispiel: „Ihr Angebot nennt keine Regelung zur Preisanpassung. Gilt der genannte Preis über die gesamten 24 Monate?” Oder: „Welche Leistungen sind ausdrücklich nicht enthalten?”

Zwei Dinge passieren dabei. Erstens werden die Angebote tatsächlich vergleichbar, weil die Lücken geschlossen sind. Zweitens siehst du, wie die Anbieter mit einer präzisen Frage umgehen. Wer innerhalb von zwei Tagen sauber antwortet, verhält sich später vermutlich ähnlich. Wer ausweicht, ebenfalls.

Die Antworten trägst du in dasselbe Raster ein, in einer eigenen Spalte für Nachträge. Damit hast du am Ende ein Dokument, das die Entscheidung auch in einem halben Jahr noch erklärt.

Preis ist nicht Kosten

Die Zeile „Gesamtkosten über die Laufzeit” ist die einzige, bei der du das Modell rechnen lässt, und gleichzeitig die, bei der du am genauesten hinschaust.

Gib die Annahmen vor, statt sie erraten zu lassen: Vergleichszeitraum in Jahren, erwartete Nutzerzahl, erwartete Menge, unterstellte Preissteigerung. Ohne diese Vorgaben rechnet jedes Angebot in seiner eigenen Logik, und du vergleichst wieder Äpfel mit Birnen. Lass dir die Rechnung anschließend als Rechenweg ausgeben, nicht als Ergebnis. Eine Summe kannst du nicht prüfen, eine Aufstellung schon.

Was in keinem der drei PDFs steht, aber trotzdem Geld kostet: Migrationsaufwand aus dem Altsystem, Schulung deiner Leute, die Zeit, die dein Team während der Umstellung nicht für Kundenarbeit hat, und der Aufwand, wieder herauszukommen. Wer beim Ausstieg seine Daten nur als PDF-Export bekommt, zahlt später zweimal. Diese Posten schätzt du selbst. Die KI kann sie nicht kennen, weil sie nirgends dokumentiert sind.

Probier es an einer Entscheidung, die schon gefallen ist

Nimm nicht die drei Angebote, die gerade offen sind. Nimm eine Entscheidung, die du im letzten Jahr getroffen hast, und fülle das Raster nachträglich aus. Du weißt inzwischen, was tatsächlich passiert ist. Wenn eine Zeile im Raster genau den Ärger vorhergesagt hätte, den du danach hattest, ist das deine wichtigste Dimension für das nächste Mal.

Der weitere Ablauf, von der Vorbereitung der Dateien bis zur Ablage der Ergebnisse, steht im Leitfaden zur KI-Dokumentenanalyse im Business. Und bevor du das erste PDF hochlädst, lohnt ein Blick darauf, welche Dateien KI überhaupt zuverlässig liest. Ein Angebot, dessen Preistabelle beim Einlesen zerfällt, macht jedes Raster wertlos.

Und was das Raster trotzdem nicht kann

Es ist eine Zweitmeinung, keine Entscheidung.

Das Bauchgefühl über den Anbieter steht in keinem Dokument. Wie schnell jemand auf deine Rückfrage geantwortet hat. Ob die Person im Vorgespräch zugehört oder ihren Pitch abgespult hat. Ob die Referenz, die du angerufen hast, gezögert hat, bevor sie „ja, lief gut” gesagt hat. Das sind belastbare Signale, und sie sind nicht maschinenlesbar.

Auch die Gewichtung bleibt bei dir. Was ist dir wichtiger, Preisstabilität oder eine kurze Laufzeit? Ein Raster mit acht Zeilen sagt dazu nichts, und wer das Modell danach fragt, bekommt eine plausible Antwort, die nichts über den eigenen Betrieb weiß.

Sobald es um Klauseln geht, die dich binden, wechselt die Aufgabe ohnehin ihren Charakter. Was du bei Vertragstexten selbst prüfen kannst und wo ein Mensch mit Zulassung übernehmen muss, steht in Verträge mit KI prüfen. Und falls die Angebote auf deine eigene Ausschreibung hin gekommen sind, lohnt der umgekehrte Blick: Anforderungen aus Lastenheften extrahieren beschreibt, wie du das Raster schon beim Schreiben der Anfrage festlegst.

Bleibt die Zustimmungsquote, und die hat eine Obergrenze. Für MT-Bench hat das LMSYS-Team 3.300 menschliche Bewertungen zu Antworten von sechs Modellen auf 80 Fragen erhoben; die Übereinstimmung zwischen GPT-4 als Bewerter und Menschen lag bei über 80 Prozent, was ungefähr der Übereinstimmung zwischen Menschen untereinander entspricht. Das ist ein anderer Aufgabentyp als ein Angebotsvergleich, taugt aber als Größenordnung: Ungefähr jedes fünfte Urteil fällt anders aus als deines. Als Zweitmeinung ist das gut. Als Entscheider wäre es fahrlässig.

Quellen

Benedikt Backhaus

Experte für KI, Automatisierung und die Zukunft der Arbeit. Ich helfe Unternehmen und Einzelpersonen dabei, die Potenziale neuer Technologien zu nutzen.

Gefällt dir, wie ich über KI schreibe?

Dann hol dir werktags einen umsetzbaren KI-Hebel direkt ins Postfach — kostenlos, in 3 Minuten gelesen.

Du bekommst den Newsletter jeden Werktag per E-Mail. Öffnungen und Klicks werte ich aggregiert aus, um ihn besser zu machen. Abmelden kannst du dich mit einem Klick in jeder Ausgabe. Mehr dazu in der Datenschutzerklärung.