KI-Halluzinationen im Reporting: warum Agenten Geschäftslogik erfinden.

Ein Sprachmodell erzeugt das wahrscheinlichste nächste Wort. Es hat keinen Begriff von „weiß ich nicht“, solange niemand ihm Quellen gibt, gegen die es seine Antwort prüfen muss. Fragt man es nach dem Umsatz netto im dritten Quartal, liefert es eine Zahl mit Einheit, Zeitraum und Begründung, denn so sehen Antworten auf solche Fragen aus. Ob das Measure „Umsatz“ in Ihrem Modell netto oder brutto rechnet, steht nirgends, also entscheidet das Modell selbst.

Das ist im Reporting gefährlicher als in anderen Anwendungen, weil die Antwort nicht erkennbar falsch ist. Ein erfundener Buchtitel fällt auf; eine erfundene Marge von 11,4 Prozent nicht. Die Stack-Overflow-Entwicklerumfrage 2025 beschreibt den Zustand: 84 Prozent nutzen oder planen KI-Werkzeuge, 46 Prozent misstrauen der Genauigkeit. Beides zugleich ist der Normalzustand in BI-Teams.

Die gute Nachricht: Das Modell erfindet nur, wo Information fehlt. Jede Lücke, die Sie schließen, nimmt ihm eine Gelegenheit. Deshalb ist die Frage nicht „welches Modell“, sondern „was kann das Modell lesen, bevor es antwortet“.

Die drei Arten brauchen drei verschiedene Gegenmittel, und man erkennt sie an der Art des Fehlers. Die Tabelle ordnet jede Art einem Beispiel aus Projekten und dem zu, was sie verhindert.

Copilot in Power BI liest die Metadaten des Semantikmodells: Namen, Beschreibungen, Synonyme, Beziehungen. Die Qualität der Antworten ist deshalb eine Funktion dieser Metadaten, nicht des Modells. Teams, die Copilot als unzuverlässig erleben, haben fast immer ein Modell mit wenigen Beschreibungen, mehrdeutigen Namen und Beziehungen, die nur ein Entwickler versteht. Dieselbe Mechanik gilt für Text-to-SQL: Ohne semantisches Modell erzeugt das Sprachmodell syntaktisch korrektes SQL gegen die falschen Spalten.

Die Copilot-Discovery macht genau das messbar: zehn echte Fachfragen des Fachbereichs, jede mit einem Referenzwert aus dem bestehenden Bericht, gestellt gegen das Modell, wie es ist. Das Ergebnis ist eine Befundliste je Frage und je Lücke im Modell, nicht eine Meinung über Copilot.

• Beschreibungen: Copilot zitiert Beschreibungen in seinen Antworten; fehlen sie, zitiert er Formeln oder nichts.
• Synonyme: „Erlös“, „Umsatz“ und „Revenue“ müssen auf dasselbe Measure zeigen, sonst entscheidet der Zufall der Formulierung.
• Beziehungen: inaktive Beziehungen und bidirektionale Filter sind für das Modell unsichtbare Fallen.
• Zeitintelligenz: ohne Datumstabelle und Measures für Vorjahr und YTD erfindet das Modell die Berechnung.

Das Testprotokoll ist das einzige Instrument, das Halluzination vor dem Go-live sichtbar macht, und es ist einfacher als jede Evaluationssuite. Der Fachbereich stellt zehn Fragen, die er wirklich hat, in seiner Sprache. Zu jeder Frage gehört ein Referenzwert aus dem Bericht, dem heute vertraut wird. Jede Frage wird dreimal gestellt, weil die Streuung der Antworten so viel sagt wie der Mittelwert.

Bewertet wird in vier Klassen: exakt, innerhalb einer definierten Toleranz, falsch, verweigert. Die gefährliche Klasse ist „falsch mit Begründung“: eine sichere, nachvollziehbar klingende Antwort mit der falschen Zahl. Abnahmeregel in unseren Projekten: mindestens neun von zehn Fragen innerhalb der Toleranz, null sicher-falsche Antworten, und jede Antwort nennt Measure, Filter und Stand. Die Vorlage ist das Arbeitsmaterial dieses Kapitels.

Die vier Gegenmittel bauen aufeinander auf und sind dieselben vier Schichten, die der ganze Guide beschreibt. Jedes schließt eine der drei Lückenarten; das vierte prüft, ob es gewirkt hat.

• 1 Measure-Katalog gegen Bedeutungs-Halluzination: fünf Felder je Kennzahl, Duplikate und Widersprüche bereinigt, Synonyme hinterlegt. Kapitel Semantic Layer.
• 2 Lineage-Graph gegen Kontext- und Bestands-Halluzination: der Agent löst jede Antwort bis zur Quellspalte auf und darf nur nennen, was im Graphen existiert. Kapitel Data Lineage.
• 3 Regelsatz vor jeder Änderung: kein Measure ohne Beschreibung, keine mehrdeutigen Namen, Zeitintelligenz nur über die Datumstabelle, Pflichtfilter definiert. Verstöße werden blockiert, nicht gemeldet. Kapitel MCP.
• 4 Testprotokoll vor dem Go-live und nach jeder Modelländerung: zehn Fachfragen, drei Durchläufe, vier Klassen; das Ergebnis ist Teil der Abnahme.

Eine belegte Antwort nennt nicht nur die Zahl, sondern den Weg dorthin, und der Weg ist prüfbar, weil er aus dem Graphen stammt. In unseren Projekten schreibt der Agent diese Belege in den Graphen zurück: Die Antwort bleibt abfragbar, statt in einem Chat zu verschwinden. Für den Fachbereich heißt das: Jede Zahl trägt ihren Beipackzettel.

So sieht der Beipackzettel aus: Measure „Umsatz netto“ (Formel, Besitzer Controlling), Tabelle Fakt Umsatz, Filter Jahr 2025, Quartal 3, Region Süd, Stand der Daten 31.10.2025, Regelprüfung bestanden, Lineage zwei Ableitungsebenen bis zur Quellspalte. Fehlt eines dieser Felder, ist die Antwort ein Vorschlag, keine Zahl.