Warum KI-Agenten Quellen brauchen, bevor sie handeln

Der Begriff „KI-Agent“ wird gerade für fast alles benutzt. Gemeint ist hier etwas Bestimmtes: ein System, das eine Aufgabe in mehrere Schritte zerlegt und selbst entscheidet, was als Nächstes passiert. Es formuliert Suchanfragen, liest die Treffer, verwirft einige davon, sucht gezielt nach und setzt am Ende ein Ergebnis zusammen.

Für Unternehmenswissen ist das ein echter Fortschritt. Viele Fragen aus dem Betrieb lassen sich mit einem einzelnen Suchtreffer nicht beantworten, weil die Antwort über ein Prüfprotokoll, eine Arbeitsanweisung und eine alte Mail verteilt ist.

Der Preis dafür: Zwischen Frage und Antwort liegen Entscheidungen, die niemand gesehen hat. Welche Datei hat der Agent genommen, welche verworfen? Beim Chatbot liest ein Mensch jede Antwort. Beim Agenten liest er nur noch das Ende.

Ein Beispiel, bewusst einfach gehalten: Jemand aus der Arbeitsvorbereitung fragt, welche Schutzausrüstung beim Umfüllen eines neuen Reinigers nötig ist und ob der Kanister im Gefahrstofflager neben den Säuren stehen darf.

Der Agent sucht zuerst das Sicherheitsdatenblatt (SDB) und findet zwei Fassungen. Eine ältere liegt im Einkaufsordner, eine neuere im QM-Verzeichnis. In der neueren hat der Lieferant die Einstufung geändert. Nimmt der Agent die alte Fassung, leitet er daraus die Schutzausrüstung ab, daraus die Lagerempfehlung und vielleicht noch den Entwurf einer Betriebsanweisung. Jeder Schritt ist in sich schlüssig. Falsch ist nur der erste.

Konstruiert ist daran wenig. Die REACH-Verordnung verpflichtet Lieferanten, Sicherheitsdatenblätter zu aktualisieren, sobald neue Informationen zu Gefahren vorliegen (Art. 31). Wer gewachsene Laufwerke kennt, weiß, dass danach selten alle alten Kopien verschwinden. Wie leicht Datenblätter durcheinandergeraten, zeigt ein Testlauf auf der Website eines Petrochemie-Mittelständlers: Bei fünf Produkten gehörten die Datenblätter zu anderen Produkten. Welche Pflichten in Ihrem Betrieb konkret gelten, klärt dieser Artikel nicht. Er ist keine Rechtsberatung.

Das Tückische: Das Endergebnis klingt nicht unsicher. Ohne Beleg an jedem Schritt sieht eine sauber begründete falsche Antwort genauso aus wie eine richtige.

Warum klingen Sprachmodelle auch dann überzeugt, wenn sie falsch liegen? Der Wissenschaftliche Dienst des Bundestags fasst die Forschung so zusammen: Ein Modell berechnet das wahrscheinlich nächste Wort und steht damit unter Druck, eine vollständige Antwort zu liefern, auch wenn Fakten fehlen. Trainingsverfahren belohnen zudem oft das Raten, nicht das Eingestehen von Unsicherheit.

Die übliche Gegenmaßnahme heißt Retrieval-Augmented Generation (RAG): Das Modell bekommt vor der Antwort passende Textstellen aus Ihren eigenen Dokumenten vorgelegt. Das verbessert die Faktentreue deutlich, beseitigt das Problem aber nicht. Fehler entstehen weiter, wenn die Suche das falsche Dokument liefert oder das Modell den gefundenen Text falsch verarbeitet. Ein Agent ruft die Suche nicht einmal auf, sondern mehrmals hintereinander. Jeder Aufruf ist eine weitere Gelegenheit für genau diesen Fehler.

Auch Quellenangaben sind nicht automatisch richtig. In einer Untersuchung von BBC und Europäischer Rundfunkunion zu Nachrichtenfragen enthielten 45 Prozent der Antworten von KI-Assistenten mindestens einen relevanten Fehler. Die häufigste Ursache waren fehlerhafte Quellenangaben.

Daraus folgt eine nüchterne Regel: Eine Quelle, die Sie nicht mit einem Klick prüfen können, ist eine Behauptung mit Fußnote. Was das für die Zeit bis zu einer Antwort bedeutet, mit der man weiterarbeiten kann, haben wir im Beitrag zur Informationssuche im Unternehmen durchgerechnet.

Ob Sie hAiner einsetzen, ein anderes System nutzen oder gerade Anbieter vergleichen: Diese Punkte können Sie an jeder einzelnen Antwort selbst prüfen.

• Er führt zum Original. Ein Dateiname wie „Handbuch.pdf“ ist kein Beleg, sondern eine Suchaufgabe. Sie müssen das Dokument direkt aus der Antwort öffnen können und sehen, in welcher Ablage es liegt.
• Er deckt die ganze Antwort ab. Stützt sich ein Agent auf drei Dokumente, gehören alle drei in die Antwort, nicht nur das erste.
• Er benennt Widersprüche. Liegen zwei Fassungen mit unterschiedlichen Angaben vor, gehört das in die Antwort. Das System darf nicht still eine davon auswählen.
• Er unterscheidet Dokument und Aussage. Stammt eine Information aus einem Gespräch, gehört dazu, wer sie wann und in welcher Funktion gemacht hat.
• Er fehlt ehrlich, wenn es keinen gibt. „Dazu habe ich in Ihren Unterlagen nichts gefunden“ ist eine gute Antwort. Besser noch, wenn das System dazusagt, wer im Haus es wissen könnte.

Wie Sie das mit Ihren eigenen Dokumenten in einer Stunde testen, beschreibt die Prüfliste im Vergleich ChatGPT oder Copilot für Firmenwissen.

Eine Grenze gilt für jedes System: Ob eine Dokumentfassung gültig ist, steht selten im Text. Das regelt die Lenkung dokumentierter Information im QM-System. Wo sie sauber gepflegt ist, kann ein System darauf aufbauen. Wo nicht, sollte es den Status nicht erraten.

Manche der wichtigsten Antworten stehen in keinem Dokument. Dass eine bestimmte Pumpe nach einem längeren Stillstand langsamer angefahren werden muss, als es im Handbuch steht, weiß vielleicht nur der Instandhalter, der seit Jahren an dieser Linie arbeitet.

Gibt ein Agent solches Wissen weiter, gilt dieselbe Regel. Der Beleg ist dann kein PDF, sondern eine Aussage mit Absender: wer, in welcher Funktion, wann und in welchem Zusammenhang. Das hat zwei praktische Folgen. Der Nächste kann einschätzen, wie viel Gewicht er der Aussage gibt. Und er weiß, wen er fragen kann, solange die Person noch im Haus ist.

Wie man solches Wissen überhaupt erfasst, bevor es mit dem Renteneintritt oder einem Stellenwechsel verschwindet, beschreiben wir auf der Themenseite Erfahrungswissen sichern.

Die Suche in hAiner arbeitet selbst agentisch. Sie kombiniert die Volltextsuche nach exakten Begriffen, eine Bedeutungssuche, die auch anders formulierte Stellen findet, und Abfragen über einen Wissensgraphen, in dem Dokumente mit Personen, Anlagen und Vorgängen verknüpft sind. Welcher Weg zur Frage passt, entscheidet das System Schritt für Schritt.

Gerade deshalb gilt bei uns eine Belegpflicht ohne Ausnahme: Jede Antwort nennt die Quellen, auf die sie sich stützt, mit dem Pfad, unter dem das Dokument abgelegt ist. Das Original lässt sich direkt aus der Antwort öffnen. Wie hAiner dabei auf SharePoint und Netzlaufwerke zugreift, ohne die Dokumente zu kopieren, beschreibt der Beitrag zum SharePoint-Zugriff.

Finden sich widersprüchliche Angaben, weist hAiner darauf hin, statt still eine Fassung zu wählen. Aussagen aus Wissensinterviews werden als eigene Quelle geführt, mit der Person und dem Zeitpunkt des Gesprächs. Das Ergebnis eines Gesprächs legt hAiner der Person zur Freigabe vor, bevor es als Wissen gilt.

Und wenn es keinen Beleg gibt? Dann konstruiert hAiner keine Antwort, sondern vermittelt an die zuständige Person im Unternehmen, die es wissen könnte. Eine Wissenslücke wird so zu einer konkreten Frage an einen konkreten Menschen.

Eine Grenze nennen wir ausdrücklich. Welche von zwei widersprüchlichen Fassungen fachlich gilt, kann hAiner nicht entscheiden, wenn es im Unternehmen niemand festgelegt hat. Das bleibt eine Entscheidung von Menschen. hAiner macht sichtbar, dass sie fällig ist.

Wie ein Beleg in hAiner konkret aussieht und wo die Grenzen liegen, zeigen wir Ihnen gern im Erstgespräch.