Warum das Modell der leichte Teil ist
Ein Sprachmodell antwortet aus dem, was es bekommt. Bei einem Assistenten für Firmenwissen sind das die Textstellen, die die Suche aus Ihren Dokumenten liefert. Enthält der Dateiserver Widersprüche, gibt der Assistent sie weiter. Er tut das in einem ruhigen, sicheren Ton, und genau das macht es gefährlich.
Die Kollegin im Innendienst wusste bisher, dass man dem PDF von 2019 nicht trauen darf. Der Assistent weiß das nicht. Er zitiert es mit derselben Überzeugung wie das Datenblatt von letzter Woche. Ein Assistent, der sicher klingt und falsch liegt, ist schlechter als gar keiner.
Veraltete Versionen. Neben "Preisliste_2024_final_neu.xlsx" liegt "Preisliste_2025.xlsx". Ein Mensch erkennt am Dateinamen, was los ist. Die Suche sieht zwei Treffer mit ähnlichem Inhalt und nimmt den, der sprachlich besser zur Frage passt. Das ist nicht immer der aktuelle.
Dokumente ohne Zuständige. Das Handbuch im Ordner "Technik allgemein" hat irgendwer geschrieben, und seitdem hat es keiner mehr geöffnet. Solange es dort nur liegt, schadet es kaum. Sobald ein Assistent daraus zitiert, wird es wieder zur offiziellen Auskunft Ihrer Firma.
Rechte, die keiner kennt. Auf den meisten Laufwerken sind die Zugriffsrechte über Jahre gewachsen. Die Gehaltsliste im falschen Ordner fällt heute niemandem auf, weil dort niemand sucht. Ein Assistent sucht überall, wo er darf.
Klein anfangen, mit einem Fragenbereich
Der häufigste Fehler ist der Plan, gleich das gesamte Firmenwissen anzuschließen. Dann landen zwanzig Jahre Laufwerk im Index, und die ersten Antworten sind so durchwachsen, dass nach zwei Wochen niemand mehr fragt. Nehmen Sie stattdessen einen Bereich, in dem sich Fragen wiederholen, die Antworten schon in Dokumenten stehen und eine falsche Antwort ärgerlich ist, aber keinen Schaden anrichtet.
Den Bereich in einem Satz festlegen. Zum Beispiel so: Der Innendienst fragt nach technischen Daten, Ersatzteilen und Lieferbarkeit unserer Produkte. Alles andere bleibt draußen, auch wenn jemand freundlich fragt. Personalthemen, Verträge und Reklamationen kommen später oder nie.
Die Dokumente gemeinsam auswählen. Setzen Sie sich zwei Stunden mit der Person zusammen, die diese Fragen heute beantwortet. Gehen Sie die Ordner durch und stellen Sie zu jedem Dokument eine Frage: Würden Sie einem Kunden heute daraus antworten? Ja heißt rein, nein heißt raus. Für einen gut abgegrenzten Bereich bleiben meist 50 bis 200 Dokumente übrig. Sind es deutlich mehr, ist der Bereich zu breit.
Aufräumen, bevor Sie indexieren. Alte Versionen wandern in einen Archivordner, den der Assistent nicht sieht. Was niemand mehr braucht, löschen Sie. Das fühlt sich nach Hausmeisterarbeit an, und es ist Hausmeisterarbeit. Jede alte Version, die liegen bleibt, wird irgendwann eine falsche Antwort an jemanden, der ihr glaubt.
Jedem Dokument einen Namen geben. Jedes Dokument bekommt eine zuständige Person, keine Abteilung, und ein Datum, an dem sie es wieder ansieht. Wenn der Assistent aus einem Dokument falsch zitiert oder eine Frage nicht beantworten kann, landet das bei dieser Person. Ohne Namen kümmert sich niemand, und der Bestand veraltet von vorn.
Rechte, Quellen und die Fragen ohne Antwort
Drei Regeln entscheiden, ob Ihre Leute dem Assistenten nach einem Monat noch trauen. Eine vierte gilt nur in Deutschland, dort aber sicher.
Bestehende Rechte übernehmen. Der Assistent prüft bei jeder Frage, welche Dokumente die fragende Person öffnen darf, und sucht nur in diesen. Technisch heißt das, er liest die Berechtigungen aus SharePoint, Google Drive oder dem Fileserver, statt eine eigene Liste zu führen. Eine separat gepflegte Zugriffsliste weicht nach ein paar Monaten von der echten ab. Die Regel lautet, dass niemand über den Assistenten ein Dokument zu sehen bekommt, das er im Explorer nicht öffnen könnte. Prüfen Sie vor dem Start die Rechte der ausgewählten Dokumente mit der Person, die bei Ihnen die IT verantwortet.
Jede Antwort nennt ihre Quelle. Unter jeder Antwort stehen das Dokument, die Stelle und ein Link. So kann jeder mit einem Klick prüfen, ob die Antwort stimmt. Eine Antwort ohne Quelle gibt der Assistent nicht aus. Findet der Assistent nichts Passendes, sagt er das: "Dazu finde ich in den freigegebenen Dokumenten nichts." Dieser Satz ist mehr wert als jede kluge Vermutung.
Die unbeantworteten Fragen sammeln. Jede Frage, auf die der Assistent keine Antwort fand, kommt auf eine Liste. Die Zuständigen sehen sie einmal pro Woche durch. Entweder fehlt ein Dokument, oder eines ist unklar geschrieben, oder die Frage gehört nicht in den Bereich. Diese Liste zeigt Ihnen zum ersten Mal schwarz auf weiß, was Ihre Leute wissen wollen und nirgends nachlesen können.
Den Betriebsrat früh holen, in Deutschland. Speichern Sie die Fragen zusammen mit dem Namen der fragenden Person, haben Sie eine technische Einrichtung, die Verhalten oder Leistung erfassen kann. Nach § 87 Abs. 1 Nr. 6 BetrVG bestimmt der Betriebsrat dabei mit. Das Bundesarbeitsgericht lässt dafür die objektive Eignung zur Überwachung genügen. Ob Sie überwachen wollen, spielt keine Rolle. Protokollieren Sie die Fragen deshalb ohne Namen, und sprechen Sie vor dem Start mit dem Betriebsrat, nicht danach. Was eine Betriebsvereinbarung zu KI-Werkzeugen typischerweise regelt, steht im Artikel über die Betriebsvereinbarung zum KI-Assistenten.
Der Test mit 30 echten Fragen
Bevor der Assistent an alle geht, bekommt er eine Prüfung. Sie besteht aus Fragen, die wirklich gestellt wurden, nicht aus Fragen, die sich jemand am Schreibtisch ausdenkt. Ausgedachte Fragen sind zu sauber formuliert und treffen zu genau die Wörter aus den Dokumenten.
Zwei Wochen lang mitschreiben. Der Innendienst notiert jede Frage aus dem Bereich, und zwar in den Worten des Fragenden, samt Abkürzungen und Tippfehlern. Daraus wählen Sie 30 aus. Nehmen Sie ein paar dazu, auf die es in den Dokumenten keine Antwort gibt, und ein paar, die auf ein Dokument zielen, das die testende Person nicht öffnen darf.
Die richtige Antwort vorher aufschreiben. Die Zuständigen legen zu jeder Frage die korrekte Antwort und das korrekte Quelldokument fest, bevor der Test läuft. Wer erst hinterher bewertet, findet fast jede Antwort plausibel.
Streng bewerten. Jede Antwort landet in einer von drei Spalten. Richtig mit richtiger Quelle. Ehrlich "weiß ich nicht". Falsch, oder richtig mit falscher Quelle. Die dritte Spalte ist die, die zählt. Bei den Fragen ohne Antwort ist "weiß ich nicht" das richtige Ergebnis, und bei den gesperrten Dokumenten darf der Assistent nichts daraus verraten.
Fehler im Dokument beheben. Verfolgen Sie jede falsche Antwort zurück bis zu dem Dokument, das sie verursacht hat. Meistens ist es eine alte Version oder ein Widerspruch zwischen zwei Dateien. Korrigieren Sie das Dokument, nicht die Anweisung an das Modell, und lassen Sie die 30 Fragen danach noch einmal laufen.
Zuerst an die, die antworten. Geben Sie den Assistenten zuerst den Leuten, die diese Fragen heute beantworten. Die erkennen eine falsche Antwort sofort. Erst wenn sie ihm trauen, bekommen ihn die, die bisher gefragt haben.
Ein KI-Assistent für Firmenwissen ist ein Aufräumprojekt mit einem Sprachmodell obendrauf. Das klingt weniger aufregend als die Demo, entscheidet aber, ob Ihre Leute ihm nach vier Wochen noch Fragen stellen. Fangen Sie mit einem Bereich an und mit Dokumenten, für die jemand mit Namen geradesteht. Kein Assistent weiß mehr als das Laufwerk, aus dem er liest.