Die Verarbeitungskette sichtbar machen
Eine Anfrage kann Suche, Berechtigungsprüfung, Modellaufruf und mehrere Werkzeuge durchlaufen. Werden diese Schritte einzeln gemessen, lässt sich ein langsamer Dialog eingrenzen. Relevante Werte sind Suchdauer, Modelllatenz, Werkzeugfehler und verbrauchte Tokens. Versionskennungen für Modell, Prompt und Suchindex helfen, eine Verschlechterung einer konkreten Änderung zuzuordnen.
Qualität braucht Vergleichsfälle
Ein Evaluationssatz enthält typische Fragen, schwierige Grenzfälle und erwartete Eigenschaften der Antwort. Bei einer Richtliniensuche zählen beispielsweise korrekte Quellen, passende Gültigkeit und das Unterlassen unbelegter Aussagen. Automatische Bewertungen können Hinweise liefern; wichtige Fehlerklassen sollten zusätzlich manuell geprüft werden. Ein Bewertungsmodell ist kein unabhängiger Wahrheitsnachweis.
Protokolle können selbst zum Datenrisiko werden
Vollständige Prompts enthalten möglicherweise Vertragsdaten, Personennamen oder vertrauliche Dokumentauszüge. Nicht alles muss dauerhaft gespeichert werden. Oft reichen technische Kennungen, Laufzeiten und gekürzte Fehlerdaten. Inhaltsstichproben brauchen klare Zugriffsrechte und Löschfristen. Sensible Daten gehören auch nicht unbemerkt in ein externes Monitoringprodukt.
Beispiel: Nach einem Indexwechsel wird die Suche schlechter
Die Antwortzeit bleibt gleich, aber Mitarbeitende korrigieren häufiger Vertragsauskünfte. Ein stabiler Vergleichssatz zeigt, dass aktuelle Nachträge schlechter gefunden werden. Damit lässt sich das Problem im Retrieval beheben, statt wahllos ein größeres Modell einzusetzen. Aussagekräftige Betriebsdaten verbinden Nutzerfeedback mit reproduzierbaren Tests.
Womit Sie sinnvoll beginnen können
- Fachliche Erfolgs- und Abbruchkriterien vor dem Rollout definieren.
- Qualitätsvergleiche bei Änderungen an Modell, Prompt und Datenbestand ausführen.
- Kosten je brauchbarem Ergebnis einschließlich Nacharbeit betrachten.