Das Ergebnis muss überprüfbar sein
Für eine Dokumentenklassifikation lassen sich zulässige Kategorien und unbekannte Fälle definieren. Bei einer Wissensassistenz braucht es relevante Quellen und ein nachvollziehbares Verhalten bei Wissenslücken. Ein Beispielkatalog sollte normale Vorgänge, seltene Ausnahmen und unzulässige Anfragen enthalten. Diese Fälle begleiten spätere Änderungen, damit Verbesserungen nicht nur im Vorführdialog sichtbar sind.
Architektur aus Daten und Risiken ableiten
Nicht jeder Anwendungsfall braucht ein Sprachmodell. Eine Suchfunktion, ein Regelwerk oder ein kleiner Klassifikator kann einfacher und günstiger sein. Für Modellaufrufe sind Datenzugriff, Latenz und Kosten zu klären. Muss die Anwendung mit sensiblen Dokumenten arbeiten, gehören Berechtigungen vor die Suche und nicht erst in einen erklärenden Systemprompt.
Betrieb von Anfang an einplanen
Modelle und Datenbestände ändern sich. Deshalb müssen Versionen, Qualitätsmessung und ein Rückweg auf einen früheren Stand vorhanden sein. Bei einer Störung braucht es eine sinnvolle Ersatzfunktion: etwa klassische Suche statt generierter Antwort. Ein Team muss außerdem wissen, wer falsche Antworten bewertet und über notwendige Anpassungen entscheidet.
Beispiel: Informationen aus Lieferscheinen übernehmen
Ein Modell extrahiert Lieferpositionen. Deterministische Prüfungen vergleichen Bestellnummern, Mengen und zulässige Einheiten. Unklare Fälle gehen an einen Menschen; sie werden nicht durch Raten vervollständigt. Dieses Zusammenspiel lässt sich an vollständigen Vorgängen bewerten und bietet einen kleineren Einstieg als eine vollständig autonome Beschaffung.
Womit Sie sinnvoll beginnen können
- Zuerst Ergebnisqualität und manuelle Vergleichsbasis festlegen.
- Einen einfachen Lösungsansatz gegen die Modelllösung testen.
- Kosten und Fehler über den gesamten Bearbeitungsprozess erfassen.