Die Aufgabe bestimmt die notwendige Größe
Eine interne Dokumentensuche braucht andere Fähigkeiten als freie Textgestaltung oder Bildauswertung. Ein kleineres Modell kann für klar begrenzte Aufgaben ausreichen. Verglichen werden sollten Antwortqualität, Reaktionszeit und gleichzeitige Nutzung mit eigenen Beispielen. Ein Modell, das einen einzelnen Testdialog gut löst, muss nicht den Bedarf einer ganzen Abteilung abdecken.
Das Modell ist nur ein Teil der Kosten
Hardware, Strom, Updates, Sicherungen und Betreuung gehören in die Rechnung. Bei seltenen Anfragen kann ein eigener GPU-Server schlecht ausgelastet sein. Bei dauerhaft hoher Last kann die Rechnung anders ausfallen. Auch eine lokale Lösung benötigt eine Benutzeroberfläche, Identitäten und kontrollierte Datenzugriffe. Diese Komponenten verursachen Aufwand unabhängig vom gewählten Modell.
Dokumentensuche sauber vorbereiten
Für RAG werden Dokumente eingelesen und in durchsuchbare Abschnitte zerlegt. Doppelte Handbücher, gescannte Tabellen und widersprüchliche Versionen erschweren das Ergebnis. Antworten sollten auf Fundstellen verweisen und fehlendes Wissen kenntlich machen. „Lokal“ beschreibt den Betrieb, nicht automatisch die Zuverlässigkeit einer Antwort.
Beispiel: Technisches Wissen im Betrieb erschließen
Ein Pilot beantwortet Fragen zu einem freigegebenen Maschinenhandbuch. Das Team sammelt typische Suchfragen und vergleicht klassische Suche mit einer KI-Antwort samt Quellen. Gemessen werden richtige Fundstellen, Nacharbeit und Wartezeit. So lässt sich der Nutzen bestimmen, bevor ein umfassendes internes Wissenssystem angeschafft wird.
Womit Sie sinnvoll beginnen können
- Einen klaren Datenbestand und eine realistische Nutzerzahl auswählen.
- Laufende Betreuung und Hardwareauslastung in die Kosten aufnehmen.
- Datenschutz, Sicherheit und Antwortqualität getrennt bewerten.