KARRIERE / AI PLATFORM
LLMOps Engineer – Model Serving & Evaluation
LLM-Workloads sicher, messbar und kosteneffizient in Produktion betreiben.
DEINE AUFGABE
Woran du bei EMOS arbeitest.
LLM-Workloads sicher, messbar und kosteneffizient in Produktion betreiben. Im Mittelpunkt stehen belastbare Lösungen, nachvollziehbare technische Entscheidungen und die Zusammenarbeit mit Fachbereichen sowie Engineering-Teams.
- Modell-Gateways, Rate Limits, Routing, Caching und Fallback-Strategien implementieren
- Evaluationen und Regressionstests für Prompts, Modelle und Tool-Aufrufe automatisieren
- Telemetry für Tokenverbrauch, Antwortlatenz, Fehlerquoten und Qualitätsmetriken aufbauen
- Deployment- und Rollback-Prozesse für Modell- und Prompt-Versionen definieren
- Bestehende Lösungen analysieren, technische Risiken dokumentieren und Verbesserungen entlang konkreter Akzeptanzkriterien priorisieren.
- Implementierungen mit geeigneten automatisierten Tests, reproduzierbaren Testdaten und Code-Reviews absichern.
- Fehlerbilder aus Logs, Metriken und Laufzeitverhalten untersuchen; Ursachen und Gegenmaßnahmen nachvollziehbar festhalten.
DEIN PROFIL
Was fachlich gut passt.
Langjährige Erfahrung ist willkommen. Entscheidend sind belastbare technische Grundlagen, Lernbereitschaft und ein professioneller Umgang mit anspruchsvollen Kundensystemen.
- Praxis mit Python, Kubernetes, Docker und API-basiertem Model Serving
- Erfahrung mit OpenTelemetry, Prometheus/Grafana und CI/CD
- Kenntnisse in vLLM oder vergleichbaren Serving-Stacks sowie GPU-Ressourcenplanung
- Verständnis für Secrets, RBAC, PII-Redaktion und Auditierbarkeit
- Erfahrung mit strukturiertem Debugging, Versionsverwaltung und der Zusammenarbeit in interdisziplinären Teams.
- Fähigkeit, technische Entscheidungen verständlich zu begründen und die Qualität anhand konkreter Kriterien zu überprüfen.
ZUSAMMENARBEIT & QUALITÄT
Wie du Wirkung erzielst.
In dieser Rolle geht es nicht nur um einzelne Technologien. Du arbeitest an nachvollziehbaren Ergebnissen: Anforderungen klären, Lösungen technisch sauber umsetzen, Risiken früh erkennen und die Übergabe an Betrieb oder andere Teams absichern.
Für die Position LLMOps Engineer – Model Serving & Evaluation sind insbesondere dokumentierte Schnittstellen, transparente Reviews, automatisierte Qualitätssicherung und ein bewusster Umgang mit produktiven Systemen relevant. Das konkrete Projektumfeld wird im Gespräch erläutert.
RAHMENBEDINGUNGEN
Was die aktuelle EMOS-Ausschreibung vorsieht.
Gehaltsmodell: fair und nach Vereinbarung. Konkreter Projekteinsatz und weitere Rahmenbedingungen werden im Bewerbungsprozess abgestimmt.
JOIN TEAM EMOS
Interesse an dieser Position?
Dann nimm Kontakt mit EMOS auf und beziehe dich auf diese Ausschreibung.