- Startseite
- Remote Jobs
- DevOps Engineer - AI Model Evaluator
DevOps Engineer - AI Model Evaluator
Eckdaten
Arbeitsmodell
Über die Stelle
Mercor verbindet erstklassige kreative und technische Talente mit führenden KI-Forschungslaboren. Unser Hauptsitz befindet sich in San Francisco. Zu unseren Investoren zählen Benchmark, General Catalyst, Peter Thiel, Adam D'Angelo, Larry Summers und Jack Dorsey.
Position: DevOps / SRE / Cloud Engineer (Coding Agent Experience)
Typ: Vertrag Vergütung: 85 $ pro Stunde Standort: Remote
Aufgabenbereiche
- Einsatz von KI-Coding-Agenten zur Erledigung und Bewertung komplexer Infrastruktur-Engineering-Aufgaben.
- Überprüfung von KI-generierten Implementierungen in den Bereichen Cloud-Plattformen, Kubernetes, CI/CD-Systeme und Infrastruktur-Automatisierung.
- Identifizierung von Fehlern, Edge-Cases, Zuverlässigkeitsproblemen und Ausfallmodi in Modellausgaben.
- Vergleich der Ergebnisse verschiedener KI-Modelle zur Bewertung von Stärken und Schwächen.
- Anwendung professioneller technischer Expertise auf realistische Infrastruktur-Szenarien.
Qualifikationen
Voraussetzungen
- 2 Jahre Berufserfahrung im Bereich DevOps, SRE oder Cloud Engineering.
- Erfahrung mit AWS, Azure, GCP, Kubernetes, Terraform, CI/CD-Pipelines oder Observability-Tools.
- Regelmäßige Nutzung von KI-Coding-Agenten wie Cursor, Claude Code, Codex, Windsurf, Gemini CLI oder ähnlichen Tools.
- Fähigkeit, KI-generierte Infrastruktur- und Reliability-Lösungen zu bewerten.
Wünschenswert
- Erfahrung in der Unterstützung von Systemen im Produktionsmaßstab.
Vergütung & Rechtliches
- 400 $ pro akzeptierter Aufgabe.
- Die Vergütung ist an die akzeptierte Arbeit gebunden.
Bewerbungsprozess (Dauer: 20–30 Minuten)
- Lebenslauf hochladen.
- KI-gestütztes Interview basierend auf Ihrem Lebenslauf.
- Formular einreichen.
Ressourcen & Support
- Details zum Interviewprozess und Informationen zur Plattform finden Sie unter: https://talent.docs.mercor.com/welcome
- Bei Fragen oder Supportbedarf wenden Sie sich bitte an: support@mercor.com
Hinweis: Unser Team prüft Bewerbungen täglich. Bitte schließen Sie Ihr KI-Interview und die Bewerbungsschritte ab, um für diese Stelle berücksichtigt zu werden.

