- Startseite
- Alle Remote Jobs
- Software Engineering & DevOps AI Rater/Evaluator
Overview
LILT baut ein globales Netzwerk von Fachexperten auf, um hochwertige KI-Bewertungen in den Bereichen Training, Benchmarking, Red-Teaming und laufende Modellüberwachung zu unterstützen. Wir suchen Fachleute aus den Bereichen Softwareentwicklung und DevOps, die ihr Expertenwissen in KI-Bewertungs-Workflows mit menschlicher Beteiligung einbringen, die von führenden Unternehmen und Hyperscalern eingesetzt werden.
Diese Rolle richtet sich an Fachleute, die verstehen, wie Softwaresysteme, Infrastruktur und Entwicklungspraktiken in realen Produktionsumgebungen funktionieren, und die dieses Fachwissen zur Bewertung, Einschätzung und Verbesserung mehrsprachiger KI-Systeme anwenden können.
Ihr Fachbeitrag wird die Qualität, Sicherheit und Einsatzbereitschaft von mehrsprachigen KI-Modellen direkt beeinflussen.
Diese Rolle umfasst zwei verschiedene Expertenbahnen, basierend auf Erfahrungsniveau und Verantwortungsbereich.
Track A: Software Engineering & DevOps AI Rater
Rater führen strukturierte Bewertungsaufgaben anhand klar definierter Bewertungsmaßstäbe und Anweisungen aus.
Verantwortlichkeiten
- Bewertung von KI-Ausgaben im Zusammenhang mit Themen der Softwareentwicklung, DevOps und Infrastruktur
- Durchführung von strukturierten Bewertungs-, Vergleichs-, Klassifizierungs- und Urteilsaufgaben
- Bewertung der technischen Korrektheit, Vollständigkeit, Sicherheitsauswirkungen und Ausrichtung an Best Practices
- Identifizierung von Halluzinationen, fehlerhaftem Code, unsicheren Empfehlungen oder irreführenden Systemanweisungen
- Konsequente Anwendung von domänenspezifischen Engineering- und DevOps-Richtlinien über Aufgaben hinweg
Idealer Hintergrund
- Softwareentwickler, Site Reliability Engineers, DevOps Engineers oder Plattformentwickler
- Erfahrung mit Produktionssystemen, CI/CD-Pipelines, Cloud-Infrastruktur oder verteilten Systemen
- Hohe Detailgenauigkeit und Komfort bei der Arbeit mit strukturierten Bewertungskriterien
Track B: Software Engineering & DevOps AI Evaluator (Senior Track)
Evaluatoren bieten eine höhere technische Aufsicht und helfen bei der Gestaltung der Bewertung.
Verantwortlichkeiten
- Validierung und Verfeinerung von Bewertungsmaßstäben und der Handhabung von Randfällen
- Durchführung von Adjudikationen, wenn Rater uneins sind
- Durchführung von Fehleranalysen und qualitativen Überprüfungen des Modellverhaltens
- Partnerschaft mit LILT-Forschungs-, Produkt- und Kundenteams bei der Bewertungsgestaltung
- Unterstützung bei Red-Teaming, Sicherheitsüberprüfungen und Bewertungen der Modellbereitschaft
Idealer Hintergrund
- Senior-Softwareentwickler, DevOps-Leads, SREs oder technische Architekten
- Erfahrung in der Definition technischer Standards, der Überprüfung komplexer Randfälle oder der Beratung bei Systemdesign und Zuverlässigkeit
- Fähigkeit, nuancierte technische Begründungen und Kompromisse klar zu erklären
Evaluation Focus & Requirements
Arten von KI-Bewertungsarbeiten
Abhängig von den Projektanforderungen können die Arbeiten Folgendes umfassen:
- Bewertung von Inhalten zur Softwareentwicklung und Infrastruktur
- Bewertung von Codekorrektheit und -logik
- Bewertung von DevOps, CI/CD und Cloud-Architekturen
- Red-Teaming mit Fokus auf Sicherheit und Zuverlässigkeit
- Laufende Modellüberwachung und Regressionstests
Was wir suchen
- Tiefes Fachwissen in Softwareentwicklung, DevOps oder Infrastruktur
- Starkes technisches Urteilsvermögen und die Fähigkeit, Kriterien konsistent anzuwenden
- Komfort bei der Arbeit mit strukturierten Bewertungs-Workflows
- Fähigkeit, Begründungen klar zu erklären, insbesondere in komplexen oder risikoreichen technischen Szenarien
- Zuverlässigkeit, Professionalität und Respekt vor Qualitätsstandards
Engagement Model
- Vertragsbasiert, flexible Teilnahme
- Projektbasierte Arbeit mit klaren Erwartungen und Zeitplänen
- Möglichkeiten für wiederkehrende Arbeit basierend auf Leistung und Nachfrage
- Vergütung wird pro Projekt oder Aufgabentyp im Voraus kommuniziert
Why This Work Matters
Ihre Expertise hilft sicherzustellen, dass KI-Systeme:
- Genaue und sichere technische Anleitungen liefern
- Mit realen Engineering- und DevOps-Best Practices übereinstimmen
- Zuverlässig, sicher und vertrauenswürdig über Sprachen hinweg sind
Language Requirements
- Native oder professionelle Sprachkenntnisse in einer oder mehreren unterstützten Sprachen sind erforderlich
- Unterstützte Sprachen umfassen 30 globale Sprachen
- Sprachspezifische Nuancen werden durch Screening und aufgabenbasierte Bewertung beurteilt, nicht durch separate Stellenausschreibungen
- Englischkenntnisse sind für Richtlinien, Feedback und Zusammenarbeit erforderlich
AI verändert die Art und Weise, wie die Welt kommuniziert – und LILT ist führend bei dieser Transformation. LILTs Mission ist es, die Informationen der Welt für jeden zugänglich zu machen, unabhängig von der Sprache, die er spricht. Treten Sie unserer globalen Gemeinschaft bei, die auf Innovation und Exzellenz setzt. Unser kollektives Wissen, unsere Einzigartigkeit und unsere Fähigkeiten liefern mehrsprachige KI und menschlich verifizierte Dienstleistungen für Unternehmen, Regierungen und KI-Entwickler auf der ganzen Welt.
Verdienen Sie Geld. Haben Sie Spaß. Fördern Sie menschliches Wissen. Arbeiten Sie an vielfältigen Projekten von überall und jederzeit. Werden Sie schnell und fair bezahlt und bauen Sie Ihr berufliches Netzwerk in einer unterstützenden Gemeinschaft auf – alles durch einen optimierten Bewerbungsprozess, der auf Ihre Expertise zugeschnitten ist.
Informationen, die im Rahmen Ihres Bewerbungsprozesses gesammelt und verarbeitet werden, einschließlich aller von Ihnen eingereichten Bewerbungen, unterliegen der Datenschutzrichtlinie von LILT unter https://lilt.com/legal/privacy . Bei LILT verpflichten wir uns zu einem fairen, integrativen und transparenten Einstellungsprozess. Im Rahmen unserer Rekrutierungsbemühungen können wir künstliche Intelligenz (KI) und automatisierte Tools einsetzen, um die Bewerbungsauswertung zu unterstützen, einschließlich Lebenslauf-Screening, Bewertungsbewertung und Interviewanalyse. Diese Tools sollen die menschliche Entscheidungsfindung unterstützen und uns helfen, qualifizierte Kandidaten effizient und objektiv zu identifizieren. Alle endgültigen Einstellungsentscheidungen werden von Menschen getroffen. Wenn Sie Bedenken haben, Unterkünfte benötigen oder die Nutzung von KI in unserem Einstellungsprozess ablehnen möchten, teilen Sie uns dies bitte unter recruiting@lilt.com mit. LILT ist ein Arbeitgeber, der Chancengleichheit fördert. Wir gewähren allen Einzelpersonen gleiche Chancen, unabhängig von ihrer Rasse, Religion, Hautfarbe, nationalen Herkunft, Abstammung, ihrem Geschlecht, ihrer sexuellen Orientierung, ihrer Geschlechtsidentität, ihrem Alter, ihrer körperlichen oder geistigen Behinderung, ihrem medizinischen Zustand, ihren genetischen Merkmalen, ihrem Veteranen- oder Familienstand, ihrer Schwangerschaft oder einer anderen nach geltendem lokales, staatliches oder bundesstaatliches Recht geschützten Klassifizierung. Wir verpflichten uns den Grundsätzen der fairen Beschäftigung und der Beseitigung aller diskriminierenden Praktiken.
