Software Engineering & DevOps AI Rater/Evaluator

Remote
vor 4 Tagen
Kempten Und Umgebung
Stellenbeschreibung

Overview

LILT baut ein globales Netzwerk von Fachexperten auf, um hochwertige KI-Bewertungen in den Bereichen Training, Benchmarking, Red-Teaming und laufende Modellüberwachung zu unterstützen. Wir suchen Fachleute aus den Bereichen Softwareentwicklung und DevOps, die ihr Expertenwissen in KI-Bewertungs-Workflows mit menschlicher Beteiligung einbringen, die von führenden Unternehmen und Hyperscalern eingesetzt werden.

Diese Rolle richtet sich an Fachleute, die verstehen, wie Softwaresysteme, Infrastruktur und Entwicklungspraktiken in realen Produktionsumgebungen funktionieren, und die dieses Fachwissen zur Bewertung, Einschätzung und Verbesserung mehrsprachiger KI-Systeme anwenden können.

Ihr Fachbeitrag wird die Qualität, Sicherheit und Einsatzbereitschaft von mehrsprachigen KI-Modellen direkt beeinflussen.

Diese Rolle umfasst zwei verschiedene Expertenbahnen, basierend auf Erfahrungsniveau und Verantwortungsbereich.

Track A: Software Engineering & DevOps AI Rater

Rater führen strukturierte Bewertungsaufgaben anhand klar definierter Bewertungsmaßstäbe und Anweisungen aus.

Verantwortlichkeiten

  • Bewertung von KI-Ausgaben im Zusammenhang mit Themen der Softwareentwicklung, DevOps und Infrastruktur
  • Durchführung von strukturierten Bewertungs-, Vergleichs-, Klassifizierungs- und Urteilsaufgaben
  • Bewertung der technischen Korrektheit, Vollständigkeit, Sicherheitsauswirkungen und Ausrichtung an Best Practices
  • Identifizierung von Halluzinationen, fehlerhaftem Code, unsicheren Empfehlungen oder irreführenden Systemanweisungen
  • Konsequente Anwendung von domänenspezifischen Engineering- und DevOps-Richtlinien über Aufgaben hinweg

Idealer Hintergrund

  • Softwareentwickler, Site Reliability Engineers, DevOps Engineers oder Plattformentwickler
  • Erfahrung mit Produktionssystemen, CI/CD-Pipelines, Cloud-Infrastruktur oder verteilten Systemen
  • Hohe Detailgenauigkeit und Komfort bei der Arbeit mit strukturierten Bewertungskriterien

Track B: Software Engineering & DevOps AI Evaluator (Senior Track)

Evaluatoren bieten eine höhere technische Aufsicht und helfen bei der Gestaltung der Bewertung.

Verantwortlichkeiten

  • Validierung und Verfeinerung von Bewertungsmaßstäben und der Handhabung von Randfällen
  • Durchführung von Adjudikationen, wenn Rater uneins sind
  • Durchführung von Fehleranalysen und qualitativen Überprüfungen des Modellverhaltens
  • Partnerschaft mit LILT-Forschungs-, Produkt- und Kundenteams bei der Bewertungsgestaltung
  • Unterstützung bei Red-Teaming, Sicherheitsüberprüfungen und Bewertungen der Modellbereitschaft

Idealer Hintergrund

  • Senior-Softwareentwickler, DevOps-Leads, SREs oder technische Architekten
  • Erfahrung in der Definition technischer Standards, der Überprüfung komplexer Randfälle oder der Beratung bei Systemdesign und Zuverlässigkeit
  • Fähigkeit, nuancierte technische Begründungen und Kompromisse klar zu erklären

Evaluation Focus & Requirements

Arten von KI-Bewertungsarbeiten

Abhängig von den Projektanforderungen können die Arbeiten Folgendes umfassen:

  • Bewertung von Inhalten zur Softwareentwicklung und Infrastruktur
  • Bewertung von Codekorrektheit und -logik
  • Bewertung von DevOps, CI/CD und Cloud-Architekturen
  • Red-Teaming mit Fokus auf Sicherheit und Zuverlässigkeit
  • Laufende Modellüberwachung und Regressionstests

Was wir suchen

  • Tiefes Fachwissen in Softwareentwicklung, DevOps oder Infrastruktur
  • Starkes technisches Urteilsvermögen und die Fähigkeit, Kriterien konsistent anzuwenden
  • Komfort bei der Arbeit mit strukturierten Bewertungs-Workflows
  • Fähigkeit, Begründungen klar zu erklären, insbesondere in komplexen oder risikoreichen technischen Szenarien
  • Zuverlässigkeit, Professionalität und Respekt vor Qualitätsstandards

Engagement Model

  • Vertragsbasiert, flexible Teilnahme
  • Projektbasierte Arbeit mit klaren Erwartungen und Zeitplänen
  • Möglichkeiten für wiederkehrende Arbeit basierend auf Leistung und Nachfrage
  • Vergütung wird pro Projekt oder Aufgabentyp im Voraus kommuniziert

Why This Work Matters

Ihre Expertise hilft sicherzustellen, dass KI-Systeme:

  • Genaue und sichere technische Anleitungen liefern
  • Mit realen Engineering- und DevOps-Best Practices übereinstimmen
  • Zuverlässig, sicher und vertrauenswürdig über Sprachen hinweg sind

Language Requirements

  • Native oder professionelle Sprachkenntnisse in einer oder mehreren unterstützten Sprachen sind erforderlich
  • Unterstützte Sprachen umfassen 30 globale Sprachen
  • Sprachspezifische Nuancen werden durch Screening und aufgabenbasierte Bewertung beurteilt, nicht durch separate Stellenausschreibungen
  • Englischkenntnisse sind für Richtlinien, Feedback und Zusammenarbeit erforderlich

AI verändert die Art und Weise, wie die Welt kommuniziert – und LILT ist führend bei dieser Transformation. LILTs Mission ist es, die Informationen der Welt für jeden zugänglich zu machen, unabhängig von der Sprache, die er spricht. Treten Sie unserer globalen Gemeinschaft bei, die auf Innovation und Exzellenz setzt. Unser kollektives Wissen, unsere Einzigartigkeit und unsere Fähigkeiten liefern mehrsprachige KI und menschlich verifizierte Dienstleistungen für Unternehmen, Regierungen und KI-Entwickler auf der ganzen Welt.

Verdienen Sie Geld. Haben Sie Spaß. Fördern Sie menschliches Wissen. Arbeiten Sie an vielfältigen Projekten von überall und jederzeit. Werden Sie schnell und fair bezahlt und bauen Sie Ihr berufliches Netzwerk in einer unterstützenden Gemeinschaft auf – alles durch einen optimierten Bewerbungsprozess, der auf Ihre Expertise zugeschnitten ist.

Informationen, die im Rahmen Ihres Bewerbungsprozesses gesammelt und verarbeitet werden, einschließlich aller von Ihnen eingereichten Bewerbungen, unterliegen der Datenschutzrichtlinie von LILT unter https://lilt.com/legal/privacy . Bei LILT verpflichten wir uns zu einem fairen, integrativen und transparenten Einstellungsprozess. Im Rahmen unserer Rekrutierungsbemühungen können wir künstliche Intelligenz (KI) und automatisierte Tools einsetzen, um die Bewerbungsauswertung zu unterstützen, einschließlich Lebenslauf-Screening, Bewertungsbewertung und Interviewanalyse. Diese Tools sollen die menschliche Entscheidungsfindung unterstützen und uns helfen, qualifizierte Kandidaten effizient und objektiv zu identifizieren. Alle endgültigen Einstellungsentscheidungen werden von Menschen getroffen. Wenn Sie Bedenken haben, Unterkünfte benötigen oder die Nutzung von KI in unserem Einstellungsprozess ablehnen möchten, teilen Sie uns dies bitte unter recruiting@lilt.com mit. LILT ist ein Arbeitgeber, der Chancengleichheit fördert. Wir gewähren allen Einzelpersonen gleiche Chancen, unabhängig von ihrer Rasse, Religion, Hautfarbe, nationalen Herkunft, Abstammung, ihrem Geschlecht, ihrer sexuellen Orientierung, ihrer Geschlechtsidentität, ihrem Alter, ihrer körperlichen oder geistigen Behinderung, ihrem medizinischen Zustand, ihren genetischen Merkmalen, ihrem Veteranen- oder Familienstand, ihrer Schwangerschaft oder einer anderen nach geltendem lokales, staatliches oder bundesstaatliches Recht geschützten Klassifizierung. Wir verpflichten uns den Grundsätzen der fairen Beschäftigung und der Beseitigung aller diskriminierenden Praktiken.