OA

Oak Tree Software

Quality Analyst

Eckdaten

Deutschland
Analyst

Arbeitsmodell

Vollständig remote
Nur DE
vor 2 Tagen
Stellenbeschreibung

Vertragsdetails

  • Dauer: 3 Monate + (mögliche Verlängerung)
  • Standort: 100% Remote (Deutschland, Österreich, Liechtenstein, Luxemburg, Schweiz)
  • Arbeitszeit: 40 Stunden pro Woche mit 4 Stunden Überschneidung mit PST
  • Erfahrung: 1+ Jahre

Besondere Anforderungen

  • Deutschkenntnisse: Verhandlungssichere Lese- und Schreibkenntnisse in Deutsch, da dies die Fokus-Sprache ist.
  • Persönliche Kontonutzung: Bereitschaft, Ihr primäres persönliches Google-Konto (kein Testkonto) zu verwenden und persönliche Datenquellen für eine authentische Bewertung freizugeben.
  • Flexibilität: Vollzeitverfügbarkeit in Ihrer lokalen Zeitzone ist erforderlich. Wir besetzen ein globales 24-Stunden-Betriebsteam.
  • Analytisches Denken: Fähigkeit, nuancierte und mehrdeutige KI-Antworten zu bewerten, insbesondere hinsichtlich der Personalisierungsqualität.

Qualifikationen

  • Erfahrung in der Datenannotation, KI-Qualitätsbewertung, Content-Moderation oder einem verwandten Bereich wird bevorzugt.
  • BS/BA-Abschluss oder gleichwertige Erfahrung in einem relevanten Bereich (z. B. Politik, Recht, Ethik, Linguistik, Journalismus, Informatik).
  • Sehr gute Englischkenntnisse in Wort und Schrift.

Aufgabenübersicht

Als AI Quality Analyst bewerten Sie eine neue Personalisierungsfunktion für Gemini. Sie prüfen, wie effektiv das Modell Informationen aus vergangenen Gemini-Unterhaltungen, Gmail, Google Suche und YouTube-Aktivitäten nutzt, um relevantere Antworten zu generieren.

Ihre täglichen Aufgaben:

  • Entwurf und Ausführung von mehrstufigen Konversations-Prompts (1-5 Runden), die die Nutzung persönlicher Informationen erfordern.
  • Bewertung der Modellantworten hinsichtlich Absicht, Personalisierung, Grounding und Integration.
  • Durchführung von Side-by-Side (SxS) Vergleichen zur Bestimmung der Hilfreichkeit und Benutzerfreundlichkeit.
  • Verfassen klarer, fundierter Begründungen für Modell-Rankings.
  • Extraktion und Verifizierung von "Debug Info", um die korrekte Nutzung von Datenquellen zu bestätigen.
  • Einhaltung strenger Datenhygiene durch Löschen von Evaluierungs-Chats.

Bewertungsprozess

  1. Shortlist-Kandidaten erhalten ein Job-Interessenformular.
  2. Nach der Profilprüfung folgt ein Assessment, das innerhalb von 24 Stunden abgeschlossen werden muss.
  3. Bei erfolgreichem Abschluss werden die Kandidaten für die Pre-Onboarding-Anforderungen kontaktiert.