Über diese Rolle
In dieser stundenbasierten, remote ausgeführten Vertragsrolle arbeiten Sie als Sociology Quality Assurance Lead, um Qualität, Konsistenz und die Leistung von Trainern bei soziologieorientierten KI-Trainingsprojekten zu überwachen. Sie überprüfen KI-generierte soziologische Inhalte sowie die Arbeit von Trainern und QAs, bewerten die Qualität der Ergebnisse anhand von Projektrichtlinien, geben präzises schriftliches Feedback und stellen sicher, dass alle Mitwirkenden die erwarteten Qualitätsstandards einhalten.
Sie bewerten die Arbeit hinsichtlich soziologischer Genauigkeit, Anwendung von Theorien, Forschungskompetenz, sozialem Kontext, methodischer Strenge, ethischem Bewusstsein, Sensibilität für Voreingenommenheit, Klarheit, Formatierung, Befolgung von Anweisungen und Einhaltung projektspezifischer Rubriken. Sie identifizieren wiederkehrende Qualitätsprobleme, kommunizieren Aktualisierungen an Trainer und QAs, unterstützen das Onboarding, pflegen die Dokumentation und helfen dabei, Mitwirkende zu aktivieren, die nicht konsistent arbeiten.
Diese Rolle erfordert fundierte soziologische Fachkenntnisse, ausgezeichnete Englischkenntnisse, hohe Detailgenauigkeit, strukturierte Kommunikation und die Fähigkeit, Qualitätsabläufe in verteilten Expertenteams zu steuern.
Ihr Profil
- Bachelor-, Master- oder PhD-Abschluss in Soziologie, Sozialwissenschaften, Sozialforschung, Demografie, Kriminologie, Gender Studies, Ethnic Studies, Public Policy, Anthropologie oder einem verwandten Bereich.
- Starke Beherrschung der englischen Sprache, um Projektrichtlinien zu befolgen, mit Teams zu kommunizieren und klares schriftliches Feedback zu geben.
- 3+ Jahre Erfahrung in soziologischer Forschung, Lehre, Sozialpolitikanalyse, qualitativer/quantitativer Forschung, akademischem Schreiben, sozialwissenschaftlicher Überprüfung oder verwandten Arbeitsabläufen.
- Fundiertes Verständnis von soziologischer Theorie, sozialen Institutionen, Ungleichheit, Schichtung, Rasse/Ethnizität, Geschlecht, Klasse, Kultur, Devianz, Organisationen, sozialem Wandel, Demografie und Forschungsmethoden.
- Fähigkeit, soziologische Inhalte anhand detaillierter Rubriken zu bewerten und Probleme wie unbegützte Verallgemeinerungen, Stereotypisierung, methodische Mängel, schwache kausale Behauptungen, Vereinfachungen, voreingenommene Rahmung oder ungenaue Verwendung soziologischer Konzepte zu identifizieren.
- Vertrautheit mit Bereichen wie Umfrageforschung, Interviews, Ethnografie, statistischer Analyse, Sozialpolitik, Stadtsoziologie, Familiensoziologie, Bildung, gesundheitliche Ungleichheiten, Arbeit/Organisationen oder Kriminologie wird bevorzugt.
- Erfahrung in der Leitung oder Unterstützung von Remote-Teams von Forschern, Pädagogen, Analysten, Prüfern, Annotatoren oder QAs wird stark bevorzugt.
- Sicherer Umgang mit schnellen Remote-Umgebungen unter Verwendung von Tools wie Discord, Google Sheets, Google Docs, Trackern, Dashboards und Projektmanagementsystemen.
- Hohe Detailorientierung und Organisation, mit der Fähigkeit, Styleguides, FAQs, Tracker, Onboarding-Materialien, Kalibrierungsaufgaben und Dokumentationen zu pflegen.
- Erfahrung mit KI-Training, Datenannotation, LLM-Evaluierung, sozialwissenschaftlicher Qualitätssicherung, akademischer Überprüfung oder rubrikbasierter Überprüfung ist ein großes Plus.
Hauptverantwortlichkeiten
- Qualitätsüberwachung: Stichprobenartige Überprüfung soziologischer Elemente, Identifizierung von Qualitätsproblemen, kontinuierliches Feedback über DMs und Eskalation wiederkehrender oder kritischer Probleme.
- Soziologische Überprüfung: Bewertung von KI-generierten soziologischen Erklärungen, Theorieanwendungen, Forschungszusammenfassungen, Diskussionen zur Sozialpolitik, demografischen Interpretationen und Argumentationen auf Genauigkeit und Nuancen.
- Kommunikation mit Trainern und QAs: Aktualisierung von Trainern und QAs über Discord bezüglich neuer Richtlinien, Projektänderungen, Workflow-Updates, Qualitätserwartungen und soziologiespezifischer Überprüfungsstandards.
- Fragenbehandlung: Klare und prompte Beantwortung von Fragen zu soziologischen Konzepten, Sozialtheorie, Forschungsmethoden, Ungleichheit, Kultur, Ethik, Voreingenommenheit und Rubrikeninterpretation.
- Aktivierungsmanagement: Kontaktaufnahme mit inaktiven Mitwirkenden, Förderung der Aktivierung, Nachverfolgung und Meldung von Verfügbarkeitsproblemen.
- Dokumentation: Erstellung und Pflege der Projektdokumentation, einschließlich Styleguides, Tracker, FAQs, Qualitätsnotizen, Beispielen, Honeypots, Kalibrierungsaufgaben und Onboarding-Materialien.
- Onboarding und Training: Planung und Durchführung von Onboarding-/Trainingsanrufen zur Erläuterung von Erwartungen, Workflows, Rubriken und soziologiespezifischen Anforderungen.
- Qualitätsausrichtung: Sicherstellung, dass alle Trainer und QAs die Richtlinien konsistent anwenden.
- Bias- und Ethikprüfung: Kennzeichnung von Stereotypisierung, stigmatisierender Sprache, unbegründeten Behauptungen über soziale Gruppen, schwacher kausaler Argumentation oder ethisch problematischer sozialer Analyse.
- Prozessverbesserung: Identifizierung von Qualitätslücken, Vorschlag von Workflow-Verbesserungen und Aufbau skalierbarer QA-Prozesse.
