QA Generalist

Helika baut KI-gestützte Charaktere und Publishing-Infrastruktur für Unterhaltung, Marken und Spielestudios, um sie dabei zu unterstützen, Spieler direkt in den Communities anzusprechen, in denen sie bereits Zeit verbringen.

Wir suchen jemanden, der sich wirklich dafür interessiert, was veröffentlicht wird, und bereit ist, die Verantwortung für das Produkterlebnis von Anfang bis Ende zu übernehmen. Diese Rolle umfasst sowohl traditionelle Softwaretests als auch die Validierung von KI/LLM-Funktionen, was sie zu einer einzigartigen und wichtigen Position in unserem Team macht.

Verantwortlichkeiten

• Übernahme der gesamten Produktqualität: Definition und Implementierung der Teststrategie, Entscheidung, wo sich Automatisierung lohnt, wo manuelle Tests ausreichen und wo Produktionsüberwachung die richtige Antwort ist.
• Teilnahme an Grooming-, Planungs- und Sprint-Zeremonien – nicht als Beobachter, sondern als Person, die Risiken aufdeckt und die schwierigen Fragen stellt, bevor eine Zeile Code geschrieben wird.
• Klare Kommunikation von Risiken an Entwickler, Produktmanager und Stakeholder. Sie sind in der Lage, sich für das Blockieren eines Releases einzusetzen, wenn etwas nicht bereit ist, und dies auf eine Weise zu erklären, die ankommt.
• Priorisierung von Fehlern nach Risiko und geschäftlicher Auswirkung, anstatt nur alles zu protokollieren. Helfen Sie dem Team zu verstehen, was jetzt behoben werden muss, was warten kann und was sicher veröffentlicht werden kann.
• Testen und Evaluieren von KI-Agenten und LLM-Funktionen: Validierung des Prompt-Verhaltens, Erkennen von Halluzinationen und Modellregressionen, Abdeckung von Randfällen in agentischen Abläufen.
• Einsatz von Observability-Tools – LangSmith, LangFuse oder Äquivalente – für Agenten-Tracing, Analyse der Prompt-Qualität und Erkennung von Produktionsproblemen.
• Durchführung von funktionalen, Regressions-, UI/UX- und explorativen Tests der Webanwendung.
• Durchführung von API-Tests mit Postman, Swagger oder Skripten – und eigenständige Untersuchung von Problemen, ohne auf einen Entwickler zu warten.
• Feedback zu Benutzerfreundlichkeit, Barrierefreiheit und Systemleistung. Sie sind die letzte Verteidigungslinie vor dem Benutzer.
• Vorschlagen und Vorantreiben von Verbesserungen der QA-Prozesse, Release-Abläufe und der allgemeinen Qualitätskultur des Teams.

Anforderungen

• 5 Jahre Erfahrung in der Qualitätssicherung mit Erfahrung in der Verantwortung für die Produktqualität.
• Fundiertes Verständnis von KI/LLM-Tests: Sie wissen, dass eine Prompt-Änderung das Verhalten beeinträchtigen kann, dass Modellausgaben Bewertungskriterien erfordern und dass "manchmal eine seltsame Antwort" ein echter Fehler ist, der eine echte Strategie erfordert.
• Starke Grundlagen im manuellen Testen und praktische Erfahrung mit Testdesign-Techniken – Sie wissen, wann Sie explorieren, wann Sie einem Plan folgen und wann Sie beides überspringen können.
• Praktische Erfahrung mit API-Tests: Sie sind vertraut mit dem Lesen von Protokollen, dem Abfragen von Daten und der Diagnose von Problemen ohne Hilfe.
• Fundiertes Verständnis von SDLC und Agile – Sprint-Zeremonien fühlen sich wie nützliche Arbeit an, nicht wie Overhead.
• Risikoorientierte Denkweise: Priorisierung nach Auswirkung, Vermeidung von Release-Blockaden bei kosmetischen Problemen und die Fähigkeit, Go/No-Go-Entscheidungen klar zu artikulieren.
• Fähigkeit, klare und nützliche Testdokumentationen zu erstellen – Testpläne, Testfälle und Fehlerberichte, die tatsächlich helfen, anstatt nur eine Checkliste abzuarbeiten.
• Englisch B1 (in Wort und Schrift).

Nice to Have

• Erfahrung mit LangSmith, LangFuse oder anderen LLM-Observability- und Evaluierungstools.
• Erfahrung mit Python-Automatisierung – Fähigkeit, Tests zu entwerfen, zu schreiben und zu pflegen, nicht nur sie auszuführen.
• Praktische Erfahrung beim Erstellen von Eval-Datensätzen und Bewertungskriterien für KI-Ausgaben.
• Vertrautheit mit AWS/GCP und zugehörigen Tools und Diensten.
• Erfahrung als alleiniger oder primärer QA in einem Produktteam.

Was wir bieten

• Vollständig remote
• Flexibler Zeitplan
• Bezahlter Urlaub: 15 Arbeitstage Urlaub und 5 zusätzliche freie Tage pro Jahr
• Gesetzliche Feiertage gemäß Ihrem Land
• Karriereentwicklungsmöglichkeiten
• Keine Bürokratie – ein ergebnisorientiertes Team mit echter Flexibilität
• Vergütung entsprechend Ihrer Erfahrung und Erwartungen