Senior Data Engineer — Ingestion & Platform

Über die Position

Diese Stelle wird von Jobgether im Auftrag eines Partnerunternehmens ausgeschrieben. Wir suchen derzeit einen Senior Data Engineer — Ingestion & Platform in Deutschland.

Dies ist eine Senior-Plattform-Engineering-Rolle, die sich auf den Aufbau und die Skalierung einer modernen Customer Data Platform konzentriert, welche die Marketing-Aktivierung für mehrere Casino- und Affiliate-Marken vorantreibt. Sie verantworten die Ingestion-Schicht, die 10 externe Partner mit einem einheitlichen Daten-Ökosystem verbindet und Echtzeit- sowie Batch-Datenflüsse in nachgelagerte Marketing- und Analysesysteme ermöglicht.

Die Umgebung ist stark produktionsorientiert, mit echtem Traffic, Live-Kampagnen und direktem Einfluss auf den Umsatz. Sie bauen nicht nur Pipelines, sondern entwerfen das System, das Pipelines generiert, um das Onboarding von Datenquellen deutlich schneller und skalierbarer zu machen.

Verantwortlichkeiten

• Entwurf und Implementierung skalierbarer Daten-Ingestion-Pipelines mit Python, Integration von REST-APIs, Datenbanken und externen Datenquellen.
• Verantwortung für End-to-End ETL- und Reverse-ETL-Prozesse, einschließlich Bereitstellung, Überwachung, Incident-Management und Zuverlässigkeitsverbesserungen.
• Aufbau und Weiterentwicklung wiederverwendbarer Ingestion-Frameworks und Pipeline-Vorlagen.
• Design und Verwaltung von Orchestrierungsmustern mit Apache Airflow (DAG-Struktur, Abhängigkeiten, Retries, Backfills, dynamische Pipeline-Generierung).
• Implementierung robuster API-Integrationen (Authentifizierung, Token-Refresh, Paginierung, Rate Limiting, Fehlerstrategien).
• Sicherstellung hoher Datenqualität durch automatisierte Tests und Überwachung.
• Enge Zusammenarbeit mit Engineering-, Produkt- und Datenteams.
• Beitrag zur Infrastrukturentwicklung, CI/CD-Verbesserungen und Infrastructure-as-Code-Initiativen.

Anforderungen

• 6 Jahre Erfahrung in Data- oder Platform-Engineering-Rollen mit starkem Fokus auf Produktionssysteme.
• Fortgeschrittene Python-Kenntnisse (API-Clients, Datenverarbeitung, Schema-Validierung).
• Tiefe Expertise mit Apache Airflow (DAG-Design, dynamische Workflows).
• Fundierte Erfahrung mit dbt für modulare Datentransformationen.
• Solide Kenntnisse in Snowflake (externe Stages, Lade-Muster, Performance-Optimierung).
• Nachgewiesene Erfahrung in der Integration externer APIs und dem Handling von Authentifizierung (OAuth, API-Keys).
• Erfahrung im Aufbau wiederverwendbarer Datenpipelines oder Framework-artiger Ingestion-Systeme.
• Praktische Erfahrung mit Reverse ETL oder ausgehender Datenaktivierung.
• Vertrautheit mit CI/CD-Pipelines (z. B. GitHub Actions).
• Nice to have: Terraform, metadatengesteuerte Pipelines, ESP-Tools (z. B. DotDigital, Braze, SendGrid).

Vorteile

• Wettbewerbsfähiges Gehalt.
• Vollständig remote in Europa und UK mit flexiblen Arbeitszeiten.
• Starke Work-Life-Balance und Autonomie.
• Arbeit an einer modernen, produktiven Greenfield-Datenplattform mit echtem Umsatzimpact.
• Umfeld mit hoher Eigenverantwortung und Fokus auf Engineering-Exzellenz.

Über den Bewerbungsprozess

Wir nutzen einen KI-gestützten Matching-Prozess, um sicherzustellen, dass Ihre Bewerbung schnell und fair geprüft wird. Die finale Entscheidung treffen unsere Partnerunternehmen.

Datenschutzhinweis: Mit Ihrer Bewerbung bestätigen Sie, dass Jobgether Ihre personenbezogenen Daten zur Bewertung Ihrer Kandidatur verarbeitet. Dies erfolgt auf Basis berechtigter Interessen gemäß DSGVO.