Senior Data Engineer

ÜBER DAS TEAM

Wir sind ein leidenschaftliches Team, bestehend aus einem Head of Data, einem Data Engineer, einem Analytics Engineer und einem Senior Data Analyst, die sich voll und ganz dem Thema Daten widmen. Sie stehen im Zentrum unseres wachsenden Data-Teams. Wir sind begeistert davon, neue Tools und Technologien zu erforschen, und wir lieben es, gemeinsam Herausforderungen zu lösen und Best Practices anzuwenden. Unser Team wird bald wachsen und Data Engineers, Analytics Engineers, Analysten und Data Scientists willkommen heißen, die alle eine entscheidende Rolle bei der Entwicklung von Talon.One spielen.

ÜBER DIE ROLLE

Als Senior Data Engineer / Data Ops sind Sie für alle technischen Aufgaben rund um die Dateninfrastruktur, Datenaufnahme und DWH-Pipelines verantwortlich. Sie verantworten unsere Datenaufnahme-Workflows (derzeit basierend auf einem Kafka-Stream) und stellen sicher, dass die Daten aus unseren PostgresDB-Instanzen mit sehr hohem Datenaufkommen live in BigQuery übertragen werden. Darüber hinaus verwalten Sie unsere gesamte Datenplattform-Infrastruktur, empfehlen Verbesserungen und stellen sicher, dass stets Best Practices eingehalten werden. Schließlich sind Sie natürlich auch an den Data-Engineering-Pipelines beteiligt und unterstützen bei der Modellierung verschiedener Datenquellen, um allen Abteilungen im Unternehmen zu helfen, bessere Entscheidungen zu treffen.

IHRE AUFGABEN

• Verantwortung für die Datenaufnahme-Streams für alle Kundendatenbanken, von Postgres zu BigQuery.
• Verantwortung für die gesamte Dateninfrastruktur: Aufbau, Wartung und Verbesserung unseres Stacks mit neuen Technologien für mehr Effizienz und Best Practices (z. B. Verbesserung der Orchestrierung).
• Schreiben von DWH-Pipelines und Verbesserung unseres gesamten DWH-Codes, um Best Practices anzuwenden und die Effizienz zu steigern.
• Teil eines Data-Teams mit verschiedenen Profilen sein, im Zentrum aller Infrastrukturentscheidungen stehen und eng mit anderen Stakeholdern aus der R&D-Abteilung, insbesondere dem DevOps-Team, zusammenarbeiten.

WAS SIE MITBRINGEN SOLLTEN

• 3-5 Jahre Erfahrung im Bereich Data Engineering / Data Ops, idealerweise bei Projekten mit großen Data Warehouses.
• Sie sind mit dem modernen Data Stack vertraut und können verschiedene Komponenten von der Datenaufnahme bis zur Automatisierung empfehlen, einrichten und warten.
• Sie haben Erfahrung mit einer Vielzahl von Tools und Technologien innerhalb des modernen Data Stacks: Kafka, Airflow, Dagster, DBT Core, BigQuery, Lambda-Funktionen etc.
• Sie haben Erfahrung mit allgemeinen Infrastruktur- / DevOps-Management-Technologien: ArgoCD, Kubernetes, Docker, Github, Postgres, GCP etc.
• Sie streben stets danach, Data-Engineering-Best-Practices anzuwenden: Konsistenzprüfungen, Testen der Datenzuverlässigkeit, Überwachung der Ingestion-Pipelines, keine doppelte Geschäftslogik im Code.

TECHNOLOGIEN

• Kubernetes auf Google Cloud, ArgoCD, Terraform
• PostgreSQL
• Aiven Kafka Connect, Strimzi, Debezium
• DBT Cloud, GCP, BigQuery, Fivetran
• Wir verwenden Go für unsere API, Kernlogik und interne Tools
• Cypress für automatisierte End-to-End-Tests
• Sonstiges in JavaScript und Shell-Skript

WAS WIR BIETEN

• Eine Forschungs- und Entwicklungsabteilung mit über 90 Ingenieuren, Produktmanagern und Produktdesignern in Berlin.
• Führungskräfte mit über 8 Jahren Erfahrung im Aufbau unserer Promotions-Engine.
• 1.000 € jährliches Lernbudget, voller Zugriff auf LinkedIn Learning und kostenlose Deutschkurse.
• 30 Tage Jahresurlaub plus zusätzliche bezahlte Tage für Geburtstag und Umzug.
• Budget für Home-Office-Ausstattung und monatliche Home-Office-Pauschale.
• Freiheit, bis zu 90 Tage weltweit aus dem Ausland zu arbeiten.
• Unterstützung für psychische Gesundheit mit nilo.health und eine vergünstigte Urban Sports Club-Mitgliedschaft.
• 20 % Arbeitgeberzuschuss zur betrieblichen Altersvorsorge.
• Subventioniertes BVG-Ticket und ein hundefreundliches Büro in Berlin.
• Leasen Sie Ihr Wunschfahrrad über BusinessBike.