Data Engineer (m/w/d) – Azure Databricks

Projekt-Ziel:

Gemeinsam entwickeln wir eine zentrale Plattform zur Digitalisierung des Energienetzes: iPEN!

Die Informationsplattform Energienetze (iPEN) stellt sicher, dass die Daten der regionalen Verteilnetzbetreiber zentral gebündelt und verfügbar gemacht werden können. Diese Plattform ist das Fundament für die schnelle und flexible Entwicklung smarter Lösungen für alle Aktivitäten im Energienetzgeschäft und für deren kosteneffizienten Roll-out in der gesamten Netz-Community.

Aufgabenbeschreibung:

Im Rahmen dieser Beauftragung werden zwei Mitarbeiter in Arbeitnehmerüberlassung (ANÜ) gesucht, die die Aufgaben des Data Engineer übernehmen.

Hauptaufgaben:

• Mitarbeit an der Weiterentwicklung einer Azure-basierten Datenintegrationsplattform (Schwerpunkt Databricks und Unity Catalog)
• Konzeption, Implementierung und Betrieb von ETL- und Transformationspipelines
• Anbindung verschiedener Quellsysteme sowie technische Unterstützung bei der Überführung von Daten in ein einheitliches Datenmodell
• Begleitung und Unterstützung weiterer Data Engineers bei der Anwendung von Standards, Wiederverwendung von Code und Sicherstellung einer konsistenten Transformationslogik
• Implementierung stabiler Datenextraktionspipelines sowie Sicherstellung eines kontinuierlichen und zuverlässigen Betriebs
• Übersetzung fachlicher Anforderungen in robuste und skalierbare technische Lösungen
• Erstellung und Dokumentation technischer Konzepte sowie Abstimmung mit technischen und fachlichen Ansprechpartnern

Anforderungen:

Must-have:

• Mehrjährige Erfahrung in Python
• Erfahrung in SQL
• Erfahrung mit Spark
• Erfahrung im Erstellen von ETL-Pipelines
• Erfahrung mit Azure Databricks
• Erfahrung mit CI/CD Pipelines
• Erfahrung mit Git
• Englischkenntnisse

Nice-to-have:

• Idealerweise Erfahrung mit Terraform
• Idealerweise Erfahrung mit Docker

Rahmenbedingungen:

• Homeoffice: hybrides Zusammenarbeitsmodell
• Keine festgelegte Präsenzzeit pro Woche
• Teilnahme an ca. 2--3 Präsenztagen pro Monat an verschiedenen Standorten erwartet
• Projektlaufzeit bis Ende 2026

📩 Wir freuen uns bei Interesse über die Zusendung Ihres aktuellen CV in deutscher Sprache.