Data Engineer (m/f/d)

Eckdaten

Berlin
Data Engineering

Arbeitsmodell

Vollständig remote
Weltweit
vor 2 Tagen
Stellenbeschreibung

Über das Unternehmen

Bei Adsquare wird unsere Mission durch unseren Kernfokus vorangetrieben:

  • Leidenschaft: Komplexe Herausforderungen mit großartigen Menschen, Technologie und Daten lösen.
  • Nische: Location Intelligence für Programmatic Advertisers.

Unsere Grundwerte sind integraler Bestandteil unseres Handelns:

  • Drive: Wir setzen Ambitionen in Taten um, um wertvolle Ergebnisse zu liefern.
  • Resilienz: Wir passen uns an, halten durch und wachsen daran.
  • No BS: Wir schätzen Ehrlichkeit, Transparenz und klare Kommunikation.
  • Bescheidenheit: Wir wählen Bescheidenheit statt Eitelkeit und lassen Ergebnisse für sich sprechen.
  • Moralischer Kompass: Wir tun das Richtige mit Fairness, Integrität und Respekt.

Wir suchen Kandidaten, die nicht nur erstklassiges technisches Know-how mitbringen, sondern diese Werte in jedem Aspekt ihrer Arbeit verkörpern.

Über die Rolle

Als (Senior) Data Engineer bei Adsquare sind Sie ein wichtiger Mitwirkender in unserem Kern-Engineering-Bereich. Sie erstellen und warten skalierbare Big-Data-Pipelines, die unsere Anwendungen antreiben und Geschäftswert schaffen. Da unsere Engineering-Abteilung eine Vielzahl kritischer Datenherausforderungen bewältigt, werden Sie basierend auf Ihren individuellen Stärken, Erfahrungen und aktuellen geschäftlichen Anforderungen einem spezifischen funktionsübergreifenden Squad zugewiesen.

Verantwortlichkeiten

  • Data Pipeline Ownership: Übernehmen Sie die volle Verantwortung für den Pipeline-Lebenszyklus – von der Rohdatenerfassung bis zur Transformation und externen Bereitstellung – gemäß definierten SLAs, Zeitvorgaben und Budget.
  • Architektur skalierbarer Lösungen: Entwerfen und bauen Sie robuste Datenarchitekturen, die für die Verarbeitung und Übertragung von Terabytes an Daten erforderlich sind.
  • Pipeline-Optimierung: Kontinuierliche Verbesserung der Datenpipelines hinsichtlich Kosten und Leistung. Dies umfasst die Analyse von Abfrageplänen, die Optimierung von Rechenleistung und Arbeitsspeicher sowie die strategische Anwendung von horizontaler oder vertikaler Skalierung.
  • Engineering-Rigor: Heben Sie die Standards für Data Engineering. Implementieren Sie CI/CD-Workflows, Infrastructure-as-Code, Test-Driven Development (TDD) und automatisierte Tests, um zuverlässigen und wartbaren Code zu gewährleisten.
  • Datenüberwachung: Erstellen und pflegen Sie Live-Monitoring-Dashboards, um die Gesundheit der Datenlösungen sicherzustellen und strategische Entscheidungen zu unterstützen.
  • Zusammenarbeit & Mentoring: Schlagen Sie die Brücke zwischen Data- und Backend-Engineering. Als Senior-Bewerber fungieren Sie als technischer Leiter, indem Sie Junior-Teammitglieder betreuen, Code-Reviews durchführen und Best Practices einführen.

Qualifikationen

Wir suchen einen Kandidaten mit unterschiedlichem Erfahrungsgrad (Mid-Level bis Senior, typischerweise 3-6 Jahre) im Bereich Data Engineering oder Backend-Entwicklung mit starkem Datenfokus. Sie sollten sich in einer selbstorganisierten, agilen Umgebung wohlfühlen.

Erforderliche Fähigkeiten

  • Programmierkenntnisse: Sehr gute Kenntnisse in Python und SQL. Sie schreiben modularen, produktionsreifen Code und verfügen über ein solides Verständnis von funktionaler Programmierung und objektorientierten Prinzipien (OOP).
  • Big Data & PySpark: Fundierte Erfahrung mit groß angelegten Datenverarbeitungs-Frameworks, insbesondere Apache Spark / PySpark. Sie verstehen, wie man TB-große Datensätze effizient handhabt. Tiefes Verständnis von Big-Data-Dateiformaten wie Parquet und Avro sowie Erfahrung mit offenen Lakehouse-Formaten wie Iceberg.
  • Fortgeschrittene Optimierungsfähigkeiten: Nachgewiesene Erfahrung in der Optimierung von Datenpipelines hinsichtlich Rechenleistung, Arbeitsspeicher und Kosteneffizienz, einschließlich des Lesens und Analysierens komplexer Abfragepläne/Profile.
  • Datenbank- & Speicherarchitektur: Expertise in den Kompromissen zwischen OLAP- und OLTP-Systemen. Sie haben Lösungen mit relationalen und nicht-relationalen (NoSQL) Datenbanken sowie horizontal skalierbaren Data Warehouses/Lakehouses (z. B. Redshift, Snowflake, StarRocks) aufgebaut.
  • Cloud Native (AWS): Erfahrung in der Architektur von Lösungen innerhalb des AWS-Ökosystems (z. B. S3, Athena, Glue, EMR, Lambda, Batch).
  • Infrastruktur & Orchestrierung: Produktionserfahrung in der Behandlung von Infrastruktur als Software mittels Terraform sowie Erfahrung mit Orchestrierungstools wie Airflow, dbt oder Step Functions.
  • Engineering-Grundlagen: Solides Verständnis von Informatikprinzipien, Datenstrukturen, Algorithmen und Git-Flow/CI/CD-Pipelines.
  • KI-Tools: Sicherer Umgang mit KI-Tools (z. B. Claude Code, Kiro, Gemini Pro), um Ihren Code zu verbessern, zu refactoren und Ihre Produktivität sowie die Qualität und Leistung Ihres Codes zu steigern.

Bevorzugte Fähigkeiten

  • Kompilierte Sprachen: Erfahrung mit einer kompilierten oder stark typisierten Sprache (z. B. Java, Scala, Go, Kotlin, C++, Cython).
  • Geodaten: Erfahrung in der Arbeit mit GIS (Geographic Information Systems) und Geodaten-Datensätzen.
  • Datenformate: Expertise in der Optimierung von Dateiformaten (Parquet, Avro, Iceberg) für Leistung.
  • Streaming-Technologien: Vertrautheit mit Kafka und Flink.
  • Backend-Kontext: Erfahrung in der engen Zusammenarbeit mit Backend-Entwicklern oder Vertrautheit mit Backend-Architekturmustern (Microservices, API-Design).

Vergütung und Benefits

Gehaltsrahmen: 55.000 - 65.000 Euro pro Jahr.

Zusätzlich zu einem wettbewerbsfähigen Paket bieten wir:

  • Hybrides Arbeitsmodell: Remote-Arbeit von überall auf der Welt bis zu 3 Monate/Jahr.
  • Individuelles jährliches Lernbudget von 1.200€.
  • 30 Urlaubstage pro Jahr.
  • Urban Sports Club Mitgliedschaft.
  • Betriebliche Altersvorsorge.
  • Regelmäßige Team- und Firmenevents.
  • Neueste Hardware und alle Werkzeuge, die Sie zum Erfolg benötigen.

Chancengleichheit

Wir verpflichten uns zu Vielfalt und Inklusion.

Bewerben Sie sich jetzt!