Callista Group AG
Senior Data Engineer (Azure Databricks)
Für ein Versicherungsunternehmen im Großraum Frankfurt am Main werden zwei erfahrene Data Engineers für den Aufbau einer neuen Lakehouse-Datenplattform auf Basis von Microsoft Azure und Databricks gesucht. Die Rolle umfasst die technische Federführung beim Aufbau der Datenstrecken von Quellsystemen…
Kostenlos. Atlas passt deinen Lebenslauf an genau diese Stelle an und sucht weiter passende Jobs für dich.
Ohne Optimierung bewerbenAtlas Vorteil
- Lebenslauf und Anschreiben passend zu genau dieser Stelle geschrieben, nicht aus der Schublade.
- Match-Score mit Begründung Atlas zeigt dir, wie gut die Stelle zu dir passt, und sagt ehrlich, was passt und was nicht.
- Alles im Blick im Tracking siehst du, wo jede Bewerbung steht, vom Versand bis zum Gespräch.
Stellenbeschreibung
Für unseren Kunden, ein Versicherungsunternehmen im Großraum Frankfurt am Main, suchen wir im Rahmen des Aufbaus einer neuen dispositiven Datenplattform (Lakehouse) auf Basis von Microsoft Azure und Databricks zwei erfahrene Data Engineers. Du baust die Datenstrecken von den Quellsystemen bis in das Core-Modell und übernimmst dabei die technische Federführung in der Umsetzung. Du arbeitest im Tandem mit Mitarbeitenden des Kunden und gibst dein Databricks-Know-how aktiv weiter.
Aufgaben
- Anbindung von Quellsystemen und externen Dienstleistern (Delta-Lieferungen, Dateien, APIs) sowie eines CRM-Systems inklusive automatisierter Ladeprozesse
- Entwicklung von ETL/ELT-Strecken mit Delta-Verarbeitung, Fehlerbehandlung und nachvollziehbaren Wiederanlaufverfahren
- Umsetzung der Dublettenbereinigung und Zusammenführung von Kunden- und Vermittlerdaten
- Implementierung des Core-Datenmodells mit Historisierung entlang der Medallion-Architektur (Databricks, PySpark, SQL)
- Umsetzung von Datenqualitätsregeln, Prüfroutinen, Monitoring und Alerting
- Bereitstellung von Exporten und Rückflüssen an operative Systeme (z. B. Kampagnenselektionen für das CRM)
- Mitarbeit an Entwicklungspipeline und CI/CD, Rollen und Berechtigungen, Data Catalog und Lineage
- Dokumentation, Runbooks und Wissenstransfer im Tandem mit dem Kundenteam
