Data Engineer (m/w/d)

Über

Im Fokus steht die Konzeption und Umsetzung eines Reportings für den Nachrichtenversand innerhalb der MaKo. Wir suchen jemanden, der nicht nur über tiefes technisches Know-how in Databricks verfügt, sondern auch erprobte Best Practices aus vergleichbaren Projekten in die Architektur einfließen lässt. Die Umsetzung erfolgt innerhalb einer modernen Medallion-Architektur unter Berücksichtigung strenger IT-Vorgaben und Quality Gates.

Projektbeschreibung

• Konzeption und Entwicklung einer skalierbaren Lösung für die Datenplattform in Databricks.
• Datenintegration in den unternehmensweiten Data Lake unter Anwendung einer Medallion-Architektur.
• Aufbau eines performanten Datenmodells für das Reporting in PowerBI.
• Berücksichtigung der IT-Governance: Deployment in Multi-Tier-Umgebungen und Einhaltung definierter Quality Gates.
• Effizienzsteigerung: Durchführung von Optimierungsmaßnahmen zur Qualitäts- und Performance-Verbesserung.
• Dokumentation: Erstellung von Architekturentscheidungen, Prozessbeschreibungen und Projektergebnissen.

Skills

• Mehrjährige Erfahrung mit Databricks in der Konzeption und Implementierung (Data Engineering, ETL, Orchestrierung).
• Tiefgreifendes Verständnis von Layer-Datenmodellen (insb. Medallion-Architektur).
• Fundiertes technisches Wissen: Sicherer Umgang mit SQL und Python.
• Erfahrung in modernen Datenumgebungen: Kenntnisse in Continuous Ingestion / Continuous Development sowie Berechtigungskonzepten.
• Methodenkompetenz: Erfahrung in agilen Projekten (Scrum) sowie Verständnis von IT Service Management Prozessen (ITIL).
• Sprachkenntnisse: Sehr gute Deutschkenntnisse in Wort und Schrift.

Nice-to-Have

• Kenntnisse in Microsoft Azure im Kontext von Data Engineering.
• Erfahrung mit Machine Learning und LLMs innerhalb von Databricks.
• Sicherer Umgang mit Jira und Confluence.