Data Engineer (m/w/d)

About

Data Engineer (m/w/d)
Bei A1 entwickelst du gemeinsam mit einem erfahrenen Team moderne Analytics- und Datenintegrationslösungen – von der Konzeption über die Umsetzung bis zum stabilen Betrieb – und gestaltest die Weiterentwicklung unserer Datenplattform aktiv mit.

Responsibilities

• Du verantwortest die Migration, Modernisierung und Weiterentwicklung unternehmenskritischer, komplexer Datenverarbeitungs- und Datenintegrationslösungen, beispielsweise die Migration klassischer DWH-/ETL-Architekturen auf moderne Big-Data-Plattformen.
• Du konzipierst und implementierst Lösungen für die gesetzeskonforme Verarbeitung und Historisierung hochregulierter, besonders schützenswerter Telekommunikationsdaten.
• Du analysierst, designst und betreibst hochkomplexe Schnittstellen zwischen Data-Produkten, Quellsystemen und Zielsystemen und entwickelst gemeinsam im Team die komplette Job- und Datenarchitektur auf Basis von Apache Spark, Airflow, Kubernetes, Python, SQL, C und Unix Shell weiter.
• Du entwickelst hochperformante Analyse- und Abfragesysteme im Umfeld von PySpark und sorgst für einen stabilen, gesetzeskonformen Datenbetrieb.
• Du gestaltest, entwickelst und betreibst innovative ETL-Frameworks – einschließlich eigenentwickelter Airflow-Operatoren, ETL-Pipelines und Automatisierungs-Tools in Python, PySpark und Bash.
• Du bringst dich aktiv beim Aufbau und der Weiterentwicklung von CI/CD-Prozessen im Data Engineering ein und treibst moderne Entwicklungsprozesse wie Testing, Git und Deployment voran.
• Du arbeitest mit agilen Methoden und den dazugehörigen Tools wie JIRA und Confluence, dokumentierst deine Konzepte und Umsetzungen strukturiert und verständlich und setzt neue Standards in der Nachvollziehbarkeit.

Requirements

• Abgeschlossenes technisches Studium, beispielsweise Informatik, Mathematik, Data Science oder vergleichbar, oder mehrjährige relevante Berufserfahrung im Big-Data- bzw. Data-Engineering-Umfeld.
• Tiefgehende Erfahrung mit modernen Datenverarbeitungs-Frameworks und Orchestrierung, insbesondere Apache Spark, Apache Airflow und Kubernetes.
• Sehr gute Programmierkenntnisse in Python, SQL und Unix Shell; weitere Kenntnisse, zum Beispiel in C, sind von Vorteil.
• Praktische Erfahrung im Aufbau und Betrieb hochperformanter, gesetzeskonformer Data-Processing-Lösungen und Suchsysteme in verteilten Umgebungen, etwa Data Lake oder Data Mart.
• Nachweisliche Erfahrung im Design und in der Umsetzung komplexer ETL-Prozesse inklusive Automatisierung und Performanceoptimierung.
• Solide Kenntnisse in CI/CD, automatisiertem Testing und Versionsverwaltung, beispielsweise mit Git.
• Erfahrung im agilen Projektmanagement sowie in der Dokumentation und Optimierung von Prozessen, idealerweise mit JIRA und Confluence.
• Deutsch und Englisch in Wort und Schrift.

Benefits

• Hochspannende, herausfordernde Aufgaben an zentralen Datenprodukten im Telekommunikationsumfeld.
• Arbeiten in einem exzellenten, motivierten Team aus Data- und Software-Engineers.
• Viel Raum für Eigenverantwortung, Gestaltung und Innovation.
• Ein attraktives Bruttojahresgehalt von mindestens 53.000 € mit der Möglichkeit auf Überbezahlung bei entsprechender Qualifikation.