Senior Databricks Data Engineer (m/w/d) – Data & Machine Learning Platform
Zabel GmbH
Contact person: Hamza Dani
Köln, Germany
ITData ArchitectureDatabase DesignDatabase DevelopmentDatabase ModelsAzure Machine LearningAzure Data LakeDatabase EnginesData ProcessingDatabase OptimizationGitLabPySparkData PipelineDatabricks
Description
Senior Databricks Data Engineer (m/w/d) – Data & Machine Learning Platform
Rahmenbedingungen
Aufgaben
Anforderungen
Wünschenswerte Kenntnisse
Für unseren Kunden aus dem Telekommunikationsumfeld suchen wir einen erfahrenen Senior Databricks Data Engineer (m/w/d) zur Weiterentwicklung einer bestehenden produktiven Data- & Machine-Learning-Plattform.
Die Databricks-Umgebung ist bereits produktiv im Einsatz und unterstützt aktuell rund 55 Machine-Learning-Modelle. Im Mittelpunkt stehen die Entwicklung neuer Funktionen, der Aufbau und die Weiterentwicklung eines Feature Stores sowie die Integration zusätzlicher Datenquellen zur Unterstützung von CRM-Prozessen, Kundenpersonalisierung und datengetriebener Bestandskundenkommunikation.
Laufzeit: Langfristige Zusammenarbeit angestrebt, Verlängerungsoption (bis Ende 2027)
Auslastung: Vollzeit
Standort: Köln / Remote
Onsite: In der Regel 1-2 Tage pro Woche in Köln
- Weiterentwicklung und Optimierung einer bestehenden produktiven Azure-Databricks-Data-&-Machine-Learning-Plattform
- Entwicklung und Optimierung skalierbarer Datenpipelines mit Python, PySpark und SQL
- Aufbau und Weiterentwicklung eines Feature Stores zur Bereitstellung von Datenmerkmalen für Machine-Learning-Anwendungen
- Entwicklung neuer Funktionen, Module und Schnittstellen innerhalb der Databricks-Umgebung
- Integration zusätzlicher Datenquellen und Systeme
- Implementierung und Nutzung von Delta Lake, Unity Catalog und DLT/SDP zur effizienten Datenverarbeitung und Sicherstellung von Governance und Berechtigungsmodellen
- Automatisierung bestehender Prozesse und Performance-Optimierung
- Eigenständige Aufnahme fachlicher Anforderungen sowie Abstimmung technischer Lösungen mit den Fachbereichen
- Unterstützung und Wissenstransfer für Kollegen beim Übergang von klassischen On-Premise-Technologien zu Databricks
- Einbringen eigener Ideen zur Verbesserung von CRM-Prozessen, Kundenpersonalisierung und Bestandskundenkommunikation
- Zusammenarbeit in einem agilen Scrum-Team
- Mehrjährige, fundierte praktische Erfahrung mit Databricks in produktiven Umgebungen
- Sehr gute Kenntnisse in Python, PySpark und SQL
- Tiefgehende Erfahrung mit Delta Lake, Unity Catalog und DLT/SDP
- Erfahrung in der Entwicklung und im Betrieb skalierbarer Datenpipelines und Lakehouse-Architekturen
- Fundierte Kenntnisse in Datenmodellierung, ETL-Prozessen, Data Governance und Performance-Optimierung
- Fähigkeit, fachliche Anforderungen eigenständig aufzunehmen und in technische Lösungen umzusetzen
- Ausgeprägte Kommunikationsfähigkeit und Bereitschaft zum Wissenstransfer innerhalb des Teams
- Erfahrung mit agilen Entwicklungsmethoden, insbesondere Scrum
- Ausgezeichnete Deutschkenntnisse in Wort und Schrift
- Erfahrung mit Feature Stores und Datenpipelines für Machine-Learning-Anwendungen
- Kenntnisse im Bereich CRM, Kundenpersonalisierung und Customer Engagement
- Erfahrung mit Git/GitLab und weiteren Azure-Diensten, beispielsweise Event Hubs
- Erfahrung mit Oracle, Informatica oder klassischen Data-Warehouse-Migrationen
- Kenntnisse in Databricks Apps, Metric Views und Dashboarding
Wenn du die genannten Anforderungen mitbringst und das Projekt interessant für dich ist, freuen wir uns über eine kurze Rückmeldung unter Angabe von:
- Stundensatz
- Verfügbarkeit
- Referenzprojekte
LG,
Hamza Dani