Energy Industry
Azure Data Platform Engineer - Modernisierung Asset Management System (m/w/d)
Remote, Germany100% remoteFreelanceasapDuration 4 months80% workload
Third Normal FormData AnalysisArchitectureAsset ManagementMicrosoft AzureExtract Transform Load (ETL)Data QualityDatabase DesignScalabilityPython (Programming Language)Writing DocumentationSQL DatabasesData ProcessingAzure Data FactorySnowflakeData LineageDatabricks
Description
Unterstütze uns bei der Transformation eines etablierten Asset Management Tools von einer klassischen SQL-Datenbankarchitektur hin zu einer modernen, cloud-nativen Datenplattform. Im Fokus steht die Implementierung einer skalierbaren Medallion-Architektur bei einem Kunden mit Databricks, die sowohl operative Prozesse als auch zukünftige Analytics- und ML-Anwendungen optimal unterstützt.
Aufgaben:
• Konzeption und Implementierung von ETL/ELT-Pipelines zur Anbindung verschiedener Quellsysteme
• Design und Umsetzung der Medallion-Architektur (Bronze/Silver/Gold-Layer) mit Azure Databricks
• Entwicklung robuster Datenintegrationslösungen für heterogene Datenquellen
• Optimierung von Datenschemata für Analytics (Star/Snowflake) und operative Zugriffe
• Implementierung von Unity Catalog, Data Lineage und Zugriffskontrollen
• Integration von Power BI Reports in die neue Datenplattform
• Erstellung und Pflege technischer sowie funktionaler Dokumentation
Profil:
• Mehrjährige Erfahrung mit Microsoft Azure Data Stack (Azure Data Factory, Databricks)
• Expertise in Python und SQL für Datenverarbeitung und -transformation
• Fundierte Kenntnisse in dimensionaler Modellierung und 3NF-Datenbankdesign
• Praktische Erfahrung mit Medallion-Architektur, Delta Lake und Unity Catalog
• Umgang mit CDC, Schema-Evolution und Data Quality Management
• Starke analytische Fähigkeiten und strukturierte Arbeitsweise
• Teamorientierte Arbeitsweise und ausgeprägte Problemlösungskompetenz
• Fließende Englischkenntnisse in Wort und Schrift
Projekt-Eckdaten:
Remote/Onsite: 100% Remote
Projektstart: ab sofort
Projektdauer: 4-5 Monate
Option auf Verlängerung: Ja
Wichtig für Bewerbende:
Bitte senden Sie Ihren CV (deutsch), Netto-Stundensatz und Verfügbarkeit via E-Mail an sourcing@spirit-experts.de.
Aufgaben:
• Konzeption und Implementierung von ETL/ELT-Pipelines zur Anbindung verschiedener Quellsysteme
• Design und Umsetzung der Medallion-Architektur (Bronze/Silver/Gold-Layer) mit Azure Databricks
• Entwicklung robuster Datenintegrationslösungen für heterogene Datenquellen
• Optimierung von Datenschemata für Analytics (Star/Snowflake) und operative Zugriffe
• Implementierung von Unity Catalog, Data Lineage und Zugriffskontrollen
• Integration von Power BI Reports in die neue Datenplattform
• Erstellung und Pflege technischer sowie funktionaler Dokumentation
Profil:
• Mehrjährige Erfahrung mit Microsoft Azure Data Stack (Azure Data Factory, Databricks)
• Expertise in Python und SQL für Datenverarbeitung und -transformation
• Fundierte Kenntnisse in dimensionaler Modellierung und 3NF-Datenbankdesign
• Praktische Erfahrung mit Medallion-Architektur, Delta Lake und Unity Catalog
• Umgang mit CDC, Schema-Evolution und Data Quality Management
• Starke analytische Fähigkeiten und strukturierte Arbeitsweise
• Teamorientierte Arbeitsweise und ausgeprägte Problemlösungskompetenz
• Fließende Englischkenntnisse in Wort und Schrift
Projekt-Eckdaten:
Remote/Onsite: 100% Remote
Projektstart: ab sofort
Projektdauer: 4-5 Monate
Option auf Verlängerung: Ja
Wichtig für Bewerbende:
Bitte senden Sie Ihren CV (deutsch), Netto-Stundensatz und Verfügbarkeit via E-Mail an sourcing@spirit-experts.de.