10/22/2026 updated
100 % available
Data Engineer | Azure | PySpark | Databricks | ETL/ELT Pipelines
Bengaluru, India
Only remote
BE Computer Science and EngineeringAbout me
With 5+ years of experience in Data engineering and database management, I have majorly worked with Azure data services (Azure Data Factory, Databricks, Datalake), DBMS (MSSQL, MySQL) and ETL tools to Integrate, Transform and analyze data to get meaningful insights. Open to new opportunities.
Apache AirflowData IntegrationExtract Transform Load (ETL)Data WarehousingPython (Programming Language)Azure SQLMySQLAzure Data LakeSQL Server Integration ServicesAzure Data FactorypandasData LakePySparkSQL Server Management Studio (SSMS)Databricks
PySpark & Python Development
Entwicklung von ETL-Workflows und Datenpipelines mit PySpark und Python fuer Datenbereinigung, Validierung und Verarbeitung grosser Datenmengen.
Azure Data Engineering
Einsatz von Azure Data Factory, Azure Databricks, Azure Data Lake Storage und Azure SQL Server zur Entwicklung skalierbarer Datenarchitekturen und Integrationspipelines.
Databricks & ETL/ELT Pipelines
Nutzung von Databricks fuer komplexe Datentransformationen, Aggregationen und Analytics sowie Entwicklung und Optimierung von ETL/ELT-Prozessen fuer effiziente Datenverarbeitung.
SQL & Datenbankmanagement
Kenntnisse in MySQL, SQL Server und Azure SQL Database fuer Datenspeicherung, Abfragen, Partitionierung und Indexierungsstrategien zur Optimierung der Abfrageleistung.
Apache Airflow
Automatisierung von Databricks-Workflows durch Implementierung von DAGs in Apache Airflow zur Verbesserung der Pipeline-Effizienz und Zuverlaessigkeit.
Medallion Architecture
Implementierung der Medallion-Architektur (Bronze, Silver, Gold Layer) zur strukturierten Datenspeicherung und Verbesserung von Zuverlaessigkeit, Skalierbarkeit und Abfrageleistung.
Git & Versionskontrolle
Nutzung von Git und GitHub fuer Versionskontrolle und kollaboratives Code-Management in Teamprojekten.
JIRA & Projektmanagement-Tools
Einsatz von JIRA fuer Bug-Tracking und effektive Kommunikation im Team zur Unterstuetzung erfolgreicher Projektergebnisse.
Snowflake & Pandas
Abfrage und Verarbeitung von Daten aus Snowflake- und MySQL-Datenbanken sowie Transformation in Pandas-Dataframes fuer weitergehende Analysen.
Entwicklung von ETL-Workflows und Datenpipelines mit PySpark und Python fuer Datenbereinigung, Validierung und Verarbeitung grosser Datenmengen.
Azure Data Engineering
Einsatz von Azure Data Factory, Azure Databricks, Azure Data Lake Storage und Azure SQL Server zur Entwicklung skalierbarer Datenarchitekturen und Integrationspipelines.
Databricks & ETL/ELT Pipelines
Nutzung von Databricks fuer komplexe Datentransformationen, Aggregationen und Analytics sowie Entwicklung und Optimierung von ETL/ELT-Prozessen fuer effiziente Datenverarbeitung.
SQL & Datenbankmanagement
Kenntnisse in MySQL, SQL Server und Azure SQL Database fuer Datenspeicherung, Abfragen, Partitionierung und Indexierungsstrategien zur Optimierung der Abfrageleistung.
Apache Airflow
Automatisierung von Databricks-Workflows durch Implementierung von DAGs in Apache Airflow zur Verbesserung der Pipeline-Effizienz und Zuverlaessigkeit.
Medallion Architecture
Implementierung der Medallion-Architektur (Bronze, Silver, Gold Layer) zur strukturierten Datenspeicherung und Verbesserung von Zuverlaessigkeit, Skalierbarkeit und Abfrageleistung.
Git & Versionskontrolle
Nutzung von Git und GitHub fuer Versionskontrolle und kollaboratives Code-Management in Teamprojekten.
JIRA & Projektmanagement-Tools
Einsatz von JIRA fuer Bug-Tracking und effektive Kommunikation im Team zur Unterstuetzung erfolgreicher Projektergebnisse.
Snowflake & Pandas
Abfrage und Verarbeitung von Daten aus Snowflake- und MySQL-Datenbanken sowie Transformation in Pandas-Dataframes fuer weitergehende Analysen.
Experience
Professional experience5 - 10 years
Freelancer since2026
Languages
EnglishFluent
Project history
Automatisierung von Databricks-Workflows durch Implementierung von DAGs in Apache Airflow. Optimierung bestehender Databricks-Jobs fuer bessere Performance und Skalierbarkeit. Produktionssupport in rotierendem Bereitschaftsdienst sowie Durchfuehrung eines Proof-of-Concept fuer ein Databricks-Versions-Upgrade.
Entwicklung skalierbarer Datenloesungen mit Azure SQL Server, Azure Data Factory, Azure Databricks und Azure Data Lake Storage. Aufbau robuster ETL/ELT-Pipelines, Datentransformationen mit Databricks sowie Verwaltung von Datenspeicherloesungen. Automatisierung von Daten-Workflows und Dokumentation von Datenarchitekturen und Prozessen fuer das Customer Request Data Analytics Platform Projekt bei Vodafone.
Entwicklung von End-to-End-ETL-Pipelines mit Azure Data Factory und Azure Databricks fuer das Sales Data Warehouse Solution Projekt. Verarbeitung und Analyse von Telekommunikationsdaten mit PySpark und SQL. Implementierung der Medallion-Architektur, Incremental Load mit ADF sowie Einsatz von Azure Data Lake fuer zentralisierte Datenspeicherung.