08/26/2026 updated
100 % available
Lead Data Engineer | GCP & Databricks Platforms | BigQuery, Spark & Delta Lake
Pune, India
Worldwide
Bachelor of Engineering in Computer Science and EngineeringAbout me
Lead Data Engineer & Architect with 12+ yrs experience in GCP & Databricks Lakehouses (BigQuery, Spark, Unity Catalog). Google Cloud Authorized Trainer holding 17 multi-cloud certifications. Leads teams to deliver end-to-end architectures, data governance, and automated CI/CD pipelines.
Azure DatabricksApache AirflowBig DataBigTable ImplementationsGoogle BigQueryData ArchitectureData GovernanceData WarehousingApache HadoopDataOpsAzure Data LakeDatabase EnginesGoogle CloudCloud Platform SystemGoogle Data Studio
GCP Data Engineering
Umfangreiche Expertise in der Entwicklung und dem Betrieb von GCP-nativen Datenpipelines mit BigQuery, Cloud Dataflow, Cloud Composer, Pub/Sub, Cloud Storage und Vertex AI. Architektur und Lieferung von enterprise-skaligen Datenplattformen auf Google Cloud Platform.
Databricks Lakehouse Platform
Tiefgreifende Kenntnisse in Databricks, Unity Catalog, Delta Lake, Photon, Lakeflow Jobs und Databricks Asset Bundles. Entwurf und Implementierung von Medallion-Lakehouse-Architekturen (Bronze/Silver/Gold) sowie Governance-Strukturen auf Multi-Cloud-Umgebungen (AWS und GCP).
PySpark & Big Data Processing
Fundierte Kenntnisse in PySpark und Apache Spark fuer die Entwicklung von Transformationspipelines, SCD Type 2, Delta MERGE, Deduplizierungslogik und inkrementellen Lademustern. Erfahrung mit Kafka, Apache Beam, Hive und HDFS fuer Streaming- und Batch-Verarbeitung.
Python & SQL Entwicklung
Starke Programmierkenntnisse in Python und SQL fuer ETL-Design, Datenmodellierung und Automatisierung. Einsatz von OOP, SOLID-Prinzipien und modularem ETL-Design in produktiven Umgebungen.
Data Architecture & Modellierung
Kenntnisse in Medallion Architecture, Star- und Snowflake-Schema, CDC, Lambda/Kappa-Architektur, SCD Type 1 & 2 sowie Data Lakehouse-Konzepten fuer enterprise-weite Datenplattformen.
Orchestrierung & DataOps
Erfahrung mit Airflow (Composer, MWAA, Astronomer), dbt-Databricks sowie CI/CD-Automatisierung ueber GitHub Actions und GitLab CI. Einsatz von Terraform fuer Infrastructure-as-Code.
Multi-Cloud (AWS & Azure)
Kenntnisse in AWS-Diensten (S3, EMR, Glue, Redshift, Lambda) sowie Azure-Diensten (ADLS, ADF, Synapse, Fabric) fuer cloud-uebergreifende Datenloesungen.
GenAI & Machine Learning
Exposure in Vertex AI, Gemini, RAG Pipelines, Prompt Engineering, MLflow und Vector Search fuer KI-gestuetzte Entwicklung und Databricks Assistant sowie GitHub Copilot.
Data Governance & Sicherheit
Implementierung von Unity Catalog Governance-Strukturen, RBAC, Row-Level-Filtern, Column Masks, Cloud Audit Logs und BigQuery Column-Level Security fuer regulierte Datensaetze.
Scala & Terraform
Kenntnisse in Scala fuer Big-Data-Verarbeitung sowie Terraform fuer die Provisionierung und Verwaltung von Cloud-Infrastrukturen in Multi-Cloud-Umgebungen.
Umfangreiche Expertise in der Entwicklung und dem Betrieb von GCP-nativen Datenpipelines mit BigQuery, Cloud Dataflow, Cloud Composer, Pub/Sub, Cloud Storage und Vertex AI. Architektur und Lieferung von enterprise-skaligen Datenplattformen auf Google Cloud Platform.
Databricks Lakehouse Platform
Tiefgreifende Kenntnisse in Databricks, Unity Catalog, Delta Lake, Photon, Lakeflow Jobs und Databricks Asset Bundles. Entwurf und Implementierung von Medallion-Lakehouse-Architekturen (Bronze/Silver/Gold) sowie Governance-Strukturen auf Multi-Cloud-Umgebungen (AWS und GCP).
PySpark & Big Data Processing
Fundierte Kenntnisse in PySpark und Apache Spark fuer die Entwicklung von Transformationspipelines, SCD Type 2, Delta MERGE, Deduplizierungslogik und inkrementellen Lademustern. Erfahrung mit Kafka, Apache Beam, Hive und HDFS fuer Streaming- und Batch-Verarbeitung.
Python & SQL Entwicklung
Starke Programmierkenntnisse in Python und SQL fuer ETL-Design, Datenmodellierung und Automatisierung. Einsatz von OOP, SOLID-Prinzipien und modularem ETL-Design in produktiven Umgebungen.
Data Architecture & Modellierung
Kenntnisse in Medallion Architecture, Star- und Snowflake-Schema, CDC, Lambda/Kappa-Architektur, SCD Type 1 & 2 sowie Data Lakehouse-Konzepten fuer enterprise-weite Datenplattformen.
Orchestrierung & DataOps
Erfahrung mit Airflow (Composer, MWAA, Astronomer), dbt-Databricks sowie CI/CD-Automatisierung ueber GitHub Actions und GitLab CI. Einsatz von Terraform fuer Infrastructure-as-Code.
Multi-Cloud (AWS & Azure)
Kenntnisse in AWS-Diensten (S3, EMR, Glue, Redshift, Lambda) sowie Azure-Diensten (ADLS, ADF, Synapse, Fabric) fuer cloud-uebergreifende Datenloesungen.
GenAI & Machine Learning
Exposure in Vertex AI, Gemini, RAG Pipelines, Prompt Engineering, MLflow und Vector Search fuer KI-gestuetzte Entwicklung und Databricks Assistant sowie GitHub Copilot.
Data Governance & Sicherheit
Implementierung von Unity Catalog Governance-Strukturen, RBAC, Row-Level-Filtern, Column Masks, Cloud Audit Logs und BigQuery Column-Level Security fuer regulierte Datensaetze.
Scala & Terraform
Kenntnisse in Scala fuer Big-Data-Verarbeitung sowie Terraform fuer die Provisionierung und Verwaltung von Cloud-Infrastrukturen in Multi-Cloud-Umgebungen.
Experience
Professional experience10+ years
Freelancer since2016
Languages
GermanGoodEnglishFluent
Project history
Lead Data Engineer und Data Architect mit Verantwortung fuer den Entwurf und die Lieferung von enterprise-skaligen GCP- und Databricks-Lakehouse-Plattformen. Projekte umfassen: GCP Data Lake Factory (zwei-spuriges Ingestion-Modell mit Batch und Streaming, YAML-gesteuertes Onboarding-Framework, Governance-Kontrollen), Enterprise Analytics & Reporting Platform (MongoDB zu BigQuery Ingestion, Star-Schema-Modellierung, Looker Studio Dashboards), Databricks Lakehouse Governance Platform (Unity Catalog Governance, RBAC, Leitung von 14 Data Engineers) sowie Enterprise Lakehouse Migration (Medallion Lakehouse auf Databricks, PySpark/SQL Transformationspipelines, Gold Data Marts).
Entwicklung von Hadoop-ETL-Pipelines mit Hive, Sqoop, Oozie und Flume fuer enterprise-weite Batch-Verarbeitung ueber 500+ Tabellen und 20+ Datenquellen mit Multi-GB-Datensaetzen fuer Banking- und Retail-Kunden auf Cloudera und Hortonworks. Zusaetzlich als Google Cloud Authorized Trainer taetig mit 300+ Enterprise-Programmen fuer Organisationen wie T-Systems, Deutsche Telekom Slovakia, EY, Deloitte, Vodafone und Siemens.