10/22/2026 updated
100 % available
Data Engineer | PySpark | Databricks | AWS | SQL
Sevilla, Spain
Only remote
BSc Computer Engineering - University of SevilleApache AirflowBig DataData ArchitectureData GovernanceData TransformationData QualityData VirtualizationData WarehousingPython (Programming Language)SQL DatabasesData ProcessingApache SparkData LakePySparkAWS Data Analytics
PySpark & Datenpipelines
Entwicklung und Optimierung von PySpark-Datenpipelines, einschließlich der Reduzierung von Produktionslaufzeiten durch Spark-Optimierungstechniken sowie Aufbau von Ingestion- und Transformationspipelines auf Medallion-Architekturen.
AWS Cloud Services
Einsatz von AWS-Diensten wie Lambda, Glue, EventBridge, S3, Athena, Step Functions und CloudWatch zur Entwicklung ereignisgesteuerter Ingestionpipelines und zur Verarbeitung großer Datenmengen.
Databricks & Lakehouse-Architektur
Spezialisierung auf das Databricks-Ökosystem, inklusive Delta Lake, Unity Catalog, Lakeflow Pipelines und Asset Bundles, mit Fokus auf Datenverwaltung, Datenqualität und automatisches Lineage-Tracking.
SQL & ETL/ELT-Prozesse
Design und Entwicklung von ETL/ELT-Prozessen zur Integration heterogener Datenquellen mit fortgeschrittenem SQL sowie Implementierung von Datentransformationslogik.
Apache Airflow
Entwicklung von Datenpipelines als DAGs mit Python und Apache Airflow zur Orchestrierung von Workflows.
Delta Format & Datenversionierung
Arbeit mit Tabellen im offenen Delta-Format, Nutzung von Datenversionierung und Optimierung großskaliger Datenverarbeitungs-Workflows auf der Spark-Engine.
Docker & Python
Einsatz von Docker und Python in der Entwicklung und Bereitstellung von Datenlösungen und Pipelines.
Snowflake
Kenntnisse in Snowflake, zertifiziert mit SnowPro Core, zur Verwaltung und Verarbeitung von Daten in der Cloud.
Data Governance & Unity Catalog
Implementierung von Data Governance mit Unity Catalog, einschließlich tabellenbasierter Zugriffskontrolle, Zeilenfiltermechanismen und Spaltenmasken zum Schutz sensibler Daten.
Entwicklung und Optimierung von PySpark-Datenpipelines, einschließlich der Reduzierung von Produktionslaufzeiten durch Spark-Optimierungstechniken sowie Aufbau von Ingestion- und Transformationspipelines auf Medallion-Architekturen.
AWS Cloud Services
Einsatz von AWS-Diensten wie Lambda, Glue, EventBridge, S3, Athena, Step Functions und CloudWatch zur Entwicklung ereignisgesteuerter Ingestionpipelines und zur Verarbeitung großer Datenmengen.
Databricks & Lakehouse-Architektur
Spezialisierung auf das Databricks-Ökosystem, inklusive Delta Lake, Unity Catalog, Lakeflow Pipelines und Asset Bundles, mit Fokus auf Datenverwaltung, Datenqualität und automatisches Lineage-Tracking.
SQL & ETL/ELT-Prozesse
Design und Entwicklung von ETL/ELT-Prozessen zur Integration heterogener Datenquellen mit fortgeschrittenem SQL sowie Implementierung von Datentransformationslogik.
Apache Airflow
Entwicklung von Datenpipelines als DAGs mit Python und Apache Airflow zur Orchestrierung von Workflows.
Delta Format & Datenversionierung
Arbeit mit Tabellen im offenen Delta-Format, Nutzung von Datenversionierung und Optimierung großskaliger Datenverarbeitungs-Workflows auf der Spark-Engine.
Docker & Python
Einsatz von Docker und Python in der Entwicklung und Bereitstellung von Datenlösungen und Pipelines.
Snowflake
Kenntnisse in Snowflake, zertifiziert mit SnowPro Core, zur Verwaltung und Verarbeitung von Daten in der Cloud.
Data Governance & Unity Catalog
Implementierung von Data Governance mit Unity Catalog, einschließlich tabellenbasierter Zugriffskontrolle, Zeilenfiltermechanismen und Spaltenmasken zum Schutz sensibler Daten.
Languages
EnglishGoodSpanishNative speaker
Project history
Entwicklung und Optimierung von PySpark-Datenpipelines mit 37% Reduktion der Produktionslaufzeit. Orchestrierung von Pipelines mit Lakeflow Jobs, Aufbau von Ingestion- und Transformationspipelines auf Medallion-Architektur mit Delta Live Tables, Data Governance mit Unity Catalog sowie Deployment mit Declarative Automation Bundles (DABs).
Design und Implementierung einer ereignisgesteuerten Ingestionpipeline mit AWS Lambda, AWS Glue und EventBridge. Verarbeitung großer Datenmengen mit PySpark auf der Stratio-Plattform, Arbeit mit Delta-Format-Tabellen und Implementierung von Datentransformationslogik in SQL.
Design und Entwicklung von ETL/ELT-Prozessen zur Integration heterogener Datenquellen mit fortgeschrittenem SQL. Optimierung großskaliger Datenverarbeitungs-Workflows auf der Spark-Engine via Stratio, Arbeit mit Delta-Format-Tabellen sowie Entwicklung von Datenpipelines (DAGs) mit Python und Apache Airflow.