10/01/2026 updated
100 % available
Data Engineer & AI Specialist | Python, Scala, Apache Spark, Azure
Verona, Italy
Only remote
BSc(HONS) EconomicsAbout me
I'm a Data Engineer with 4 Years+ of experience, skilled in Python, Scala, and Bash, specializing in big data technologies such as Apache Spark. worked in both cloud (Azure) and on-prem (environments, with a track record of managing SQL databases, data lakes, and designing scalable architectures.
HTMLBash ShellCloud ComputingExtract Transform Load (ETL)Distributed Computing EnvironmentPython (Programming Language)Parallel ComputingClouderaScalaAzure Data FactoryPySparkFunctional ProgrammingData Pipeline
Python & Scala Development
Fundierte Kenntnisse in Python und Scala zur Entwicklung modularer Skripte, Automatisierung von Datenprozessen sowie zur Implementierung und Optimierung von Spark- und PySpark-Pipelines in Enterprise-Umgebungen.
Big Data & Apache Spark
Umfangreiche Erfahrung mit Apache Spark und PySpark fuer die Verarbeitung grosser Datenmengen, Skalierung von SQL-Prozessen auf Data-Lake-Architekturen sowie Steigerung von Verarbeitungsgeschwindigkeit und Effizienz.
ETL-Entwicklung & Datenpipelines
Entwurf, Entwicklung und Optimierung von ETL-Workflows und Datenpipelines zur Integration von Daten aus verschiedenen Quellen, Sicherstellung von Datenqualitaet und Unterstuetzung von End-to-End-Datenprozessen von der Ingestion bis zur Produktion.
Cloud-Technologien (Azure & GCP)
Kenntnisse in Azure Cloud, Azure Data Factory und Azure Functions zur Erstellung und Automatisierung cloudbasierter Datenpipelines sowie Erfahrung mit GCP.
SQL & Datenbankmanagement
Erfahrung im Management von SQL-Datenbanken, Erstellung von Oracle SQL-Abfragen sowie Verwaltung von Hive-Tabellen und HDFS-basierten Datenspeichern.
Hadoop & HDFS
Kenntnisse in Hadoop-Oekosystemen und HDFS fuer On-Premises-Datenverarbeitung, einschliesslich der Arbeit mit Cloudera- und Hive-Umgebungen.
CI/CD & Versionskontrolle
Einfuehrung von CI/CD-Pipelines fuer Releases, Reorganisation von Repositories sowie Nutzung von Git fuer Versionskontrolle und JIRA fuer agiles Workflow-Management.
Docker & Containerisierung
Kenntnisse in Docker fuer die Containerisierung von Anwendungen und Datenprozessen.
Bash-Scripting
Einsatz von Bash-Scripting zur Automatisierung von Workflows und Datenprozessen in verschiedenen Umgebungen.
Data Lake Design
Entwurf und Verwaltung von Data Lakes sowie Migration von SQL-Prozessen auf PySpark-basierte Data-Lake-Architekturen mit signifikanter Leistungssteigerung.
Fundierte Kenntnisse in Python und Scala zur Entwicklung modularer Skripte, Automatisierung von Datenprozessen sowie zur Implementierung und Optimierung von Spark- und PySpark-Pipelines in Enterprise-Umgebungen.
Big Data & Apache Spark
Umfangreiche Erfahrung mit Apache Spark und PySpark fuer die Verarbeitung grosser Datenmengen, Skalierung von SQL-Prozessen auf Data-Lake-Architekturen sowie Steigerung von Verarbeitungsgeschwindigkeit und Effizienz.
ETL-Entwicklung & Datenpipelines
Entwurf, Entwicklung und Optimierung von ETL-Workflows und Datenpipelines zur Integration von Daten aus verschiedenen Quellen, Sicherstellung von Datenqualitaet und Unterstuetzung von End-to-End-Datenprozessen von der Ingestion bis zur Produktion.
Cloud-Technologien (Azure & GCP)
Kenntnisse in Azure Cloud, Azure Data Factory und Azure Functions zur Erstellung und Automatisierung cloudbasierter Datenpipelines sowie Erfahrung mit GCP.
SQL & Datenbankmanagement
Erfahrung im Management von SQL-Datenbanken, Erstellung von Oracle SQL-Abfragen sowie Verwaltung von Hive-Tabellen und HDFS-basierten Datenspeichern.
Hadoop & HDFS
Kenntnisse in Hadoop-Oekosystemen und HDFS fuer On-Premises-Datenverarbeitung, einschliesslich der Arbeit mit Cloudera- und Hive-Umgebungen.
CI/CD & Versionskontrolle
Einfuehrung von CI/CD-Pipelines fuer Releases, Reorganisation von Repositories sowie Nutzung von Git fuer Versionskontrolle und JIRA fuer agiles Workflow-Management.
Docker & Containerisierung
Kenntnisse in Docker fuer die Containerisierung von Anwendungen und Datenprozessen.
Bash-Scripting
Einsatz von Bash-Scripting zur Automatisierung von Workflows und Datenprozessen in verschiedenen Umgebungen.
Data Lake Design
Entwurf und Verwaltung von Data Lakes sowie Migration von SQL-Prozessen auf PySpark-basierte Data-Lake-Architekturen mit signifikanter Leistungssteigerung.
Experience
Professional experience0 - 5 years
Freelancer since2022
Languages
EnglishNative speakerItalianNative speakerSpanishFluent
Project history
Design, Re-Engineering und Entwicklung von Datenpipelines fuer Enterprise-On-Premises-Umgebungen auf Basis von Cloudera, Hive und HDFS mit Scala und Apache Spark. Anforderungsanalyse mit Kunden und Stakeholdern, Entwicklung und Optimierung von Spark/Scala-Pipelines, Unterstuetzung von Test-, Validierungs- und Release-Phasen. Reorganisation von Repositories, Einfuehrung von CI/CD-Pipelines, Erstellung von Testdokumentation sowie Einfuehrung eines Hive-Metastore-basierten Ansatzes zur Reduzierung manueller Dateiverwaltung.
Erstellung eines sicheren Verschluesselungsskripts zum Schutz sensibler Daten bei API-Interaktionen mit KI-Chatbots.
Entwicklung eines Tools zum Vergleich von Datensaetzen mit ueber 300 Millionen Datensaetzen zur praezisen Identifikation aller Abweichungen.