Lead Data Engineer
Europäischer Zahlungsdienstleister
(Banks and financial services, 50-250 employees)
Keywords
Skills
Kernkompetenzen
Tools
- Design und Aufbau von cloudbasierten Datenplattformen
- Design und Implementation von Datenfluss-Programmen (analytisch & ETL) Batch & Streaming
- Datenmodellierung DWH
- Datenanalyse mit SQL und Python
- Einbettung von KI in Fachprozesse
- Deployment von KI-Modellen (MLOPs)
- Backend-Entwicklung in MicroService-Landschaften
- Technische Leitung kleiner Entwicklungsteams
- Anforderungsanalyse und Beratung nicht-technischer Stakeholder
- Data Engineering: 10 Jahre
- ML Engineering: 3 Jahre
- Backend Engineering: 5 Jahre
Tools
- Sprachen: Java, Python, Kotlin, SQL
- Data Engineering: Data Vault 2.0, Cloud Dataflow, Apache Beam, dbt, Apache Spark/PySpark, PostgreSQL, SQL Server, BigQuery, MongoDB, pandas, Apache Flink
- Clouds: GCP, MS Azure, AWS
- CI/CD: Gitlab Pipelines, GitHub Actions, Liquibase
- Cloud Native & IaC: Terraform, Terragrunt, Kitchen, Inspec, Kubernetes, Docker
Project history
11/2023
-
Present
- Entwurf & Entwicklung einer Analytics Datenplattform greenfield von der Anforderungsanalyse, über Werkzeug-/Anbieter-Auswahl, Implementierung und Hyper-Care beim go-live
- Technical Lead & Data Enginner
- Tech Stack:
- AWS: S3, Kinesis, IAM Identity Center, diverse weitere AWS Werkzeuge
- Databricks Plattform: pyspark, Spark SQL, Streaming Delta Live Table
- Python, pandas, numpy, pyspark
- Terraform
- CI/CD mit Github Actions
04/2022
-
10/2023
Data & ML Engineer
Inlinity Technologies GmbH
(Internet and Information Technology, < 10 employees)
- Entwurf & Entwicklung von Explainable-AI Modulen für KI-Systeme
- Leitung eines kleinen Tech-Teams
- Tech Stack:
- Google Cloud Plattform: Cloud SQL (PostgreSQL), Cloud Run, Pub/Sub
- Python, pandas, xgboost, numpy, tensorflow
- Terraform, Terragrunt
- CI/CD mit Github Actions
04/2022
-
12/2022
Data & ML Engineer
MobileWalla
(Internet and Information Technology, 50-250 employees)
- Optimierung & Erweiterung einer Bibliothek für Feature Engineering (FE) basierend auf Apache Spark
- Identifikation & Behebung von Performance-Problemen einzelner FE-Funktionen
- Erweiterung der Lib um Integration mit Feast und MLFlow
- Tech Stack:
- Apache Spark und PySpark
- MS Azure & Databricks Workspace
- Python, Pandas, feast, mlflow
03/2022
-
05/2022
Data & ML Engineer
Wingspan Networks Inc
(Banks and financial services, 10-50 employees)
- Konzeption eines Klassifikationssystems für Banktransaktionen
- Implementation & Integration des Klassifikators in existierende Systeme
- Kommunikation und Anforderungsanalyse mit Kund:innen
- Techstack:
- Google Cloud Platform Tools: Vertex AI, BigQuery, Cloud Build, Cloud Functions
- Mongo DB
- Python, Typescript
- CI/CD Github Actions
11/2021
-
03/2022
Data Engineer
RTL Data
(Media and Publishers, 250-500 employees)
- Konzeption & Umsetzung von ETL Pipelines & Services zur Integration von Produktionsdaten in eine Data Analytics Plattform
- Erstellung, Planung und Umsetzung von Betriebskonzepten für den produktiven Einsatz o.g. Artefakte
- Beratung und Anforderungsanalyse im engen Kund:innen-Kontakt
- TechStack:
- Google Cloud Plattform: BigQuery, BigTable, Cloud Dataflow, Pub/Sub, Kubernetes, Apache Beam
- Python, Java, Kotlin
- Terraform & ArgoCD
- CI/CD mit Gitlab
- Ops mit OpsGenie, Prometheus, Grafana, Google Cloud Monitoring
01/2020
-
08/2021
Data Engineer
Dt. Großbank
(Banks and financial services, 1000-5000 employees)
- Konzeption und Umsetzung einer Datenplattform für Analytics und Betrieb einer MicroService Architektur
- Vertestung, Beratung & Auswahl von Werkzeugen und Methoden für spezifische Problemstellungen
- Design und Implementation von Hochleistungs ETL-Pipelines zum transfer von Kontobewegungen im Nah-Echtzeit-Bereich
- Tech-Stack:
- Google Cloud Plattform: BigQuery, Spanner, BigTable, Cloud SQL, Cloud Dataflow, Apache Beam, Pub/Sub, Cloud Storage, Kubernetes, dbt, Dataform
- Python, Java, Kotlin
- Terraform, Terragrunt, Kitchen
- CICD mit Gitlab und Github Actions
Local Availability
Open to travel worldwide
Remote, max 20% onsite
