Upgrade Post project
Profileimage by Dennis Hinnenkamp (Senior) Data Engineer — Cloud Solution Architect from Oldenburg

Dennis Hinnenkamp

Oldenburg
not available until 06/30/2024

Last update: 05.04.2024

(Senior) Data Engineer — Cloud Solution Architect

Company: sikwel GmbH
Graduation: B.SC. Informatik
Hourly-/Daily rates: show
Languages: German (Native or Bilingual) | English (Full Professional)

Keywords

Attachments

Dennis-Hinnenkamp-CV_100523.pdf
Dennis-Hinnenkamp-Letter_100523.pdf

Skills

Meine berufliche Leidenschaft gilt der Konzeption und Implementierung von cloud-nativen Datenplattformen. Während meines professionellen Werdegangs habe ich für zahlreiche Klienten skalierbare, performante wie zugleich kosteneffiziente Analyseinfrastukturen erfolgreich umgesetzt, die heute einen echten unternehmerischen Mehrwert stiften – das treibt mich an.
Ich habe nahezu alle Data Analytics-spezifischen Komponenten sowohl in der Microsoft Azure Cloud als auch in Amazon AWS Cloud hands-on implementiert und kenne Best Practices sowie Vor- und Nachteile dieser Technologien für einen gegebenen Einsatzzweck.

Ich favorisiere flexibel erweiterbare, quelloffene und skalierbare Architekturen und kann entsprechend dem Modern Data Stack-Paradigma viel abgewinnen. Die eigene Datenplattform sollte sich der schnell ändernden Unternehmensrealität und neuen Analyseanforderungen anpassen können. Diese Mission leitet mich in jedem meiner Projekte. 
 
  • Sprachen: Python (inkl. Pandas), PySpark, Java, Scala, PHP, JavaScript, SQL 
  • Technologien (Auszug): Databricks, Spark, Snowflake, Google BigQuery, Apache Airflow, Azure Data Factory, data build tool (dbt), Prefect, Kubernetes, Docker, Soda, Hadoop, Power BI, Azure Functions, AWS Lambda… und mehr.

Project history

08/2022 - Present
SENIOR DATA ENGINEER / CLOUD SOLUTION ARCHITECT - KONZEPTION UND IMPLEMENTIERUNG EINER UNTERNEHMENSWEITEN DATENPLATTFORM
Submetering Konzern (Energy, water and environment, 5000-10.000 employees)
Aufbau einer cloud-nativen Datenplattform nach „Modern Data Stack“-Paradigma, Automatisierung ELT Strecken & Data-Pipelines

Herausforderung: Der Klient suchte gezielt nach Unterstützung im Aufbau einer unternehmensweiten Datenplattform, die perspektivisch den Großteil der Unternehmung mit zentral verfügbaren Informationen versorgt. Entsprechend war eine skalierbare wie zugleich kosteneffiziente Cloud-Infrastruktur zu implementieren. Eine maßgebliche Aufgabe war die Integration exotischer, sowie On-Premises verwalteter Datenquellen (custom HTTP-APIs, SAP), um diese in strukturierter und getesteter Form den BI-Analysten zugänglich zu machen. 
  • Inhaltliche Konzeption einer performanten, skalierbaren und kosteneffizienten Datenplattform unter Anwendung des Modern Data Stack-Paradigmas in der Microsoft Azure Cloud
  • Verantwortung für die Migration und Weiterentwicklung der bestehenden Analyseplattform
  • Integration der in- und externen Datenquellen (HTTP-APIs als auch Datenbanken) des Kunden mittels Azure Data Factory und Azure Functions
  • Transformation der Rohdaten zu verständlichen semantischen Modellen (Data Vault 2.0) mittels data build tool (dbt) unter Nutzung von Snowflake (compute und storage). Sprachen: SQL & Python
  • Orchestrierung der ELT-Datenladestrecken mittels Apache Airflow und Implementierung von Testing-Best Practices
  • Einführung eines internen, frei zugänglichen Datenkatalogs zur Stärkung des Self-Service Charakters der Datenplattform auf Basis von Open Metadata
  • Bereitstellung von Cloud Infrastruktur via IaaS mittels Terraform
  • Bereitstellung von Entwicklungsumgebungen und Applikationen über Docker und Kubernetes
  • Umsetzung der Infrastruktur nach Microsoft Azure-Best Practices im Bereich Cloud-Sicherheit (IAM, SSO, VPC)
  • Schulung von Anwender*innen im Umgang mit implementierten Tools und Lösungen

Technologien: Github, Docker, Kubernetes, Azure Functions, data build tool, Snowflake, Apache Airflow, Open Metadata, Azure Data Factory
Projektmanagement: Confluence, Jira, Miro, Microsoft Teams
Sprachen: SQL, Python

(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)
01/2022 - 08/2022
SENIOR DATA ENGINEER - KONZEPTION UND IMPLEMENTIERUNG EINER UNTERNEHMENSWEITEN DATENPLATTFORM
Online- und Offlineretailer (S-Dax) (Consumer goods and retail, >10.000 employees)
Konzeption & Implementierung einer cloud-nativen Datenplattform – "Modern Data Stack"

Herausforderung: Der Klient suchte gezielt nach Unterstützung im Aufbau einer unternehmensweiten Datenplattform, die perspektivisch den Großteil der Unternehmung mit zentral verfügbaren Informationen versorgt. Entsprechend war eine skalierbare wie zugleich kosteneffiziente Cloud-Infrastruktur zu implementieren. Eine maßgebliche Aufgabe war die Integration exotischer Datenquellen (custom HTTP-APIs), um diese in strukturierter und getesteter Form den BI-Analysten zugänglich zu machen. 
  • Inhaltliche Konzeption einer performanten, skalierbaren und kosteneffizienten Datenplattform unter Anwendung des Modern Data Stack-Paradigmas in der Amazon AWS Cloud
  • Integration der in- und externen Datenquellen (HTTP-APIs als auch Datenbanken) des Kunden mittels Airbyte (custom connector) und Fivetran 
  • Transformation der Rohdaten zu verständlichen semantischen Modellen (Kimball) mittels data build tool (dbt) unter Nutzung von Databricks (compute) und Delta Lake (storage) – Sprachen: SQL & Python
  • Orchestierung der ELT-Datenladestrecken mittels Prefect und Implementierung von Testing-Best Practices mit Soda Cloud.
  • Einführung eines komponentenübergreifenden Monitorings (Observability) für die gesamte Datenplattform und Alarmfunktionen via GUI als auch Microsoft Teams
  • Laufende Optimierung von Kosten, Laufzeit und Ressourcenverbrauch der ELT-Datenladestrecken
  • Prototyping eines internen, frei zugänglichen Datenkatalogs zur Stäkrung des Self-Service Charakters der Datenplattform auf Basis von Amundsen
  • Umsetzung der Infrastruktur nach AWS-Best Practices im Bereich Cloud-Sicherheit (IAM, SSO, VPC)
Technologien: Github, Docker, EC2, AWS Lambda, Plotly/Dash, data build tool, Databricks, Prefect, Soda, Amundsen, AWS Neptune
Projektmanagement: Confluence, Monday, Microsoft Teams
Sprachen: SQL, Python

(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)
03/2022 - 06/2022
DATA ENGINEER – ZENTRALISIERUNG DER DATEN AUS EINER HETEROGENEN SYSTEMLANDSCHAFT IN EIN CLOUD DATA WAREHOUSE
Mode- und Bekleidungsmarke (Consumer goods and retail, 50-250 employees)

Zentralisierung der Daten aus einer heterogenen Systemlandschaft in ein Cloud Data Warehouse 

Herausforderung: Der Klient nutzt verschiedene Systeme zur Steuerung von Vertrieb, Flächenmanagment, Logistik und Finanzen/Controlling. Die bisherige Reportinglandschaft bestand aus Business Object mit direkter Anbindung an die Produktivsysteme. Daraus ergab sich die Aufgabe einer Analyseplattform mit zentraler Integration der unternehmensinternen Daten in einem Cloud Data Warehouse, um den Zugriff auf verschiedene Datentöpfe zu vereinfachen und folglich Analysen im Self-Service für interne Stakeholder zu ermöglichen.

  • Inhaltliche Konzeption einer performanten, skalierbaren und kosteneffizienten Datenplattform unter Anwendung des Modern Data Stack-Paradigmas in der Amazon AWS Cloud
  • Integration verschiedener Tools im MarTech-Stack und on-premises gehosteter Datenbanktechnologien (MS SQL) mittels Fivetran und eigens entwickelter Airbyte-Konnektoren 
  • Transformation der Rohdaten zu verständlichen semantischen Modellen (Kimball) mittels data build tool (dbt) unter Nutzung von Snowflake – Sprachen: SQL
  • Orchestierung der ELT-Datenladestrecken mittels Prefect
  • Umsetzung der Infrastruktur nach AWS-Best Practices im Bereich Cloud-Sicherheit (IAM, SSO, VPC)
Technologien: Github, Docker, AWS EC2, data build tool, Snowflake, Prefect, Airbyte, Fivetran, MS SQL, Power BI
Projektmanagement: Confluence, Asana, Microsoft Teams

Sprachen: SQL, Python

(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)

11/2021 - 01/2022
DATA ENGINEER – MODERNISIERUNG DER ANALYSEFÄHIGKEITEN IN EINEM ON-PREMISES-UMFELD
Einzelhandel (Mittelstand) (Consumer goods and retail, 500-1000 employees)

Modernisierung der Analysefähigkeiten in einem On-Premises-Umfeld

Herausforderung: Der Klient operiert in einem margensensitiven Wettbewerbsumfeld und wollte seine Reportingmechanismen modernisieren. Die bisherige Analysefähigkeiten waren auf ERP-interne Standardauswertungen beschränkt, wenig interaktiv und nur bedingt aussagekräftig. Die interne Systemlandschaft nutzte ausschließlich On-Premises-Komponenten in teils veralteten Softwareversionen. Entsprechend waren sichere und zugleich performante Ladestrecken in die AWS-Cloud zu entwickeln, die großvolumige Transaktionsdaten inkrementell mittels Change Data Capture-Mechanismen übertragen.  

  • Konzeption und Implementierung einer (hoch-)sicheren, kosteneffizienten Datenplattform in der Amazon AWS Cloud
  • Entwicklung einer inkrementellen CDC-Ladenstrecke zwischen Microsoft SQL Server (ERP-System) und Snowflake als analytische Datenbank (Data Warehouse) mittels custom Airbyte Konnektor
  • Transformation der Rohdaten zu verständlichen semantischen Modellen (Kimball) mittels data build tool (dbt) unter Nutzung von Snowflake – Sprachen: SQL
  • Orchestierung der ELT-Datenladestrecken mittels Prefect und Alarmierungsmechanismen via Microsoft Teams
  • Umsetzung der Infrastruktur nach AWS-Best Practices im Bereich Cloud-Sicherheit (IAM, SSO, VPC)
Technologien: Github, Airbyte, dbt, Power BI, Snowflake, Amazon AWS, AWS EC2, Docker, Microsoft SQL Server
Projektmanagement: Confluence, Asana, Microsoft Teams

Sprachen: SQL, Python

(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)

07/2020 - 12/2021
SENIOR DATA ENGINEER – MIGRATION EINER BESTEHENDEN DATENPLATTFORM AUF DAS "MODERN DATA STACK"-PARADIGMA
Online-Retailer (KMU) (Consumer goods and retail, 50-250 employees)

Migration einer bestehenden Datenplattform auf das "Modern Data Stack"-Paradigma

Herausforderung: Der Klient wollte internen BI-Analysten den Zugang zu den eigenen (Roh-)Daten und Transformationsschritten einfacher machen, um die "time-to-insight" zu beschleunigen. Die vorherrschende Programmiersprache zur Datentransformation war Python (PySpark), welches nur wenige interne Stakeholder beherrschten. Ein SQL-first Ansatz wurde bevorzugt. Daher wurde ein Prototyp mit dbt als Transformationslayer evaluiert und sodann eingeführt.  

  • Verantwortung für die Migration der bestehenden Analyseplattform mit zumeist Microsoft Azure-Komponenten auf Apache Airflow, dbt und Snowflake
  • Migration selbstentwickelter Datenintegrationsskripte in das Airbyte-Framework und Konfiguration von Fivetran
  • Umstellung der Datentransformation von Databricks-Notebooks (Python/PySpark) auf data build tool (SQL)
  • Orchestierung der ELT-Datenladestrecken mittels Apache Airflow
  • Laufende Optimierung von Kosten, Laufzeit und Ressourcenverbrauch der ELT-Datenladestrecken
  • Umsetzung der Infrastruktur nach Azure-Best Practices im Bereich Cloud-Sicherheit (IAM, SSO, VPC)
Technologien: Azure DevOps, Git, data build tool, Databricks, Microsoft Azure, Fivetran, Airbyte, Apache Airflow
Projektmanagement: Confluence, Asana, Microsoft Teams

Sprachen: SQL, Python

(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)

01/2019 - 06/2020
DATA ENGINEER - AUFBAU EINER KOSTENGÜNSTIGEN UND SKALIERBAREN ANALYSEPLATTFORM
Online-Retailer (Start-Up) (Consumer goods and retail, 10-50 employees)

Aufbau einer kostengünstigen und skalierbaren Analyseplattform

Herausforderung: Der Klient operiert in einem kompetitiven, digitalen Wettbewerbsfeld und verzeichnete hohe Wachsumsraten. Die (Roh-)Daten aus der Systemlandschaft mit verschiedenen SaaS-Tools und Werbenetzwerken aus dem MarTech-Stack sowie ERP- und Shopsystem sollten in einem Cloud Data Warehouse zentral verfügbar gemacht werden, um die interne Entscheidungsfindung zu beschleunigen. Die implementierte Infrastruktur diente wiederum als Basis für operationale Anwendungen wie CDP, Attributionsmodellierung und Marketing Performance Monitoring.

  • Verantwortung für die Konzeption und Implementierung einer Analyseplattform in der Microsoft Azure Cloud
  • Entwicklung verschiedener Python-Konnektoren zur Integration wesentlicher Tools aus dem MarTech-Stack (Google Analytics & Ads, Facebook Ads, Criteo, AWIN, etc.) unter Nutzung von Azure Data Factory und Azure Functions
  • Einführung einer automatisierten Pipeline zur Bereitungstellung neuer Konnektorfeatures mittels Azure DevOps (CI/CD)
  • Transformation der Rohdaten zu verständlichen semantischen Modellen (Kimball) mittels Databricks (compute) und Azure Data Lake Gen2 (storage) – Sprachen: Python (PySpark)
  • Orchestierung der ELT-Datenladestrecken mittels Azure Data Factory 
  • Laufende Optimierung von Kosten, Laufzeit und Ressourcenverbrauch der ELT-Datenladestrecken
  • Umsetzung der Infrastruktur nach Azure-Best Practices im Bereich Cloud-Sicherheit (IAM, SSO, VPC)
Technologien: Azure DevOps, Git, Docker, Azure VM, Azure Data Factory, Databricks, Microsoft Azure, Azure Functions
Projektmanagement: Confluence, Jira, Microsoft Teams

Sprachen: SQL, Python

(auf Anfrage kann ein Referenzkontakt des Kunden genannt werden)

Local Availability

Only available in these countries: Germany
Remote First – grundsätzliche Reisebereitschaft für Abstimmungen und Workshops

Other

Angestellt bei der sikwel GmbH in Oldenburg: https://sikwel.de

Youtube - Video

Hi. – Ich bin Dennis.

Profileimage by Dennis Hinnenkamp (Senior) Data Engineer — Cloud Solution Architect from Oldenburg (Senior) Data Engineer — Cloud Solution Architect
Register