Data Engineer\'s (m/w/d) gesucht!

North Rhine-Westphalia  ‐ Onsite
This project has been archived and is not accepting more applications.
Browse open projects on our job board.

Description

Hallo und guten Morgen :)

Für meinen Kunden bin ich auf der Suche nach Data Engineers (m/w/d) für folgendes Projekt:

Das Projekt „Data Operations" verfolgt das Ziel, zentrale Services dieser Datenplattform bereitzustellen. Folgende Funktionalitäten sind geplant:
  • Scraper System zum Stream Ingest von Daten aus unterschiedlichen Quellen
  • Anreicherung der Daten mit einem im Rahmen der Datenplattform eindeutigen Identifikator
  • Bereitstellung und Aufbereitung der Daten für weitere Datenprodukte und Systeme
  • Löschung und Beauskunftung im Sinne der DSGVO
  • Einlesen von unterschiedlichen Datenquellen im Batch-Betrieb und zur Verfügung stellen dieser Daten in definierter Integrationsschicht in unserer Datenplattform
Projektumfang:

  • Implementierung von Services und Pipelines zur Anbindung von Datenquellen an das vorhandene Scraper System der Datenplattform
  • Weiterentwicklung des Scraper Systems und Beheben von Fehlern in dieser Komponente
  • Implementierung und Bereitstellung eines Service zur Erzeugung und Abfrage von einheitlichen IDs unter Berücksichtigung von Performance-Aspekten
  • Konzeption und Implementierung von Services zur Löschung und Beauskunftung von Datensubjekten
  • Implementierung von Daten Pipelines zur Aufbereitung und Bereitstellung von Daten
  • Einlesen von Daten aus unterschiedlichen Quellsystemen (z.B. RDBMS, Cloud Storage, FTP, HTTP)

  • Eingesetzter Technologie-Stack

    • Google Cloud Platform, Terraform, Gitlab, Gitlab CI
    • Kubernetes, Docker, Argo CD/Workflows
    • Apache Airflow, Google Composer
    • Apache Spark, Google Dataproc
    • Google Dataflow, Apache Beam
    • BigQuery, BigTable, Google Cloud Storage
    • Python, Pandas, Java, SQL
    • REST APIs, GraphQL


    Start: ASAP // November oder nach Absprache

    REMOTE

    Sie haben Fragen oder Interesse? Lassen Sie mir gerne Ihre Unterlagen, sowie Ihre Verfügbarkeit und einen Stundensatz zukommen. Ich melde mich umgehend nach Sichtung.

    Herzliche Grüße

    Anica Gilles

    Start date
    11/2021
    Duration
    3 Monate +
    (extension possible)
    From
    Progressive IT
    Published at
    14.10.2021
    Project ID:
    2228317
    Contract type
    Freelance
    To apply to this project you must log in.
    Register