Description
Zur Verstärkung unseres Teams in München suchen wir einenBig Data Engineer (m/w)
Aufgaben:
- Entwicklung von (Big) Data ETL Pipelines:
• Daten Extraktion (aus Oracle Data Warehouse und Hadoop Cluster)
• Data Cleansing
• Quality Check
• Aggregation
• Visualisierung
-Entwicklung von SQL Statements auf Basis spezifischer Anforderungen und Speicherung der Ergebnisse in SQL Datenbanken
-Prüfung der Ergebnisqualität
-Fachliche Beratung bei der Durchführung von Data Science Projekten
-Fachliche Beratung des Teams bei der Weiterentwicklung der ETL Prozesse
-Fachliche des Teams beim Einstieg in die Nutzung von Amazon Web Services (AWS)
Must:
-Sehr gute Kenntnisse von SQL
-Kenntnisse im Umgang mit Versionierungstools (Git)
-Mindestens 1 Jahr Erfahrung mit Big Data Technologien insb. Spark (Scala + PySpark), Yarn, Hive, Hadoop
-Gute Kenntnisse in der Arbeit mit AWS Services, insb. EMR, EC2, S3
-Kenntnisse im Umgang mit Data Science-Frameworks: z. B. Python (Pandas, scikit-learn)
-Sicher in Linux und Scripting mit Bash und Python
-Gute Kommunikationsfähigkeiten in Deutsch und Englisch
Nice:
-Vorteilhaft sind Kenntnisse in Scala und Java
-Vorteilhaft sind Kenntnisse mit ML-frameworks (TensorFlow, Keras, etc.)
Start: 04.07.18
Dauer: 31.12.18
PLZ: München