Développeur Java Big Data - Bureau d’études
LCL
(Banks and financial services, >10.000 employees)
Keywords
Skills
Big Data, Elasticsearch, Hadoop, Apache Spark, Oozie, Zookeeper, Hive, HBase, Kafka, Sqoop, RabbitMQ, Hue, Machine Learning, BI / Décisionnelle, PowerBI, Kibana, Qlikview, Tableau, Talend, SSIS, SSAS, SSRS, Confluence, JIRA, Microsoft Office, Teams, HP ALM, Squash, Trello, SharePoint, Amazon Open Distro, PostgreSQL, MySQL, Logstash, Dynatrace, Filebeat, Metricbeat, Heartbeat, Eclipse, Intellij IDEA, Sublime Text, Virtual Box, AWS, Swagger, Spring MVC, Spring Data, Spring Security, Jenkins, Git, BitBucket, Ansible, Docker
Project history
08/2021
-
09/2022
Dans le cadre de l’activité Big DATA & IA, le besoin est de prendre en charge plusieurs typologies d’activités
Activité :
- Études projet/évolutions en comité des architectes-data, des Chefs de projets, pour identifier et qualifier les besoins et usages métiers, et des solutions s’appuyant sur les plates-formes data Big DATA, Elasticsearch, Taratata
- Construction des solutions Big DATA en collaboration avec le Project leader.
- Rédaction des cahiers des charges et documents technique
- Modélisation et gouvernance des données en respect de la RGPD et CNIL
- Respecter les règles de sécurité et les fondamentaux Projets
- Entretenir la documentation des applications
Environnement technique :
- Framework/Serveur: Elasticsearch, TERADATA, Hive, HBase, HDFS, Hadoop, MVS, KIBANA
- Méthodologie & Modélisation : Agile, UML
- Outils/IDE: Java, Spark, Pack Office, Docker, Script Shell, UNIX, Confluence, JIRA, Cobol
01/2020
-
07/2021
Consultant Java Elasticsearch - Big Data
Banque de France
(Banks and financial services, 5000-10.000 employees)
Au sein du pôle Connaissance Clients de SISPEO (ServiceS pour les Paiements et les Échanges d’Opération) anciennement SCOPE50 dont la mission première est la mise en place des domaines applicatifs de la DSB (Direction de Service Bancaire) et le développement des SI Décisionnels ainsi que des Systèmes de Lutte contre le Blanchiment, j’ai pu intervenir dès le début au sein du projet ASTRA. Le projet ASTRA construit ce socle afin de permettre le suivi opérationnel de l’ensemble des fichiers bancaires transitant au sein de la banque.
Activité :
- Recueil, Analyse et conception des besoins métiers. - Mise en place d’un socle solide car traitement journalier de plus de 5 millions de données voir 20 millions.
- Développement d’un batch d’analyse et traitement des échanges SCT, SDD via des transactions SEPA, MultiSEPA, BULK pour des opérations de remises d’ordres de paiement, des échanges interbancaires, de rejet, de demande de retour de fonds, correction d’information bancaire (PAIN, PACS, CAMT, ACMT), formats MINOS (retrait DAB, CB, débit, rejet, annulation), formats plats, BDF4000. Utilisation du plugin INGEST adapté.
- Développement d’un module de calcul, de suivi des imputations comptables et d’annulation comptable (PACS.007) ainsi que des CRE (Compte Rendu d’Évènement) sur le socle Elasticsearch.
- Définition et implémentation d’un identifiant unique par transaction afin d’assurer le rapprochement et un suivi de BeB par transaction et fichier dans l’ensemble SI Banque de France.
- Mise en place et implémentation d’un système de contrôle de fichier (Alerte) en entrée et sortie d’une application par écart temps de traitement en prenant en compte les vacations (délais de traitement applicatif) et par écart temps de transfert (dysfonctionnement lié au transfert du fichier bancaire).
- Définition et mise en place dans le cadre de la BAM d’un processus propre au traitement et rétention des transactions Non FR soumis à EMBARGO.
- Respect de la RGPD via des processus d’anonymisation des données sensibles et mise en place d’une politique de rétention dans Elasticsearch.
- Exécution des tests fonctionnels, tests de non-régression et tests unitaires.
- Enrichissement des modèles de données et du dictionnaire de données.
- Administration du cluster Elasticsearch, Dashboard Kibana et pipelines Logstash d'ingestion.
- Mise en place de la structuration, typlogie, indexation des données et module de recherche
- Rédaction de la documentation générale et techniques.
Environment technique :
- Framework/Serveur: Open Distro for Elasticsearch, RabbitMQ, Logstash, FileBeat, Kibana
- Langages : Java11, Python, Script Shell, JSON, XML
- Méthodologie & Modélisation : Agile Scrum, UML, Confluence, JIRA, SQUASH, VISIO
- Outils/IDE: Confluence, JIRA, Squash, Pack Office, MobaXterm, UNIX, Git, Jenkins, XLDeploy
10/2020
-
11/2020
Auditeur d’Architecture Elasticsearch
PSA
(Automotive and vehicle construction, >10.000 employees)
Au sein du projet PSA Retail, un besoin d’audit du socle Elasticsearch était nécessaire pour l’améliorer des performances de l’application.
Activité :
- Recueil et Analyse du logiciel ainsi que du périmètre projet.
- Mise en place du socle technique nécessaire à l’audit
- Évaluation des données, typologie, indexation (frozen, hot), shards
- Réalisation des différents scénarios de test d’optimisation et d’accès rapide à la donnée via les modules de recherches internes.
- Mise en place des bonnes pratiques en termes de typologie et structure de données, des index, des shards, snapshots, cycle de vie des index afin d’améliorer les performances d’elasticsearch.
- Rédaction d’un document d’audit et de préconisations en vue d’une optimisation et évolution de l’architecture
Environnement technique :
- Framework/Serveur: Elasticsearch, Kibana, Oracle
- Méthodologie & Modélisation: Agile scrum, UML
- Outils/IDE: Pack Office, Docker, ScriptShell, Elastica, PowerShell, UNIX
10/2018
-
12/2019
Business Analyst Big Data - Product Owner
EDF
(Energy, water and environment, >10.000 employees)
En étroite collaboration avec la division du Marketing, il est question de traiter la consommation énergétique (Électricité, Gaz) et la souscription/désabonnement des clients EDF via la mise en place d’algorithmes tout en appliquant la réglementation européenne GDPR.
Activité :
- Recueil, Analyse et conception des besoins métiers tout en tenant compte des futurs cas d’usage.
- Rédaction et validation des spécifications techniques répondant aux différents besoins.
- Pilotage, chiffrage et suivi d’activité à travers différents comités.
- Participation à la priorisation du besoin par valeur (Minimum Viable Product)
- Elaboration des schémas d’architectures et cartographie data au sein du SI
- Gestion des données et cycle de vie de la donnée - contrat d’interface
- Cadrage et mis en place des règles de gestions des parcours clients et données via le datalake et elasticsearch
- Mise en place des stratégies de recette (plans de tests, scénarios, JDD, exécution)
- Formalisation des différents scénarii pour automatisation des tests avec Cucumber.
- Amélioration de la documentation technique et mise en place de la retro documentation.
- Échange constant et description technico-fonctionnelle aux équipes de développement.
- Support aux équipes de développement
Environnement technique :
- Framework/Serveur : Hadoop, Spark, Kafka, Oozie, Hive, HBase, Talend, Oracle, ODI, Elasticsearch
- Méthodologie & Modélisation : Agile scrum, UML, Confluence, JIRA
- Outils/IDE : yEd, Pack Office, SQL Developer, MobaXterm, Confluence, JIRA, HP ALM, Kibana, Teams
02/2018
-
03/2019
Career Manager
CAPGEMINI
(Internet and Information Technology, >10.000 employees)
- Suivi de carrière de plusieurs collaborateurs du groupe Capgemini
- Encadrement et coaching des dits collaborateurs
- Participation aux baromètres d’évaluation des collaborateurs pour promotion, formation et rotation de projet
03/2017
-
09/2018
Data Analyst Elasticsearch (ELK Stack)
EDF
(Energy, water and environment, >10.000 employees)
Dans une équipe full agile, je travaillais en qualité d’appui métier sur le projet @CCOST qui s’axe sur la mise en place des indicateurs, le traitement de données et la supervision de l’ensemble des applications du SI commerce sous la responsabilité du domaine marché des clients particuliers EDF. Le contexte du projet est organisé au tour de cinq activités :
- Concevoir la supervision des processus du SI MCP (définition des indicateurs)
- Implémenter les indicateurs dans les outils de supervision existants
- Collecter, traiter et centraliser les données dans un lac de données
- Piloter le projet et restituer les tableaux de bord des processus
Activité :
- Recueil et analyse des besoins
- Conception, Prototypage et indexation des données avec typologie efficiente
- Implémentation et centralisation des indicateurs de supervision (sous l’ETL ELK)
- Élaboration et réalisation des tests unitaires et des recettes fonctionnelles
- Maintenance corrective et évolutive du lac de données et des indicateurs.
- Industrialisation et suivi de la qualité de production de la stack ELK
- Développement des pipelines d’ingestion Logstash multisourcing
- Administration du socle Elasticsearch et PCA
Environnement technique :
- Framework/Serveur: Elasticsearch, Kibana, Logstash, FileBeat, MetricBeat, HeartBeat, Kafka
- Langages : Script Shell, MySQL
- Méthodologie & Modélisation : Agile scrum, UML, Confluence, JIRA, Teams
- Outils/IDE : SublimeText, Trello, Visio, Pack Office, Linux, Dynatrace, Teams, Confluence, JIRA
08/2016
-
03/2017
Data Engineer - Développeur Java Fullstack
EDF
(Energy, water and environment, >10.000 employees)
Lot 4 du projet QUADOR (Qualité des données de références), ORGE a pour but de cadrer la démarche d’analyse d’exhaustivité du respect des référentiels de la Direction du Parc Nucléaire et Thermique (DPNT) EDF.
Activité :
- Rédaction des documents techniques de l’ensemble des composants de l’application et transfert de compétences à la TMA.
- Développement en Java des services REST backoffice pour CRUD via le socle elasticsearch et la base postgresql
- Développement d’un batch Spark de traitement des données Hive (EAM, ECM) de l’entrepôt Hadoop vers Elasticsearch
- Montée de version Elasticsearch 2.3.3 vers la 5.4.3 avec mis à jour de l’application Web java, batch Spark ainsi que des différents modules.
- Utilisation de Kibana et Sense pour la visualisation des données Elasticsearch, Hue comme interface de virtualisation des workflow Oozie de l'écosystème Hadoop.
- Développement des évolutions et corrections d'anomalies
- Développement d’un module basé sur Sqoop pour l'import et l'export de données de base relationnel (PostgreSQL) vers Hadoop
- Réalisation des tests unitaires avec Junit, Mockito, ScalaTest.
- Compilation et correction de la qualité du code source avec Jenkins.
Environnement technique :
- Framework/Serveur : Elasticsearch, Spark, Hadoop, Oozie, Hive, Spring, PostgreSQL, Git, Maven
- Langages : Java EE, Java, Scala, ScriptShell
- Méthodologie & Modélisation : Agile scrum, Kanban, UML
Local Availability
Open to travel worldwide
Freiberuflicher Berater mit ausgeprägter Fähigkeit zur Analyse quantitativer und qualitativer Daten. Selbstständig und lernfähig Ich habe auch Teamgeist und eine großartige Qualität des Zuhörens. Proaktiv mit Kreativität und Neugier. Nur in Telearbeit verfügbar.
Zusätzlich zu meinen zwischenmenschlichen Fähigkeiten und meinem Sinn für Dienst haben mir meine bisherigen Erfahrungen ermöglicht, die Fähigkeiten zu erwerben, die für die erfolgreiche Erreichung dieser Missionsziele erforderlich sind. Ich möchte meinen Enthusiasmus und meine Kreativität einbringen, um Lösungen vorzuschlagen und umzusetzen, die an innovative und komplexe Umgebungen angepasst sind. Ich wäre eine Bereicherung für das Team. Außerdem verfüge ich über hervorragende Kenntnisse in Java, dem ELK-Stack und Big-Data-Technologien.
Meine Kunden sind sehr zufrieden!
Remote
Other
Einzigartig für Projekte und vollständige Fernbedienung
