Big Data Engineer | Big Data y Bussines Intelligence, Lider I+D, Analista de Sistemas

Encargado de la migración de un sistema de BI de alta disponibilidad en
servidores clusterizados y securizados (KERBEROS) en Oracle Big Data
Services.
Migración de archivos y sistemas.
Transformación y ajustes de código por diferencias en ambientes.
Ajustes de escalamiento de SPARK.
Pruebas.
Tecnologias: OOzie, HIVE, IMPALA, ADW(autonomous data warehouse),
AIRFLOW, CLOUDERA MANAGER, KERBEROS, OCI, Oracle Big Data
Services.
Lenguajes: Batch (herramienta CI/CD), Python(ETL), YAML(configuraciones),
SPARK.
Bases de datos: SQL(origen), CSV / HDFS (Warehouse), Mysql (ADW).

*Desafío: Creación del área de BI.
* Recogida, carga, validación, homogeneización, transformación y modelado
de datos en crudo (ETL) de diferentes fuentes: (Python + AIRFLOW) fuentes
estructuradas y no estructuradas.
* Carga de los datos de diferentes fuentes de información en un
DataWarehouse y DATAMARTS y en la base de datos Postgresql
(estructurados).
* Transformación con Python, para generación de métricas y variables de
interés, por ejemplo KPIs.
* Responsable de los procesos de homogeneización del dato.
* Aseguramiento de la calidad del dato.
* Gestión de la calidad del dato, generando mecanismos de control.
* Resolución problemas de escalabilidad y rendimiento
* Self-service data: creación de mecanismos necesarios para que los usuarios
no-técnicos puedan acceder a los datos procesados.
Bases de datos: SQL, Mariabd / Mysql
Lenguajes: Python
Herramientas: PowerBi, Airflow, Pandas, Numpy, Sklearn, Spark y Hadoop.

*Desarrollo de nuevas aplicaciones, mejoras y mantenimiento de las
existentes.
*Asesoramiento y capacitación a usuarios.
*Análisis de viabilidad técnica y económica.
*Desarrollo de documentación funcional.
*Desarrollo de aplicaciones y Gestión de datos.
*Tareas técnicas varias de sistemas y redes.
*Líder Técnico y Funcional de Equipo (4 personas a cargo).
Idioma ingles (oral y escrito), español.
Lenguajes: PHP, jquery, javascript, Ajax, html5, Css
Bases de Datos: MySql y Sql.
Herramientas: Linux y AWS(cloud computing EC3 y S2), SCRUM.