El arquitecto de datos (o arquitecto de big data) es el responsable de crear la arquitectura tecnológica necesaria para soportar todo el proceso de big data, incluyendo la recopilación de datos, lectura de la información y sus salidas. ¿En qué consiste el trabajo del arquitecto de datos exactamente?
¿Qué es la arquitectura de datos?
La arquitectura de datos incluye el conjunto de modelos, reglas, y estándares que indican cómo se deben almacenar y organizar los datos en la empresa de forma que sean útiles para en su toma de decisiones.
Las empresas necesitan una buena arquitectura de datos, centralizada y alineada con los objetivos de la empresa, para que los científicos de datos puedan trabajar eficientemente con datos relevantes y confiables.
Antes de que el papel del arquitecto de datos surgiera como tal, la tarea era realizada por desarrolladores ETL o analistas de negocio, perfiles no tan especializados que han causado que la arquitectura de datos en muchas empresas no sean óptimas.
Una arquitectura de datos sin estructura y con brechas de información lleva a un bajo rendimiento de los procesos, causa más problemas que cuesta más solucionar, etc.
Es por ello que el perfil del arquitecto de datos, el más técnico dentro del big data, es muy demandado por empresas de todos los sectores que cada día manejan más datos en su operativa.
¿Interesado/a en trabajar en la arquitectura de datos?
Funciones del arquitecto de datos
El arquitecto de datos es el encargado de definir la arquitectura tecnológica que debe soportar el proceso de big data, desde la recolección de los datos, la explotación de la información y su salida y presentación.
Para ello, siguen un proceso de análisis y estructuración, basado en los procesos y operaciones comerciales de la empresa en cuestión. Necesitan conocer muy bien el negocio y el sector para construir un plan de datos adecuado.
El arquitecto de datos diseña las distintas entidades de datos y los flujos de información asociados a cada proceso comercial para después pasar al modelado de datos. Ahí se eligirá la base de datos y el formato de datos a utilizar.
Además son los encargados de mejorar y auditar la arquitectura de datos y para ello realizan la gobernanza de datos (del inglés, data governance).
Siempre necesitan definir unos estándares de calidad de datos, operaciones y acuerdos de nivel de servicio (SLA).
Responsabilidades del arquitecto de datos:
- Gestión de las estructuras de datos incluyendo diseño, creación, supervisión, administración e implementación
- Organización de información y datos a nivel micro y macro
- Definición de modelos de lógica de datos y estándares como fuente de información única
- Creación de normas de conducta para la gestión de uso de datos para mantener la calidad
- Diseño de grandes bases de datos relacionales que soporten aplicaciones de negocio
- Desarrollar estrategias de arquitectura de bases de datos
- Realizar conexiones, flujos de datos y procesos ETL entre los distintos datasets
- Integración de nuevos sistemas con estructuras de almacenamiento
- Gobernanza de datos para asegurar escalabilidad del sistema, seguridad y rendimiento
- Trabajo conjunto con arquitectos de software, analistas de negocio y otros departamentos para entender los requerimientos y las necesidades de gestión y
- explotación de datos
- Documentación de los distintos procesos implicados
Habilidades y Conocimientos necesarios
Para trabajar como arquitecto de datos es necesario tener un gran conocimiento de las nuevas tecnologías y entender cómo integrarlas en procesos para resolver problemas relacionados con los datos.
Necesitan tener una mente analítica para pensar en la mejor solución y elegir la mejor alternativa o estrategia para la arquitectura de datos.
Necesitan conocimientos de bases de datos como SQL, Oracle PL/SQL o Apache Cassandra y también en sistemas de Big Data (Hadoop, Hive).
Además, necesitarán las distintas técnicas de manipulación de datos como data wrangling or data tyding y conocer los distintos proveedores de soluciones cloud como Amazon (AWS) o Google (Google Cloud), ya que van a ser clave en la evolución del big data.
Habilidades y experiencia del arquitecto de datos:
- Conocimientos en la implementación y uso de los principales componentes de arquitecturas Big Data (Hadoop, Spark, Hive, Kafka, Sqoop)
- Competencia con bases de datos y Smart Data (SQL Server, MySQL, Apache)
- Experiencia en la gestión modelado y optimización de bases de datos
- Experiencia en la explotación de entornos Cloud
- Conocimiento de herramientas y procesos de ETL y calidad de datos (Information Steward, Talend, Informática..)
- Experiencia en diseño, despliegue y gestión de plataformas Cloud (AWS, Azure, Google Cloud): ADLS, Databricks, Cosmos DB, S3, EMR, RDS, Redshift)
- Buena comprensión de la metodología del SCRUM
- Capacidad para trabajar en un entorno rápido y cambiante
- Experiencia en gestión de proyectos y equipos
Formación y educación
Para trabajar como arquitecto de datos es necesario contar con una licenciatura en Ingeniería, Informática, Matemáticas Aplicadas u otro campo cuantitativo.
Además, al tratarse de un puesto muy técnico en el que la experiencia es muy valorada, las empresas buscan perfiles con experiencia comprobada en modelación de datos, arquitectura de datos y diseño de almacenamiento de bases de datos.
Para completar la formación, también existen certificaciones que pueden ser útiles como arquitecto de datos. Algunas a considerar:
- AWS Certification
- Certified Data Management Professional (CDMP)
- CCP Data Engineer Exam (Cloudera)
- Oracle Certified Associate (OCA)
¡Encuentra arquitectos de datos para tu proyecto!
Conecta con profesionales de todo el mundo, sin comisiones
Arquitecto de datos: Salario y Tarifa Freelance
Ya que el big data es ahora mismo el foco de muchas empresas, la demanda de arquitectos de datos no deja de crecer lo que se refleja en unos altos salarios.
En Estados Unidos, por ejemplo, el data architect gana de media 118.000 $ anuales. Los salarios empiezan en unos 76.000 $/año y suben con la experiencia hasta los 154.000 dólares al año.
¿Cuánto cobra un arquitecto de datos?
| Salario junior | 76.000 $ anuales |
| Salario medio | 118.000 $ anuales |
| Salario senior | 154.000 $ anuales |
En Alemania se pueden ver salarios anuales de entre 64.0000 y 95.000 € anuales con una media de 70.000. El rango salarial del arquitecto de datos en España oscila entre los 50.000 y los 60.000€.
¿Cuánto cobra este profesional en modalidad freelance?
Según los datos de freelancermap, los Arquitecto de datos cobran de media:
La mayoría de freelancers en esta área cobran entre 33 y 106 $/hora.
Los Arquitecto de datos trabajando a tiempo completo (8 horas/día) cobrarían:
