O arquiteto de dados (ou arquiteto de big data) é responsável por criar a arquitetura tecnológica necessária para suportar todo o processo de big data, incluindo coleta de dados, leitura de informações e seus resultados. Mas qual será exatamente o trabalho do arquiteto de dados? Contamos tudo!
O que é a arquitetura de dados?
A arquitetura de dados inclui o conjunto de modelos, regras e padrões que indicam como os dados devem ser armazenados e organizados na empresa de forma útil para a tomada de decisão.
As empresas precisam de uma boa arquitetura de dados, centralizada e alinhada aos objetivos da empresa, para que os cientistas de dados possam trabalhar de forma eficiente com dados relevantes e confiáveis.
Antes que o papel do arquiteto de dados surgisse como tal, a tarefa era executada por desenvolvedores de ETL ou analistas de negócios, perfis que não são tão especializados nesse campo e que fizeram com que a arquitetura de dados em muitas empresas ficasse abaixo do ideal.
Uma arquitetura de dados sem estrutura e com lacunas de informação leva a um mau desempenho do processo, causa mais problemas que custam mais para resolver, etc.
É por isso que o perfil do arquiteto de dados, o mais técnico em big data, é muito procurado por empresas de todos os setores que lidam com mais dados em suas operações a cada dia.
Interessado em trabalhar com arquitetura de dados?
Funções do arquiteto de dados
O arquiteto de dados é o responsável por definir a arquitetura tecnológica que deve suportar o processo de big data, desde a coleta dos dados, a exploração da informação e sua saída e apresentação.
Para isso, seguem um processo de análise e estruturação, com base nos processos e operações de negócio da empresa em questão. Eles precisam conhecer muito bem o negócio e o setor para construir um plano de dados adequado.
O arquiteto de dados projeta as várias entidades de dados e fluxos de informação associados a cada processo de negócios e, em seguida, passa para a modelagem de dados. Aí será possível escolher o banco de dados e o formato de dados a ser usado.
Eles também são responsáveis por melhorar e auditar a arquitetura de dados e para isso realizam a governança de dados (do inglês “data governance”).
Eles sempre precisam definir padrões para qualidade de dados, operações e acordos de nível de serviço (SLAs).
As responsabilidades de um arquiteto de dados:
- Gestão de estruturas de dados, incluindo design, criação, supervisão, administração e implementação
- Organização de informações e dados em nível micro e macro
- Definição de modelos e padrões lógicos de dados como uma única fonte de informação
- Criação de padrões de conduta para gerenciar o uso de dados para manter a qualidade
- Projeto de grandes bancos de dados relacionais que suportam aplicativos de negócios
- Desenvolver estratégias de arquitetura de banco de dados
- Estabelecer conexões, fluxos de dados e processos ETL entre os diferentes conjuntos de dados
- Integrar novos sistemas com estruturas de armazenamento
- Gerir os dados para garantir escalabilidade, segurança e desempenho do sistema
- Trabalhar em conjunto com arquitetos de software, analistas de negócios e outros departamentos para entender os requisitos e necessidades de gerenciamento e exploração de dados
- Documentação dos diferentes processos envolvidos
Qualificações e Conhecimentos necessários
Para trabalhar como arquiteto de dados é necessário ter um grande conhecimento das novas tecnologias e entender como integrá-las em processos de resolução de problemas relacionados com dados.
Eles precisam ter uma mente analítica para pensar na melhor solução e escolher a melhor alternativa ou estratégia para a arquitetura de dados.
Eles precisam de conhecimento de bancos de dados como SQL, Oracle PL/SQL ou Apache Cassandra e também em sistemas de Big Data (Hadoop, Hive).
Além disso, eles precisarão das diferentes técnicas de manipulação de dados, como data wrangling ou data tyding, e conhecerão os diferentes provedores de soluções em nuvem, como Amazon (AWS) ou Google (Google Cloud), pois serão fundamentais na evolução do big data.
Skills e experiência necessária a um arquiteto de dados:
- Conhecimento na implementação e utilização dos principais componentes de arquiteturas de Big Data (Hadoop, Spark, Hive, Kafka, Sqoop)
- Conhecimentos de bancos de dados e Smart Data (SQL Server, MySQL, Apache)
- Experiência em modelagem de banco de dados e gerenciamento de otimização
- Experiência na exploração de ambientes Cloud
- Conhecimento de ferramentas e processos de ETL e qualidade de dados (Information Steward, Talend, Informática)
- Experiência em projeto, implantação e gerenciamento de plataformas Cloud (AWS, Azure, Google Cloud): ADLS, Databricks, Cosmos DB, S3, EMR, RDS, Redshift)
- Bom entendimento da metodologia SCRUM
- Capacidade de trabalhar em um ambiente rápido e mutável
- Experiência em gerenciamento de projetos e equipes
Formação e educação
Para trabalhar como arquiteto de dados, você precisa de um diploma de bacharel em Engenharia, Ciência da Computação, Matemática Aplicada ou outra área quantitativa.
Além disso, como esta é uma posição altamente técnica, onde a experiência é altamente valorizada, as empresas estão procurando perfis com experiência comprovada em modelagem de dados, arquitetura de dados e design de armazenamento de banco de dados.
Para concluir o treinamento, também existem certificações que podem ser úteis como arquiteto de dados. Algumas a considerar:
- AWS Certification
- Certified Data Management Professional (CDMP)
- CCP Data Engineer Exam (Cloudera)
- Oracle Certified Associate (OCA)
Encontre arquitetos de dados para o seu projeto!
Contate com profissionais de todo o mundo, sem comissões
Arquitetos de dados: Salário e Tarifas freelance
Com o big data sendo o foco de muitas empresas no momento, a demanda por arquitetos de dados continua a crescer, o que se reflete em altos salários.
Nos Estados Unidos, por exemplo, o data architect ganha em média 118.000 dólares por ano. Os salários começam em cerca de $ 76.000/ano e aumentam com a experiência para 154.000 dólares por ano.
Já em Portugal, o salário médio é de 31.500 euros por ano. No topo de carreira, um arquiteto de dados pode ganhar até 45.000 euros por ano.
No Brasil, o salário médio é de cerca de 89.000 reais por ano mas pode chegar até aos 186.000 reais.
| Estados Unidos | $ 118.000 |
| Portugal | € 31.500 |
| Brasil | R$ 89.000 |
Quanto cobra um arquiteto de dados?
Fazendo uma pesquisa no diretório de freelancers do freelancermap, verificamos que, em média, um arquiteto de dados freela cobra 100 dólares/hora de trabalho. Pensando em uma jornada de trabalho de 8 horas, a diária corresponde a aproximadamente 800 dólares por dia.
