Data Science Academy [email protected].

pt 60de7b6de32fc3f66d0cb01d

Guia de Carreira
Arquiteto de Dados

Equipe Data Science Academy

www.datascienceacademy.com.br
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Conteúdo do Guia
Acompanhe o descritivo dos conteúdos deste Guia:

Página Descritivo

1 Capa

2 Conteúdo do Guia

3 Bem-vindo / O que são Dados

4 O Que é Arquitetura de Dados?

5e6 Quem São os Arquitetos de Dados?

7e8 Arquiteto de Dados x Engenheiro de Dados

9 e 10 Quais São as Responsabilidades de Um Arquiteto de Dados?

11 E Por Onde Começar em 5 Passos?

12 Passo 1: Esteja Familiarizado com LGPD, GDPR e Outras Leis

13 e
Passo 2: Governança de Dados e Metadados, Linhagem de Dados e Data Quality
14

15 e Passo 3: Domine o Funcionamento de Bancos de Dados Relacionais, Não Relacionais e Data

16 Stores

17 Passo 4: Domine o Processo ETL e ELT

18 Passo 5: Domine o Design e a Automação de Pipelines de Dados

19 Formação Arquiteto de Dados

02
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Bem-vindo(a)!

Ansioso por desbravar o universo da Ciência de Dados e não

sabe por onde começar? Nós ajudaremos você. Preparamos um
guia que vai ajudá-lo a compreender o que faz um Arquiteto
de Dados como iniciar sua preparação! Confira.

O Que São Dados?

Não há uma única empresa hoje que não
tente aproveitar o poder dos dados para
DADOS — essa palavra de cinco letras
encontrar soluções para problemas,
está hoje por todos os lados e cada vez
tomar decisões informadas, implantar
mais impulsiona o mundo dos negócios
estratégias com eficiência e executar
em todos os cantos do planeta.
operações de negócios eficazes e
econômicas.

De acordo com um artigo da Forbes, 94% das empresas globais disseram estar usando
dados e analytics como parte do seu crescimento econômico e digital. E 65% dessas
empresas planejam aumentar seus investimentos em análise de dados.

Em meio ao crescimento no uso de dados e a conversa de nível avançado sobre Big Data
e Data Science, surgiram várias novas funções organizacionais que estão ajudando as
empresas a obter, processar e assimilar dados complexos diariamente, dentro e fora da
empresa.

E o Arquiteto de Dados (às vezes chamado Arquiteto de Big Data) é uma função altamente
pertinente no mundo orientado a dados de hoje.

Neste Guia vamos trazer dicas valiosas para você que deseja se tornar Arquiteto de Dados.

03
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

O Que é Arquitetura de Dados?

Arquitetura de Dados é a estrutura organizacional
alinhada aos processos de negócios que
padronizam o processo de coleta,
armazenamento, transformação, distribuição e
uso de dados. A estrutura é criada para proteger
dados confidenciais, tornando as partes mais
relevantes acessíveis por pessoas autorizadas no
momento certo.

Em outras palavras, podemos definir Arquitetura de Dados como:

“Um conjunto de regras, políticas e modelos que determinam que tipo de
dados são coletados e como são usados, processados e armazenados”.

Os princípios da Arquitetura de Dados nos quais toda a estrutura se baseia, consideram os

dados como um ativo definido em parâmetros predefinidos que são acessíveis,
compartilháveis, gerenciáveis e podem ser protegidos.

As empresas implementam a Arquitetura de Dados para converter principalmente as

necessidades de negócios em requisitos de dados e sistemas, alinhar processos de negócios
com sistemas de TI e gerenciar o fluxo complexo de dados e informações dentro da
organização.

Isso nos leva à grande questão: quem constrói a Arquitetura de Dados de uma empresa? A
Arquitetura de Dados é conceituada e projetada em alinhamento com as necessidades de
negócios por um Arquiteto de Dados, uma das funções que mais cresce em importância no
universo da Ciência de Dados.

04
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Quem São os Arquitetos de Dados?

Os Arquitetos de Dados são profissionais encarregados de definir políticas,
procedimentos, modelos e tecnologias que serão usados para coletar, organizar,
armazenar e recuperar informações para a organização.

Um Arquiteto de Dados é um especialista que formula a estratégia de dados

organizacionais, incluindo padrões de qualidade de dados, fluxo de dados dentro
da organização e segurança de dados.

É a visão desse profissional de gerenciamento de dados que converte requisitos

de negócios em requisitos técnicos (que então serão executados por um
Engenheiro de Dados, que tem um perfil bem técnico).

05
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Como existe um elo crítico entre negócios

e tecnologia, a demanda por Arquitetos
de Dados qualificados tem aumentado.

Uma pesquisa do Recruiter.com revelou que apenas 3,9% dos profissionais de gerenciamento
e arquitetura de dados optaram por trabalhar por conta própria, enquanto impressionantes
96,1% deles foram contratados por organizações que desejavam aproveitar os dados para
obter vantagem tática nos negócios.

A mesma pesquisa previu que a demanda por Arquitetos de Dados deve se intensi car à taxa de
15,94% nos próximos anos. O Guia Salarial da Robert Half Technology xou o salário médio do
Arquiteto de Dados em $ 141.250 dólares americanos (por ano).

Veja abaixo o gráfico de projeção para o crescimento da função de

Arquiteto de Dados até 2029

Se você tem um perfil menos técnico e gosta do trabalho de projetar e planejar soluções, a
função de Arquiteto de Dados pode ser uma boa opção, com alta demanda e alta
remuneração, no Brasil e no exterior.

06
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Arquiteto de Dados X Engenheiro de Dados

O Arquiteto de
Dados Projeta

O Engenheiro de
Dados Executa

De acordo com o Data Management Body of Knowledge da DAMA International, um Arquiteto

de Dados “fornece um vocabulário de negócios comum padrão, expressa requisitos
estratégicos, descreve projetos integrados de alto nível para atender a esses requisitos e se
alinha com a estratégia corporativa e a arquitetura de negócios de uma empresa”.

Um Arquiteto de Dados entende as necessidades de negócios, explora a estrutura de dados

existente e cria um projeto para construir uma estrutura integrada de dados seguros e
facilmente acessíveis, alinhados com a estratégia de negócios.

O Arquiteto de Dados também define os processos envolvidos no teste e manutenção de

bancos de dados e sistemas de armazenamento.

07
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

As funções de Arquiteto de Dados e Engenheiro de Dados são comumente

confundidas e, pior, usadas de forma intercambiável. Mas o papel de um Arquiteto
de Dados é diferente do papel de um Engenheiro de Dados (embora existam
algumas similaridades).

Neste debate entre Arquiteto de Dados e Engenheiro de Dados, enquanto o

primeiro projeta e planeja a estrutura de dados, o segundo coloca esse projeto em
ação para construir a infraestrutura de dados de uma empresa.

Um Arquiteto de Dados leva em conta todas as fontes de dados relativas às

operações de negócios e descreve um projeto para integrar, centralizar e manter
os dados.

Por outro lado, um Engenheiro de Dados é responsável por construir e testar

arquiteturas de dados sustentáveis para a organização para facilitar a busca e
recuperação de dados.

Os Arquitetos de Dados trabalham em estreita colaboração com os Engenheiros

de Dados para criar uma arquitetura de dados sólida.

08
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Quais São as Responsabilidades de Um Arquiteto de Dados?

As funções e responsabilidades de um Arquiteto de Dados incluem:

Desenvolver e implementar uma estratégia geral de dados que esteja alinhada com os
processos de negócios. A estratégia inclui projetos de modelos de dados, padrões de
desenvolvimento de banco de dados, implementação e gerenciamento de Data
Warehouses e Data Lakes e sistemas de análise de dados, além de pipelines de dados.

Identificar fontes de dados, internas e externas, e elaborar um plano de

gerenciamento de dados alinhado com a estratégia de dados da organização.

Coordenar e colaborar com equipes multifuncionais, partes interessadas e

fornecedores para o bom funcionamento do sistema de dados corporativos.

Gerenciar a arquitetura de dados end-to-end, desde a seleção da plataforma, desenho

da arquitetura técnica e implementação, até finalmente testar e implementar a
solução proposta.

09
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Planejamento e execução de soluções de Big Data utilizando tecnologias de

armazenamento e processamento distribuído. Na verdade, as funções e
responsabilidades do Arquiteto de Dados envolvem o gerenciamento completo do
ciclo de vida de uma solução de armazenamento.

Definir e gerenciar o fluxo de dados (pipelines) e disseminação de informações dentro

da organização, integrando a funcionalidade técnica, garantindo a acessibilidade,
precisão e segurança dos dados.

Conduzir uma auditoria contínua do desempenho do sistema de gerenciamento de

dados, refinar sempre que necessário e relatar imediatamente qualquer violação ou
brecha às partes interessadas.

Vamos então discutir as habilidades essenciais necessárias para ter sucesso na

função e como se tornar um Arquiteto de Dados.

10
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

E Por Onde Começar em 5 Passos?

1 Esteja Familiarizado com LGPD, GDPR e Outras Leis e Padrões

Aplicáveis ao Gerenciamento de Dados

2 Governança de Dados e Metadados, Linhagem de Dados e

Data Quality

3 Domine o Funcionamento de Bancos de Dados Relacionais,

Não Relacionais e Data Stores

4 Domine o Processo ETL e ELT

5 Domine o Design e a Automação de Pipelines de Dados

11
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Passo 1: Esteja Familiarizado com LGPD, GDPR e Outras Leis e Padrões

Aplicáveis ao Gerenciamento de Dados

Os dados são um ativo corporativo de

A LGPD é a Lei Geral de Proteção aos Dados no
importância cada vez maior e os governos estão
Brasil e se você pretende trabalhar como
atentos a isso. Leis e padrões que regem os
Arquiteto de Dados em território brasileiro
dados surgiram nos últimos anos e seguem
conhecer os detalhes dessa Lei é fundamental (é
evoluindo, com o objetivo de garantir que os
importante para todos os profissionais de dados,
dados sejam usados de forma correta e com as
mas em especial para o Arquiteto de Dados).
devidas permissões de usuários, com especial
atenção à privacidade.

Identificar fontes de dados, internas e externas, e elaborar um plano de

A GDPR é a Lei equivalente na Europa e outras Leis e padrões podem ser encontrados em outras
gerenciamento de dados alinhado com a estratégia de dados da organização.
regiões do mundo. Onde sua empresa atuar, é sua obrigação conhecer as Leis aplicáveis a dados.

Você não pode simplesmente projetar uma solução de dados que não leve isso em
consideração. Por exemplo: Sua empresa recebe cadastro de clientes e depois gostaria de
usar esses dados para personalizar ofertas de produtos a esses clientes. Não há nada de
errado nisso, mas a LGPD prevê que o cliente deve estar ciente e concordar sobre o que está
sendo feito com seus dados. Logo, a empresa deve mencionar isso em seus termos de uso.
Se isso não for feito e não houver a concordância dos clientes, os dados não poderão ser
usados.

Recomendamos o estudo da LGPD para quem pretende trabalhar como Arquiteto de Dados.

12
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Passo 2: Governança de Dados e Metadados, Linhagem de Dados e Data

Quality

Um sistema abrangente de
Governança de Dados e Metadados
usa ferramentas para limpar todos os
dados de uma organização,
atribuindo a cada item uma
pontuação de qualidade.

Esse tipo de sistema sinaliza e reconcilia problemas e organiza dados corrompidos, defeituosos,
desatualizados ou redundantes, de acordo com as regras de retenção. Essa é uma das tarefas de um
Arquiteto de Dados. Você precisa desenvolver suas habilidades em Governança de Dados conhecendo
os processos e ferramentas.

A linhagem de dados revela o ciclo de vida dos dados, registrando e mostrando o fluxo
completo de dados, do início ao fim.  A linhagem de dados é o processo de compreensão,
registro e visualização de dados à medida que fluem das fontes de dados para o consumo.

Isso inclui todas as transformações que os dados sofreram ao longo do caminho – como os
dados foram transformados, o que mudou e por quê. Isso também é o papel do Arquiteto de
Dados.

13
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

A qualidade dos dados (Data Quality)

é a medida da condição dos dados
com base em fatores como precisão,
integridade, consistência,
confiabilidade e se estão
atualizados.

Esse tipo de sistema sinaliza e reconcilia problemas e organiza dados corrompidos, defeituosos,
desatualizados ou redundantes, de acordo com as regras de retenção. Essa é uma das tarefas de um
Arquiteto de Dados. Você precisa desenvolver suas habilidades em Governança de Dados conhecendo
os processos e ferramentas.

A medição dos níveis de qualidade dos dados pode ajudar as empresas a identificar erros
de dados que precisam ser resolvidos e avaliar se os dados em seus sistemas são
adequados para atender à finalidade pretendida.

Ferramentas e soluções como Stitch, Keboola e Dataedo são boas ferramentas para você
desenvolver suas habilidades neste tópico.

14
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Passo 3: Domine o Funcionamento de Bancos de Dados Relacionais,

Não Relacionais e Data Stores

Os dados devem
Os dados são Os dados são residir em algum
um ativo, importantes, sistema de
certo? armazenamento,
certo?
certo?

Esperamos que você tenha respondido sim para as 3 perguntas anteriores.

Parte do seu trabalho como Arquiteto de Dados ao projetar soluções de dados é

definir exatamente onde os dados irão residir durante seu ciclo de vida.

Os dados nascem em um banco de dados relacional? Após limpeza e processamento

são levados para outro banco de dados relacional? Ou os dados entram na empresa
(após extração de redes sociais, por exemplo) e residem em um Data Lake ou Data
Store antes de serem limpos e levados para um banco relacional ou não relacional?

Todas essas são perguntas que um Arquiteto de Dados deve responder ao projetar a
solução de dados.

15
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Desenvolva suas habilidades em bancos de dados e sistemas de armazenamento. Isso é

um requisito básico para a função de Arquiteto de Dados. E lembre-se que o sistema de
armazenamento pode ser local ou na nuvem, logo Cloud Computing será importante no
seu dia a dia.

Ferramentas e soluções
como PostgreSQL, MySQL,
Oracle, SQL Server,
MongoDB, Apache
Cassandra, AWS Data Lake,
Amazon S3, Azure Data
Lake Storage e Databricks
são exemplos do que você
irá encontrar no mercado
de trabalho.

Ahh, e não esqueça de

Linguagem SQL. Isso é o
mínimo de conhecimento que
se espera de um Arquiteto de
Dados.

16
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Passo 4: Domine o Processo ETL e ELT

Os dados são
importantes,
certo?

ETL é a sigla em inglês para Extração, Transformação e Carga de dados (ELT inverte as
operações de carga e transformação). Processos ETL serão os responsáveis por extrair
dados de um lado, aplicar transformações necessárias e carregar em um sistema de
armazenamento.

Fica fácil perceber que processos ETL farão parte de qualquer arquitetura de dados de
qualquer empresa. E arquitetura de dados é responsabilidade de quem? Do Arquiteto
de Dados.

Logo, dominar como funcionam os conceitos de ETL e ELT, quando e como aplicar os
processos e as principais ferramentas usadas será fundamental no dia a dia da função.

Ferramentas e soluções como Pentaho Data Integration, Apache

NiFi, Apache Spark, Airbyte, Azure Data Factory, AWS Glue e
Amazon Athena estão entre as mais comuns no dia a dia de um
Arquiteto de Dados e conhecer pelo menos algumas delas é
importante.

17
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Passo 5: Domine o Design e a Automação de Pipelines de Dados

Um pipeline de dados é o fluxo de

movimentação de dados dentro de
Os dados são
uma empresa (processos ETL ou
importantes,
ELT fazem parte desse fluxo).
certo?

Um pipeline de dados é como se fosse uma linha de produção, por onde os dados vão
passando desde a origem e então vão recebendo limpeza, transformação,
enriquecimento, documentação, gestão de metadados, governança, tags de
identificação, até chegarem no seu destino e serem usados para análise, arquivados ou
descartados.

O design e automação de pipelines é parte fundamental do trabalho de um

Arquiteto de Dados.

Ferramentas e soluções como Apache Airflow, Apache Beam, Dremio, Apache Kafka e
Snowflake estão entre as mais comuns no dia a dia de um Arquiteto de Dados e você
deve conhecer pelo menos algumas delas.

Embora programação de computadores não faça parte do trabalho de Arquitetos de

Dados, muitas das ferramentas citadas acima requerem algum conhecimento em
programação. Recomendamos conhecer bem a Linguagem Python. A DSA tem um
curso gratuito para ajudar você com isso.

18
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Arquiteto de Dados é uma das funções na área de dados com maior

crescimento previsto para os próximos anos e este é o momento ideal para
quem deseja atuar em uma função que fornece ainda alta remuneração. Há
poucos profissionais capacitados no mercado de trabalho.

Pensando nisso e mantendo seu compromisso de trazer apenas cursos de alto nível, a DSA
oferece a Formação Arquiteto de Dados, um programa completo, 100% online e 100% em
português, com diversos labs, estudos de caso e projetos.

Esse é um programa único, que vai capacitar você em uma das carreiras mais
promissoras da atualidade e ainda permitir que você realize trabalho como
freelancer ou consultor.

Clique no link abaixo, confira o programa completo e se inscreva hoje mesmo:

Formação Arquiteto de Dados

19
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Como Se Preparar?

Formação Arquiteto de Dados

Projetar Soluções de Dados Para Cultura Data-Driven

LGPD, Governança de Dados e Gestão Curso

de Metadados 01
78 h/a
Modelagem de Bancos de Dados Curso
Relacionais, Não Relacionais e Data 02
44 h/a Stores

Arquitetura e Integração de Curso

64 h/a Processos ETL e ELT 03

64 h/a Design e Automação de Curso

Lorem ipsum Pipeline
dolor adipiscing elit,de Dados
sed diam nonummy nibh euismod tincidunt ut
04

Módulos Extras de Curso

Capacitação Profissional 05

Introdução à Lógica de Programação

Sistema Operacional Linux, Docker e Kubernetes

Governança de Dados

Empreendedorismo em DS, IA e Blockchain

Com Certificado de Conclusão em Português ou Inglês Web Scraping e Análise de Dados

Soft Skills

www.datascienceacademy.com.br E-Gov Analytics

Machine Learning com Javascript e Go

Data Science e ML com Linguagem Julia

20
 Data Science Academy [email protected] 60de7b6de32fc3f66d0cb01d

Créditos
Equipe Data Science Academy

Equipe DSA, 2022, Guia de Carreira Arquiteto de Dados.

Versão 1.0
Site www.datascienceacademy.com.br

21