Scribd
Carregar
133 visualizações40 páginas

Data Ops

A apresentação discute os desafios de implantar modelos de machine learning em produção e como DataOps pode ajudar. Ela cobre tópicos como os desafios técnicos e de negócio da implantação de modelos, como a abordagem DevOps pode ser aplicada ao machine learning e quais tecnologias como Kubeflow e Pachyderm podem facilitar o processo de DataOps.

Enviado por

Walter Angolar Da Silva
Direitos autorais
© © All Rights Reserved
Levamos muito a sério os direitos de conteúdo. Se você suspeita que este conteúdo é seu, reivindique-o aqui.
Formatos disponíveis
Baixe no formato PDF, TXT ou leia on-line no Scribd
133 visualizações40 páginas

Data Ops

A apresentação discute os desafios de implantar modelos de machine learning em produção e como DataOps pode ajudar. Ela cobre tópicos como os desafios técnicos e de negócio da implantação de modelos, como a abordagem DevOps pode ser aplicada ao machine learning e quais tecnologias como Kubeflow e Pachyderm podem facilitar o processo de DataOps.

Enviado por

Walter Angolar Da Silva
Direitos autorais
© © All Rights Reserved
Levamos muito a sério os direitos de conteúdo. Se você suspeita que este conteúdo é seu, reivindique-o aqui.
Formatos disponíveis
Baixe no formato PDF, TXT ou leia on-line no Scribd
Você está na página 1/ 40

Deploy de Modelos em Produção:

Chegou a Hora do DataOps?

Daniela Petruzalek
Development Consultant @ ThoughtWorks
Google Developer Expert
[email protected]
O Ministério da Saúde Adverte:

Esta talk contém uma alta densidade


de buzzwords.
Agenda
- Desafios do deploy de modelos
- DevOps
- DataOps
- Tecnologias
O Desafio de Negócio
Maturidade das Organizações em Data
Data no Mundo Ideal

Academia
P&D Modelo Tecnologia

Negócio Ciência de Dados Engenharia de Dados


Mas na Prática...
O Caminho para o ML: Vida Real

Academia
P&D Modelo Tecnologia

Negócio Ciência de Dados Engenharia de Dados

?????
O Desafio da Tecnologia
Fases de Preparação dos Modelos
MANUTENÇÃO DO MODELO

Coleta dos Análise Limpeza dos Validação do Monitoração /


Treinamento Deploy
Dados Exploratória Dados Modelo Teste AB

ESCOLHA DO MODELO
Fatores que Influenciam o Deploy

Tipo de Aprendizado
Tipo de Predição
Modelos: Small Data x Big Data
Processamento: Batch x Online (Real Time / Near-Real Time)
Target: Container x Cluster (Cloud vs On-premises)
Tipos de Deploy

https://www.quora.com/How-do-you-take-a-machine-learning-model-to-production
Débito Técnico Oculto em Machine Learning

https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf
DevOps
"organizations which design systems ... are
constrained to produce designs which are copies
of the communication structures of these
organizations."
- Melvin Conway, 1967
Pontos Chave na Cultura DevOps
- CALMS:
- Culture
- Automation
- Lean Management
- Measurement
- Sharing
Princípios Básicos
- Acabar com silos
- Organização de times de operações e desenvolvimento
- Divisão de conhecimento entre times, falta de colaboração
- Acidentes são normais
- Foco na recuperação rápida e não em achar culpados
- Os erros são coletivos
Princípios Básicos
- Mudanças devem ser graduais
- Mudanças devem ser pequenas e frequentes
- Continuous Integration & Continuous Deployment
- Ferramentas e cultura estão interrelacionados
- Com ferramentas erradas e a cultura certa ainda é possível sair do
outro lado
- O oposto não é verdade
Implementações de DevOps
- SRE (Google)
- PE (Facebook)
DataOps
http://dataopsmanifesto.org/
Tecnologias
https://www.kubeflow.org/
Cloud e “Clusters Efemeros”

https://hackernoon.com/why-dataproc-googles-managed-hadoop-and-spark-offering-is-a-game-changer-9f0ed183fda3
Cloud e “Clusters Efemeros”
http://www.pachyderm.io/
Questions?

[email protected]
https://linkedin.com/in/petruzalek
https://twitter.com/danicat83

Você também pode gostar