Unidade 1 - Introdugao ao Big Data - DL PTT) ae saat) pela midia interativa,E-Book Apostila Introdugao ao Big Data Old, estudante! Seja bem-vindo(a) a unidade de estudo Introdugao ao Big Data. ‘Atualmente, o tema big data desperta interesse e diividas em todas as pessoas que tém algum envolvimento com atividades relacionadas gestio da informagdo. Porém até mesmo aqueles que tém afinidade com a Tecnologia da Informago (Tl) podem encontrar dificuldades para entender do que se trata. afinal, o que é big data? Qual Sue oe rote Roa ene cece eT Aprinefpio, podemos defini big data como conjuntos de dados extremamente grandes que, por esse motivo, necessitam de ferramentas preparadas para lidar com alto volume de dados, de forma que toda e qualquer informago nesses meios possa ser encontrada, analisada ¢ aproveitada em tempo habil, Serd essa abordagem que faremos nesta unidade de estudo. Ao final deste contetido, vocé sera capaz d saber o que é big data; ‘compreender a relacdo dos dados com a sociedade da informacio, com a sociedade do conhecimento e com seu campo de atuacSe profissional;, + compreender a diferenga entre dados, informago, conhecimento; '¢ saber diferenciar os niveis de estruturacdo da informagio, oferta e utilizago em relagio a: data science, big data, inteligéncia artificial machine learning business intelligence.Book -Apostila Iniciando nossos estudos, assista ao video a seguir. a "Big Data em ago: derrubando mitos, revelando oportunidades uu": BIG Data em ago: derrubando mites, cevelando oportunidades il, HSM Experience, 2027. rN a Lhe) Oqueé Introdugo 20 paradigma cientifico baseado em dados. Organizacées orientadas a dados. Dados, informagdo, conhecimento e negécios. Big data: conceitos, definigées © aplicacées. Vamos em busca de respostas para essas questdes, a fim de entender os principais, conceitos em torno do big dataBook -Apostila Com 0 advento da internet e das Tecnologias Digitais de Informago e Comunicagio (TOCIs), a0 mesmo tempo em que so criadas solucées para as necessidades humanas, surgem outras necessidades, em especial associadas & alta demanda por tecnologia. (Clique sobre a imagem para ter acesso ao contetido).E-Book Apostila Uma das necessidades explicitas da sociedade atual aprender a lidar com a tecnologia Apesar de parecer algo natural, na verdade, nao é, tendo em vista que, com o passar dos tempos, a prépria tecnologia foi sendo moldada para atender 3 alta demanda social. Soe No ano de 2007, em Sao Paulo, uma renomada empresa multinacional de telefonia processava 13 milhdes de faturas de clientes, o que significava 13 milhdes de pessoas realizando chamadas telefénicas todos os dias, consumindo produtos, trocando planos ¢ servicos e, com isso, sistemas gigantescos e supercomputadores calculando rateios, tarifando chamadas e assim por diante. ‘Atualmente, podemos imaginar quantas faturas essa mesma empresa de telefonia deve gerar por més; algo talvez na casa dos 17 milhdes. Claro que, com tudo isso, precisarfamos de mais tecnologia em processamento e em inteligéncia de sistemas.E-Book Apostila Dentro desse contexto, podemos dizer que big data jé era algo predestinado 2 ocorrer, pois o advento do grande fluxo de dados e informacdes trocadas de modo digital tornou-o inevitével. ‘Agora, vamos entender como nasceu 0 termo big data e de que forma foi introduzido no mercado. Estudo de Caso Peter Lyman e Hal R., em outubro de 2000, na University of California, em Berkeley, publicaram: ‘How Much Information?’ Foi o primeiro estudo abrangente sobre quantificar, em termos de armazenamento de computador, a quantidade total de informacées novas e originais (sem contar cépias) criadas no mundo anualmente e armazenadas em quatro midias fisicas: papel, filme, éptico (CDs e DVDs) e magnético. 0 estudo concluiu que, em 1998, 0 mundo produziu cerca de 1,5 exabytes de informagées exclusivas, ou cerca de 250 megabytes para cada homem, mulher e crianca na Terra. Também constatou que: ‘uma grande quantidade de informacdes dinicas é criada e armazenada por individuos' Naquele periodo, em um evento chamado ‘Democratizacao dos dados’, esses mesmos autores, Lyman e Varian, afirmaram que: ‘até hoje, 2 maioria das informacdes textuais é ‘nascida digital’ e dentro de alguns anos isso também ser verdade para imagens’ Os mesmos pesquisadores identificaram que o mundo produziu cerca de 5 exabytes de novas informacSes em 2002 e que 92% das novas informagbes foram armazenadas em midia magnética, principalmente em discos rigidos. Em fevereiro de 2001, Doug Laney, analista do Grupo Meta, publicou uma nota de pesquisa intitulada ‘Gestdo de dados 3D: Controlar o volume de dados, velocidade e variedade’ Uma década mais tarde, aparecem os 3 Vs' -as trés dimensdes geralmente aceitas que definem big data e que, podemos dizer, esto vinculadas com aqueles conceitos de Laney. Em 2005, Roger Mougelas, da O'Reilly Media, cunhou o termo big data pela primeira vez, apenas um ano depois de criar o termo Web 2.0. Na época, referia-se a um grande conjunto de dados que é quase impossivel de gerenciar e processar usando as ferramentas tradicionais de business intelligence. Nesse mesmo ano, o Hadoop foi criado pelo Yahoo!, construido sobre o MapReduce do Google. O objetivo era indexar toda a World Wide Web; atualmente, o Hadoop de cédigo aberto é usado por muitas organizagées para processar grandes quantidades de dados (SILVA, 2029, on-line) / Anecessidade da analise dos dados e o bigE-Book Apostila data Em 2011, 0 relatério da McKinsey intitulado "Big Data: a préxima fronteira para inovagio, competicao e produtividade” afirma que em 2018 0s EUA enfrentariam uma escassez de 140,000-190,000 cientistas de dados, além de 1,5 milhdo de gerenciadores de dados (SILVA, 2019, on-line) Diante desse cenério, nos dltimos anos, houve um aumento considerdvel nas startups de big data, todas tentando lidar com big data e ajudar as organizagées a entenderem como considerar a enorme quantidade de dados disponiveis de modo que gere retorno para elas (SILVA, 2018). (Clique nna imagem para ter acesso ao contetido) Os dados e as informagées estdio amplamente disponiveis, porém como conseguir analisa los de modo que facam sentido para a organizaco? De que forma poderio 'gerar valor para os negécios’? ‘Agregar valor é fazer com que algo funcione da methor forma, com mais qualidade, mais desempenho e de maneira diferenciada. Entéo, quando 0 assunto é andlise de dados, agregar valor & conseguir melhorar essa andlise dos dados, algo constante quando o assunto € big data,E-Book -Apostila ‘Assim, quando um executivo fala sobre a importancia de recrutar e selecionar profissionsis que tenham a capacidade de agregar valor para a empresa, ele est se referindo & contratagdo de profissionais que no apenas executem suas atividades, mas que também saibam criticar e estudar formas de methoré-las, de modo que os resultados sejam mais satisfatérios. Isso no é diferente quando o assunto so projetos na drea de TI, pois para esses projetos, geralmente, so indicados profissionais com essa capacidade. Contudo é fundamental que esses analistas tenham claro 0 conceito de dados. ORS nese eC eee cn Ret Pee eet eae eaten O ambiente de negécios e das empresas apresenta, como principais caracteristicas, mudancas profundas, atualizagdes continuas e uma utilizagdo ampla e intensa da informagao. Nesse contexto, © planejamento estratégico de sistemas de informagao permite uma melhor avaliagao de investimentos em tecnologia e sistemas, cujos beneficios, muitas vezes, so intangiveis e apresentam um grande potencial no aperfeicoamento de processos decisérios e na obtenco de um methor desempenho organizacional. Vamos ver como trabalhar com a informacdo, mas, antes, precisarnos entender melhor os dados. Dados Dados so recursos de matéria-prima processados em produtos acabados de informagio, so, basicamente, a matéria-prima da informacao. A definigdo mais basica de um dado estabelece que, se ele estiver sé, nao faz sentido, de modo que precisa de informacées, ou seja, complementos informacionais e, até mesmo, contextuais, para que tenha sentido e possa gerar algum conhecimento. CTEE-Book Apostila Para entender o que é um dado e 0 que é uma informagao, podemos pensar no niimero 25, Que lembranca esse niimero traz para voce? Bem, caso nao seja seu aniversério ou alguma data especial, pode ser visto apenas como um nimero qualquer. Porém se adicionarmos o contexto de 25 de dezembro, podemos associé-lo as festividades natalinas. € dessa forma que uma informagao ¢ tida, na jun¢ao do dado bruto com um contexto. Podemos verificar que dados e informagdes séo atributos distintos, mas como diferencié-los? Confira a tabela a seguir. TABELA 1 - Dado, informagao e conhecimento Dado Informacio Conhecimento Informagao valiosa da mente humana. Inclui reflexdo, sintese, Simples observagdes sobre o estado do mundo. Nao tem valor Dados dotados de relevinciae COnte**®: Geralmente ¢ dificil ée ser formalizado ou explicado a outra pessoa, pois € subjetivoe inerente as habilidades de uma algum para embasar conclusdes.propésito. ou para respaldar decisées. pessoa + Facilmente estruturado, + Facilmente obtide por a G * Requer unidade de * De dificil estruturacao. maquinas anilise. + De dificil captura em + Frequentemente 5 + Exige consenso em méquinas, quantificado, ordenado e ; a ees relagio 20 significado. ¢ Nao formalmente cee ansmitide, | * BBE a mediagio expresso, + Faciimente transmitide humana, + De dificil transferéncia + Permite realizagio de célculos e operagées. DAVENPORT FRUSAK, 198 [ADAETADAL FIGURA 1 - Dado, informagao e conhecimentoE-Book -Apostila ‘xamoeagto 00 auToR, 2023, @ atencio A informagao, por sua vez, é 0 resultado do processamento dos dados, éa consolidago dos dados de maneira a fundamentar o conhecimento. Dados, informagao e conhecimento relacionam-se de forma inerente, sendo que o conhecimento ocupa lugar de destaque. A partir de um conjunto de dados, temos os chamados datasets (ou conjuntos de dados). Os datasets so 0 principal insumo dos processos de andlise de dados, trata-se de um arquivo que contém centenas, e até milhares, de dados sobre um determinado assunto. Esse arquivo pode vir na forma de uma planilha no Excel (XLS), de um arquivo CSV, TXT, JSON e até XML. Resumidamente: dataset é um conjunto de dados organizado em linhas e colunas que utilizamos para anélise de dados e estatistica. Com o aumento significative da quantidade de dados gerados pela internet e com o surgimento das midias sociais, é necessério gerenciar e armazenar as informagées de maneira organizada. Esses dados podem ser classificados em estruturados, nao estruturados e semiestruturados, com base no gerenciamento e no armazenamento. 10-54E-Book -Apostila Pere eC oe Dados estruturados séo aqueles que possuem formato e comprimento definido, como ntimeros, datas e grupos de palavras. Em geral, uma base de dados usada em sistemas informatizados convencionais é organizada de forma que se tenham dados armazenados em estruturas tubulares, nas quais as linhas armazenam uma ocorréncia de um evento, caracterizado por um conjunto de colunas que representam caracteristicas que descrevem um exemplar (instncia) daquele evento. Na maioria dos casos, os dados estruturados so resultados de processos de geracdo de dados inerentes a sistemas transacionais ou resultantes de observagdes e de processos de medica. Esses dados, geralmente, so armazenados em um conjunto de tabelas relacionadas entre si. Pena Dados nao estruturados sdo aqueles que ndo seguem um formato especifico, como imagens de satélite, dados cientificos, fotografias e videos, texto préprio de empresas e dados de midias sociais. Esse tipo de dado requer dispositivos de armazenamento e processamento que suportem seu formato e garantam melhor eficiéncia em suas anélises. Dee Cee et Cd E possivel definir dados semiestruturados como um meio-termo entre a estruturacao ea total falta de estruturagio. Como exemplo de dados semiestruturados, temos os contedidos disponibilizados na web, acompanhados de tags e arquivos XML. As figuras da sequéncia ilustram com mais detalhes como esto organizados esses tipos de dados: FIGURA 2 - Tipos de dados an-s4E-Book -Apostila 20% EsTRUTURADO—\, Linas ecolunas 80% 7 NiO ESTRUTURADO ‘Anexos de e-mail Audio/video Contratos Documentos Faturas. Formularios Imagens Manuais Mensagens instantaneas Paginas Web PDFs Raiso-X ich media Veriticacoes FIGURA 3 - Dados estruturados, semiestruturados e nanoestruturados ‘URVERSIOADE DA TECWOLOGIA, 2028 |ADAFTADA.Book -Apostila Big datae os 5 Vs FIGURA 4 - Big data eee peas eee eee 928099 G13 ND898 323 B28 BOY BoE zB ALN B 2G5B: Re a ee fC) CO Lec 0 principal objetivo do desenvolvimento de solugdes de big data é oferecer uma abordagem consistente no tratamento do constante crescimento e da complexidade dos dados, Para isso, voce precisa considerar o conceito dos 5 Vs que caracterizam big data: © volume, a velocidade, a variedade, a veracidade e o valor. A seguir, descrevemos brevemente cada um desses 5 Vs. (Clique nas setas para navegar pelo contetido). Volume - trata-se do volume didrio de troca de e-mails, transacdes bancérias, interagées em redes sociais, registro de chamadas e tréfego de dados em linhas telefénicas. Essas situagdes servem de ponto de partida para a compreensio do volume de dados presente no mundo atual. € importante compreender que o conceito de volume é relativo a variavel tempo, ou seja, 0 que é grande hoje pode ser nada amanha. Velocidade - as empresas necessitam de dados atuais sobre seus negécios, por isso a importéncia da velocidade, pois, em algum momento, deveré existir uma ferramenta capaz de analisar os dados em tempo real. Atualmente, os dados sio analisados apés serem armazenados, mas o tempo alocado para o armazenamento em si jé desclassifica esse tipo de anélise como uma 100% em tempo real 13-58E-Book -Apostila Variedade - atualmente, 0s dados no so estruturados e armazenados em tabelas relacionais, pois. uma grande variedade deles, como mensagens, fotos, videos e sons, torna mais complexa a andlise desses dados. Os nao estruturados podem ser administrados juntamente aos dados tradicionais. Veracidade - para colher bons frutos do processo de big data, é necessério obter dados veridicos de acordo com a realidade. 0 conceito de velocidade, jé descrito, é bem alinhado ao conceito de veracidade pela necessidade constante de andlise em tempo real - isso porque dados passados nao podem ser considerados veridicos para o momento da anidlise. Valor - quanto maior for a riqueza de dados, mais importante sera saber realizar as perguntas certas 1 inicio de todo processo de andlise. € necessério estar focado para a orientagdo do negécio e para o valor que a coleta e a anélise dos dados trardo a ele. Nao é vidvel realizar todo 0 processo de big data se nao houver questionamentos que ajudem o negécio de modo realistico, No podcast a seguir, so apresentados os beneficios que os 5 Vs do big data trazem as empresas. Ouga com atencao. U Podcast SECC Sats @ atencio As tecnologias que sustentam a aplicaco de big data podem ser categorizadas sob duas perspectivas, as ferramentas de andlise (analytics) e as tecnologias de Infraestrutura, que servem para processar e armazenar os grandes volumes de dados. Big data nao se resume a um grande volume de dados nao estruturados, mas também inclui as tecnologias que possibilitam o processamento e a andlise dos dados. A tecnologia associada ao big data possibilita a criacdo de modelos estatisticos que servem para otimizar e prever os dados. 14-58E-Book Apostila A seguir, voc® verd uma lista de alguns exemplos de tecnologias relacionadas 2o big data. ‘+ Hadoop: plataforma de software em Java, de computacdo distribuida voltada para clusters e para o processamento de grandes volumes de dados, com suporte a tolerancia a falhas. ‘+ Map Reduce: é um framework desenvolvido pela Google para suportar computacdes paralelas em grandes colegdes de dados em clusters de computadores. + Linguagens de script como Python, ‘+ Visual analytics: método de andlises em grandes volumes de dados com safda em formato visual ou gréfico. ‘+ Processamento de linguagem natural (PLN): conceito de inteligéncia linguagens de programacio adequadas ao big data, artificial que permite a andlise de textos. : processamento de big data realizado na meméria + In-memory analyt do computador com o objetivo de aumentar a velocidade das anilises. 0 advento da tecnologia in-memory analytics colabora muito com a velocidade de processamento, pois evita que os dados sejam_ armazenados em disco. De acordo com Cezar Taurion (2013), em seu livro "Big Data", 3 medida que big data insere-se nas empresas, os préprios conceitos de gestdo, baseados em “orientagao a suposigdes", passarao a ser orientados a fatos. A razio é simples: um imenso volume de dados permitiré fazer analises antes inimaginaveis sobre dados, examinando fatos e fazendo previsdes com muito mais preciso. Essas analises preditivas demandam uma capacitagdo que envolve estatistica, matemética e conhecimento de negécios, que & bem diferente das atividades dos analistas envolvidos com ferramentas de business intelligence (BI) hoje, mais preocupados em criar gréficos e dashboards para mostrar dados passados, 15-54E-Book -Apostila Hoje, a maioria das acdes de business intelligence (BI) envolve dados armazenados em data warehouse ao longo do tempo e apenas consegue visualizar retrospectivas. Chegar a andlises preditivas é um passo que no se dé de um dia para o outro. O cientista de dados vai trabalhar em uma disciplina que podemos chamar “Data Science” ou “Ciéncia dos Dados”. Esse é 0 grande desafio do big data nos préximos anos. Sobre ciéncia de dados: é utilizada com o intuito de aplicar, nos dados, conceitos multidisciplinares que, na maioria das vezes, esto inseridos no contexto de uma grande quantidade de dados. 0 termo “ciéncia” é utilizado quando aplicamos um cunho investigative sobre algo; aqui, esté atrelado aos dados, j4 que, a partir do uso de métodos cientificos de busca, questionamentos e pesquisas, visa explorar os dados e, com isso, formular possiveis hipéteses por meio da aplicagio de técnicas e de ferramentas estatisticas. Inteligéncia Artificial (IA) Ouga o podcast a seguir, que aborda o tema que vamos estudar agora, U Podcast See EE aes Além do que acabamos de ouvir, existem muitas outras definigdes para inteligéncia artificial, algumas das mais comuns sao as seguintes: (clique nas setas para ter acesso ao contetido) '¢ acapacidade de um computador digital ou de um robé controlado por computador ‘executar tarefas comumente associadas a seres inteligentes; * uma maquina completando as tarefas que envolvem certo grau de inteligéncia, que anteriormente eram consideradas apenas para serem feitas por humanos; 16-58E-Book -Apostila ‘+ a simulago de processos de inteligéncia humans por maquinas, especialmente sistemas de computador. Esses processos incluem aprendizado, raciocinio e autocorrega ‘+ acapacidade de uma méquina para imitar o comportamento humano inteligente. Na drea da inteligéncia artificial, hd quatro técnicas que so os pilares principais que permitem seus principais avancos. Confira. (Clique em (+) para ter acesso ao contetido). eter ure) A inteligéncia artificial requer muitos dados relevantes para o problema que est sendo resolvido. O primeiro passo para construir uma soluco de inteligéncia artifical é criar a “métrica de intencdo de projeto”, usada para categorizar 0 problema, Independentemente de os usuérios tentarem construir um sistema que possa, por exemplo, ajudar um médico a diagnosticar 0 cdncer ou ajudar um administrador de Tl a diagnosticar problemas de redes sem fio, os usuérios precisam definir métricas que permitam que o problema seja dividido em partes menores. Em redes sem fio, por exemplo, as principais métricas so tempo de conexio do usuério, taxa de transferéncia, cobertura e roaming. No diagnéstico de cncer, as principais medidas so contagem de células brancas, etnia e exames de raios X. Depois que os usuérios tiverem 0 problema categorizado em dreas diferentes, o préximo passo é ter classificadores para cada categoria, que apontardo os usudrios na dirego de uma conclusio significativa. Por exemplo, ao treinar um sistema de inteligéncia artificial para jogar 0 Jeopardy, os usuérios devem, primeiro, classificar uma questo como sendo de natureza literal ou um jogo de palavras e, entdo, classificar por tempo, pessoa, coisa ou lugar. Em redes sem fio, uma vez que os usudrios saibam a categoria de um problema (por exemplo, um problema pré ou pés-conexdo), precisam comecar a classificar o que esté causando 0 problema: associagdo, autentica¢do, Dynamic Host Configuration Protocol (DHCP) ou outras causas, com fio e fatores de dispositivo. 37-54E-Book -Apostila Agora que o problema é dividido em partes de metadados especificas do dominio, os usuarios esto prontos para fornecer essas informacSes a0 mundo magico e poderoso do aprendizado de maquina. Existem muitos algoritmos e técnicas de aprendizado de maquina, como aprendizado de maquina supervisionado usando redes neurais (ou seja, aprendizado profundo) tornando-se uma das abordagens mais populares. 0 conceito de redes neurais existe desde 11949, mas com os mais recentes aumentos nos recursos de computagdo e armazenamento, as redes neurais esto sendo treinadas para resolver uma variedade de problemas do mundo real, desde o reconhecimento de imagens e processamento de linguagem natural até a previsio do desempenho da rede, Outras aplicacdes incluem descoberta de caracteristicas de anomalias, deteccdo de anomalias de séries temporais e correlacdo de eventos para andlise de causa. eee RSA E Teh) A maior das pessoas experimentam filtragem colaborativa quando escolhem um filme na Netflix ou compram algo da Amazon e recebem recomendacées para outros filmes ou itens de que possam gostar. Além dos recomendadores, a filtragem colaborativa também é usada para lassificar grandes conjuntos de dados e colocar uma face em uma solucao de IA. E onde toda a coleta e andlise de dados é transformada em insight ou acdo significativa. Seja usada em um game show, por um médico ou por um administrador de rede, a filtragem colaborativa é 0 meio de fornecer respostas com alto grau de confianga. £ como um assistente virtual que ajuda a resolver problemas complexos. Uma das caracteristicas mais interessantes da IA é a capacidade de os sistemas aprenderem com 0 Uso, ou seja, quanto mais so utilizados, mais inteligentes e eficientes se tornam. A capacidade de aprender é um grande diferencial da inteligéncia artificial e tal caracteristica faz com que um sistema computacional aproxime-se de nés, seres humanos. Entre diversos exemplos da aplicacao de inteligéncia artificial em nosso cotidiano, podemos citar relégios inteligentes que podem monitorar todos os indicadores vitais do usudrio e avisar quando algum deles entra em descompasso com o esperado; nesse caso, pode, ainda, compartilhar, com a permisséo do usuario, essas informagdes com outras pessoas conhecidas. 18-58E-Book -Apostila Um exemplo pritico desses tipos de dispositivos é o Apple Watch - um relégio inteligente que, segundo o fabricante, foi feito para inspirar uma vida mais saudavel. Entre mi funcionalidades, esse reldgio monitora 0 cora¢do, avisando se algum descompasso surgir, além disso, disp&e de recursos que ajudam a prevenir quedas de usuérios idosos ou um mal sibito. Nao é di aplicagio de IA em grande escala ~ carros mais seguros, jogos e filmes cada vez mais reais, sistemas il imaginar, pela propor¢do dos acontecimentos tecnolégicos, que a grande tendéncia éa de seguranga com mais eficiéncia, enfim, tudo 0 que ja existe serd aperfeicoado e, ainda, novos equipamentos surgirdo, suplantando a eficiéncia dos anteriores. Nesse sentido, podemos visualizar uma invasdo de startups para suportar as novas tecnologias baseadas em IA. Tech Talks: IA, data science e machine learning ence 2 mashing learning 19-54E-Book Apostila Na primeira temporada do podcast da SingularityU Brazil, Tech Talks, batemos um papo com o egresso do ITA e MIT, Caio Ishizaka, diretor de Data da Red Venture s e Gabriela de Queiroz, gerente de Data da IBMe fundadora da Al Inclusive, uma organizac3o cujo objetivo é aumentar a representacdo e participacao de grupos de minorias de género na inteligéncia artificial. O que diferencia Data Science de Inteligéncia Ar jal e de Machine Learning? GQ - Essa é uma pergunta que sempre nos fazem porque essas palavras se misturam e tém muito overlap. As vezes vocé esta falando de data Science, mas se refere mais a parte de inteligéncia artificial ou de machine learning. Tem uma defini¢éo que acho muito legal do David Robson, em que ele fala “Data Science é vocé produzir insights, em machine learning vocé produz predicées e na inteligéncia artificial vocé produz acdes”. Mas ha muita coisa em comum entre os trés. Nés, que somos profissionais dessa area, entramos e saimos desses campos a todo instante. 20-54E-Book Apostila Muito se fala da Inteligéncia Artificial ter um hype e chamar atengo, aqui no Vale do Silicio o pessoal brinca que “quando uma empresa esta procurando investidor, diz que esta trabalhando com inteligéncia artificial. Quando esta procurando funcionérios, diz que estd trabalhando com machine learning. Quando esta procurando resolucdes de problemas, esta fazendo regress&o linear. E, quando est resolvendo o problema, esta sé fazendo um print statement”. CI* *- Usamos muito 0 machine learning como ferramenta para a inteligéncia artificial, mas ndo apenas para isso. Quando vocé faz um modelo, pode estar apenas tracando uma anilise, nado necessariamente criando um robé com IA, capaz de tomar decisdes. Assim como nem todo modelo de Inteligéncia Artificial tem um algoritmo de machine learning por tras. Um exemplo que gosto de dar so os videogames. 0 jogo “Pong” consistia em possuir uma raquete e utilizd-la contra o computador e, ali, a maquina ja era capaz de simular 0 comportamento de um oponente humano. Isso pode ser considerado IA sem machine learning. Uma defini¢ao que eu gosto muito para Machine Learning é 0 de que é: 0 processo de uma maquina aprender com as suas préprias experiéncias. 21-56E-Book Apostila Um dos problemas das tecnologias exponenciais é, justamente, a velocidade com que as coisas mudam. Enquanto muitos de nés ainda estamos tentando entender os mecanismos do machine learning, 0 deep learning ja esta na boca da comunidade cientifica. Quais sio suas percepgées sobre a pauta? Cl - O deep learning é uma ferramenta que esta no repertério do machine learning. Tragando o paralelo, temos a matematica e abaixo dela disciplinas como geometria, aritmética, Algebra. A aritmética esta para a matematica assim como o deep learning esta para a machine learning. Essa tecnologia vem sendo muito comentada porque ali estéo os avancos de reconhecimento de imagem e reconhecimento de texto; muitos dos modelos est&o utilizando essa ferramenta. O IBM Watson, por exemplo, permite que vocé faga uma pergunta em formato de texto e ele te traga respostas. Ha muito uso do deep learning por tras. Entdo, nao se sintam alarmados, o deep learning é apenas uma ferramenta a mais. GQ - Deep Learning é uma palavra quente, que esto todos falando, mas nao quer dizer que estdo todos usando. Ainda usamos modelos mais simples para resolver nossos problemas do dia a dia. Mas, realmente, questdes relacionadas a imagem, video e texto puderam comecar a serem resolvidos com a entrada do deep learning; que é um campo antigo. 22-58E-Book Apostila Antes, nao tinhamos o poder computacional que temos agora. Usamos 0 deep learning mais amplamente agora por existir essa capacidade de aplicagao. Um bom exemplo do quanto ele esta disseminado é a alfandega dos aeroportos. Uma cdmera escaneia todas as pessoas que est&o passando, fazendo o reconhecimento facial e casando com uma infinidade de informacées: nome, destino, ficha criminal. Isso jd € uma aplicacao diaria O reconhecimento facial é uma pauta polémica carregada de equivocos propagados pelo cinema, nas produgées de fic¢ao cientifica, sobre a pos: lidade dos robés serem auto Isso faz algum sentido? GQ - Muitas coisas da ficc3o cientifica est’o realmente caminhando na direcao da realidade futura, os carros auténomos s4o o grande exemplo disso. Mas os responsaveis por ensinar os robés somos nés que estamos criando algoritmos, os robés que sdo altamente dependentes. Os algoritmos sao bem fidedignos as pessoas que os criaram. 23-58E-Book Apostila Cl-A melhor e pior coisa sobre o computador é que ele faz exatamente 0 que vocé manda. O papel de quem estd treinando o computador é fundamental. O préprio machine learning nao aprende sozinho, vocé direciona © que ele tem que aprender. Muitos estudiosos abordam a “singularidade”, que € o momento em que as maquinas conseguiriam replicar um ser humano perfeitamente, mas essa é ainda uma discussdo sem conclusao possivel. Hoje nao existem maquinas que aprendem por si s6, mas maquinas que aprendem a executar 0 que sdo instru(das a fazerem. Vocés acham que algum dia a automacio dara cabo aos cientistas de dados? Cl - Essa é uma pergunta bastante dificil de ser respondida. Em programaco se diz que “todo programador tem 0 objetivo maximo de se eliminar do trabalho”. Tudo que ele faz, gostaria de automatizar. Ciéncia de dados é parecido, ninguém quer ficar fazendo o mesmo modelo todos os dias. 24-58E-Book Apostila Estamos entrando na era dos carros auténomos, por exemplo, e hd toda uma discussao sobre o que sera feito com o emprego de milhdes de motoristas de caminhao. No campo do direito, vocé ja vé robés tecendo textos e defesas inteiras a partir do que foi alimentado. Recentemente, foi divulgado o novo releas e do GPT-3 que é uma inteligéncia artificial de construgao de texto, vocé dé um prompt para ela com pardgrafos de poucas linhas e ela redige um texto inteiro a partir daquilo. Entdo, sera que o trabalho de redator também esté sob perigo? Hoje, ainda estamos seguros, mas por quanto tempo? Eu nao sei. GQ - Quanto mais a IA avanga, mais riscos traz aos empregos humanos, e precisamos nos questionar: quais so os empregos que gostarfamos que maquinas fizessem? Quais sd0 os empregos que gostariamos que os humanos fizessem? Ainda vivemos na era romantica, em que a tecnologia traz mais empregos do que tira. Mas, sim, ha um futuro mais macabro que isso. Vocé pode escutar esse episddio na integra neste link. A segunda temporada de podcasts da SingularityU Brazil, Tech Talks, estreia dia 29 de marco. Para acompanhar, siga nosso perfil no Spotify. OSM Experience 25-58E-Book -Apostila No texto a seguir, especialistas trouxeram luz ao ainda pouco compreendido universo dos modelos de aprendizagem de méquinas, em um bate-papo inspirador com Caio Ishizaka, diretor de data da Red Ventures, e Gabriela de Queiroz, gerente de data da IBM e fundadora da Al Inclusive, uma organizacao cujo objetivo é aumentar a representacio e a participagao de grupos de minorias de género na inteligéncia artificial. Leia o texto "Big data: como montar o quebra-cabeca": 3 Cosy montaro 8 Dru-cubecy és Nao é segredo que o big data oferece um enorme potencial de negécios as empresas. Todo executivo sénior do planeta ja sabe disso. Bem menos conhecidas, contudo, sao as etapas pelas quais as organizagées devem passar para identificar esse potencial. Mesmo com todo 0 entusiasmo justificdvel, muitas delas nao o aproveitam completamente - ou, pior, deixam-no para a concorréncia. 26-54E-Book Apostila As solucées de big data podem ser mais flexiveis, mais escalaveis e mais econémicas do que nunca, mas requerem muitas mudangas das empresas - mudancas nado apenas no modo como os dados sao coletados, analisados, armazenados e usados, mas também no acesso e na protecdo deles, na interagdo com consumidores que possuem informacées vitais e na maneira como aproveitam novas habilidades e tecnologias. As empresas terao de adotar novas parcerias, estruturas organizacionais e até ideologias por conta do big data. Para muitas, o desafio do big data parecerd demasiado, mas nao precisa ser assim. Componentes Consideramos util dividir o big data em trés componentes principais: uso de dados, motor de dados e ecossistema de dados. * Uso de dados: identificando oportunidades e construindo confianga. As empresas devem criar uma cultura que encoraje experiéncias e apoie um processo de ideagao voltado para os dados. Também precisam focar a confianca, ndo apenas construindo-a com os consumidores, mas exercendo-a como arma competitiva. Companhias que usam dados 27-58E-Book Apostila de maneira transparente e responsavel terdo mais acesso a mais informagées do que aquelas que nao fazem esse uso. Motor de dados: estabelecendo uma base técnica e moldando a organizacao. Plataformas técnicas rapidas, escalaveis e flexiveis o bastante para atender a diferentes tipos de aplicacées so fundamentais, assim como o conjunto de habilidades necessario para construi-las e administrd-las. Essas novas plataformas serao, em geral, notavelmente econdmicas, usando hardwares basicos e alavancando tecnologias em nuvem e de cédigo aberto. No entanto, sua natureza de miultiplos fins significa que muitas vezes elas se localizarao fora das unidades de negocios. £ fundamental, portanto, ligd-las a essas unidades e seus objetivos, prioridades e competéncias. As organizagdes também precisarao colocar em uso os insights que adquii rem no big data, incorporando-os em processos operacionais, em tempo real ou perto disso. Ecossistema de dados: participando de um ecossistema de big data e criando relacdes. O big data gera oportunidades que muitas vezes nao estdo nos negocios ou mercados tradicionais de uma empresa. Parcerias seréo cada vez mais necessarias 28-54E-Book Apostila para obter dados, conhecimento, capacidades ou clientes. As empresas devem identificar as relagdes certas -e manté-las. Competéncias As organizacdes podem implantar um quadro sélido para materializar o big data de maneira bem-sucedida pondo para funcionar seis competéncias, duas para cada componente. 1- Identificar oportunidades 0 big data pode agregar valor ao negécio de varias maneiras, mas as oportunidades de inovar mais com dados - potencialmente mais lucrativas - provavelmente nao serdo muito aparentes. As empresas precisam criar um ambiente no qual novas aplicagdes de dados possam ser rapidamente identificadas e desenvolvidas; é isso que vai diferencid- las da concorréncia. O melhor caminho é, portanto, uma cultura em que seja crucial encorajar experimentos e solucées inovadoras, além de ampla gama de talentos, que vao desde habilidades com dados cientificos até dominio empresarial. 29-54E-Book Apostila Apesar de parecer um desafio formidavel, criar um processo de ideacao voltado para dados no é tio dificil quanto se pensa. Ele envolve trés etapas principais: Encorajar ideias nao tradicionais. A exploragao de novas aplicagdes de dados tem de ser encorajada em todos os niveis da organizaco, dando aos colaboradores tempo e recursos para que desenvolvam suas ideias. Os experimentos precisam de direcionamento, no entanto; eles tem de comecar por um problema da empresa. O problema de uma grande fabricante de automéveis, por exemplo, foi desenvolver usos inovadores para os dados coletados e transmitidos por sensores dos carros e, para isso, a organizacdo montou uma equipe especial. Tal iniciativa enviou aos funcionarios uma mensagem clara: solucdes novas e criativas nao sao apenas bem- vindas; elas constituem uma prioridade da empresa. Fomentar a colaboracio entre profissionais de dados e outros. A ampla variedade de conhecimentos necessarios para identificar e desenvolver aplicacdes - em ciéncia de dados e analytics, em novas tecnologias € em novos negécios - raramente sera adquirida por um Unico individuo. Tais 30-58E-Book Apostila esforcos tendem a exigir habilidades de muitas pessoas, localizadas em toda a organizagao. Isso torna vital a criacado de fortes ligagdes entre profissionais que provavelmente tém histéricos muito diferentes e pouca experiéncia de trabalhar juntos. O didlogo frequente e a colabora¢do continua ajudarao essas equipes interdisciplinares a priorizar os problemas e oportunidades mais relevantes para a empresa. Processos formais podem estimular a colaboragéo, bem como um “empurrSozinho de cima para baixo” mais informal. Adotar uma abordagem “teste e aprenda’”. Velocidade e agilidade sao essenciais para a criagdo de aplicagées de big data. A regra deve ser ciclos curtos, desenvolvimento iterativo e pilotos frequentes. Correr riscos é uma atitude que precisa ser encorajada, e os erros devem ser aceitos. O big data ainda éum territério pouquissimo explorado e, nele, até o desapontamento pode ensinar muito - ou, pelo menos, um desapontamento cuidadosamente analisado. 2- Construir confianga 31-58E-Book Apostila O acesso a informacao, em grande parte de natureza pessoal, é fundamental para extrair valor de aplicacdes de big data. No entanto, os consumidores se preocupam cada vez mais com o modo como as empresas usardo as informagées que acessam sobre eles. O BCG entrevistou aproximadamente 10 mil consumidores, de paises desenvolvidos e em desenvolvimento, para uma edicio recente da pesquisa Global Consumer Sentiment e descobriu que apenas 7% se sentem confortaveis com a possibilidade de seus dados serem utilizados fora do propésito para 0 qual foram coletados. Ganhar a vantagem da confianga é a chave: s6 7% dos consumidores confiam no uso de seus dados Ou seja, usar os dados de maneira responsavel, clara e transparente é preciso. Se o fizerem, as empresas podem diminuir as preocupacoes € o ceticismo dos consumidores e ganhar uma importante vantagem competitiva. 32-58E-Book Apostila As organizacdes que conseguirem construir confianga serao mais bem-sucedidas na aquisi¢ao e uso de dados confidenciais. Acessarao os consumidores de um modo que empresas menos abertas e disponiveis nao conseguirao. 0 BCG chama isso de “vantagem da confianga” e a traduz em nimeros: as organizagdes que administrarem bem a confianga serao recompensadas com cinco a dez vezes mais acesso aos consumidores — na maioria dos paises. O que é administrar bem a confianga? Isso implica ao menos trés praticas: * Informar com clareza como os dados serao usados. E fundamental nao se prender aos padres. A linguagem que explica como dados pessoais sao usados deve ser concisa e facil de entender e ter um tom vivido - também precisa ter destaque e nao ficar escondida na parte inferior de uma pagina de web. E importante deixar claro, ainda, 0 que nao serd feito com as informagées (por exemplo, que as informacées nao serao compartilhadas em midias sociais). © Oferecer escolhas e controle. Deve-se evitar uma abordagem Unica em relacao as permissGes de uso de dados. Em vez de um amplo opt-in que autorize todos os usos ou de um amplo opt-out que profba tudo, é preciso permitir que os individuos escolham 33-58E-Book Apostila 0S usos especificos que aprovarao ou proibirdo. Isso [hes dé maior controle sobre como seus dados sao usados, 0 que pode influenciar sua decisdo sobre se devem ou no compartilhar informagées. Enfatizar os beneficios do uso de dados. O sucesso de sites como Facebook e Google demonstra que os usudrios compartilham informagées pessoais quando recebem algo valioso em troca. Deixando claro o que eles tém a ganhar - funcionalidades avangadas, produtos melhorados, propagandas Uteis e assim por diante -, as empresas conseguem mostrar que essa é uma via de duas maos. Compartilhar informagées tem de valer a pena. 3- Estabelecer a plataforma O relacionamento com dados é antigo nas empresas, esse passado muitas vezes pode se voltar contra elas no caso do big data. A experiéncia acumulada ensina a elas, por exemplo, que sua infraestrutura de tecnologia da informacao (TI!) deve ser grande, rigida e cara, formada por sistemas complexos customizados para uma tarefa particular e alimentada por dados minuciosamente refinados. 34-58E-Book Apostila Ocorre que o big data é uma experiéncia muito diferente disso, com tecnologias, requisitos e possibilidades diversos. Se desejam explorar completamente as novas oportunidades, de maneira rdpida e com boa relacdo custo-beneficio, as empresas precisam entender como a T| mudou e desenvolver as proprias plataformas de dados em conformidade com essa mudanga. A infraestrutura de dados tradicional, que depende de servidores de dados centralizados e altamente estruturados, nao é mais a Unica op¢ao. Muitas das novas ferramentas, como as baseadas no Apache Hadoop (uma estrutura de codigo aberto que permite as aplicag6es alavancarem dados distribuidos em maquinas comuns), sdo mais flexiveis, bem mais baratas e rapidas de implementar do que a infraestrutura tradicional. A Tl analitica também pode ser rapidamente implementada. Além do Hadoop, ha a Amazon Web Services, a SAP HANA e outras. Essas novas ferramentas de dados tém um potencial extraordindrio, embora também estejam sujeitas a questionamentos: 0 que acontece com os sistemas existentes? Como as ideias coletadas por meio de uma analise de dados inovadora s4o colocadas em operacao? E talvez a pergunta mais importante: como a base técnica que as empresas estabelecem hoje pode apoiar as aplicacées de dados de amanha? 35-58E-Book Apostila Flexibilidade é crucial nao apenas para garantir velocidade e eficiéncia, mas também para conquistar vantagem competitiva. Para obter e manter uma vantagem, as empresas precisam implantar rapidamente novos usos de dados sem aumentar os custos na mesma velocidade. Ferramentas novas como 0 hadoop podem ser melhores do jonais tecnologias SQL Analisamos diversos casos nessa area e chegamos a conclusdo de que trés orientagdes sao particularmente Gteis para construir a plataforma ideal do big data: e Usar uma plataforma de dados escalavel e polivalente. Implementar uma plataforma de abrangéncia corporativa ajuda a evitar 0 problema da “anarquia de dados”, na qual unidades de negocios diferentes utilizam fontes de dados duplicadas ou conflitantes. Quando todos impulsionam uma Unica fonte, “de referéncia”, a consisténcia dos dados é garantida. Essa plataforma deve ser construida por meio de tecnologias facilmente escalaveis, que viabilizarao a implementacdo de aplicagdes futuras. Aqui, ferramentas de dados distribufdos, como o Hadoop, levam vantagem sobre as 36-58E-Book Apostila tecnologias mais tradicionais de SQL (linguagem de consulta estruturada, na sigla em inglés), pois conseguem trabalhar com as informagGes de maneira natural e nado estruturada onde quer que estas estejam. Nao eliminar os sistemas existentes - ainda. Apesar de as tecnologias SQL nao oferecerem tanta flexibilidade como as ferramentas mais recentes, elas sao maduras e trabalham bem com dados essenciais. Assim, as empresas que jd investiram nesses sistemas devem levar em conta uma abordagem complementar: manter os sistemas existentes, por enquanto, mas incorporar ferramentas mais novas onde for apropriado - por exemplo, na alavancagem de dados no estruturados que ficam cada vez mais disponiveis a elas. Essa abordagem também lhes permite que se especializem nas novas ferramentas, facilitando uma transi¢ao para as tecnologias de dados distribuidos - transi¢o que muitas empresas devem realizar nos préximos cinco anos. Ajustar processos operacionais para alavancar ideias rapidamente. O que as vezes se perde na discussdo sobre o big data €0 fato de que a base técnica é composta de duas partes: a tecnologia que apoia o analytics e a tecnologia que coloca os 37-58