Big Data
Big Data
MAXUELL BISONO
MATRICULA:
19-EISN-1-119
ASIGNATURA:
DISEÑO DE CENTRO DE DATOS
DOCENTE:
VÍCTOR ESTEBAN LORENZO
SECCIÓN:
1021
ASIGNACIÓN:
EL BIG DATA Y COMO SE ASOCIA A LA MINERÍA DE DATOS.
INTRODUCCIÓN
Por otro lado, la minería de datos se presenta como una disciplina que se centra en extraer
información útil y patrones predecibles a partir de grandes conjuntos de datos. La relación
entre Big Data y la minería de datos es sin duda simbiótica; mientras que Big Data
proporciona el contexto y los datos necesarios, la minería de datos ofrece las metodologías y
herramientas que permiten desentrañar el valor oculto en esa vasta masa de información.
Este trabajo tiene como objetivo explorar las características del Big Data y la minería de
datos, detallar cómo se relacionan y cómo juntas contribuyen a la innovación y mejora en
múltiples sectores. A través de ejemplos y estudios de caso, se intentará demostrar la
importancia de esta asociación contemporánea.
Por su parte, la minería de datos (data mining) es el proceso de extraer información útil de
estos conjuntos masivos de datos, identificando patrones, anomalías y correlaciones que
pueden guiar decisiones estratégicas en áreas como marketing, detección de fraudes, análisis
predictivo, etc. Utiliza técnicas de estadística, inteligencia artificial y aprendizaje automático
para transformar datos en conocimiento.
Ambas disciplinas son interdependientes, ya que la minería de datos aprovecha el Big Data
para generar insights valiosos. Mientras Big Data se enfoca en capturar, almacenar y procesar
grandes volúmenes de datos heterogéneos, la minería de datos se encarga de analizarlos,
buscar patrones ocultos y extraer información relevante.
En resumen, Big Data provee el insumo y la minería de datos la capacidad de extraer valor de
esos datos masivos, convirtiéndolos en información accionable para las organizaciones.
Juntas, estas disciplinas están transformando la forma en que se genera conocimiento y se
toman decisiones en la era digital.
DESARROLLO
DEFINICIÓN Y CARACTERÍSTICAS
El Big Data se puede definir como un conjunto de datos que supera la capacidad de software
de procesamiento de datos convencional. Se caracteriza por cuatro V's principales:
Algunas herramientas más comunes incluyen Apache Hadoop, Apache Spark, NoSQL
databases (por ejemplo, MongoDB y Cassandra), y plataformas de procesamiento de datos en
tiempo real como Apache Kafka.
Big Data se utiliza en una variedad de industrias, desde medicina (análisis de datos de
pacientes) hasta comercio (predicción de tendencias de compra) y marketing (segmentación
de clientes).
Big Data proporciona la infraestructura necesaria para que las técnicas de minería de datos
sean efectivas y ampliadas, facilitando el análisis de datos a gran escala.
Un estudio de caso en la industria de la salud podría incluir cómo Big Data y minería de datos
ayudan a predecir brotes de enfermedades. En el retail, podrían utilizarse para optimizar la
gestión de inventarios.
Es fundamental abordar la privacidad de los datos y los sesgos en los algoritmos de minería
de datos para garantizar una utilización ética.
Tendencias emergentes
Además, la Minería de Datos es una disciplina donde confluyen muchas otras disciplinas en
el mundo científico y de negocios:
1. - Estadística
2. - Inteligencia artificial
3. - Machine Learing. Aprendizaje Maquina
4. - Sistemas de información
5. - Algoritmos
6. - Big Data
7. - Data Science . Ciencia de datos.
Las diferencias entre Minería de Datos y Big Data, son dos conceptos diferentes, Big data
es un término que se refiere a una gran cantidad de datos, mientras que la Minería de Datos
se refiere a una unidad profunda en los datos para extraer el conocimiento - patrón -
información clave de una cantidad pequeña o grande de datos.
● Aumento de ingresos.
● Comprender los segmentos y las preferencias de los clientes.
● Adquirir nuevos clientes.
● Mejora de la venta cruzada y la venta ascendente.
● Retención de clientes y fidelización.
● Incrementar el ROI de las campañas de marketing.
● Detectar fraudes.
● Identificación de riesgos crediticios.
● Seguimiento del desempeño operativo.
● Cartas de los restaurantes
● Retail – Supermercados – cuales son los artículos que se compran a la vez.
● Televisión. Estudian qué tipo de telespectadores tienen por cada tipo de
programa, para luego ofrecerles anuncios adecuados o programación a medida.
Las técnicas de minería de datos más utilizadas en el mundo del Big Data, son las siguientes:
1. Árboles de decisión
● Los árboles de decisión son diagramas lógicos que plantean, ante una
determinada situación, cuáles son las opciones de intervención posibles,
agregando sus implicaciones, costes, ventajas y desventajas. Se basan en la
aplicación de un algoritmo clasificatorio que, a partir de un nodo, desarrolla
ramas (decisiones) y determina el potencial resultado de cada una de ellas.
● Las redes neuronales son modelos que, a través del aprendizaje automático,
intentan llenar los vacíos de interpretación en un sistema. Para ello imitan, en
cierto modo, las conexiones entre neuronas que se producen en el sistema
nervioso de los seres vivos.
● Las redes neuronales se engloban dentro de las técnicas predictivas de minería de
datos y, como todo modelo de machine learning, es preciso entrenarlas con
distintos data sets con los que ir matizando los pesos de las neuronas para
asegurar la fiabilidad de sus respuestas. Existen diferentes tipos de redes
neuronales para data mining, como el perceptrón simple y el multicapa o los
mapas de Kohonen.
3. Clustering
5. Redes bayesianas
● La regresión como técnica de minería de datos toma como punto de partida una
serie histórica para, a partir de ella, predecir qué sucederá a continuación. De
manera resumida, podemos decir que, a través de este método, se localizan
regularidades dentro de los datos que permiten trazar una línea de evolución
extrapolable al futuro.
7. Modelado estadístico
Debemos tener también en cuenta que, aunque los beneficios de la Minería de Datos son
numerosos, hay algunos desafíos que vienen con el proceso. A medida que la tecnología
continúa evolucionando, las organizaciones deben mantenerse al día con el software y las
técnicas de minería de datos más recientes. Además, las empresas deben hacer todo lo posible
para crear una infraestructura de datos que priorice la seguridad, ya que dispone de datos muy
valiosos y sobre todo de terceros-consumidores. Sin el conjunto correcto de herramientas y
experiencia, es más difícil enfrentarse a estos desafíos.
La relación entre la minería de datos y big data es más que estrecha: es simbiótica. El big
data ofrece un vasto universo de información, mientras que la minería de datos proporciona
las herramientas analíticas necesarias para interpretar esa información y convertirla en
conocimiento accionable.
En este extenso océano de datos, es crucial no solo recolectar la información, sino también
extraer patrones e información que ayuden a tomar decisiones críticas de negocio. Las
avanzadas técnicas de inteligencia artificial y aprendizaje automático juegan un papel
integral en este proceso, automatizando y perfeccionando esta búsqueda de patrones y
correlaciones que de otro modo serían inextricables. Estos métodos se han vuelto
indispensables en la era del big data, permitiendo a las empresas no solo reaccionar a los
cambios del mercado, sino anticiparlos.
Entender el papel que juegan estas tecnologías en la transformación de los datos brutos en
estrategias de negocios es crucial, y es una área explorada por los expertos en los campos de
la ciencia de datos y la analítica avanzada.
La minería de datos representa una ventaja competitiva inestimable en la era digital. Permite
a las organizaciones no solo sobrevivir sino prosperar en un mercado saturado de
información. Con la implementación de técnicas de análisis y minería de datos, las empresas
pueden prever tendencias, mejorar la toma de decisiones y desbloquear nuevos caminos hacia
la innovación.
Para poder hablar de minería de datos o data mining es preciso que exista el big data, pero no
son lo mismo. El data mining también se conoce como exploración de datos y hace referencia
a las técnicas que permiten analizar el grueso de la información para detectar patrones de
conducta y tendencias que ayuden a las empresas a tomar decisiones en base a esa
información que permanecía escondida.
Comprendiendo la minería de datos
Por lo tanto, descubrir pautas de comportamientoque se encuentran ocultas entre enormes
volúmenes de información es el principal objetivo de la minería de datos.
● Formulación y pretratamiento
Aquí es cuándo comienza realmente el proceso de minería, ya que es el momento de
seleccionar la información que resultará útil y proceder a su limpieza.
● Modelado
En esta etapa se implantan los algoritmos matemáticos que definen la minería de datos a
través de la elección de las herramientas más adecuadas en cada caso. Es el momento de
configurar la información de manera que pueda resultar útil para el propósito definido en la
primera fase.
● Entrenamiento y evaluación
En este punto ya se ha construido un modelo matemático del que habrá que comprobar su
eficacia en diferentes conjuntos de datos.
● Verificación y explotación
En este último nivel es necesario revisar el modelo final e informar de los hallazgos que se
produzcan. Además, es el momento de implantar el sistema de minado.
Los analistas de datos indican que el big data cumple con las llamadas cinco uves entre sus
características:
● La inmensa cantidad de datos a analizar es la principal cualidad del big data.
● El último punto hace referencia al rendimiento que se les pueda sacar a todos esos
datos, es decir, la capacidad de transformarlos en algo productivo.
Las diferencias principales entre big data y data miningpodrían señalarse en los siguientes
puntos:
● El data mining implica una vista cercana sobre los datos, mientras que en el big data
se ocupa de una exploración general de esos datos.
● Data mining es una herramienta de vital importancia para desenterrar información que
se encuentra oculta en grandes cantidades de datos. Los datos que se manejan en la
minería pueden ser tanto grandes como pequeños, sin embargo, el big data se
relaciona más con los procesos de tratamiento voluminoso de datos.
Minería de datos y big data utilizan diferentes procedimientos para manejar la información
que analizan, pero son procesos complementarios más que antagónicos. Ambos tienen como
objetivo transformar una enorme cantidad de datos en información relevante y útil para servir
a los intereses para los que se ha decidido implementar esta tecnología.
Big data y minería de datos son campos que se han vuelto esenciales debido a que las
principales firmas de consultoría e inteligencia de mercados pronosticaron para el año 2020
que el 50% de la inversión en tecnología estaría relacionada con análisis de grandes
cantidades de datos, y que estos hechos significarían la entrada definitiva a la era digital.
Las empresas y operadores logísticos se encuentran entre los sectores que en su actividad
generan más cantidad de datos que se pueden aprovechar gracias al machine learning y big
data.
Los estudios orientados a determinar qué sectores empresariales están más preparados para
interpretar y analizar información por medio de Big data y minería de datos ubican al
transporte y almacenamiento en una posición intermedia entre los demás ámbitos con un
índice de alfabetización de datos de 75,5.
Los conceptos big data y minería de datos se relacionan con las formas de procesar grandes
cantidades de información para aprovecharla en la optimización de servicios y operaciones
empresariales.
Big data, en su definición más simple se refiere a una gran cantidad de datos. Engloba los
desarrollos tecnológicosque posibilitan tanto el almacenaje de grandes volúmenes de
información como el tratamiento y análisis de datos estructurados y no estructurados en el
menor tiempo posible para su eficaz aprovechamiento.
Las características principales del Big data son volumen, velocidad, valor y validez. Su
importancia no se centra en la gran cantidad de datos que procesa sino en el beneficio que se
puede obtener de ellos.
Data Mining es un conjunto de técnicas en las que se extrae información y mediante el uso de
algoritmos se descubren pautas de comportamiento que la convierten en datos comprensibles
y utilizables para la toma de decisiones y el planteamiento de estrategias empresariales.
Entre las acciones que la gestión del Big data posibilita al analizar y estructurar los datos que
procesa cabe destacar:
Big data y minería de datos son procesos complementarios, y a pesar de tener enfoques
distintos frente a la información que procesan y utilizar diferentes técnicas presenta ciertas
semejanzas o similitudes:
Los algoritmos usados tradicionalmente por la minería de datos son utilizados para resolver
desafíos de Big Data. Big data y Data Mining establecen una relación en la que la primera
representa el procedimiento y la segunda la herramienta con que se lleva a cabo el proceso
analítico.
Big Data y minería de datos se complementan cuando aplican sus técnicas de análisis para
detectar y adquirir información válida y clara para mejorar los procesos y la gestión
comercial de una empresa.
Entre los que cabe destacar: los procesos de aprovisionamiento, slotting y picking, la
planificación y monitoreo de rutas y recorridos de última milla, de horarios y tiempos de
entrega, información sobre condiciones climáticas, ahorro de combustible, el uso de big data
en e-commerce, comportamiento de usuarios en la red, control de existencias.
ERP, CRM, MES, SGA, son ejemplos de tendencias tecnológicas que usan técnicas de Data
Mining. Pero en general los principales usos de minería de datos se verifican en:
Las técnicas de Big data y minería de datos responden eficazmente a las necesidades de
manejo de las grandes cantidades de datos inteligentes que se generan en casi todas las
actividades actuales, para ser utilizadas como smart data.
Data Mining puede buscar correlaciones con factores externos; mientras que la correlación no
siempre indica causalidad, estas tendencias pueden ser indicadores valiosos para guiar las
decisiones de producto, canal y producción. El mismo análisis beneficia a otras partes del
negocio, desde el diseño del producto hasta la eficiencia operativa y la prestación de
servicios.
Competencia del usuario: Las herramientas de minería y análisis de datos están diseñadas
para ayudar a los usuarios y a los responsables de la toma de decisiones a tener sentido y
coaccionar el significado y la información estratégica de las masas de datos. Si bien son
altamente técnicas, estas potentes herramientas ahora están empaquetadas con un excelente
diseño de experiencia de usuario, por lo que prácticamente cualquier persona puede utilizar
estas herramientas con una formación mínima. Sin embargo, para obtener todos los
beneficios, el usuario debe comprender los datos disponibles y el contexto empresarial de la
información que busca. También deben saber, al menos en general, cómo funcionan las
herramientas y qué pueden hacer. Esto no está fuera del alcance del gerente promedio o
ejecutivo, pero es un proceso de aprendizaje y los usuarios deben dedicar un poco de esfuerzo
a desarrollar este nuevo conjunto de habilidades.
Calidad y disponibilidad de los datos: con las masas de nuevos datos, también hay masas de
datos incompletos, incorrectos, engañosos, fraudulentos, dañados o simplemente inútiles. Las
herramientas pueden ayudar a resolver todo esto, pero los usuarios deben ser continuamente
conscientes de la fuente de los datos y de su credibilidad y fiabilidad. Las preocupaciones de
privacidad también son importantes, tanto en términos de la adquisición de los datos como
del cuidado y la gestión una vez que están en su posesión.
En resumen, el big data y la minería de datos son dos conceptos interrelacionados que juegan
un papel crítico en la transformación de datos en información y conocimiento útil para la
toma de decisiones en múltiples industrias. A medida que la tecnología y las técnicas siguen
evolucionando, su impacto en el mundo empresarial y en la vida cotidiana se volverá cada
vez más significativo.
CONCLUSIÓN