DEEP LEARNING.

Mosquera Ocampo Jhon Sebastián, Ruiz Moyano Daniel Felipe, Guzmán Reyes Daniel Enrique
[email protected], [email protected], [email protected]
Profesor: Nelson Velasco

I. RESUMEN
Dentro de las áreas de conocimiento que involucra la disciplina patrones que ayuden en su aplicación en los diferentes campos
de inteligencia artificial, se encuentra el deep learning , es la del conocimiento. En el siguiente informe se explicará
parte del aprendizaje automático que, por medio de algoritmos estrategias de deep learning.
de alto nivel, imita la red neuronal del cerebro humano. Para
llegar al nivel de aprendizaje profundo más avanzado, III. DESARROLLO
el principio de las redes neurales artificiales fue desarrollado
para soportar capas discretas, conexiones y direcciones de Actividad Teórica:
propagación de datos. De esa manera, los datos son sometidos
a varias capas de procesamiento no lineares que simulan la 1. ¿ Que es el Deep Learning?
forma de pensar de las neuronas. De forma simplificada,
podemos decir que deep learning son esos algoritmos El Deep learning es un subconjunto del machine learning en
complejos construidos a partir de un conjunto de diversas capas Inteligencia artificial que tiene redes capaces de aprender sin
de “neuronas”, alimentados por cantidades inmensas de datos, supervisión a partir de datos no estructurados o sin etiquetar. De
que son capaces de reconocer imágenes y habla, procesar el igual forma no se debe confundir los términos Deep learning y
lenguaje natural y aprender a realizar tareas extremadamente machine learning, siendo el primero un tipo particular del
avanzadas sin interferencia humana. La principal aplicación de segundo, es decir, el Deep learning es machine learning, pero
los algoritmos de Deep Learning son las tareas de clasificación, existen técnicas de machine learning que no son Deep learning.
en especial, reconocimiento de imágenes. El Deep learning lleva acabo el proceso de machine learning
usando una red neuronal artificial que se compone de un
En el siguiente informe se describirá en detalle problema de numero de niveles jerárquicos.
machine learning leído de diferentes fuentes bibliográficas
indicando específicamente que es lo que se pretende clasificar El proceso de predicción se realiza mediante el aprendizaje, no
y cuál es la dificultad o reto desde la óptica de ML. De igual con reglas programadas previamente. Casi siempre ligado al
forma se indicarán las técnicas utilizadas y la razón o razones procesamiento de texto, voz, imagen y vídeo. Para el ML
(hipótesis subyacentes) para que las mencionadas técnicas sean (machine learning) se usan una serie de capas de unidades de
aplicables a los problemas de los artículos leídos. procesamiento no lineales para la extracción y transformación
de características. Cada capa emplea como input el resultado o
II. INTRODUCCIÓN output de la capa anterior. Los algoritmos pueden ser
supervisados o no supervisados y los tipos de aplicaciones
En la actualidad, el estudio y aplicabilidad de la inteligencia pueden ser análisis de patrones (aprendizaje no supervisado) y
artificial y machine Learning son cada vez más importante y de clasificación (aprendizaje supervisado).
utilizados a nivel empresarial en temas de estructuración y
automatización. 2. Aplicaciones del Deep learning.

Deep Learning es un tipo de algoritmo más sofisticado de El aprendizaje profundo y los modelos predictivos jerárquicos
machine learning, construido a partir del principio de las redes han tenido su mayor uso en el área de los diagnósticos médicos
neuronales. Diferentemente de los primeros algoritmos y en análisis predictivos en los mercados financieros, pero están
existentes, es capaz de soportar y trabajar con big data y adquiriendo cada vez mayor peso en el resto de los sectores
funcionar como una mente propia a través de superposición de como componentes esenciales para aplicaciones como sistemas
capas no lineales de procesamiento de datos. de recomendación, detección de fraude, predicción de churn y
modelos de propensión, detección de anomalías y auditoría de
Esta rama de la ingeniería utiliza conocimiento en el área de la datos. Es paradigmático el caso de Google, donde su propio
estadística y la probabilidad para crear modelos y reconocer CEO reconoció no ver venir la avalancha del movimiento de
Machine Intelligence ni su potencial y ahora es un componente
 nuclear que aplican en
prácticamente todos sus productos, y que usamos todos
diariamente. Las Smart Replies de Gmail, el reconocimiento de 3. Diferencias entre Deep learning con las técnicas de
voz de Google Now, las traducciones semánticas y no literales machine learning.
de Google Translate, la búsqueda por

cualquier concepto en Google Photos, las rutas recomendadas La diferencia entre machine learning y deep learning es que la
en Google Maps, o el sistema de publicación programática de segunda técnica leva el aprendizaje a un nivel más detallado. El
Adwords son todas nuevas funcionalidades creadas gracias a la sistema en este caso va por capas o unidades neuronales. De
aplicación de Deep Learning en sus productos. hecho, el funcionamiento de estos algoritmos trata de imitar el
del cerebro.
Los gigantes de Internet han acelerado la actualización de su
oferta de servicios con diferentes grados de aprendizaje El Machine Learning en su forma más básica es la práctica
automático que pueden ser adquiridos as-a-service en modo de usar algoritmos para analizar datos, aprender de ellos y
cloud: Google Cloud ML, Microsoft Cognitive Services, Intel luego hacer una determinación o predicción sobre algo en el
Deep Learning, Amazon AI Services. mundo. Por lo tanto, en lugar de rutinas de software de
codificación manual con un conjunto específico de
Baidu, Facebook, Apple todas las grandes tecnológicas están instrucciones para realizar una tarea en particular, la máquina
apostando muy fuerte por tomar la iniciativa y no quedarse está “entrenada” utilizando grandes cantidades de datos y
atrás. Facebook está formando a todos sus ingenieros en algoritmos que le dan la capacidad de aprender a realizar la
machine learning y han lanzado un programa para convertirse tarea.
en investigadores de Inteligencia Artificial a tiempo completo.
Google lleva meses impartiendo clases internas entre sus Otro acercamiento algorítmico de los primeros especialistas en
empleados en el manejo del Deep learning. Machine Learning fueron las Redes Neuronales Artificiales
llegaron para quedarse a través de las décadas. Las redes
Los ámbitos de aplicación del deep learning, pese a que en un neuronales se inspiran en nuestra comprensión de la biología de
principio pueden parecer reducidos, son más complejos y nuestros cerebros, todas esas interconexiones entre las
variados que en el caso anterior. Por solo nombrar sus neuronas. Pero, a diferencia de un cerebro biológico donde
principales en la siguiente lista se describen su utilidad en la cualquier neurona se puede conectar a cualquier otra neurona
vida diaria: dentro de una cierta distancia física, estas redes neuronales
artificiales tienen capas discretas, conexiones y direcciones de
1. Reconocimiento de audio: los cuales se usan en propagación de datos.
diferentes planos como por ejemplo buscar en el
navegador usando el comando de voz, localizar A grandes rasgos, podríamos decir que la Inteligencia
palabras claves en informes, enviar mensajes sin Artificial es la tecnología más “básica”, ya que responde
disponer de la escritura y la interpretación del leguaje siempre igual ante los mimos parámetros, que ha evolucionado
natural de una persona. en el Machine Learning (también llamado Aprendizaje
2. Reconocimiento de imágenes: como los logos y las Automático), que es capaz de auto aprender y corregir errores,
marcas de una empresa en diversas plataformas; y en Deep Learning (la más compleja de las tres) que, además
identificar la reacción de un consumidor frente a un de eso, toma decisiones a partir de los datos.
producto y realizar análisis médico de una radiografía
y resonancias. El reconocimiento de imágenes es muy Para entenderlo mejor, tomemos un ejemplo: imaginemos que
usado en Facebook y en el desbloqueo por imagen de queremos identificar la marca y el modelo de todos los
los teléfonos móviles. vehículos que pasan por una calle. Por un lado, tendríamos las
3. En los traductores inteligentes: las cuales son capaces imágenes y el sonido de las cámaras y por otro una base de datos
de traducir imágenes y texto en solo unos segundos. enorme con la forma, características técnicas o el sonido del
Los algoritmos que usan el deep learning en su motor de miles de coches. Un sistema de inteligencia
sistema de capas traduce individualmente una palabra artificial identificaría los coches de las imágenes por su
y luego la relaciona con las demás para darle un aproximación a los datos que conoce; pero no siempre acertaría,
sentido general y apegado a la realidad semántica. ya que hay coches con características muy similares.
4. Clasificación de los objetos: las redes neuronales
artificiales permiten reconocer y clasificar un objeto. Un sistema con Machine Learning podría “aprenderse” los
Un ejemplo de ello son los programas de datos y clasificar con mayor precisión los vehículos, pero uno
reconocimiento de personas que trabajan en conjunto con Deep Learning puede “entrenarse” sobre los nuevos datos
con las cámaras de seguridad (utilizado con mucha que va recibiendo. Es decir, puede emplear un diferenciador
frecuencia en China). Esto es usado también en
la automatización industrial cuando un trabajador se erróneo y equivocarse una vez, pero a la siguiente emplea otro
encuentra a una distancia poco prudente de una para acercarse cada vez más al resultado correcto.
máquina.
 4. Que es una red Neuronal.

Una Red Neuronal Artificial (RNA) es un modelo matemático

inspirado en el comportamiento biológico de las neuronas y en
cómo se organizan formando la estructura del cerebro. El
cerebro puede considerarse un sistema altamente complejo,
donde se calcula que hay aproximadamente 100 mil millones
(10111011) neuronas en la corteza cerebral (humana) y que La función de activación se elige de acuerdo con la tarea
forman un entramado de más de 500 billones de conexiones realizada por la neurona. Entre las más comunes dentro
neuronales (una neurona puede llegar a tener 100 mil
conexiones, aunque la media se sitúa entre 5000 y 10000
del campo de las RNAs podemos destacar:
conexiones).

Respecto a su funcionamiento, el cerebro puede ser visto como

un sistema inteligente que lleva a cabo tareas de manera distinta
a como lo hacen las computadoras actuales. Si bien estas
últimas son muy rápidas en el procesamiento de la información,
existen tareas muy complejas, como el reconocimiento y
clasificación de patrones, que demandan demasiado tiempo y
esfuerzo aún en las computadoras más potentes de la actualidad,
pero que el cerebro humano es más apto para
resolverlas, muchas veces sin aparente esfuerzo (por ejemplo,
el reconocimiento de un rostro familiar entre una multitud de
rostros). La siguiente figura muestra un ejemplo de modelo
neuronal con nn entradas, que consta de:

• Un conjunto de entradas x1,xnx1,xn.

• Los pesos sinápticos w1,wnw1…wn, Las redes neuronales convolucionales son muy similares
correspondientes a cada entrada. a las redes neuronales ordinarias como el perceptron
• Una función de agregación, ΣΣ. multicapa; se componen de neuronas que tienen pesos y
• Una función de activación, ff.
sesgos que pueden aprender. Cada neurona recibe algunas
• Una salida, YY.
entradas, realiza un producto escalar y luego aplica una
función de activación. Al igual que en el perceptron
multicapa también vamos a tener una función de pérdida
o costo sobre la última capa, la cual estará totalmente
conectada. Lo que diferencia a las redes neuronales
convolucionales es que suponen explícitamente que las
entradas son imágenes, lo que nos permite codificar
ciertas propiedades en la arquitectura; permitiendo ganar
en eficiencia y reducir la cantidad de parámetros en la red.

En general, las redes neuronales convolucionales van a

estar construidas con una estructura que contendrá 3 tipos
distintos de capas:

Las entradas son el estímulo que la neurona artificial • Una capa convolucional, que es la que le da le
recibe del entorno que la rodea, y la salida es la respuesta nombre a la red.
a tal estímulo. La neurona puede adaptarse al medio • Una capa de reducción o de pooling, la cual va a
circundante y aprender de él modificando el valor de sus reducir la cantidad de parámetros al quedarse con
pesos sinápticos, y por ello son conocidos como las características más comunes.
los parámetros libres del modelo, ya que pueden ser • Una capa clasificadora totalmente conectada, la
modificados y adaptados para realizar una tarea cual nos va dar el resultado final de la red.
determinada. En este modelo, la salida neuronal YY está
dada por:
 Actividad Practica.
Tensor Flow
Realice una búsqueda por internet de aplicaciones realizadas ➢ Utiliza lenguaje Python y R®.
con DL. Establezca cuales son las herramientas (librerías, ➢ Esta soportado por Google Brain Team.
lenguajes de programación, entornos de desarrollo) que se ➢ Es fácil de utilizar para modelos de Machine y Deep
utilizan para aplicar DL. Learning.
Investigue y ponga a prueba una de ellas y describa el proceso ➢ Diferentes ejemplos para ser encontrados.
para generar un framework de DL capaz de resolver un ➢ Para procesar los dataset utiliza un Dataflow o un flujo
problema, indique que características que debe reunir el dataset de datos.
de entrenamiento, indique cómo se evalúa el método
implementado y cuáles pruebas se pueden realizar. Keras
➢ Tiene un Amplio código de open-source y usuarios.
Aplicaciones [1]
➢ Utiliza el lenguaje Python a través de redes neuronales
de alto nivel API.
• Cuidado de la Salud
• Entretenimiento
➢ Está catalogado por encima de tensorFlow, CNTK y
• Composición musical Theano.
• Coloreo de imágenes
• Robótica ➢ Utilizado en diferentes laboratorios y grandes
• Captura de imágenes empresas como Netflix, Nasa, Microsoft Research y
• Alarmas CERN.
• Predicción de terremotos.
➢ Fácil extensión de los módulos con simpleza para
Lenguajes utilizados: Python y R. agregarlos; provee modularidad a través de un gráfico
con distintas restricciones con distintos aplicativos
Herramientas, Bibliotecas y entornos de desarrollo APIs y retroalimentación de cada error.

− Jupyter Notebook PyTorch

− Scikit-learn
− TensorFlow ➢ Utilizado por grandes empresas como Google Twitter
y Facebook.
− Pandas ➢ Provee flexibilidad y velocidad realizándola a través
− NumPy de un hibrido Front-end.
➢ A través de su librería de búsqueda torch.distributed
− SciPy backend permite realizar entrenamiento escalable y
distribuido en sus redes neuronales.
− Matplotlib ➢ Integración a través del lenguaje Python a través de los
diseños de redes neuronales.
− PyTorch

− Keras Theano

− PyCharm ➢ Desarrollado por la Universidad de Montreal.

➢ Escrito a través de Python y Nvidia CUDA.
Frameworks ➢ Está integrado también a través de NumPy para el
tratamiento de datos.
➢ Utiliza la computación de las GPU para mayor
velocidad de procesamiento.
➢ Posee una extensa autoevaluación y autoverificación
para la detección de errores.

DL4J
➢ Desarrollado por el grupo líder Adam Gibson.
➢ Escrito a través de Java y Scala.
➢ Soporta diferentes algoritmos como CNN, RNN y
Figura 1. Frameworks. LSTM.
➢ Tiene como socios a Eclipse Foundation.
 ➢ Provee un framework que [5] https://es.wikipedia.org/wiki/Distribuci%C3%B3n_hiperg
se desarrolla en un clúster. eom%C3%A9trica
[6] https://es.wikipedia.org/wiki/Distribuci%C3%B3n_binom
Caffe ial_negativa
[7] https://es.wikipedia.org/wiki/Distribuci%C3%B3n_de_Po
➢ Desarrollado por BAIR con arquitectura rápida de isson
desarrollo. [8] https://es.wikipedia.org/wiki/Distribuci%C3%B3n_binom
➢ Escrito en lenguajes como C++ y Python. ial
➢ Generalmente utilizado para la detección y
[9] https://es.wikipedia.org/wiki/Ruido_blanco
clasificación de imágenes.
➢ Utiliza la búsqueda a través de proyectos académicos, [10] https://www.netquest.com/blog/es/blog/es/bayesianos-
prototipos, y una larga visión de aplicaciones contra-frecuentistas
industriales, debates y multimedia.
➢ Caffe se soporta sobre la aceleración conjunta GPU- [11] http://bdigital.unal.edu.co/6513/1/9789588280134.pdf
CPU como NVIDIA, cuDNN e IntelMLK.
➢ Ofrece alta velocidad en temas de imágenes y [12]http://ocw.uc3m.es/teoria-de-la-senal-y-
multimedia. comunicaciones/teoria-moderna-de-la-deteccion-y-
estimacion-2013/apuntes/apuntesb1.pdf
Chainer
➢ Desarrollado por Preferred Networks en colaboración [13]https://www.netquest.com/blog/es/blog/es/bayesianos-
con IBM, Intel, Microsoft y Nvidia. contra-frecuentistas
➢ Provee diferentes libreras como Chaines MN, Chainer
RL y Chainer CV. [14] https://es.slideshare.net/pedroanzurez/maxma-
verosimilitud
➢ Escrito a través de Python sobre las plataformas como
NumPy y CuPy.
[15] https://www.youtube.com/watch?v=bQqtZyav6K8
➢ Soportado sobre la computación CUDA el cual corre
[16] https://www.mathworks.com/help/stats/k-means-
sobre la GPU con simples líneas de código.
clustering.html
Microsoft CNTK
➢ Desarrollado por Microsoft Research. Esta [17]https://www.youtube.com/watch?v=1LxmmF88fDw
desarrollado vía Gráficos directos y está desarrollado
en orientación al Deep Learning. [18]https://zonaia.com/blog/las-mejores-bibliotecas-y-
➢ Escrito sobre los lenguajes C++ y Python. herramientas-para-comenzar-con-machine-learning-e-
➢ Utilizado por distintos usuarios sobre los grupos inteligencia-artificial/
normales de enfoque.
➢ Diseñado para tener velocidad y eficiencia, realiza [19] https://www.youtube.com/watch?v=6ryPbOfz03U
escalado de manera eficiente para la producción a
través de las GPU, sin embargo, posee limitantes en
soporte frente a la comunidad.
➢ Soporta ambos algoritmos, CNN y RNN de algunos
modelos neuronales multicapa. Además de proveer

soluciones sobre debates y problemas de

reconocimiento.

IV. REFERENCIAS
[1] http://sgcg.es/articulos/2016/03/25/probabilidad-conjunta-
frente-a-probabilidad-condicionada/
[2] https://es.wikipedia.org/wiki/Funci%C3%B3n_de_densid
ad_de_probabilidad
[3] http://www.dmae.upct.es/~mcruiz/Telem06/Teoria/apunte
s_procesos.pdf

[4] https://es.wikipedia.org/wiki/Proceso_estoc%C3%A1stico