ESTRUCTURA DEL CURSO

1 Introducción a las redes neuronales 4 Aprendizaje y validación

1.1 Orígenes 4.1 Perceptrones
1.2 Historia 4.2 Redes multicapa
1.3 Ventajas 4.3 Redes función base radial
2 Principales topologías 4.4 Redes competitivas
2.1 Topología de las redes 5 Aplicaciones
neuronales
5.1 Aplicaciones de las redes
2.2 Redes monocapa neuronales
2.3 Redes multicapa
5.2 Predicción de caudales
2.4 Redes propagación hacia basados en redes neuronales
atrás (backpropagation)
5.3 Implementación de un modelo Red neuronal una inspiración biológica
2.5 Estructura de la red Hopfield lluvia escurrimiento basado en
redes neuronales
2.6 Asociaciones entre la
información de entrada y salida 5.4 Asociación y clasificación
3 Modelos neuronales
3.1 Simple neurona
3.2 Funciones de transferencia
3.3 Neurona con vectores de
entrada

Estructura de una Red neuronal En búsqueda del óptimo global

Ing. Leonardo Daniel Amores Rovelo, Facultad de Ingeniería, Departamento Hidráulica Universidad Nacional Autónoma de México (UNAM)
1 Introducción a las redes
neuronales
1.1 Orígenes como es el caso, por ejemplo, de la
Posteriormente otros tantos intentaron clasificación de objetos por rasgos
El hombre siempre ha querido entender construir máquinas similares, pero no comunes? Este ejemplo demuestra que
la naturaleza, para mejorar sus fue hasta la Segunda Guerra Mundial, la construcción de nuevas máquinas
condiciones de vida. cuando ya se disponía de instrumentos más versátiles requiere un enfoque del
electrónicos, que se empezaron a problema desde otro punto de vista.
Los progresos obtenidos han permitido recoger los primeros frutos.
dirigir estos esfuerzos a otros campos, Los desarrollos actuales de los
como por ejemplo, a la construcción de En 1946 se construyó la primera científicos se dirigen al estudio de las
máquinas calculadoras que ayuden a computadora electrónica, ENIAC. capacidades humanas como una fuente
resolver de forma automática y rápida Desde entonces los desarrollos en este de nuevas ideas para el diseño de las
determinadas operaciones que resultan campo han tenido un auge espectacular. nuevas máquinas.
tediosas cuando se realizan a mano.
Así, la inteligencia artificial es un
Uno de los primeros en atacar esta labor intento por descubrir y describir
fue Charles Babbage, quien trató aspectos de la inteligencia humana que
infructuosamente de construir una pueden ser simulados mediante
máquina capaz de resolver problemas máquinas.
matemáticos.

Fig. 1.1.2 ENIAC

Estas máquinas permiten implementar

fácilmente algoritmos para resolver
multitud de problemas que antes
resultaban engorrosos de resolver. Sin
embargo, se observa una limitación
importante: ¿qué ocurre cuando el
problema que se quiere resolver no
admite un tratamiento algorítmico, Fig. 1.1.3 Inteligencia humana
Fig. 1.1.1 Charles Babbage
Ing. Leonardo Daniel Amores Rovelo, Facultad de Ingeniería, Departamento Hidráulica Universidad Nacional Autónoma de México (UNAM)
 unidad básica de procesamiento está Lo que básicamente ocurre en una
Esta disciplina se ha desarrollado inspirada en la célula fundamental del neurona biológica es lo siguiente: la
fuertemente en los últimos años sistema nervioso humano: la neurona”. neurona es estimulada o excitada a
teniendo aplicación en algunos campos través de sus entradas (inputs) y
como visión artificial, demostración de cuando se alcanza un cierto umbral, la
teoremas, procesamiento de neurona se dispara o activa, pasando
información expresada mediante una señal hacia el axon.
lenguajes humanos... etc.
Posteriores investigaciones condujeron
Las redes neuronales son una forma de al descubrimiento de que estos procesos
emular ciertas características propias de son el resultado de eventos
los humanos, como la capacidad de electroquímicos.
memorizar y de asociar hechos. Si se
examinan con atención aquellos Como ya se sabe, el pensamiento tiene
problemas que no pueden expresarse a Fig. 1.1.4 Cerebro humano lugar en el cerebro, que consta de
través de un algoritmo, se observará Todos los procesos del cuerpo humano billones de neuronas interconectadas.
que todos ellos tienen una característica se relacionan en alguna u otra forma Así, el secreto de la “inteligencia” sin
en común: la experiencia. con la (in)actividad de estas neuronas. importar como se defina- se sitúa
dentro de estas neuronas
El hombre es capaz de resolver estas Las mismas son un componente interconectadas y de su interacción.
situaciones acudiendo a la experiencia relativamente simple del ser humano,
acumulada. Así, parece claro que una pero cuando millares de ellas se
forma de aproximarse al problema conectan en forma conjunta se hacen
consista en la construcción de sistemas muy poderosas.
que sean capaces de reproducir esta
característica humana. Las redes
neuronales no son más que un modelo
artificial y simplificado del cerebro
humano, que es el ejemplo más perfecto
del que disponemos para un sistema
que es capaz de adquirir conocimiento a
través de la experiencia. Una red
neuronal es “un nuevo sistema para el
Fig. 1.1.6 Red de neuronas
tratamiento de la información, cuya
Fig. 1.1.5 La neurona
Ing. Leonardo Daniel Amores Rovelo, Facultad de Ingeniería, Departamento Hidráulica Universidad Nacional Autónoma de México (UNAM)
También, es bien conocido que los similitud con los sistemas biológicos. salida considerable parecida a un
humanos son capaces de aprender. Su arquitectura está fuertemente ligada enfoque tradicional.
Aprendizaje significa que aquellos a las necesidades de las aplicaciones
problemas que inicialmente no pueden para la que es diseñada. Tradicionalmente un programador o un
resolverse, pueden ser resueltos después analista especifican “códigos” de cada
de obtener más información acerca del faceta del problema en orden para la
problema. Por lo tanto, las Redes computadora pueda “entender” la
Neuronales. situación. Redes Neuronales no
requieren el código explícito del
 Consisten de unidades de problema. Por ejemplo, para generar
procesamiento que intercambian un modelo que lleve acabo un
datos o información. pronóstico de ventas, una Red Neuronal
 Se utilizan para reconocer solo necesita que le den los datos sin
patrones, incluyendo imágenes, preparar relacionados con el problema.
manuscritos y secuencias de
tiempo (por ejemplo: tendencias Los datos sin preparar podrían consistir
financieras). Fig. 1.1.7 Modelo biológico neuronal en: historias de ventas pasadas, precios,
 Tienen capacidad de aprender y precios de la competencia y otras
mejorar su funcionamiento. variables económicas. La Red Neuronal
Las Redes Neuronales representan un escoge entre esta información y
Una primera clasificación de los provechoso acercamiento para usar las produce un acuerdo de los factores que
modelos de redes neuronales podría ser, computadoras en los lugares de trabajo. influyen en las ventas. El modelo puede
atendiendo a su similitud con la entonces ser llamado para dar una
realidad biológica: Una Red Neuronal es usada para predicción de ventas futuras dado un
aprender patrones y relaciones de datos. pronóstico de los factores claves.
1) El modelo de tipo biológico. Este
comprende las redes que tratan de Los datos pueden ser el resultado del
simular los sistemas neuronales esfuerzo de una investigación de
biológicos, así como las funciones mercado, el resultado de un proceso de
auditivas o algunas funciones básicas producción dando variación a las
de la visión. condiciones de operación, o las
decisiones de un prestamista dado un
2) El modelo dirigido a aplicación. Este conjunto de aplicaciones de préstamo,
modelo no tiene por qué guardar utilizando una Red Neuronal es una

Ing. Leonardo Daniel Amores Rovelo, Facultad de Ingeniería, Departamento Hidráulica Universidad Nacional Autónoma de México (UNAM)
 1.2 Historia

1936 - Alan Turing. Fue el primero en 1949 - Donald Hebb. Fue el primero en 1950 - Karl Lashley. En sus series de
estudiar el cerebro como una forma de explicar los procesos del aprendizaje ensayos, encontró que la información
ver el mundo de la computación. Sin (que es el elemento básico de la no era almacenada en forma
embargo, los primeros teóricos que inteligencia humana) desde un punto de centralizada en el cerebro sino que era
concibieron los fundamentos de la vista psicológico, desarrollando una distribuida encima de él.
computación neuronal fueron Warren regla de como el aprendizaje ocurría.
McCulloch, un neurofisiólogo, y Walter Aun hoy, este es el fundamento de la
Pitts, un matemático, quienes, en 1943, mayoría de las funciones de
lanzaron una teoría acerca de la forma aprendizaje. Su idea fue que el
de trabajar de las neuronas (Un Cálculo aprendizaje ocurría cuando ciertos
Lógico de la Inminente Idea de la cambios en una neurona eran activados.
Actividad Nerviosa - Boletín de También intentó encontrar semejanzas
Matemática Biofísica 5: 115-133). Ellos entre el aprendizaje y la actividad
modelaron una red neuronal simple nerviosa. Los trabajos de Hebb
mediante circuitos eléctricos. formaron las bases de la Teoría de las
Redes Neuronales.

Fig. 1.2.3 Karl Lashley

1956 - Congreso de Dartmouth. Este

Congreso frecuentemente se menciona
para indicar el nacimiento de la
inteligencia artificial.

1957 - Frank Rosenblatt. Comenzó el

desarrollo del Perceptron. Esta es la red
neuronal más antigua; utilizándose hoy
en día para aplicación como
identificador de patrones. Este modelo
era capaz de generalizar, es decir,
después de haber aprendido una serie
Fig. 1.2.1 Alan Turing Fig. 1.2.2 Donald Hebb
Ing. Leonardo Daniel Amores Rovelo, Facultad de Ingeniería, Departamento Hidráulica Universidad Nacional Autónoma de México (UNAM)
de patrones podía reconocer otros 1969 - Marvin Minsky/Seymour Papert.
similares, aunque no se le hubiesen En este año casi se produjo la “muerte
presentado en el entrenamiento. Sin abrupta” de las Redes Neuronales; ya
embargo, tenía una serie de que Minsky y Papert probaron
limitaciones, por ejemplo, su (matemáticamente) que el Perceptrons
incapacidad para resolver el problema no era capaz de resolver problemas
de la función OR-exclusiva y, en relativamente fáciles, tales como el
general, era incapaz de clasificar clases aprendizaje de una función no-lineal.
no separables linealmente. Esto demostró que el Perceptron era
muy débil, dado que las funciones no-
lineales son extensamente empleadas en
computación y en los problemas del
mundo real.
Fig. 1.2.5 Marcian Hoff
1961 - Karl Steinbeck: Die Lernmatrix.
Red neuronal para simples
realizaciones técnicas (memoria
Fig. 1.2.4 Frank Rosenblatt asociativa).
1959 - Frank Rosenblatt: Principios de
Neurodinámica. En este libro confirmó
que, bajo ciertas condiciones, el
aprendizaje del Perceptron convergía
hacia un estado finito (Teorema de
Convergencia del Perceptron).

1960 - Bernard Widroff/Marcian Hoff. Fig. 1.2.7 Marvin Minsky

Desarrollaron el modelo Adaline
(ADAptative LINear Elements). Esta 1974 - Paul Werbos. Desarrolló la idea
fue la primera red neuronal aplicada a básica del algoritmo de aprendizaje de
un problema real (filtros adaptativos propagación hacia atrás
para eliminar ecos en las líneas (backpropagation); cuyo significado
telefónicas) que se ha utilizado quedó definitivamente aclarado en
comercialmente durante varias décadas. Fig. 1.2.6 Die Lernmatrix 1985.

Ing. Leonardo Daniel Amores Rovelo, Facultad de Ingeniería, Departamento Hidráulica Universidad Nacional Autónoma de México (UNAM)
 Fig. 1.2.9 Stephen Grossberg

1985 - John Hopfield. Provocó el

renacimiento de las redes neuronales
con su libro: “Computación neuronal de
decisiones en problemas de Fig. 1.2.11 David Rumelhart
optimización.”
Fig. 1.2.8 Paul Werbos A partir de 1986, el panorama fue
alentador con respecto a las
1977 - Stephen Grossberg: Teoría de investigaciones y el desarrollo de las
Resonancia Adaptada (TRA). La Teoría redes neuronales. En la actualidad, son
de Resonancia Adaptada es una numerosos los trabajos que se realizan
arquitectura de red que se diferencia de y publican cada año, las aplicaciones
todas las demás previamente nuevas que surgen (sobretodo en el área
inventadas. La misma simula otras de control) y las empresas que lanzan al
habilidades del cerebro: memoria a mercado productos nuevos, tanto
largo y corto plazo. Fig. 1.2.10 John Hopfield hardware como software (sobre todo
1986 - David Rumelhart/G. Hinton. para simulación).
Redescubrieron el algoritmo de
aprendizaje de propagación hacia atrás
(backpropagation).

Ing. Leonardo Daniel Amores Rovelo, Facultad de Ingeniería, Departamento Hidráulica Universidad Nacional Autónoma de México (UNAM)
1.3 ventajas
 Aprendizaje Adaptativo. 1.3.1 Aprendizaje adaptativo. La función del diseñador es únicamente
Capacidad de aprender a realizar tareas la obtención de la arquitectura
basadas en un entrenamiento o en una La capacidad de aprendizaje adaptativo apropiada. No es problema del
experiencia inicial. es una de las características más diseñador el cómo la red aprenderá a
atractivas de redes neuronales. Esto es, discriminar. Sin embargo, sí es
 Auto-organización. Una red aprenden a llevar a cabo ciertas tareas necesario que desarrolle un buen
neuronal puede crear su propia mediante un entrenamiento con algoritmo de aprendizaje que le
organización o representación de la ejemplos ilustrativos. proporcione a la red la capacidad de
información que recibe mediante una discriminar, mediante un entrenamiento
etapa de aprendizaje. Como las redes neuronales pueden con patrones.
aprender a diferenciar patrones
 Tolerancia a fallos. La mediante ejemplos y entrenamientos, 1.3.2 Auto-organización.
destrucción parcial de una red conduce no es necesario elaborar modelos a
a una degradación de su estructura; sin priori ni necesidad de especificar Las redes neuronales emplean su
embargo, algunas capacidades de la red funciones de distribución de capacidad de aprendizaje adaptativo
se pueden retener, incluso sufriendo un probabilidad. para autoorganizar la información que
gran daño. reciben durante el aprendizaje y/o la
Las redes neuronales son sistemas operación.
 Operación en tiempo real. Los dinámicos autoadaptativos. Son
cómputos neuronales pueden ser adaptables debido a la capacidad de Mientras que el aprendizaje es la
realizados en paralelo; para esto se autoajuste de los elementos procesales modificación de cada elemento
diseñan y fabrican máquinas con (neuronas) que componen el sistema. procesal, la autoorganización consiste
hardware especial para obtener esta Son dinámicos, pues son capaces de en la modificación de la red neuronal
capacidad. estar constantemente cambiando para completa para llevar a cabo un objetivo
adaptarse a las nuevas condiciones. específico.
 Fácil inserción dentro de la
tecnología existente. Se pueden obtener En el proceso de aprendizaje, los Cuando las redes neuronales se usan
chips especializados para redes enlaces ponderados de las neuronas se para reconocer ciertas clases de
neuronales que mejoran su capacidad ajustan de manera que se obtengan patrones, ellas autoorganizan la
en ciertas tareas. Ello facilitará la ciertos resultados específicos. Una red información usada. Por ejemplo, la red
integración modular en los sistemas neuronal no necesita un algoritmo para llamada backpropagation, creará su
existentes. resolver un problema, ya que ella puede propia representación característica,
generar su propia distribución de pesos mediante la cual puede reconocer
en los enlaces mediante el aprendizaje. ciertos patrones.
Ing. Leonardo Daniel Amores Rovelo, Facultad de Ingeniería, Departamento Hidráulica Universidad Nacional Autónoma de México (UNAM)
 Hay dos aspectos distintos respecto a la Una de las mayores prioridades, casi en
Esta autoorganización provoca la tolerancia a fallos: la totalidad de las áreas de aplicación,
generalización: facultad de las redes es la necesidad de realizar procesos con
neuronales de responder a) Las redes pueden aprender a datos de forma muy rápida. Las redes
apropiadamente cuando se les presentan reconocer patrones con ruido, neuronales se adaptan bien a esto
datos o situaciones a las que no había distorsionados o incompletos. debido a su implementación paralela.
sido expuesta anteriormente. El sistema Esta es una tolerancia a fallos
puede generalizar la entrada para respecto a los datos. Para que la mayoría de las redes puedan
obtener una respuesta. Esta b) Las redes pueden seguir operar en un entorno de tiempo real, la
característica es muy importante realizando su función (con necesidad de cambio en los pesos de las
cuando se tiene que solucionar cierta degradación) aunque se conexiones o entrenamiento es mínimo.
problemas en los cuales la información destruya parte de la red.
de entrada no es muy clara; además 1.3.5 Fácil inserción dentro de la
permite que el sistema dé una solución, La razón por la que las redes neuronales tecnología existente.
incluso cuando la información de son tolerantes a los fallos es que tienen
entrada está especificada de forma su información distribuida en las Una red individual puede ser entrenada
incompleta. conexiones entre neuronas, existiendo para desarrollar una única y bien
cierto grado de redundancia en este tipo definida tarea (tareas complejas, que
1.3.3 Tolerancia a fallos. de almacenamiento. La mayoría de los hagan múltiples selecciones de
ordenadores algorítmicos y sistemas de patrones, requerirán sistemas de redes
Las redes neuronales fueron los recuperación de datos almacenan cada interconectadas). Con las herramientas
primeros métodos computacionales con pieza de información en un espacio computacionales, una red puede ser
la capacidad inherente de tolerancia a único, localizado y direccionable. En rápidamente entrenada, comprobada,
fallos. Comparados con los sistemas cambio, las redes neuronales almacenan verificada y trasladada a una
computacionales tradicionales, los información no localizada. Por lo tanto, implementación hardware de bajo
cuales pierden su funcionalidad cuando la mayoría de las interconexiones entre coste. Por lo tanto, no se presentan
sufren un pequeño error de memoria, en los nodos de la red tendrán sus valores dificultades para la inserción de redes
las redes neuronales, si se produce un en función de los estímulos recibidos, y neuronales en aplicaciones específicas,
fallo en un número se generará un patrón de salida que por ejemplo de control, dentro de los
no muy grande de neuronas y aunque el represente la información almacenada. sistemas existentes. De esta manera, las
comportamiento del sistema se ve redes neuronales se pueden utilizar para
influenciado, no sufre una caída 1.3.4 Operación en tiempo real. mejorar sistemas en forma incremental
repentina. y cada paso puede ser evaluado antes de
acometer un desarrollo más amplio.
Ing. Leonardo Daniel Amores Rovelo, Facultad de Ingeniería, Departamento Hidráulica Universidad Nacional Autónoma de México (UNAM)