Redes

REPUBLICA BOLIVARIANA DE VENEZUELA MINISTERIO DEL PODER
POPULAR PARA LA EDUCACION UNIVERSIDAD BICENTENERIA DE

ARAGUA
INGENIERIA DE SISTEMAS
Redes Neuronales
Nombre
Gabriel Romero
Aprendizaje no supervisado en redes neuronales no supervisado
Aprendizaje no supervisado es un método de Aprendizaje Automático donde un

modelo se ajusta a las observaciones. Se distingue del Aprendizaje
supervisado por el hecho de que no hay un conocimiento a priori. En el
aprendizaje no supervisado, un conjunto de datos de objetos de entrada es
tratado. Así, el aprendizaje no supervisado típicamente trata los objetos de
entrada como un conjunto de variables aleatorias, siendo construido un modelo
de densidad para el conjunto de datos.
El aprendizaje no supervisado se puede usar en conjunto con la Inferencia

bayesiana para producir probabilidades condicionales (es decir, aprendizaje
supervisado) para cualquiera de las variables aleatorias dadas. El Santo Grial
del aprendizaje no supervisado es la creación de un código factorial de los
datos, esto es, un código con componentes estadísticamente independientes.
El aprendizaje supervisado normalmente funciona mucho mejor cuando los
datos iniciales son primero traducidos en un código factorial.
El aprendizaje no supervisado también es útil para la compresión de datos:

fundamentalmente, todos los algoritmos de compresión dependen tanto
explícita como implícitamente de una distribución de probabilidad sobre un
conjunto de entrada.
La Teoría de resonancia adaptativa (ART) permite variar el número de

agrupaciones en función del tamaño del problema, permitiendo al usuario el
control del grado de similitud entre miembros de las mismas agrupaciones en
términos de una constante definida por el usuario llamada el parámetro de
vigilancia. Las redes ART se usan también en muchas tareas de
reconocimiento de patrones, como el reconocimiento automático de objetivos o
el procesamiento de señales sísmicas. La primera versión de ART fue "ART1",
desarrollada por Carpenter y Grossberg (1988).
Características
En este apartado se muestran las principales características de las redes de

neuronas artificiales no supervisadas:1
No necesitan de un profesor externo
Muestran cierto grado de Auto-organización
La red descubre en los datos de entrada y de forma autónoma: características,

regularidades, correlaciones y categorías
Suelen requerir menores tiempos de entrenamiento que las supervisadas
Arquitectura simple. Habitualmente son: (una sola capa o Feed-forward)

Tipos fundamentales: Kohonen y Grossberg
Abordan los siguientes tipos de problemas: familiaridad, análisis de

componentes principales, agrupamiento, prototipado y extracción y relación de
características
Aprendizaje no supervisado en redes de memoria proasociativa y

retroasociativa.
MEMORIA ASOCIATIVA LINEAL (LAM)
Una red de memoria asociativa es matemáticamente un mapeado de un

espacio de entrada sobre uno de salida. Las redes de memoria asociativa se
pueden usar tanto para las aplicaciones autoasociativas como para las
heteroasociativas. En las aplicaciones autoasociativas la dimensión del espacio
de entrada es igual al de salida. En las aplicaciones heteroasociativas la
dimensión del espacio de entrada y del espacio de salida son en general
diferentes. Los valores de entrada y de salida pueden ser reales o binarios.
Una LAM es una red de una capa de propagación. La LAM se deriva de un

conjunto de pares de patrones de entrada/salida {b {m}, a {m}}. Aquí la entrada
es b {m} = [b1 {m}, b2 {m},..., bk {m}]t y la salida es a {m} = [a1 {m},a2 {m}, ...,
ak {m} ]t para m=1, 2,...., M, donde [-]t denota la transpuesta del Vector o
Matriz. El objetivo de LAM es recuperar el patrón de salida basado en la
información total o parcial del patrón de entrada.
Patrones de entrada Continuos
La Matriz de Pesos Sinápticos W en la Memoria Asociativa Lineal se obtiene de

la correlación de los pares de patrones originales: W = S a (m) b (m) t donde a
y b son Vectores Reales Continuos: a Î R N y b Î R N. Las entradas de la matriz
se denotan por Wij = S a i(m) bj(m) t .
Patrones de Entrada Binarios
Si las entradas son binarias (1/0), entonces los elementos de la matríz de

pesos W, de N x K dimensiones, que se calculan como:
Donde a, b Î Ik (Vectores Binarios). Esta fórmula permite que la condición de

ortogonalidad sea impuesta más apropiadamente. Para producir una salida
binaria, los elementos del vector Wt se ajustan primero por sus umbrales
respectivos
REDES DE MEMORIA RETROASOCIATIVA
Una Red con Realimentación necesita de muchas iteraciones hasta que

conseguir la recuperación del patrón final. La Red de Retroasociacion más
popular es el Modelo de Hopfield el cual que tiene las siguientes
características:
Los Pesos sinápticos son prealmacenados.
Se usan operaciones no lineales de escalonamiento en cada etapa para

producir valores binarios.
La retroalimentación tiene la función de propiciar que los estados se puedan

actualizar iterativamente.
Las iteraciones convergen hacia una solución que minimiza una función de
energía de la red.
Obtención de los Pesos Sinápticos
Dados M patrones binarios (i.e., {ai (m)} tiene valores binarios 0 o 1), los pesos
en el modelo de Hopfield se obtienen de la siguiente forma:
Wij = S Mm =1 (2ª i (m) – 1) (2ªj(m) - 1 ) i ¹ j
El umbral de la red se da de la siguiente forma:
Funciones de Energía y Convergencia

Utilizando la Función de Liapunov como concepto de Función de Energía:
E = - ½ S S Wij ai aj - S q i ai
Bajo la situación ideal de que los vectores almacenados son perfectamente

ortogonales, entonces cada patrón original representa un mínimo local (o
global) de la función de energía. Esto motiva que se diseñe la red para que
iterativamente se pueda buscar el estado de mínimo local. La técnica del
gradiente nos lleva al modelo secuencial de Hopfield. La diferencia de la
función de energía antes y después de la actualización de un estado es:
En caso de una actualización secuencial (asíncrona), hay solo una adaptación

de un bit al mismo tiempo. Sin perdida de generalidad, asumamos que sea en
D ai(k) + 1)E en el bit i-esimo:
Para garantizar el descenso de la Función de Energía D ai( k+ 1 ) se debería

actualizar en la dirección de descenso del gradiente:
D ai( k+ 1 ) a ui( k+ 1 )
Modelo de redes de Hopfield
Una red de Hopfield es una forma de red neuronal artificial recurrente inventada
por John Hopfield. Las redes de Hopfield se usan como sistemas de Memoria
asociativa con unidades binarias. Están diseñadas para converger a un mínimo
local, pero la convergencia a uno de los patrones almacenados no está
garantizada.
ESTRUCTURA
Las unidades de las redes Hopfield son binarias, es decir, solo tienen dos
valores posibles para sus estados y el valor se determina si las unidades
superan o no un determinado umbral. Los valores posibles pueden ser 1 ó -1, o
bien 1 o 0. Así, las dos definiciones posibles para la unidad i de activación, son
las siguientes:
Normalmente se requiere que los pesos sean simétricos para que la función de
energía disminuya de forma monótona mientras sigue las reglas de activación,
ya que si se utilizan pesos no simétricos la red podría mostrar un
comportamiento periódico o caótico. Sin embargo, Hopfield consideró que este
comportamiento caótico se limita a zonas relativamente pequeñas del espacio
de fases, no influyendo en la capacidad de la red para actuar como contenido
direccionable en el sistema de memoria asociativa.
Las redes Hopfield poseen un valor escalar asociado a cada estado de la red,
conocido como energía (E) de la red, donde:
Ejecución
En cada paso se escoge un nodo al azar. El comportamiento del nodo es

entonces determinista: se mueve a un estado para minimizar la energía de él
mismo y de los nodos circundantes. (a diferencia de la máquina de Boltzmann
cuya regla de actualización es estocástica.)
Mapas de Kohones
T. Kohonen presentó en 1982 un sistema con un comportamiento semejante al

del cerebro. Se trataba de un modelo de red neuronal con capacidad para
formar mapas de características de manera similar a como ocurre en el
cerebro. En éste hay neuronas que se organizan en muchas zonas, de forma
que las informaciones captadas del entorno a través de los órganos sensoriales
se representan internamente en forma de mapas bidimensionales.
Este modelo tiene dos variantes, denominadas LVQ (Learning Vector
Quantization) y TPM (Topology-Preserving Map). Ambas forman mapas
topológicos para establecer características comunes entre las informaciones de
entrada.
Arquitectura
La versión original (LVQ) consta de dos capas con N neuronas de entrada y M

de salida. Cada una de las N neuronas de entrada se conecta a las M de salida
a través de conexiones hacia adelante (feedforward).
Entre las neuronas de la capa de salida existen conexiones laterales de

inhibición (peso negativo) implícitas. Cada una de estas neuronas va a tener
cierta influencia sobre sus vecinas. El valor que se asigne a los pesos de las
conexiones feedforward entre las capas de entrada y salida durante el proceso
de aprendizaje de la red va a depender precisamente de esta interacción
lateral.
La influencia que una neurona ejerce sobre las demás es función de la

distancia entre ellas, siendo muy pequeña cuando están muy alejadas.
Funcionamiento
El funcionamiento es relativamente simple. Cuando se presenta a la entrada

una información Ek, cada una de las M neuronas de la capa de salida la recibe
a través de la conexiones feedforward con pesos wji.También estas neuronas
reciben las correspondientes entradas debidas a las conexiones laterales con
el resto de las neuronas de salida y cuya influencia dependerá de la distancia a
la que se encuentren.
Se trata de una red de tipo competitivo, ya que al presentar una entrada Ek la

red evoluciona a una situación estable en la que se activa una neurona de
salida, la vencedora. La formulación matemática de su funcionamiento viene
dada por la expresión
1 si MIN | Ek - Wj | = MIN ( R2(SumNi=1(ei(k) - wij )2 ))
sj =
0 resto
donde R2 es la raiz cuadrada y Sum es la sumatoria para i=1

hasta N
que representa cuál de las M neuronas se activaría al introducir dicha

información de entrada Ek.
En la fase de funcionamiento, lo que se pretende es encontrar el dato

aprendido más parecido al de entrada para, en consecuencia, averiguar qué
neurona se activará y sobre todo, en qué zona del espacio bidimensional de
salida se encuentra.
Lo que hace la red en definitiva es realizar una tarea de clasificación, ya que la

neurona de salida activada ante una entrada representa la clase a la que
pertenece dicha información de entrada. Además, como ante otra entrada
parecida se activa la misma neurona de salida, u otra cercana, debido a la
semejanza entre las clases, se garantiza que las neuronas topológicamente
próximas sean sensibles a entradas físicamente similares. Por tanto, esta red
es especialmente útil para establecer relaciones entre conjuntos de datos.
Aprendizaje
Es de tipo OFF LINE, por lo que se distingue una etapa de aprendizaje y otra
de funcionamiento. También utiliza un aprendizaje no supervisado de tipo
competitivo. Sólo una neurona de la capa de salida se activa ante la entrada,
ajustándose los pesos de las conexiones en función de la neurona que ha
resultado vencedora.
Durante la etapa de entrenamiento, se presenta a la red un conjunto de

informaciones de entrada para que ésta establezca, en función de la
semejanza entre los datos, las diferentes categorías (una por neurona de
salida) que servirán durante la fase de funcionamiento para realizar
clasificaciones de nuevos datos que se presenten a la red. Los valores finales
de los pesos de las conexiones entre cada neurona de la capa de salida con
las de entrada se corresponderán con los valores de los componentes del
vector de aprendizaje que consigue activar la neurona correspondiente.
El aprendizaje no concluye después de presentarle una vez todos los patrones

de entrada, sino que habrá que repetir el proceso varias veces para refinar el
mapa topológico de salida, de tal forma que cuantas más veces se presenten
los datos, tanto más se reducirán las zonas de neuronas que se deben activar
ante entradas parecidas, consiguiendo que la red pueda realizar una
clasificación más selectiva.
Aplicaciones
El modelo de Kohonen es uno de los más útiles en computación neuronal, a

pesar de sus limitaciones en cuanto a la duración del proceso de aprendizaje y
a la imposibilidad de aprender nuevos datos sin tener que volver a repetir
completamente el proceso de aprendizaje con todos los patrones.
Como aplicaciones, destacan las relacionadas con el reconocimiento de

patrones (voz, texto, imágenes, señales, etc), codificación de datos,
compresión de imágenes y resolución de problemas de optimización. También
se ha utilizado en robótica, comprobándose su utilidad en el diseño de sistemas
para controlar el movimiento de un brazo mecánico en un espacio
tridimensional. Se utiliza aquí la red para aprender las magnitudes tensoriales
necesarias para moverse en un entorno real, considerando los efectos del
desgaste que pueden alterar la dinámica del brazo con el transcurso del
tiempo.
CONCLUSION
El primer objetivo de este trabajo fue estudiar redes con aprendizaje no
supervisado, por ello se logro tener una idea general de la topologıa,
arquitectura y funcionamiento de algunas RNA con aprendizaje no supervisado,
lo cual ayudo a la eleccion de las redes que se emplearon para el problema de
identificar.
Otro objetivo de este trabajo era el comparar el desempeno de algunas redes

con aprendizaje no supervisado, para ello se tom´o el problema de
reconocimiento de barras horizontales y verticales en imagenes en blanco y
negro. Se eligio MATLAB como el lenguaje apropiado para la codificaci´on de
los algoritmos ya que nos permite trabajar muy facilmente con matrices ademas
de que tiene implementado el toolbox de Redes Neuronales. Se implementaron
los algoritmos Hopfield.m, Redlvq.m y wake-sleep.m, se analizaron los tiempos
de ejecucion as´ı como el desempeño de las redes.
REFERENCIAS
Geoffrey Hinton, Terrence J. Sejnowski (editors) (1999) Unsupervised
Learning and Map Formation: Foundations of Neural Computation, MIT Press,
ISBN 0-262-58168-X (Este libro se centra en el aprendizaje no supervisado con
Red neuronal artificial.)
Horace Barlow, T. P. Kaushal, and G. J. Mitchison. Finding minimum entropy

codes. Neural Computation, 1:412-423, 1989.
Link del video: https://www.youtube.com/watch?v=j-3zGKIfEjM

Redes

Cargado por

Copyright:

Formatos disponibles

Redes

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Redes

Cargado por

Copyright:

Formatos disponibles

REPUBLICA BOLIVARIANA DE VENEZUELA MINISTERIO DEL PODER

POPULAR PARA LA EDUCACION UNIVERSIDAD BICENTENERIA DE

Aprendizaje no supervisado es un método de Aprendizaje Automático donde un

El aprendizaje no supervisado se puede usar en conjunto con la Inferencia

El aprendizaje no supervisado también es útil para la compresión de datos:

La Teoría de resonancia adaptativa (ART) permite variar el número de

En este apartado se muestran las principales características de las redes de

No necesitan de un profesor externo

Muestran cierto grado de Auto-organización

La red descubre en los datos de entrada y de forma autónoma: características,

Suelen requerir menores tiempos de entrenamiento que las supervisadas

Arquitectura simple. Habitualmente son: (una sola capa o Feed-forward)

Abordan los siguientes tipos de problemas: familiaridad, análisis de

Aprendizaje no supervisado en redes de memoria proasociativa y

MEMORIA ASOCIATIVA LINEAL (LAM)

Una red de memoria asociativa es matemáticamente un mapeado de un

Una LAM es una red de una capa de propagación. La LAM se deriva de un

Patrones de entrada Continuos

La Matriz de Pesos Sinápticos W en la Memoria Asociativa Lineal se obtiene de

Patrones de Entrada Binarios

Si las entradas son binarias (1/0), entonces los elementos de la matríz de

Donde a, b Î Ik (Vectores Binarios). Esta fórmula permite que la condición de

Una Red con Realimentación necesita de muchas iteraciones hasta que

Los Pesos sinápticos son prealmacenados.

Se usan operaciones no lineales de escalonamiento en cada etapa para

La retroalimentación tiene la función de propiciar que los estados se puedan

Obtención de los Pesos Sinápticos

Wij = S Mm =1 (2ª i (m) – 1) (2ªj(m) - 1 ) i ¹ j

El umbral de la red se da de la siguiente forma:

Funciones de Energía y Convergencia

Bajo la situación ideal de que los vectores almacenados son perfectamente

En caso de una actualización secuencial (asíncrona), hay solo una adaptación

Para garantizar el descenso de la Función de Energía D ai( k+ 1 ) se debería

Modelo de redes de Hopfield

En cada paso se escoge un nodo al azar. El comportamiento del nodo es

T. Kohonen presentó en 1982 un sistema con un comportamiento semejante al

La versión original (LVQ) consta de dos capas con N neuronas de entrada y M

Entre las neuronas de la capa de salida existen conexiones laterales de

La influencia que una neurona ejerce sobre las demás es función de la

El funcionamiento es relativamente simple. Cuando se presenta a la entrada

Se trata de una red de tipo competitivo, ya que al presentar una entrada Ek la

1 si MIN | Ek - Wj | = MIN ( R2(SumNi=1(ei(k) - wij )2 ))

donde R2 es la raiz cuadrada y Sum es la sumatoria para i=1

que representa cuál de las M neuronas se activaría al introducir dicha

En la fase de funcionamiento, lo que se pretende es encontrar el dato

Lo que hace la red en definitiva es realizar una tarea de clasificación, ya que la

Durante la etapa de entrenamiento, se presenta a la red un conjunto de

El aprendizaje no concluye después de presentarle una vez todos los patrones

El modelo de Kohonen es uno de los más útiles en computación neuronal, a

Como aplicaciones, destacan las relacionadas con el reconocimiento de

Otro objetivo de este trabajo era el comparar el desempeno de algunas redes

Horace Barlow, T. P. Kaushal, and G. J. Mitchison. Finding minimum entropy

Link del video: https://www.youtube.com/watch?v=j-3zGKIfEjM

También podría gustarte