Redes Neuronales Artificiales Introduccin En la ltima dcada las Redes Neuronales Artificiales (ANN) han recibido un inters particular

como una tecnologa para minera de datos, puesto que ofrece los medios para modelar de manera efectiva y eficiente problemas grandes y complejos. Los modelos de ANN son dirigidos a partir de los datos, es decir, son capaces de encontrar relaciones (patrones) de forma inductiva por medio de los algoritmos de aprendizaje basado en los datos existentes ms que requerir la ayuda de un modelador para especificar la forma funcional y sus interacciones. Las ANN son un mtodo de resolver problemas, de forma individual o combinada con otros mtodos, para aquellas tareas de clasificacin, identificacin, diagnstico, optimizacin o prediccin en las que el balance datos/conocimiento se inclina hacia los datos y donde, adicionalmente, puede haber la necesidad de aprendizaje en tiempo de ejecucin y de cierta tolerancia a fallos. En estos casos las RNAs se adaptan dinmicamente reajustando constantemente los pesos de sus interconexiones. Las ANN se basan en la analoga que existe en el comportamiento y funcin del cerebro humano, en particular del sistema nervioso, el cual est compuesto por redes de neuronas biolgicas que poseen bajas capacidades de procesamiento, sin embargo toda su capacidad cognitiva se sustenta en la conectividad de stas. La unidad de una red neuronal artificial es un procesador elemental llamado neurona que posee la capacidad limitada de calcular, en general, una suma ponderada de sus entradas y luego le aplica una funcin de activacin para obtener una seal que ser transmitida a la prxima neurona. Estas neuronas artificiales se agrupan en capas o niveles y poseen un alto grado de conectividad entre ellas, conectividad que es ponderada por los pesos. A travs de un algoritmo de aprendizaje supervisado o no supervisado, las ANN ajustan su arquitectura y parmetros de manera de poder minimizar alguna funcin de error que indique el grado de ajuste a los datos y la capacidad de generalizacin de las ANN. Existe un gran nmero de arquitecturas neuronales, sin embargo, en este proyecto mostraremos dos de las arquitecturas ms famosas, las redes feedforward y los mapas auto organizativos.

2. La Estructura de los modelos de ANN Modelo de la Unidad de Procesamiento Elemental McCulloch and Pitts en 1943 [MP43] concibieron un modelo abstracto y simple de una neurona artificial, este es el elemento bsico de procesamiento en una red neuronal artificial. En la figura 1 se muestra su esquema:

El modelo est compuesto por un vector de pesos w= (w1,..., wd)T equivalente a las conexiones sinpticas en una neurona real, w0 es el umbral de accin o activacin, el vector x es la entrada y el escalar y la salida de la unidad. La actividad consiste en generar una nica salida y a partir de la aplicacin de la funcin de activacin ponderada entre el vector de entrada
T

a la suma

x =(x1 ,..., xm ) y el vector de pesos w= (w1

,..., wd )T ms un sesgo w0, obtenindose la siguiente expresin:

donde dada por

es una funcin no-lineal. La funcin propuesta por McCulloch-Pitts posee una

salida binaria 1 conocida como la funcin de todo o nada que equivale a la funcin signo

Otra funcin con salida binaria es la funcin escaln unitario descrita por

Cuando se consideran neuronas con respuestas de procesamiento gradual, entonces se pueden usar funciones de activacin de forma lineal (z)=z o de forma sigmoidal como la funcin logstica

o la tangente hiperblica

(z)=tanh(z).

Redes Neuronales Artificiales Una red neuronal artificial (ANN) es un esquema de computacin distribuida inspirada en la estructura del sistema nervioso de los seres humanos. La arquitectura de una red neuronal es formada conectando mltiples procesadores elementales, siendo ste un sistema adaptivo que posee un algoritmo para ajustar sus pesos (parmetros libres) para alcanzar los requerimientos de desempeo del problema basado en muestras representativas. Por lo tanto podemos sealar que una ANN es un sistema de computacin distribuida caracterizada por: o Un conjunto de unidades elementales, cada una de las cuales posee bajas capacidades de procesamiento. o Una densa estructura interconectada usando enlaces ponderados. o Parmetros libres que deben ser ajustados para satisfacer los requerimientos de desempeo. o Un alto grado de paralelismo. Es importante sealar que la propiedad ms importantes de las redes neuronales artificiales es su capacidad de aprender a partir de un conjunto de patrones de entrenamientos, es decir, es capaz de encontrar un modelo que ajuste los datos. El proceso de aprendizaje tambin conocido como entrenamiento de la red puede ser supervisado o no supervisado. El aprendizaje supervisado consiste en entrenar la red a partir de un conjunto de datos o patrones de entrenamiento compuesto por patrones de entrada y salida. El objetivo del algoritmo de aprendizaje es ajustar los pesos de la red w

de manera tal que la salida generada por la ANN sea lo ms cercanamente posible a la verdadera salida dada una cierta entrada. Es decir, la red neuronal trata de encontrar un modelo al procesos desconocido que gener la salida y. Este aprendizaje se llama supervisado pues se conoce el patrn de salida el cual hace el papel de supervisor de la red. En cambio en el aprendizaje no supervisado se presenta slo un conjunto de patrones a la ANN, y el objetivo del algoritmo de aprendizaje es ajustar los pesos de la red de manera tal que la red encuentre alguna estructura o configuracin presente en los datos. Red Neuronal Feedforward Las redes neuronales feedforward (FANN) corresponde a la clase de ANN ms estudiada por el mbito cientfico y la ms utilizada en los diversos campos de aplicacin. Las diferentes clases de ANN se distinguen entre s por los siguientes elementos: o Las neuronas o nodos que constituye los elementos bsicos de procesamiento. La arquitectura de la red descrita por las conexiones ponderadas entre los nodos. El algoritmo de entrenamiento, usado para encontrar los parmetros de la red. Arquitectura de una FANN Morfolgicamente, las FANN consisten en un conjunto de neuronas organizadas en capas como se muestra en la figura 2 [AMS02].

Las capas se componen en: o Capa de entrada o Capa oculta o Capa de salida Dado un conjunto de observaciones, la tarea del aprendizaje neuronal es construir un estimador de datos: g (x, w) de la funcin desconocida h(x) del cul se conoce slo un conjunto

donde w (w ,..., wd )T 1 = es el vector paramtrico a ser estimado y equivale a las ponderaciones de las conexiones entre las neuronas de la red, 1 es una funcin no-lineal acotada y diferenciable con forma de funcin sigmoide o de radio basal, 2 es una funcin que puede ser lineal o no lineal y neuronas escondidas. La funcin 1 es el parmetro de control que indica el nmero de

tpicamente es la funcin sigmoidal dada por funcin sigmoidal satisface estos requisitos. Una vez definida la arquitectura que se desea utilizar en un problema particular, la red neuronal debe ajustarse a una muestra dada a travs del proceso de aprendizaje. El algoritmo de aprendizaje consiste en un problema de inferencia de los parmetros libres de la red dado por las conexiones entre las neuronas. El proceso de aprendizaje de una red neuronal feedforward se caracteriza por ser supervisado pues los parmetros de la red, conocidos como pesos, son estimados a partir de un conjunto de patrones de entrenamiento compuesto por patrones de entrada y salida. Por lo tanto el ajuste de la red se produce como resultado de la estimacin de los parmetros basado en una muestra de tamao n. La estimacin es obtenida minimizando una funcin de costo es decir:

donde Ln(w) normalmente viene dado por la funcin del promedio de los errores al cuadrado entre el dato estimado por la red y el dato real, es decir:

Para estimar los parmetros de la red minimizando iterativamente la funcin de, en 1986, Rumelhart, Hinton y Williams redescubrieron el algoritmo de retropagacin o "backpropagation" como una generalizacin de la regla delta propuesta por Widrow-Hoff (ver [WH60]). El trmino de "backpropagation" se refiere a la forma en que el gradiente de la funcin de costo es calculado para redes neuronales feedforward. El aprendizaje involucra un ajuste de los pesos comparando la salida deseada con la respuesta de la red de manera que el error sea mnimo. La funcin que usualmente es utilizada para medir el error es la suma de los errores al cuadrado o su promedio. Una de las caractersticas ms importantes y poderosas de las redes neuronales feedforward es su capacidad como aproximadores universales, esto es, dada cualquier funcin derivable y acotada, existe una red neuronal con un nmero suficiente de neuronas escondidas que puede aproximar dicha funcin con el nivel de precisin deseada. La demostracin de esta propiedad fue desarrollada por K. Hornik, M. Stinchcombe y H. White [HSW89] a partir de una generalizacin del teorema de Stone-Weierstrass (ver [Rud64]). En su primera versin, Hornik et. al, demostraron que las redes neuronales feedforward, en particular las FANN con 3 capas, y con funcin de activacin de tipo sigmoidal pueden aproximar cualquier funcin derivable y acotada con grado de precisin arbitrario para un nmero suficiente de neuronas escondidas. Posteriormente White y Stinchcombe ([Whi92]) extendieron los resultados obtenidos a las redes feedforward con funciones de activacin no-sigmoidal en la capa escondida. Descripcin del problema a solucionar Una inferencia es una evaluacin que realiza la mente entre formulas bien formadas de un lenguaje, (FBF), que, al ser relacionadas intelectualmente como abstraccin, permiten trazar una lnea lgica de condicin o implicacin lgica entre las diferentes FBFs. De esta forma partiendo de la verdad o falsedad posible (como hiptesis), o conocida (como argumento) de alguna o algunas de ellas puede deducirse la verdad o falsedad de alguna o algunas de las otras FBFs.

Surge as lo que conocemos como postulado o transformada de una expresin original conforme a reglas previamente establecidas que puede enmarcarse en uno o varios contextos referenciales diversos obtenindose en cada uno de ellos un significado como valor de verdad equivalente. Conversion de FBFs a Conjunciones de Clausulas Cualquier FBF del calculo propocicional se puede convertir a una conjuncin de clausulas. Cuando una FBF esta escrita como una conjuncin de clausulas se dice que esta en forma normal conjuntiva(FNC)(una FBF escrita como una disyuncin de conjunciones de literales se dice que esta en forma normal disyuntiva(FND) ). Propuesta de Solucin Desarrollar un programa en Java utilizando los conceptos de redes neuronales para resolver el problema de los 4 operadores lgicos (disyuncin, conjuncin, implicacin y la negacin).

Universidad Mayor de San Simn Facultad de Ciencias y Tecnologia Carrera Ingenieria de Sistemas Materia Inteligencia Artifical

Universitarios: Jhonny Anachuri Baldivieso Fernando Velasquez Laura Nelson Marcelo Barco Huayta

Docente: Lic Rodriguez Bilbao Patricia Erika

Grupo: 3

Cochabamba 17 de junio de 2011