Scribd Logo
Cargar

¡Te damos la bienvenida a Scribd!

  • 87 vistas

    Optimizacion Vectorial

    Cargado por

    joel
    Este documento describe diferentes métodos de optimización vectorial para resolver problemas sin restricciones. Estos incluyen métodos de búsqueda directa, métodos del gradiente y métodos de segundo orden. Los métodos del gradiente requieren valores aproximados de la primera derivada de la función, mientras que los métodos de segundo orden también utilizan la segunda derivada. Algunos métodos específicos discutidos son el método del simplex, método del gradiente descendente, método de Newton y método del gradiente conjugado.

    Copyright:

    © All Rights Reserved
    Descargue como PDF, TXT o lea en línea desde Scribd

    Optimizacion Vectorial

    Cargado por

    joel
    87 vistas32 páginas
    Este documento describe diferentes métodos de optimización vectorial para resolver problemas sin restricciones. Estos incluyen métodos de búsqueda directa, métodos del gradiente y métodos de segundo orden. Los métodos del gradiente requieren valores aproximados de la primera derivada de la función, mientras que los métodos de segundo orden también utilizan la segunda derivada. Algunos métodos específicos discutidos son el método del simplex, método del gradiente descendente, método de Newton y método del gradiente conjugado.

    Descripción original:

    fly

    Derechos de autor

    © © All Rights Reserved

    Formatos disponibles

    PDF, TXT o lea en línea desde Scribd

    ¿Le pareció útil este documento?

    ¿Este contenido es inapropiado?

    Este documento describe diferentes métodos de optimización vectorial para resolver problemas sin restricciones. Estos incluyen métodos de búsqueda directa, métodos del gradiente y métodos de segundo orden. Los métodos del gradiente requieren valores aproximados de la primera derivada de la función, mientras que los métodos de segundo orden también utilizan la segunda derivada. Algunos métodos específicos discutidos son el método del simplex, método del gradiente descendente, método de Newton y método del gradiente conjugado.

    Copyright:

    © All Rights Reserved
    Descargue como PDF, TXT o lea en línea desde Scribd
    Descargar como pdf o txt
    87 vistas32 páginas

    Optimizacion Vectorial

    Cargado por

    joel
    Este documento describe diferentes métodos de optimización vectorial para resolver problemas sin restricciones. Estos incluyen métodos de búsqueda directa, métodos del gradiente y métodos de segundo orden. Los métodos del gradiente requieren valores aproximados de la primera derivada de la función, mientras que los métodos de segundo orden también utilizan la segunda derivada. Algunos métodos específicos discutidos son el método del simplex, método del gradiente descendente, método de Newton y método del gradiente conjugado.

    Copyright:

    © All Rights Reserved
    Descargue como PDF, TXT o lea en línea desde Scribd
    Descargar como pdf o txt
    de 32

    OPTIMIZACIN VECTORIAL

    Mtodos de Bsqueda Directa

    Mtodos del Gradiente

    Mtodos de Segundo Orden

    Utilizan slo valores de la


    funcin
    Requieren valores
    aproximados de la primera
    derivada de f(x)
    Adems de utilizar la
    primera derivada tambin
    utilizan la segunda
    derivada de f(x)

    OPTIMIZACIN VECTORIAL

    Mtodos de Bsqueda Directa

    Mtodos del Gradiente

    Mtodos de Segundo Orden

    Utilizan slo valores de la


    funcin
    Requieren valores
    aproximados de la primera
    derivada de f(x)
    Adems de utilizar la
    primera derivada tambin
    utilizan la segunda
    derivada de f(x)

    Mtodos de bsqueda directa


    Son tiles cuando no se conoce el gradiente de la funcin
    Existen tcnicas:
    Heursticas: El mtodo del simplex
    Tericas: Mtodo de las direcciones conjugadas de Powell

    Mtodo Simplex
    Geomtricamente el elemento que requiere menos puntos para su
    construccin => Simplex regular, que en dimensin N es un
    poliedro compuesto de N+1 puntos equidistantes que forman sus
    vrtices (tringulo, tetraedro,...).

    Mtodo Simplex 1
    X(2)

    X(2)
    X(1)

    X(1)
    X(3)
    Se sita un simple
    regular en el espacio
    de las variables
    independientes

    X(3)

    Este punto se
    X(4) utiliza para
    formar un nuevo
    simplex

    El vrtice con mayor


    valor de la funcin se
    refleja a travs del
    centroide

    Este procedimiento se repite hasta que se encuentre el


    mnimo o se encuentre uno de los siguientes casos:

    Mtodo Simplex 2
    1. El valor de la funcin en el peor punto y el punto reflejado sea el
    mismo.
    x2
    x1

    x3

    En este caso se debe elegir


    el siguiente vrtice que
    tenga el valor de la funcin
    ms elevado

    x4

    2. Cuando se llega a un ciclo


    En este caso se debe reducir el simplex en un determinado factor y empezar el
    procedimiento a partir del simplex nuevo

    3. Criterio de terminacin

    Implementacin del Mtodo Simplex 1


    Requiere de dos clculos:
    1. Generacin de un simplex regular de dimensin N, dado un punto
    base x0 y un factor de escala

    x + 1 i = j
    (0)
    = x j + 2 i j
    i, j = 1,2,K, N

    (0)
    j

    x (ji )

    ( N + 1)12 + N 1

    1 =

    N 2

    ( N + 1)12 1

    2 =
    N 2

    Implementacin del Mtodo Simplex 2


    2. Clculo del punto reflejado: Supongamos que x(j) es el punto que
    ser reflejado. Entonces el centroide de los restantes N puntos ser

    1 N (i )
    xc = x
    N i =0
    i j

    Todos los puntos sobre la lnea desde x(j) hasta xc vienen dados por:

    x = x ( j) + (x c x ( j) )
    =0
    =1

    x = x ( j)
    x = xc

    =2

    j)
    j)
    x (nueva
    = 2 x c x (anterior

    Ventajas y desventajas del Mtodo


    Ventajas
    1. Clculos simples y lgica no complicada
    2. Los requerimientos de almacenamiento son bajos (array de (N+1,N+2))
    3. Pocos parmetros de ajuste (factor de escala y parmetros de terminacin)

    Desventajas
    1. Problemas de escala, todos los vrtices utilizan la misma

    2. El algoritmo es lento, no utiliza informacin pasada


    3. No existe una forma simple de expandir el simplex sin calcular el patrn
    completo. Si se reduce la bsqueda tiene que continuar con este tamao de
    paso.

    Mtodo del simplex modificado

    Mtodo de Nedler y Mead: no hay que mantener la regularidad


    del simplex en el procedimiento de bsqueda: expansiones y
    contracciones.

    x(h) es el punto con mayor valor de la funcin, x(g) el siguiente


    punto ms grande y x(l) el punto con menor valor de la funcin.

    El punto reflejado es: x = x(h) + (1+ ) (xc - x(h))


    =1
    => algoritmo original;
    -1 1 => contraccin;
    >1
    => expansin;

    =
    = = 0.5
    ==2

    Se hace una reflexin normal y se chequea por una contraccin


    o expansin segn las condiciones:

    Mtodo del simplex modificado


    X(h)

    Xnew

    X(h)

    a) Reflexin normal:

    Xnew

    b) Expansin:

    f(x(l)) < f(xnew) < f(x(g))

    X(h)

    Xnew

    < f(xnew) <

    X(h)

    Xnew

    d) Contraccin negativa:

    c) Contraccin:
    f(x(g))

    f(xnew) < f(x(l))

    f(x(h))

    f(xnew) > f(x(g)) y


    f(xnew) f(x(h))

    Direcciones conjugadas de Powell (I)

    Se aproxima la funcin objetivo por una funcin cuadrtica.

    Si una funcin cuadrtica de N variables puede transformarse en la


    suma de N cuadrados perfectos, el ptimo se encuentra con N
    bsquedas de una variable.
    q(x) = a + bT x + 1/2 xT C x

    Hay que encontrar una matriz de transformacin T tal que el trmino


    cuadrtico sea diagonal:
    x = Tz

    Q(x) = xT C x = zT T T C T z = zT D z

    Se est escribiendo el vector x en un nuevo sistema de coordenadas tj,


    llamadas direcciones conjugadas. Slo queda encontrar estas
    direcciones.
    x = Tz = t1 z1 + t2 z2+ ... + tnzn

    Direcciones conjugadas de Powell (II)

    Propiedad del subespacio paralelo: dada una funcin cuadrtica


    q(x), dos puntos arbitrarios x(1) y x(2) y una direccin d; si y(1) es
    la solucin al problema min q(x(1) + d) e y(2) es la solucin de
    min q(x(2) + d) entonces la direccin (y(2) - y(1)) es C conjugada
    de d.
    y(1)

    x(1)

    x(2)

    y(2)

    Direcciones C-conjugadas: es
    un conjunto de vectores
    linealmente independientes que
    diagonalizan la matriz C, es
    decir:
    SiT C Sj = 0 i j

    Direcciones conjugadas de Powell (III)

    Propiedad extendida del subespacio paralelo:

    x(2)

    x(3)

    e(2)
    x(1)

    x(0)
    e(1)

    Calcular:
    (0) mnimo f( x(1)= x(0) + (0)e1)
    (1) mnimo f( x(2)= x(1) + (1)e2)
    (2) mnimo f( x(3)= x(2) + (2)e1)
    s1 = x(3) - x(1) es C-conjugada de e1
    y e2
    Repetir procedimiento con e2 y s1

    Direcciones conjugadas de Powell (IV)

    Algoritmo:
    1.- Definir x(0) y un conjunto de direcciones independientes s(i) =
    e(i), i=1,...,N
    2.- Minimizar a lo largo de N+1 direcciones usando el mnimo
    anterior y poner s(N) como primera y ltima direccin de bsqueda
    3.- Construir la nueva direccin conjugada
    4.- Borrar s(1), reemplazarla por s(2), etc. Poner la nueva direccin
    en s(N) e ir al paso 2.
    Incluir:
    Un chequeo de convergencia
    Test para asegurar la independencia lineal de las direcciones
    conjugadas

    Mtodos de solucin de problemas sin


    restricciones (optimizacin vectorial)
    Mtodos de Bsqueda Directa

    Mtodos del Gradiente

    Mtodos de Segundo Orden

    Utilizan los valores de la


    funcin
    Requieren valores
    aproximados de la primera
    derivada de f(x)
    Adems de utilizar la
    primera derivada tambin
    utilizan la segunda
    derivada de f(x)

    Mtodos del Gradiente


    X(k+1) = x(k) + (k) s (x(k))
    1. Tamao del paso del algoritmo: (k)

    2. Vector de Direccin de bsqueda: s(x(k))


    3. Algoritmo del gradiente y mtodo del Descenso ms pronunciado

    Significado Geomtrico del vector


    gradiente

    Expansin en serie de
    Taylor de la funcin
    alrededor de x*:
    f(x) = f(x*) + f(x*) x

    f(x*) es fijo por tanto el


    segundo trmino dictar
    el descenso de f(x) =>
    s(x(k)) = - f(x(k))

    Tamao del paso del algoritmo

    xk

    f ( )

    x2
    xk+1

    d
    x1

    f (x k +1 ) = f (x k + d k )

    min f (x k + d k )

    (k) puede ser constante (mtodo del gradiente) o calcularse en cada


    iteracin de forma que f(x(k+1)) sea mnimo a lo largo de la direccin -

    f(x(k)) (mtodo del descenso ms pronunciado)

    Algoritmo del Mtodo del Descenso ms


    pronunciado
    1. Seleccin de un punto inicial x0, eg. La iteracin k=0
    2. Calcular f (xk). Parar si || f (xk) || eg . De lo contrario, definir el
    vector : sk = s(xk) = - f (xk)
    3. Obtener k de minimizar f () = f (xk + sk) . Actualizar
    xk+1 = xk + k sk
    4. k = k+1 y xk = xk+1 . Ir al paso 2.
    Inconveniente: Lentitud del algoritmo cerca del mmimo ya que

    f(x(*)) = 0.

    Mtodos de solucin de problemas sin


    restricciones (optimizacin vectorial)
    Mtodos de Bsqueda Directa

    Mtodos del Gradiente

    Mtodos de Segundo Orden

    Utilizan los valores de la


    funcin
    Requieren valores
    aproximados de la primera
    derivada de f(x)
    Adems de utilizar la
    primera derivada tambin
    utilizan la segunda
    derivada de f(x)

    Mtodo de Newton (I)


    Consideramos la expansin de Taylor de la funcin objetivo:

    f (x ) = f (x

    (k )

    ) + f (x )

    (k ) T

    x +

    1
    x T 2 f (x ( k ) ) x + O ( x 3 )
    2

    Hacemos una aproximacin cuadrtica de f(x) eliminando el


    trmino de tercer orden

    1
    ~
    (k )
    (k )
    (k ) T
    f (x ; x ) = f (x ) + f (x ) x + x T 2 f (x ( k ) ) x
    2
    El siguiente punto se calcula suponiendo que el gradiente de la
    aproximacin cuadrtica es igual a cero

    Mtodo de Newton (II)


    Utilizamos la aproximacin cuadrtica de f(x) para construir una
    secuencia de iteracin, forzando a x(k+1), como el siguiente punto
    en la secuencia.

    ~
    f (x ; x ( k ) ) = f (x ( k ) ) + 2 f (x ( k ) ) x = 0
    De aqu que:

    x = f (x
    2

    ( k ) 1

    f (x ( k ) )

    x ( k +1 ) = x ( k ) 2 f (x ( k ) ) f (x ( k ) )
    1

    Mtodo de
    Optimizacin de
    Newton

    Mtodo de Newton (III)

    Mtodo modificado de Newton:


    (k) es tal que f (x(k+1)) sea mnimo
    s(x(k)) = - [2 f(x(k))]-1 f(x(k))
    Caractersticas: asegura la direccin descendente, pero la
    evaluacin de [2 f(x(k))]-1 es difcil y puede ser singular.
    Mtodo de Marquardt-Lavenberg:
    (k) =1.
    s(x(k)) = - [2 f(x(k)) + (k) I ]-1 f(x(k))
    (k) controla la direccin de bsqueda y mejora la
    singularidad de la Hessiana. Se chequea la direccin
    descendente, si f(xk+1) < f( xk) => (k+1) < (k), si no se
    cumple: (k) = (k) con > 1 y se repite el paso otra vez.

    Mtodo de Marquadt-Lavenberg

    Algoritmo:
    1.- Definir x0, estima inicial de x*, M el nmero mximo de
    iteraciones y criterio de convergencia.
    2.- k= 0. 0 = 104
    3.- f (xk) < ?. Si ir a 10, No continuar
    4.- K M ?. Si ir a 10. No: continuar

    5.- Calcular s(xk) = - [2 f(x(k)) + (k) I ]-1 f(x(k))


    6.- Hacer xk+1 = xk + s(xk)
    7.- f(xk+1) < f(xk) ?. Si ir a 8, No: ir a 9
    8.- Hacer k+1 = 0.5* k; k = k+1; Ir a 3
    9.- Hacer k = 2*k. Ir a 5
    10.- Parar.

    Mtodo del gradiente conjugado

    Se calculan direcciones conjugadas utilizando el gradiente.


    Aproximando la funcin objetivo por una funcin cuadrtica:
    q(x) = a + bT x + 1/2 xT C x
    q(x) = g(x) = Cx + b

    g(x) = C x

    s(xk) = - g(k) + i=0k-1 (i) s(i)

    (i) se calculan tal que sk sea C- conjugado a todas las


    direcciones anteriores calculadas: s0, s1, ..., sk-1

    Varias soluciones:
    Fletcher- Reeves: s(k) = - g(k) + [g(k)2 / g(k-1)2 ] sk-1

    con s(0) = - g(0)

    Polak y Ribiere: s(k) = - f(xk) + k s(k-1) con


    k = g(xk)T g(xk) / g( xk-1)2

    Mtodos de Quasi-Newton (I)

    Se disean para tener las mismas caractersticas de los


    mtodos de Newton pero usando slo derivadas primeras.

    La direccin de bsqueda es:


    Sk = - Ak f (xk)

    con Ak mtrica

    Ak se calcula de forma recursiva: Ak+1 = Ak + Ack

    Ack se calcula de forma que la secuencia A0, A1, ..., Ak+1


    aproxime la inversa de la matrix hesiana: H-1 = [2f (xk)]-1

    Si la funcin es cuadrtica la matrix hessiana es C, por tanto se


    quiere aproximar:
    C-1 = Ak+1
    y que cumpla la propiedad cuadrtica: xk = C-1 gk

    Mtodos de Quasi-Newton (II)


    xk = Ak+1 gk;
    Ack gk = 1/ xk Ak gk
    La solucin es:
    A ck

    Ak g k zT

    zT g k

    Mtodo de Davidon-Fletcher-Powell: y = xk y z = Ak gk

    1 x k y T
    =
    y T g k

    = A

    k 1

    x k 1 x ( k 1)T
    +
    ( k 1)T
    g k 1
    x

    A k 1 g k 1 g ( k 1)T A k 1


    g ( k 1)T A k 1 g k 1

    Mtodos de Quasi-Newton (III)

    Conserva las propiedades de simetra y definida positiva => Si


    A0 es simtrica y definida positiva, A1, A2,... Tambin. => Una
    solucin A0 =I
    Mtodo de Boyden-Fletcher-Shannon (BFS)

    k +1

    k
    ( k )T

    x
    g
    = I
    x ( k )T g k

    k
    A

    k
    ( k )T

    x
    g
    I

    x ( k )T g k

    x k g ( k )T
    +
    x ( k )T g k

    Algoritmo general

    1.- Definir M: nmero mximo de iteraciones, x0 estima inicial,


    1: criterio de convergencia, 2 criterio de convergencia lineal.
    2.- K=0
    3.- Calcula f (xk)
    4.- || f (xk) || 1.. Si => ir a 12. No => continuar
    5.- K > M. Si => ir a 12. No => continuar
    6.- Calcular s(k)
    7.- Encontrar un k / f (xk + k sk) sea mnimo, usando 2
    8.- Hacer xk+1 = xk + k sk
    9.- f (xk+1 ) < f (xk). Si => continuar. No =>Ir a 12
    10.- || x || / || xk || 1.. Si => Ir a 12. No => continuar
    11.- Hacer K=K+1. Ir a 3
    12.- Parar

    Formas de calcular el gradiente

    Calcular el gradiente de forma numrica:

    df
    dxi
    df
    dxi

    x= x

    x= x

    = lim
    0

    = lim
    0

    f ( x + * ei ) f ( x )

    f ( x + * ei ) f ( x * ei )
    2

    Ejemplo 1

    También podría gustarte