&DStWXOR

0pWRGRVGHDJUXSDPLHQWR

>&OXVWHULQJ@

(")+*,-.0/21436525 7982,:)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)&;

1.1 Formulación matemática del problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

;<=?> /@.?7-BAC/D 1 EFG>@.H3?I+F"A&7JE?,-/K)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)ML

2.1 Agrupamiento mediante enfriamiento simulado . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.2 Método adaptativo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.3 Algoritmo de Batchelor y Wilkins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.4 Algoritmo de las K medias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

2.5 Algoritmo GRASP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.6 Algoritmo de agrupamiento secuencial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2.7 Algoritmo ISODATA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.8 Métodos basados en grafos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

N?)+OH7JP?=+79/ >@."FRQTSFU)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)6)M;2(


 
     !" $#&%'
)* +-,/.021 3/45(5(687,

Los métodos de agrupamiento o clustering (arracimamiento en algunas traducciones no

demasiado buenas) constituyen un tipo de aprendizaje por descubrimiento muy similar a la
inducción. En el aprendizaje inductivo, un programa aprende a clasificar objetos basándose en
etiquetados proporcionados por un profesor (aprendizaje supervisado). En los métodos de
agrupamiento no se suministran los datos etiquetados: el programa debe descubrir por sí mismo
las clases naturales existentes.

Por ejemplo, el programa AUTOCLASS (Cheeseman, Self, Kelly, Taylor, Freeman y

Stutz, 9;:<>=@?BACD<FEHG/ID<FAAJC KCMLB<ONCMPEHQ
, Proceedings AAAI88, 1988) usa razonamiento bayesiano para,
dado un conjunto de datos de entrenamiento, sugerir un conjunto de clases plausible. Este
programa encontró nuevas clases significativas de estrellas a partir de sus datos del espectro
infrarrojo, lo que puede considerarse ejemplo de descubrimiento por parte de una máquina (los
hechos descubiertos eran desconocidos para los astrónomos).

Las funciones de densidad de probabilidad suelen tener una moda o un máximo en una
región; es decir, las observaciones tienden a agruparse en torno a una región del espacio de
patrones cercana a la moda. Las técnicas de agrupamiento analizan el conjunto de observaciones
disponibles para determinar la tendencia de los patrones a agruparse. Estas técnicas permiten
realizar una clasificación asignando cada observación a un agrupamiento [cluster], de forma que
cada agrupamiento sea más o menos homogéneo y diferenciable de los demás.

Los agrupamientos naturales obtenidos mediante una técnica de agrupamiento mediante

similitud resultan muy útiles a la hora de construir clasificadores cuando no están bien definidas
las clases (no existe un conocimiento suficiente de las clases en que se pueden distribuir las
observaciones), cuando se desea analiza un gran conjunto de datos (“divide y vencerás”) o,
simplemente, cuando existiendo un conocimiento completo de las clases se desea comprobar la
validez del entrenamiento realizado y del conjunto de variables escogido.

Los métodos de agrupamiento asocian un patrón a un agrupamiento siguiendo algún

LBRCSN?BRCMPHTU?VACDWXCMID<FRCDTF<FT . Tales medidas de similaridad deben ser aplicables entre pares de patrones,
entre un patrón y un agrupamiento y, finalmente, entre pares de agrupamientos. Generalmente,
como medidas de similaridad se emplean métricas de distancia. Algunas de las más habituales son
la distancia euclídea, la distancia euclídea normalizada, la distancia euclídea ponderada y la
distancia de Mahalanobis.


 
     !" $#&%('
 (")*(&+-,/.0214365/7869/:2025<;=02><;8675@?=34A.,/B436=025

Consideremos un conjunto C de ejemplos y D clusters ( EFHGIEJ*GLKKK!GIEM ):

N EPO Q R ( #EPO > 0 )
N i Q j S EPO T ELU = R
N C = V EPO = { W$FHG"WXJYKKW[Z } tal que W[O \ ] n

Matemáticamente, el problema puede formularse como la minimización de

^`( _b, ad; c i h e c a

) = ∑ ∑ fg || f − g ||2
f =1 g =1
o
∑ j mn = 1, 1≤ k ≤ l
n =1
prqs ∈ {0,1}

W[O
· es el vector patrón correspondiente al ejemplo i-ésimo ( ). [W O"tvuw
x"U
· es el centro del j-ésimo cluster ( ). x"UItvuw
y
· es la matriz de pertenencia ( z{I|
) tal que es 1 si }~OU
y 0 en caso contrario. W[O t4ELU
|
· es el número de clusters (clases en el problema de clasificación)
z
· es el número de ejemplos del conjunto de casos de entrenamiento.

ANOTACIONES
 €
La función no es convexa, por lo que pueden existir mínimos locales no óptimos.
 €
La minimización de la función requiere conocer a priori el número deseado de
|
agrupamientos (si no el problema sería trivial: un agrupamiento para cada caso de
entrenamiento). No obstante, existen técnicas que permiten ajustar el número de
agrupamientos (fusionando y dividiendo agrupamientos), así como tratar elementos
discordantes [ /‚/ƒ„…†ˆ‡‰
en inglés] debidos, por ejemplo, a ruido en la adquisición de datos.


 
     !" $#&%'
)+*-,/.10235476892 :<;>=@?0+35AB>?8941=(C>62

La agrupamientos detectados dependen del algoritmo empleado, del valor dado a sus
parámetros, de los datos utilizados y de la medida de similaridad adoptada.

Se han propuesto cientos de algoritmos de agrupamiento más o menos específicos. Según

se use o no una función criterio se distinguen los algoritmos directos o constructivos (basados en
aproximaciones heurísticas) de los algoritmos indirectos o por optimización.

La estructura general de un algoritmo iterativo de agrupamiento directo es la siguiente:

Seleccionar una partición inicial

del conjunto de ejemplos en K clusters.

Calcular los centros de los clusters

Mientras que no se estabilicen los clusters

Repetir

Generar una nueva partición

(asignando cada patrón al cluster más cercano)

Calcular los centroides de los nuevos clusters

Hasta que se obtenga un valor óptimo de la función de evaluación

Ajustar el número de clusters

mezclando y separando clusters existentes
o eliminando clusters pequeños o “periféricos”

En las siguientes páginas se muestran algunos algoritmos de los más empleados. Sin
embargo, existen otros muchos métodos de agrupamiento. Por ejemplo, los algoritmos DHB y
DHF utilizan dos estrategias de búsqueda básicas: el algoritmo DHB realiza una búsqueda en
anchura mientras el algoritmo DHF hace una búsqueda en profundidad. El conocido algoritmo
de Forgy no es más que una extensión de DHF que permite adaptar el número de agrupamientos
[DEGFHJIKMLNH
] obtenidos.

Los tres algoritmos citados en el párrafo anterior (DHB, DHF y algoritmo de Forgy)
realizan una exploración exhaustiva del espacio de búsqueda, lo cual impide su utilización en la
muchos problemas reales. En las siguientes referencias se puede obtener más información sobre
esos tres algoritmos:
OQPSR T$R UWVYX[Z]\_^`RGa>R b F5cWKMHMdfe P E gihL X I!jlkmH"nhL a EGFHJIKML X[Z g b<V I V`opR q LK Z I X DKsr V EGE[t-u"vlwlw R
OyxzR PSR { V \|xzR!}YR T&V x X[YX Z X ZlV b<V V‚a X[Z X X!„JX[Z X[
} K V LDMj } I!HNL k V IKKg E X KMH opR q>V IGIKML k~Zm^KE7KdDhe g ZYFlX IE€X I h Zˆk~‡l‡ K t-Hu"vlh wlvtNE ‰g(H RI Š‹lŒ wlEGFv HJR IKML gQƒI E g…r†-c L


 
     !" $#&%('
 Técnicas de Algorítmica, como el )+*-,/.10-24357698;:1:+572+0<*-:"=
[enfriamiento simulado], nos
permiten agrupar conjuntos de datos más grandes sin la necesidad de realizar una exploración
exhaustiva del espacio de posibles asignaciones. Las siguientes referencias recogen cómo se puede
emplear el enfriamiento simulado para resolver problemas de agrupamiento:
> )+?!@A?!)+50<*-,CBED$? 8F0-GH.10I3!21:KJMLN8O)+*-,/.10-243576P8;:1:+572+0<*-:"=9QRS3!T+5VUW0<.GH357S*-:"=YXWSR[Z\0<57,^]_?
WX 243<357S`:bac5dR=(:+*I3*<R:fe[g hAi"j1j(ih`k=(G?i1l1l\m\n`i1l1l"o1?
> ac?qpr? D$0<5*-:sBtac?<UW? uf.[Z\57G7JvLxwWyzk{57S*-,/57:43!GF*-:|XWSRN} 5d"3*<R:921:16sUW0<.GH357S*-:"=~Z€)+*-,/.10-243576
8;:1:+572+0<*-:"=$]_? XW243<357S`:bac5dR=(:+*I3*<R:fe1ehAi"j1o1jh`k=(G?[e(i\m\nqe1e(l"?

No obstante, los algoritmos de agrupamiento más utilizados en problemas reales suelen

basarse en heurísticas. Existen multitud de algoritmos heurísticos de agrupamiento, de los cuales
se expondrán algunos de los más representativos. No existe ninguna medida objetiva que permita
su comparación, por lo que los comentarios acerca de la bondad de cada método son,
generalmente, sesgados y subjetivos.

La exposición de los algoritmos de clustering concluirá con un método basado en grafos

que utiliza la matriz de similaridad para construir los distintos agrupamientos. Éste método es muy
fácil de entender aunque, como sucede con todos los métodos basados en grafos, consume
demasiados recursos.

8F0 =K.:121GW,/576+*-6121GW6+5F6+*-GH3!21:+d*-2f.[3*<0<*!‚_216121G"Q\S5d.157:4357,/57:435

uf*-GH3!21:+d*-2f5.1d0Iƒ!6+572 : „ (… † , … ‡ ) = ( … † − … ‡‰) ˆ ( … † − … ‡ ) = … † − … ‡
2
2
1.

2. uf*-GH3!21:+d*-25.1d0Iƒ!6+572:+RS`,b2+0<*!‚2[6[2
: Igual que la anterior, salvo que los valores de cada
variable se normalizan en el intervalo [0,1] para que unas características no influyan más
que otras al calcular las distancias.
‘
3.  1 2 ( Œ  Ž − Œ   ) 2
uf*-GH3!21:+d*-2f5.1d0Iƒ!6+572Šk{R:16+57S`21612 : ‹  2 ( Œ Ž , Œ  ) = ∑ σ =1

4. uf*-GH3!21:+d*-2|6+5“’M21T12+0-21:+R[Z\*-G : ” ( • – , • — ) = ( • – − • —™) ˜ Σ ( • – − • — )
2 −1

donde š es la inversa de la matriz de covarianza.

-1


 
     !" $#&%('
(*),+.-0/213452687:9;=<>?689@7:52;=<9&9;=AB17:52687:9;=<>?CD7:683=E:52@>8F,G=7:683=E:5H<9@I-0;;95HE:7:;/HJ

El problema del agrupamiento se puede resolver con cualquier técnica general que permita
realizar una exploración del espacio de búsqueda (el espacio de las posibles asignaciones). Una
posible forma de resolverlo (bastante ineficiente por cierto) se basa en la utilización de un
algoritmo de enfriamiento simulado:

Simulated Annealing Clustering

Sólido que se enfría Problema de optmización

Configuración actual Asignación actual de patrones a clusters

Perturbación de la configuración actual Generación de una nueva asignación

Energía E asociada a la configuración Función objetivo J

Aceptación de la configuración si disminuye E Aceptación de la asignación si mejora J

Aceptación de una configuración con mayor energía Aceptación de la asignación si se espera una mejor

Nuestra función objetivo puede ser, por ejemplo, la suma de las distancias al cuadrado de
los patrones a los centroides de los agrupamientos (la función que minimiza el K-Means).

Simplemente hemos de definir un método de generación de vecinos (construcción de una

nueva asignación a partir de la asignación actual), fijar un esquema de enfriamiento (constante
proporcional en este caso), establecer el valor de temperatura inicial, escoger la temperatura final
del proceso de enfriamiento y, por último, tener algo de paciencia para obtener buenos
resultados...

K&LNMOLNPDQORS:TM?UOL&VM2Q?MOV2LWNQ?Q2XS Y=M2QORS:TM
flag = falso

Mientras flag = falso

Para i de 1 a n

Generar un número aleatorio u Z U(0,1)

Si u > P

[ [ \
flag = true
Si = { c | 1 c C, c ai }
Seleccionar aleatoriamente un elemento c de Si
Asignar el patrón i al cluster c [ai:=c]


 
     !" $#&% '
)+* ,.-/021!34-6587+9",:/;<=9>340?7A@B1-DC-@E7A@GFH/0I9>340?7A@B1-6J0I34;>*I9>58-

Inicialización:
· Fijar T0 (temperatura inicial), (temperatura final) y µ (factor [<1])
· Seleccionar un conjunto arbitrario de C clusters (vectores Abest y Acandidate)
· Calcular la función objetivo: Jbest y Jcandidate
· T = T0

Mientras T K
Generar una nueva asignación Atrial (con valor Jtrial)

Si Jtrial > Jcandidate

L
M
Generar un número aleatorio y U(0,1)
Si y exp(-(Jtrial-Jcandidate)/T)
Jcandidate = Jtrial
Acandidate = Atrial

si no

Acandidate = Atrial
Jcandidate = Jtrial
Si Jtrial < Jbest
Abest = Atrial
Jbest = Jtrial
count = 0
si no
count++

Si count K N
T = µT

El enfriamiento simulado es menos dependiente de la configuración inicial de los clusters

que el algoritmo K-MEANS y, además, no se queda estancado en óptimos locales. El esquema
de enfriamiento Ti=0.9Ti-1 obtiene prácticamente los mismos resultados que otros criterios de
convergencia más lenta (vg: criterio de Cauchy, criterio de Boltzmann...). Aun a riesgo de realizar
una peor exploración del espacio de búsqueda, en muchas ocasiones es preferible obtener una
buena solución en un tiempo limitado.

El esquema de generación de vecinos empleado para el algoritmo SA [Simulated

Annealing] tiende a mantener siempre una fracción 1/k de las muestras en cada uno de los k
clusters, algo que no sucede con el K-MEANS. Además, no todos los agrupamientos han de tener
el mismo número de casos.

En definitiva, el enfriamiento simulado es mucho más lento que el sencillo algoritmo de

las K medias y suele obtener peores resultados.


 
     !" $#&%('
(*)(,+.-/0210,321324'/35/6!780:9;2<2;>=?A@ABCED;2FG=HACEDC?'IJ2KLD?NMOI?A@AJ2KP

El método adaptativo es un algoritmo heurístico de agrupamiento que se puede utilizar

cuando no se conoce de antemano el número de clases del problema. Entre sus ventajas se
encuentran su simplicidad y eficiencia. Además, las observaciones se procesan secuencialmente.
Por desgracia, su comportamiento está sesgado por el orden de presentación de los patrones y
presupone agrupamientos compactos separados claramente de los demás.

El primer agrupamiento se escoge arbitrariamente. Se asigna un patrón a un cluster si la

distancia del patrón al centroide del cluster no supera un umbral. En caso contrario, se crea un
nuevo agrupamiento.

Este algoritmo incluye una clase de rechazo a la hora de clasificar observaciones. Los
patrones se asignan por la regla de mínima distancia. Algunos patrones no son clasificados si el
cuadrado de la distancia al agrupamiento más cercano es mayor que el umbral .

QSR2TVU2WYX"Z!T[\
Umbral de distancia (al cuadrado)
Fracción (entre 0 y 1)
{Xi} Conjunto de patrones
]^R2T_NR8`5aAXb\
A Número actual de agrupamientos
Zi Centroide del agrupamiento i

c a dL[T_eZ!WY[gf^XER"d'ThiSR2WY_AXbj8Z[
Inicialización: A=1, Z1=X1

Mientras queden patrones por asignar

Obtener el siguiente patrón X y calcular d(X,Zi) i=1..A.

Asignar X al agrupamiento más cercano Zi si d(X,Zi) k

Formar un nuevo agrupamiento con X si d(X,Zi)> : A++, ZA=X

Recalcular el centroide Zi y la varianza Ci del agrupamiento.


 
     !" $#&%'#
)+*-,.0/21!30465,759801*-:6;<465,
La tabla siguiente recoge los resultados obtenidos con la aplicación del algoritmo de
agrupamiento adaptativo a un conjunto de cuatro imágenes 256x256 de una galaxia espiral
(correspondientes a las bandas R, G, B e IR). La columna “bondad estimada” corresponde al
porcentaje de clasificación obtenido utilizando los agrupamientos obtenidos para clasificar las
muestras no etiquetadas del conjunto de datos. Para este conjunto de datos se establecen tres
clases: estrellas, brazos de la galaxia y fondo.

Agrupamientos Bondad estimada

10 8 347 74.89 %
25 8 284 81.83 %
50 8 202 87.34 %
75 8 176 87.79 %
100 5 152 90.81 %
100 8 151 90.81 %
100 10 150 91.02 %
150 5 122 92.65 %
150 8 120 92.85 %
150 10 117 93.26 %
200 8 96 94.89 %
250 8 85 95.10 %
1000 5 30 98.36 %
1000 8 28 97.95 %
1000 10 27 98.16 %
10000 8 4 96.32 %
=9>0?0?0? @ A B0>0CB(DFE
100000 8 2 94.89 %

G
En esta tabla se puede apreciar como el parámetro fundamental a la hora de conseguir
un “buen” agrupamiento con este algoritmo es el umbral . Cuanto mayor sea este umbral, menos
agrupamientos se formarán.
G El parámetro influye menos en el comportamiento final del método adaptativo.


 
     !" $#&%('
)+*,.-0/21434567893;:<>=&?@7AB</2345DC;EF6/2GH62IJLKM?@/21434567893;:<&89N@O46289?;:62J7?4IA62?@P
Como sucedía con el método adaptativo, el algoritmo de Batchelor y Wilkins es un
método de agrupamiento con número de clases desconocido.

QLR4SUT4V0W"X!SYZ
f Fracción de la distancia media entre agrupamientos

[]\ ^ YS_`X!V0Y.abW]R ^ ScdLR4V0_2WfegXY

Primer agrupamiento: Patrón escogido al azar

Segundo agrupamiento: Patrón más alejado del primer agrupamiento

Mientras se creen nuevos agrupamientos

Obtener el patrón más alejado de los agrupamientos existentes

(máximo de las distancias mínimas de los patrones a los
agrupamientos)

Si la distancia del patrón escogido al conjunto de agrupamientos

es mayor que una fracción de la distancia media entre los
agrupamientos, crear un agrupamiento con el patrón seleccionado

Asignar cada patrón a su agrupamiento más cercano

h@i WfV d \ YHj k]R \ R@l _mRnWfZdD_mSUR \

Fracción o Agrupamientos Bondad estimada

0 1027 -
1 10 98.16 %
2 3 93.67 %
p 0.3 2 57.34 %

Igual que sucedía con el método adaptativo, los resultados obtenidos dependen en gran
medida de los parámetros con los que se llama al algoritmo.


 
     !" $#&%'"(
(*)+-,-.0/21234567198:;.0<2=?>@67:840<2=BADC*)E&)2FG<2HIKJ::LMN"O2P2QSR
El algoritmo de las K medias (o T$U!VXWZY2[2\
) es probablemente el algoritmo de agrupamiento
más conocido. Es un método de agrupamiento heurístico con número de clases conocido (K). El
algoritmo está basado en la minimización de la distancia interna (la suma de las distancias de los
patrones asignados a un agrupamiento al centroide de dicho agrupamiento). De hecho, este
algoritmo minimiza la suma de las distancias al cuadrado de cada patrón al centroide de su
agrupamiento.

El algoritmo es sencillo y eficiente. Además, procesa los patrones secuencialmente (por

lo que requiere un almacenamiento mínimo). Sin embargo, está sesgado por el orden de
presentación de los patrones (los primeros patrones determinan la configuración inicial de los
agrupamientos) y su comportamiento depende enormemente del parámetro K.

Seleccionar arbitrariamente una configuración inicial de los clusters

Repetir

Calcular los centros de los clusters Zj

Redistribuir los patrones entre los clusters utilizando la mínima

]_^a`cbZdfehg2gi]_^kjmldng2gporqsg2gi]_^kjml tug2gpowvyx z|{
distancia euclídea al cuadrado como clasificador:

Hasta que no cambien los centros de los clusters

}S~ WZ €‚0ƒ…„ †‡Y_ˆYS‰ ŠˆY‹WZ\€‚ŠˆŒ|Y_

K Bondad estimada
3 94.89 %
5 92.04 %
7 98.16 %

NOTA: La convergencia del algoritmo depende de la configuración inicial de los clusters.

El algoritmo es eficiente y encuentra siempre un óptimo local, por lo que podemos utilizarlo como
œ Œƒ2šWZ_ŒW
técnica de búsqueda local en algoritmos GRASP [ †‡ŒWWZŽ‘Y2[2_ƒ-Š!’“WZG”;2Y€–•Š0—W™˜_WZY2ŒšZ›
] o GLS [ †&WZ[_W"•Š0š‚žŸƒ2šZY_ ˜_WZY2ŒšZ›
].


 
     !" $#&%'"'
)+*,.-./10323456782:9:;$-=<+>@?19A4BBCED=;GF3HC23785!IBCJ-KCF3LM65!NEBO<MBF34PQR>S423PBCT4BU
GRASP es una técnica de los años 80 que tiene como objetivo resolver problemas difíciles
en el campo de la optimización combinatoria. Esta técnica dirige la mayor parte de su esfuerzo
a construir soluciones de alta calidad que son posteriormente procesadas para obtener otras aún
mejores.

Los algoritmos GRASP son algoritmos de tipo iterativo en los que cada iteración incluye
una fase de construcción de una solución y otra de postprocesamiento en la cual se optimiza la
solución generada en la primera fase.

Se puede establecer una analogía con el problema de la Programación Lineal, donde

primero se construye una solución factible y después se aplica el algoritmo Simplex. Sin embargo,
en GRASP se le da bastante importancia a la calidad de la solución generada inicialmente.

La estructura básica de un algoritmo GRASP es la siguiente:

Mientras no se satisfaga el criterio de parada

Construir una solución greedy aleatoria

Aplicar una técnica de búsqueda local a la solución greedy

aleatoria obtenida en el paso anterior (para mejorarla)

Actualizar la mejor solución encontrada

Se puede extender este algoritmo si se le añade un operador de mutación (mecanismo de

generación de vecinos) que introduzca mayor diversidad en la búsqueda realizada por el
procedimiento GRASP básico:

Mientras no se satisfaga el criterio de parada

Solución = Solución greedy aleatoria

Para i de 1 a L

Solución = Búsqueda local (Solución)

Actualizar la mejor solución (si corresponde)

Solución = Mutación(Solución)


 
     !" $#&%'(
)+* ,.-/021!34-$,5/6687:9
Como algoritmo greedy se puede utilizar una versión simplificada del algoritmo de
Batchelor y Wilkins. Como centros de los agrupamientos se escogerán patrones del conjunto de
entrenamiento de forma que el patrón escogido en cada momento sea el más alejado a los
centroides ya fijados (siendo la distancia a un conjunto de centroides el mínimo de las distancias
a cada centroide). Obviamente, el primer centroide ha de escogerse de forma aleatoria.

; 6<8=?>@0BAC34-D7@6E,.68>@68/C=@<0GF>H7@6+A-?*GI?<0G->@68A,5/6687:9J=@*G68=K1-/0B=?A

6L 8AQ1!/0G<"1En
687 laM =?construcción
>?7@0B7?=K16 N 0BAQ1 de soluciones greedy aleatorias se utiliza una lista de candidatos [L+MONEP
] en la que se incluyen los mejores aspirantes a formar parte de la
solución. De esa lista se escoge un candidato aleatoriamente.

Un posible algoritmo greedy aleatorio consiste en utilizar como RCL la lista de los
patrones más alejados a los centroides ya escogidos. El tamaño de esta lista puede ser, por
ejemplo, igual al 5% de las muestras disponibles.

El algoritmo greedy aleatoria es análogo al algoritmo greedy clásico, teniendo en cuenta

que, en cada momento, se escoge aleatoriamente uno de los patrones más alejados al conjunto de
centroides ya establecido.

R?S <8>@0G<8=H7@6UTWVAX?I?687?=Y*G-?<8=@*
La estrategia de búsqueda local se utiliza para mejorar la solución obtenida mediante en
el mecanismo de generación de soluciones greedy aleatorias. Mientras la solución no sea un
óptimo local, se encuentra una solución mejor entre los vecinos de la solución actual.

Como técnica de búsqueda local se puede emplear, por ejemplo, el conocido algoritmo
de las K medias, cuya convergencia depende de la configuración inicial de los clusters.

Z.[E68/C=?7@-/\7@6+34I]1!=@<0GF>_^B=@* ,.-/021!34-a` L c) b"de6Qf168>?7@0B7@-hg

En el algoritmo GRASP extendido es necesario considerar un operador de mutación que
se aplicará sobre la solución actual cada vez que finalice la ejecución del algoritmo de búsqueda
local.

Una solución se representa por un vector en el cual la componente i-ésima indica el

agrupamiento al que pertenece el patrón i-ésimo. Para mutar una solución se altera cada
componente del vector solución con una probabilidad P. Como es lógico, las componentes del
vector se mantendrán con una probabilidad 1-P. Como valor de P escogeremos 0.3 para aplicar
una mutación fuerte que permita una buena exploración del espacio de búsqueda.


 
     !" $#&%'"(
 )+*,-.0/213.04 56/7.0,89/:;,=<?>2.0/<+.0,A@B-DC!>014E3F

flag = falso

Mientras flag = falso

Para i de 1 a n

Generar un número aleatorio u G U(0,1)

Si u > P

H H I
flag = true
Si = { c | 1 c C, c ai }
Seleccionar aleatoriamente un elemento c de Si
Asignar el patrón i al cluster c [ai:=c]

Los algoritmos GRASP no requieren estructuras de datos especialmente complejas y

conducen siempre a buenas soluciones. De hecho, con la base de datos de la galaxia espiral, con
ejecutar este algoritmo unas pocas iteraciones (sin necesidad de utilizar el operador de mutación)
se consigue siempre la división del conjunto de datos en tres agrupamientos que corresponden a
las tres clases del problema:


 
     !" $#&%'(
 A continuación se mostrarán los valores obtenidos para distintos parámetros a lo largo de
las iteraciones de un algoritmos GRASP. Para ilustrar la distribución de estos valores se utilizarán
F0G :IHKJL)M,+.CAN4
cinco particiones distintas de la )*,+.-0/ -1/*324,+658795:<;=79>
(por su simplicidad) y el *3?A@,4,BC2DE4
(sin operador de mutación).

La tabla siguiente recoge el mínimo, el máximo y la moda de las distribuciones de cada

uno de los parámetros para las ejecuciones del algoritmo GRASP básico aplicadas sobre la tabla
TITANIC cuando el número inicial de clusters es igual a 5 (K=5). Recuérdese que el valor del
O
parámetro (la suma de las distancias al cuadrado) se está intentando minimizar:

P *324,+ Q RS5 G : RS56HT5

DECAU ED 4,/ DE*3V DECAU DE4,/ DE*3V DECAU DE4,/ DE*3V
W 21121 22058 40842 6003 7713 7778 6843 7855 7961
X 19013 22351 41061 6816 7739 7895 6616 7795 7931
Y 18833 22161 41907 6810 7791 7953 6828 7674 7795
Z 17994 22187 39960 6829 7719 7862 6782 7840 8006
[ 18867 22486 42428 6823 7771 7869 6601 7719 7825

Se puede apreciar a partir de los datos de esta tabla que la moda de las distribuciones de
los distintos parámetros suele encontrarse muy cerca del máximo obtenido. Esta moda
corresponde con la solución que se obtendría con un algoritmo greedy simple (seguido de la
técnica de búsqueda local correspondiente). La inclusión de cierta aleatoriedad en el algoritmo
GRASP permite obtener de vez en cuando soluciones mejores a costa de obtener también algunas
soluciones peores que las que se obtendrían con el algoritmo simple.

Los diagramas siguientes, construidos utilizando MATLAB, muestran las distribuciones

de los distintos valores:

\I]_^a`!b]dc3e,f]Agh0ikj O


 
     !" $#&%'(
 *,+-./1032!465 /879/&.:;4=<> ?>@.149.>@A0B/10B/:C.+065 D032+E79/&/1032!-/10=4=FG>@/1032+

*,+-./1032!465 /879/&.:;4=<> ?>@.149.>@A0B/10B/:C.+065 D032+E79/IHJ-D=/"K 4

L Las metaheurísticas como la utilizada en la técnica GRASP permiten mejorar las
soluciones obtenidas en problemas complejos. Los algoritmos GRASP consiguen mejorar
los resultados obtenidos por el algoritmo de las K medias para el problema del
agrupamiento. GRASP consigue soluciones de alta calidad.
L El uso adecuado de la lista de candidatos RCL (Restricted Candidate List) es esencial para
el algoritmo GRASP, ya que de esa forma se consiguen distintos puntos de partida para
el algoritmo de búsqueda local concreto, el K-Medias en nuestro caso. Dado que este
algoritmo específico del problema es altamente dependiente de la configuración inicial de
los clusters, el método de construcción de soluciones greedy aleatorias debe proporcionar
buenos puntos de partida en distintas regiones del espacio de búsqueda (lo que consigue
con la RCL).
L En cuanto al algoritmo greedy empleado, se puede apreciar que no obtiene soluciones
excesivamente buenas aunque sí proporciona buenos puntos de partida para un algoritmo
de búsqueda local como el algoritmo de las K Medias, el cual obtiene resultados
netamente superiores a los que obtenía cuando se partía de una configuración inicial
aleatoria.


 
     !" $#&%')(
*)+,.-./10323456782:9;&<3034=><37851;?@62:AB;C=;?C51<D/

La utilización del método de agrupamiento secuencial es algo más compleja que la de

algoritmos como el K-Means o el de Batchelor y Wilkins. Igual que ellos, realiza cálculos
sencillos, procesa los patrones secuencialmente y los resultados obtenidos depende del orden de
presentación de los patrones (está sesgado por los primeros patrones).

Su funcionamiento puede ajustarse gracias a un amplio conjunto de parámetros. Los

valores adecuados para los parámetros son difíciles de establecer a priori, por lo que se suele
emplear un mecanismo de prueba y error.

EF<34G378;642 HI;ABC451>C51J3?
K Máximo número de agrupamientos
L Umbral de distancia para crear agrupamientos
M Umbral de distancia para mezclar agrupamientos
N Longitud del lote:
Número de patrones considerados entre procesos de mezcla
O Umbral para la eliminación de agrupamientos (porcentaje respecto a M)

El algoritmo selecciona arbitrariamente el centro del primer agrupamiento. Posteriormente

procesa secuencialmente los demás patrones. Calcula la distancia del patrón actual al
agrupamiento más cercano (a su centroide). Si ésta es menor o igual a R se asigna el patrón a su
agrupamiento más cercano. En caso contrario, se crea un nuevo agrupamiento con el patrón
actual.

Cada M patrones, se mezclan agrupamientos por cercanía (se mezclan dos agrupamientos
si la distancia entre ellos es menor que C). Si, tras la mezcla por cercanía, quedan más
agrupamientos que los deseados por el usuario (K), se mezclan los agrupamientos por tamaño (se
mezclan los agrupamientos con menos del T% de M miembros con sus agrupamientos más
cercanos). Si aún quedan demasiados agrupamientos, se mezclan los agrupamientos más cercanos
hasta obtener el número deseado de agrupamientos K.

El proceso de mezcla nos asegura que al final obtenemos el número deseado de

agrupamientos y no más (como solía suceder en el método adaptativo o en el algoritmo de
Batchelor y Wilkins).


 
     !" $#&%')(
(*)+-,-.0/21234567198:<;>=$,@?,
ISODATA es el acrónimo de ACBDFEHGIBJ0KDMLNDO PQRMETS<G2UNJ!VCJWU"S>X>GIB!G&YZU2GNO [<\JW\$]2D^F_2UNJ0`2a2DF\
(con
la A añadida para hacer pronunciable el nombre), un iterativo método de agrupamiento que, como
ya sucedía con el método de agrupamiento secuencial, requiere un considerable esfuerzo para
ajustar adecuadamente todos sus parámetros. Además, éstos pueden modificarse en cada iteración
del algoritmo.

bdc23e267f531 =9fgHh340ih40j2k
l Número deseado de agrupamientos
, Número inicial de agrupamientos
k Umbral del número de patrones para la eliminación de agrupamientos
g Umbral de desviación típica para la división de un agrupamiento
h Umbral de distancia para la unión de agrupamientos
m Máximo número de mezclas en una iteración
8 Máximo número de iteraciones permitidas

AHUNJ0^JWGNOWn-DFUIBDM\DM\DO0D^^J0oU2G2UpO0o\q^DFUIB!Eo\srNDYtG"S<EausG2n-J0DFUIBo\v
w Up^FG2r2GpJxBDFEHGN^J0yU
LNDNPJ z"G2UpO0o\qKFGNO0oEDF\srND&O0o\srNJW\CBJWUIBo\2usG2EH{2n-D"B!Eo\srNDOIGNO S|oEJxB!n-o
LNDMG2\J S<U2Gp^FG2r2GdusGIB!EyU>GNOIG"S<EausG2n-J0DFUIBo@n}{2\q^DFE^FG2UNo
LND&DO0JWn-JWU2G2UpO0o\sG"S<EausG2n-J0DFUIBo\q^oU>n-DFUNo\srNDMUdusGIB!EoUNDF\
LNJ"DOUN~n-DFEoGN^"BaGNOrND€G"S<EausG2n-J0DFUIBo\DF\uqD`2a2DF‚No}ƒWn-DFUNoEoZJ S|aGNO"`2a2D„…‡†‰ˆ"ŠrNJ0KJWrNJWn-o\O0o\
G"S<EausG2n-J0DFUIBo\}n}{2\}rNJW\uqDFEH\o\pƒW\J0DFU2rNo‹OWG‹rNJW\uqDFEH\J0yNUŒrNDaU‹G"S<EausG2n-J0DFUIBo‹OWG‹rNJW\CB!G2UN^JWG
n-DFrNJWG&rND\a\udGNB E‰o UDC\ GNOŽ^DFUIB!Eo2JWrNDrNDOŽ^O0a\CBDFEˆ*uqoEOWG$^on uqoUNDFUIBDrNDn}{Ž JWn}G&rNJW\uqDFEH\J0yU
ƒWEDF\uqD"B!G2U2rNo>DO<an@‘ EHGNOIn@’!UNJWn-o@\ˆ v
w U$OWG2\JxBDFEHGN^J0oUNDF\usG2EDF\o&^aG2U2rNo&DO UN~n-DFEoMGN^"BaGNO rNDG"S<EausG2n-J0DFUIBo\DF\DO0DKCGŽro}ƒx“d†F„ˆŠ
aUNJWn-o\^on-o-n}{Ž JWn-oM”ZudGŽE‰DC\rDG"S<EausG2n-J0DFUIBo\^a[<G9\D•usG2EHGN^J0yU@DFUIB!EDZDO0O0o\`2a2DFrNDIuqoE
rND"‘ G–z o@rNDO<an@‘ EHGNOIrNDMrNJW\CB!G2UN^JWGp^


 
     !" $#&%'#
)+*,.-0/12432457684598432457:;=<4>8@?A245BC-08@1>D!E$3:&59DGF=DHG84>DG3843

El principal inconveniente de la mayor parte de los algoritmos heurísticos es su

dependencia del orden en que se le presentan los patrones. Los métodos basados en grafos, igual
que los algoritmos GRASP, intentan evitar este hecho pero su coste computacional los hace
inaplicables en muchas ocasiones.

IJLKMJON!PQ!RSUTWVQXKYQGZXJ4PQXS4J4S

La matriz de similaridad se emplea para mostrar el grado de similaridad entre un conjunto

!
Q ] 
^ _ [
de patrones. Se construye una matriz simétrica de tamaño NxN, siendo N el número de patrones Q ^
[4\
[4\ QX] ^9_
del conjunto de entrenamiento. toma el valor 1 si la distancia entre los patrones y queda
por debajo de un umbral preestablecido . En caso contrario, vale . Por lo tanto, con un `
bit por celda podemos almacenar la matriz de similaridad.

a Z bdcPQeN!KYcfSUTWJ"bCPgh7J4KYQGTjiONclk J4V9J4SUcLTjimZXJLKMJON!PQ!RSUTWVQXKYQGZXJ4PQXS4J4S

Mientras queden patrones en la matriz de similaridad S

Seleccionar la fila i de la matriz de similaridad S que contenga más

unos. Si hay varias, escoger una al azar.

Crear un agrupamiento con los patrones j tales que S[i,j] = 1

Añadir al agrupamiento todos aquellos patrones k tales que S[j,k] = 1,

siendo j un patrón incluido en el nuevo agrupamiento hasta que no se
puedan añadir más patrones a dicho agrupamiento.

Reducir la matriz de similaridad: Eliminar de S todas las filas y

columnas correspondientes a patrones incluidos en el agrupamiento
recién creado.


 
     !" $#&%'(
+*, -/. 02143(5 68791:7*; <:7=-/>02<:?@791

Umbral de distancia Agrupamientos Bondad estimada

100 86 92.04 %
500 10 95.10 %
1000 4 93.06 %
1500 3 91.83 %
2000 1 57.34 %

AB-/>CD1FE!7DG93H3JIDE-/K9<:G93HL3K=-1(C.MI ?@791NG9-8G9<:>OE!7DK9L<:7=< PQC791N7=R(SDS

El método de agrupamiento basado en la matriz de similaridad produce un resultado

curioso, si no sorpredente, cuando es aplicado a la base de datos de la galaxia espiral. A partir de
un umbral de distancia relativamente pequeño, no se consigue ningún agrupamiento
correspondiente a la clase 1 debido a la distribución de las muestras en el conjunto de
entrenamiento (que se puede visualizar en la imagen de la derecha).


 
     !" $#&%('*)
+-, .0/21432/25 6-798:<;28

=?>"@ABCAD4BCEGF"H(IJK4FMLONPERQS@AUTVXWMDNPTADGYPZH\[C]_^_`a*]_^_b4a9FCV HcAINd@!LOAeBCEfbfAI2HghC[
i A.K. Jain & R.C. Dubes: “Algorithms for Clustering Data”. Prentice Hall, 1988.
i M.A. Ismael & M.S. Kamel: “Multidimensional Data Clustering Utilizing Hybrid Search
Strategies”. Pattern Recognition 22, 1989, pgs. 75-89.

=?E"@!FMjCEJIlk!Dl@NPTRFMDGYPERQnm*INXFMLONPERQS@AeDNXLOJMVXFMBCAfgpofqrts"u9hC[
i Adenso Díaz (coordinador), Fred Glover, Hassan M. Ghaziri, J.L. González, Manuel Laguna,
Pablo Moscato, Fan T. Tseng: “Optimización Heurística y Redes Neuronales”. Madrid: Editorial
Paraninfo, 1996.

=?>"@ABCAD4BCEGF"H(IJK4FMLONPERQS@AeLOERBCNXFMQS@E&ERQnm*INXFMLONPERQS@AeDNXLOJMVXFMBCA([
i S.Z. Selim & K. Alsultan: “A Simulated Annealing for the Clustering Problem”. Pattern
Recognition 24, 1991, pgs. 1003-1008.
i R.W. Klein & R.C. Dubes: “Experiments in Projection and Clustering by Simulated
Annealing”. Pattern Recognition 22, 1989, pgs. 213-220.


 
     !" $#&%('*)