Guia Redundancia SEL3555 RTAC

Descargar como pdf o txt
Descargar como pdf o txt
Está en la página 1de 15

Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P.

78395 · San Luis Potosí, SLP


Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx

Guía para la redundancia del SEL3555 RTAC


A partir del firmware R136 en el RTAC se adicionó la característica de redundancia en los protocolos:

- DNP3 Serial
- DNP3 sobre TCP
- IEC 60870-5-101 (Serial)
- IEC 60870-5-104 (Ethernet)
La redundancia del SEL RTAC consiste en coordinación de eventos entre los dispositivos redundantes a
través de un puerto ethernet. Este puerto puede ser el que se conecta a los switches ethernet o si se
quiere asegurar que no habrá ningún tráfico que impida la coordinación de eventos y depender de un
dispositivo en medio, se pueden conectar directamente los RTACs entre dispositivos.

La configuración de redundancia es un ajuste que se encuentra la configuración avanzada (advanced


settings) en cualquiera de los protocolos mencionados cuando se configuran como esclavo o servidor,
en el caso del RTAC aparece como Servidor (Server). El ajuste es la dirección IP del RTAC que estará
funcionando como redundante con un puerto IP para la sincronización de los eventos. En las siguientes
figuras se muestra el ajuste que se debe colocar para tener la redundancia.
Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P. 78395 · San Luis Potosí, SLP
Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx
RTAC A

RTAC B

Lo que harán los RTAC’s en este caso, es que a través de esta dirección IP y puerto IP se estarán diciendo
cuando ya hayan enviado eventos a nivel superior.

Es muy importante notar que para que los equipos SEL RTAC funcionen como redundantes se debe
tener una arquitectura HOT-HOT hacia nivel inferior, es decir, ambos RTAC’s tienen que interrogar al
mismo tiempo a todos los DEI’s de los que estén colectando datos. La siguiente figura muestra un
ejemplo de la configuración HOT-HOT.
Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P. 78395 · San Luis Potosí, SLP
Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx

Hacia nivel superior, los RTAC’s pueden manejar configuración HOT-HOT o HOT-Standby.

Configuración HOT-HOT.
En configuración HOT-HOT es importante notar dos escenarios: Redundancia Serial y Redundancia
Ethernet. En redundancia serial, el RTAC que responda primero los eventos a nivel superior le dirá al
otro que ha enviado eventos, esto debido a que los puertos seriales siempre estarán activos y
respondiendo. En caso de redundancia Ethernet cada RTAC debe tener una dirección IP distinta ya que si
no causaría conflicto en la red Ethernet debido a duplicidad de direcciones IP.

Para este último caso la maestra debe tener la habilidad de que si un RTAC no responde a la dirección IP
asignada pueda cambiar a la dirección IP asignada al otro RTAC. Es muy importante entender que
cuando se configura el ajuste de dirección y puerto IP de sincronización, es un solo maestro al que va a
responder ya que una vez que uno de ellos reportó los eventos a nivel superior, el otro borrará eventos.
Si se requiere de otro maestro que responda los eventos, se debe configurar otro Servidor en los RTAC’s.

La siguiente figura muestra un ejemplo de una arquitectura HOT-HOT.

WAN
Maestra ACNO

Los Servidores SCADA


son interrogados por la
Ethernet switch L2 maestra del ACNO en
DNP3.0

192.168.33.1 192.168.33.2
Servidor SCADA 1 Servidor SCADA 2
RTAC 3555 RTAC 3555
192.168.1.1 192.168.1.2

Configuración HOT-Standby.
En esta configuración un RTAC estará reportando a nivel superior con una IP definida y el otro RTAC
estará con el puerto deshabilitado o con una IP distinta a la que debe reportar hacia la maestra, y en
caso de que el RTAC principal tenga una falla, el otro RTAC cambiará o el estado del puerto a activo o
cambiará su dirección IP a la que está asignada a responder a la maestra.

A partir de la versión de firmware R136 en adelante el RTAC tiene funciones de lógica para cambiar el
estado del puerto o cambiar valores de dirección IP, máscara de red y default Gateway por lo que será
posible desarrollar lógica para hacer estos cambios.
Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P. 78395 · San Luis Potosí, SLP
Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx

En el caso de los servidores redundantes SEL se estará cambiando dinámicamente la dirección IP para
responder hacia nivel superior, esto debido a que un requerimiento es poder tener acceso a los dos
servidores desde nivel superior y si el puerto de red se desactiva no se tendría acceso al RTAC que esté
como Standby. La siguiente figura muestra un ejemplo de la implementación de la redundancia
cambiando la dirección IP.

WAN
Maestra ACNO

Los Servidores SCADA


son interrogados por la
Ethernet switch L2 maestra del ACNO en
DNP3.0

192.168.33.3
192.168.33.1
IP dinámica para 192.168.33.2
intercambiar entre
Servidor SCADA 1 Servidores Servidor SCADA 2
RTAC 3555 RTAC 3555
192.168.1.1 192.168.1.2
192.168.8.1 192.168.8.2

La implementación que normalmente se solicita es HOT-Standby hacia nivel superior, por lo que se ha
hecho una implementación de esta Arquitectura para los servidores SCADA Redundantes. Para eso se
determinaron los siguientes puntos para su implementación:

1. La sincronización de eventos se realizará con una conexión directa entre puertos ethernet de los
RTAC’s para evitar que tráfico externo u otros puntos de falla intervengan en la sincronización.
2. No se desactivarán los puertos ethernet de los equipos RTAC, se pondrá una dirección IP local y
se estará intercambiando con la dirección IP que responderá a la maestra.
3. Se intercambiarán datos mediante dos puertos seriales con protocolo Mirrored Bits® para
indicar cual equipo está como principal, si hay falla en el equipo que está como principal, y si el
link hacia nivel superior se ha perdido.
4. Se implementará la lógica para realizar una redundancia correcta tomando en cuenta los
siguientes puntos:
a. No debe haber conflicto entre RTACs de cual debe estar como principal en caso de que
los dos se enciendan al mismo tiempo y/o que uno de ellos se habilite cuando el otro ya
está como principal.
b. Para que haya una conmutación, El RTAC que está como principal debe de fallar
(deshabilitarse, reiniciar, apagarse) y/o que pierda el link físico del puerto ethernet que
conecta el servidor a nivel superior con la maestra.
Lo primero a determinar es el número de parte del RTAC que se usará para los servidores redundantes.
Se ocupará SEL3555 debido a su capacidad de procesamiento para no tener ningún problema con la
Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P. 78395 · San Luis Potosí, SLP
Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx
conmutación, además que puede soportar una gran cantidad de DEIs como cliente y varios Maestros
como server.

Actualmente todos los sistemas SAS comunican a través de TCP/IP y se solicita que se tengan hasta 4
puertos de red independientes y redundantes por lo que se solicitarán dos tarjetas de red SEL 3390E4
adicionales cada una con cuatro puertos.

Para la conexión de Mirrored Bits® se requieren de puertos seriales. El SEL RTAC tiene dos puertos
seriales nativos DB9, sin embargo, no son funcionales para conexión de Mirrored Bits®, por lo cual se
tendrá una tarjeta SEL 3390S8.

Por lo cual el número de parte será el siguiente:


Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P. 78395 · San Luis Potosí, SLP
Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx

Este es el número de parte base, en caso de requerirse Conformal Coating, IHM, discos duros
adicionales, puertos ethernet de FO, etc. podrán adicionarse sobre este número de parte.

Tomando en cuenta los puntos anteriores entonces se tendrán las siguientes conexiones en cada uno de
los servidores para la redundancia.

SCADA Server 1Eth01 Ethernet sync conecction Eth01


SCADA Server 2
SEL 3555 RTAC SEL 3555 RTAC
Com_05 Com_04 Com_04 Com_05

MB’s links

Las direcciones IP de los puertos ethernet para la conexión de la sincronización debe ser un segmento de
red que esté fuera de la red local para interrogar a los DEIs de la subestación y de la red que comunica a
nivel superior. No es necesario configurar ningún Gateway para esta red.

El puerto ethernet a utilizar para esta conexión directa puede ser cualquiera de los que tenga el SEL3555
RTAC, sin embargo, se utilizará el puerto ethernet 01 para la sincronización.
Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P. 78395 · San Luis Potosí, SLP
Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx

El cable a utilizar es uno de red ethernet en cualquiera de sus configuraciones A o B, no es necesario


usar un cable cruzado ya que el SEL3555 RTAC hace el cruce automático en los puertos. Se recomienda
usar el cable SEL C627.

Para la conexión de los enlaces Mirrored Bits® se utilizarán los puertos COM 4 y COM 5, que son el
segundo y el tercero de abajo hacia arriba de la tarjeta SEL 3390S8. El puerto COM 3 que es el primero
de la tarjeta se dejará libre, ya que este puerto es por donde se recibe la señal de IRIG-B y en caso de
utilizar la sincronización por este medio se tenga libre este puerto.

El cable a utilizar debe ser el SEL C629 para la conexión de los puertos serie con conectores RJ45.
Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P. 78395 · San Luis Potosí, SLP
Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx

Los puertos seriales tienen salida de IRIG-B por los pines 1 y 3, por lo que hay que tener cuidado si se
utiliza el cable SEL C629A y desconectar la salida con el jumper interno.

Configuración de la lógica para la redundancia.


Para la redundancia de los SEL3555 RTACs se tomarán las siguientes consideraciones:

1. Cuando los servidores inicien, siempre uno de ellos quedará como principal y otro como
respaldo
a. Los dos iniciarán con su IP local respectiva.
i. Cuando inician siempre se escribirá la IP, máscara y Gateway locales.
ii. El bit que indica que está como principal estará desactivado en ambos
servidores.
b. Uno de ellos al no ver al otro como principal inmediatamente cambiará su IP a la que
responderá a nivel superior.
i. Los dos servidores se estarán enviando a través de los Mirrored Bits® cual está
como principal, al inicio ninguno de los dos envía este bit.
ii. Cuando el servidor ve que el otro no envía el bit de que está como principal
cambia su dirección IP local a la dirección IP que responde a nivel superior.
iii. Activa el bit que indica que está como principal y lo envía a través de los
Mirrored Bits® hacia el otro servidor.
c. El otro esperará un tiempo antes de entrar como principal, cuando verifica que el otro
está habilitado como principal, se pondrá como secundario.
i. Los dos servidores se estarán enviando a través de los Mirrored Bits® cual está
como principal, al inicio ninguno de los dos envía este bit.
ii. Este servidor en particular esperará 30 segundos antes de verificar si el otro está
como principal.
Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P. 78395 · San Luis Potosí, SLP
Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx

iii. Después de este tiempo verifica el bit de que el otro servidor está como
principal a través de los Mirrored Bits®.
iv. Como el otro equipo ya está enviando el bit de que está como principal, este
equipo quedará como secundario.
2. Si el servidor principal falla, el otro conmutará a servidor principal y seguirá respondiendo a
nivel superior.
a. Si el servidor que está como principal se apaga o se deshabilita o reinicia, dejará de
enviar los Mirrored Bits® hacia el otro servidor.
b. Cuando el servidor que está como respaldo, no ve los Mirrored Bits® del otro servidor
conmuta como principal.
i. inmediatamente cambia su dirección IP, máscara y Gateway a la dirección que
responde a nivel superior.
ii. Activa el bit que indica que está como principal.
iii. Seguirá respondiendo a nivel superior.
c. El bit local que indica que está como principal será enviado a través de Mirrored Bits®
hacia el otro servidor.
3. Si el servidor fallado se habilita se quedará como respaldo, siempre y cuando el otro esté
habilitado y como principal.
a. Cuando el servidor inicia escribe su dirección IP, máscara y Gateway locales
b. El bit que indica que está como principal estará desactivado.
c. Verificará por Mirrored Bits® si el otro servidor está como principal.
d. Al recibir el bit de que el otro esta como principal quedará como servidor de respaldo.
4. Si el link del puerto ethernet del servidor principal que comunica a nivel superior se pierde
conmutar al servidor de respaldo.
a. El bit de link del puerto ethernet se estará enviando por Mirrored Bits® al otro servidor.
b. Si el link se pierde el servidor que está como principal dejará de ser el principal.
i. El servidor cambiará su dirección IP, máscara y Gateway a la local.
ii. Desactivará el bit de que está como principal.
iii. Enviará el bit de que se perdió el link por Mirrored Bits® hacia el otro servidor.
c. El servidor que está como respaldo conmuta a ser el servidor principal.
i. El servidor detecta por Mirrored Bits® que el otro servidor dejó de ser principal.
ii. El servidor cambiará su dirección IP, máscara y Gateway a la que responde a
nivel superior.
iii. Activará el bit de que es principal y lo enviará por Mirrored Bits® hacia el otro
servidor.
5. Si el link del puerto ethernet del servidor que está fallado se recupera, no conmutará y quedará
como servidor de respaldo.
Con el algoritmo anterior se puede empezar a definir la lógica en los RTAC’s.

Lo primero será definir las variables que se van a usar. La siguiente imagen muestra las variables a
utilizar en cada servidor.
Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P. 78395 · San Luis Potosí, SLP
Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx
RATC 1

RTAC 2

 La variable Enum_config_response servirá para las funciones de control del puerto Ethernet.
 La variable Startup_delay servirá para el arranque del servidor y espere un tiempo antes de
querer iniciar como maestra.
 La variable Startup_delay2 servirá para el arranque del servidor y se ajuste el puerto ethernet
con su dirección IP local.
 La variable RTAC2 servirá para diferenciar los servidores cuando se encienden al mismo tiempo.
 La variable IP_MAESTRA_EN servirá para indicar que el RTAC está como el servidor principal.
 La variable IP_MAESTRA servirá para configurar la dirección IP que responderá a la maestra en
caso de ser el servidor principal.
 La variable GW_MAESTRA servirá para configurar el default Gateway de la red que responderá a
la maestra. Es importante que el default Gateway esté en el mismo segmento de red que la
dirección IP de la maestra, de lo contrario se pueden tener comportamientos no deseados. Si no
es necesario poner default Gateway por estar en una red local, comentar este ajuste.
 La variable IP_PORT servirá para configurar la dirección IP local que tenga el servidor en caso de
estar en modo de respaldo.
 La variable GW_PORT servirá para configurar el default Gateway de la red local. Es importante
que el default Gateway esté en el mismo segmento de red que la dirección IP local, de lo
contrario se pueden tener comportamientos no deseados. Si no es necesario poner default
Gateway por estar en una red local, comentar este ajuste.
Siguiendo el algoritmo lo primero es el arranque de los servidores y configurar las direcciones IP locales
en cada uno de ellos, la lógica sería la siguiente.
Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P. 78395 · San Luis Potosí, SLP
Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx

RTAC 1 y RTAC 2

A inicio los servidores tienen la variable IP_MAESTRA_EN en el valor de FALSE y la variable


Startup_delay2.Q estará en FALSE durante un segundo. Según lo programado en esta instrucción, al
arranque de los servidores se cumplirán ambas condiciones y con la función Config_IPv4_addr se ajusta
la IP local y con la función Enable_ethernet_link se habilita el puerto en caso de que no esté habilitado.
Con esto se asegura que siempre al arranque se pondrá la IP local, aunque después se cambie a la
dirección IP para responder a la maestra.

Lo siguiente es verificar cual se pondrá como principal para responder a la maestra. Como se mencionó
se enviarán las señales a través de los canales Mirrored Bits®. Se enviará si se está como servidor
principal y si hay enlace con el puerto Ethernet asignado para responder a la maestra.

RTAC 1 y RTAC 2

El Mirrored Bit 1 transmitirá si el RTAC está como servidor principal y el Mirrored Bit 2 transmitirá si el
enlace del puerto ethernet está correcto. En el arranque ninguno de los dos servidores está como
principal por lo que el Mirrored Bit 1 estará como FALSE, por el momento suponemos que el enlace
ethernet está correcto por lo que el Mirrored Bit 2 estará como TRUE. La lógica está como sigue.

RTAC 1

RTAC 2
Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P. 78395 · San Luis Potosí, SLP
Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx

Las condiciones anteriores en ambos RTACs verifican si están recibiendo la indicación de que el otro esta
como principal, como al inicio ninguno es el principal no se recibe esta indicación, se verifica que
también que el enlace del puerto ethernet del otro equipo está correcto, si el equipo está como
principal y que el propio enlace del puerto Ethernet está correcto. El solo hecho de no ser el servidor
principal (IP_MAESTRA_EN = FALSE) hace que esta condición no se cumpla y se pasa a la siguiente
instrucción.

La lógica de la siguiente instrucción está como sigue.

RTAC 1

RTAC 2

En este caso ninguno de los dos RTACs está recibiendo la señal de que el otro esta como principal por lo
que se cumple esta condición, junto con esta se cumple la de que ninguno de los dos está como
principal y en los dos RTACs se verifica un temporizador, el del RTAC 1 es de 5 segundos y el del RTAC 2
es de 30 segundos, por lo que el RTAC 1 cumplirá primero la condición y en su puerto ethernet se
asignará la dirección IP que responderá a la maestra además de que enciende la señal de que está como
principal y por los canales de Mirrored Bits® ya enviará la señal al RTAC 2.

El RTAC 2 ya estará recibiendo la señal de que el RTAC 1 está como principal por lo que la condición
anterior no se cumplirá, aunque se termine el tiempo del temporizador inicial. Con esto se asegura que
en caso de que los dos arranquen el RTAC 1 siempre será el servidor principal y el RTAC 2 el servidor de
respaldo.

Conmutación por falla del servidor principal.

Una vez que los servidores ya arrancaron como principal y respaldo lo que se espera es que si el servidor
principal falla, el de respaldo inmediatamente cambie la dirección IP del puerto ethernet y siga
respondiendo a la maestra.

Revisando la última condición, si el RTAC 2 esta como respaldo en caso de que el RTAC 1 falle (se apague
y/o reinicie) no estará recibiendo por Mirrored Bits® que el otro RTAC esta como principal, tampoco está
como principal (IP_MAESTRA_EN=FALSE) y el temporizador de arranque ya completo su tiempo de ciclo
entonces inmediatamente cambiará su dirección IP a la que debe responder a la maestra, una que vez
que la tenga, seguirá respondiendo a la maestra, además de que la indicación de que está como
principal se encenderá (IP_MAESTRA_EN=TRUE) y se estará enviando al RTAC 1.
Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P. 78395 · San Luis Potosí, SLP
Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx

Cuando el RTAC 1 se vuelva a habilitar lo primero es que se configura con su dirección IP local, y al ver
que está recibiendo la señal de que el otro está como principal no realizará ninguna acción y quedará
como respaldo. En caso de que el RTAC 2 que está como servidor principal falle, entonces aplica la
misma lógica para la conmutación.

Conmutación por falla en el enlace del puerto ethernet.

Otra consideración para realizar una conmutación es porque el puerto ethernet que está reportando a la
maestra del servidor principal pierde el enlace, eso quiere decir que el cable se rompió o el conector se
zafó del puerto, por lo que hay conmutar para seguir reportando a la maestra. Recordar que por el
Mirrored Bit 2 se está enviando Revisando nuevamente la lógica.

RTAC 1

RTAC 2

Si el RTAC 1 está como principal y pierde su enlace, entonces por la lógica El RTAC 2 recibirá la señal de
que el RTAC 1 no tiene enlace, como no está como principal y su temporizador ha concluido el ciclo, se
cambia como servidor principal.

Revisando la otra parte de lógica.

RTAC 1

RTAC 2

Cuando el RTAC 1 ve que está recibiendo la señal de que el RTAC 2 esta como principal, y que él está
también como principal pero que no tiene el enlace del puerto activo, entonces cambiará su dirección IP
a la local y quedará como respaldo, aunque sin enlace de puerto ethernet. Cuando el enlace del puerto
Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P. 78395 · San Luis Potosí, SLP
Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx
ethernet se recupere quedará como respaldo ya que estará recibiendo la señal de que el RTAC 2 está
como principal.

Si el RTAC 2 está como servidor principal y pierde el enlace del puerto ethernet de igual forma el RTAC 1
al recibir la señal de que el enlace del puerto ethernet del servidor principal esta fallado, se cambiará a
servidor principal y el RTAC 2 al ver que no tiene el enlace del puerto ethernet se pasará como respaldo.

De igual forma en la lógica se verifica si ambos RTACs pierden el enlace del puerto ethernet, los dos se
vuelven como principales, si alguno de ellos regresa su enlace ethernet entonces queda como principal.
En caso de que los dos regresen su enlace ethernet entonces el RTAC 1 siempre quedará como principal.

Lógica para iniciar los dispositivos servidores (Dispositivos esclavos)


En caso de que ambos servidores estén apagados y haya eventos pendientes por reportar de los
dispositivos servidores, se requiere que antes de que el servidor habilite los dispositivos servidores,
habilite los dispositivos clientes.

Esto debido a que si hay muchos eventos los dispositivos servidores en cuanto están en línea reportan
todos sus eventos, pero si en ese momento aún no están habilitados los dispositivos clientes, no
procesarán los eventos que ya reportaron los dispositivos servidores y puede existir pérdida de eventos.

Para evitar que esto suceda se realiza una lógica sencilla que consiste en habilitar los dispositivos
servidores una vez que ya están habilitados los dispositivos clientes. La lógica es como sigue.

Si se requiere más de una maestra utilizar un AND con habilitación de las maestras y la salida del AND
llevarla a todos los dispositivos maestros.
Av. Central No. 205 · Parque Industrial Logístico · Del. La Pila · C.P. 78395 · San Luis Potosí, SLP
Tel. (444) 804 2100 · Fax (444) 804 2155
www.selinc.com.mx

Las configuraciones base son los archivos Redundat_RTAC1_3555.exp y Redundant_RTAC2_3555.exp


para iniciar las configuraciones.

También podría gustarte