Guía Implementación SDMX
Guía Implementación SDMX
ESTANDARIZACIÓN Y NORMALIZACIÓN
-DIRPEN-
Mayo - 2020
Carrera 59 No. 26 – 70 Interior 1, CAN Teléfono (+57-1) 597 8300 ext. 3210-3294
Bogotá, Colombia www.sen.gov.co - [email protected]
© DANE, 2020
DEPARTAMENTO ADMINISTRATIVO Prohibida la reproducción total o parcial sin
NACIONAL DE ESTADÍSTICA permiso o autorización del Departamento
(DANE) Administrativo Nacional de Estadística,
Colombia.
JUAN DANIEL OVIEDO ARANGO
Director LUISA FERNANDA SUÁREZ LEÓN
Coordinadora de Regulación
RICARDO VALENCIA RAMíREZ
Subdirector PAOLA FERNANDA MEDINA TOVAR
DIANA CRISTINA PRIETO PEÑA
MARÍA FERNANDA DE LA OSSA ARCHILA Coordinación de Regulación
Secretaria General
SONIA MARCELA NARANJO MORALES
Corrección de estilo
DIRECTORES TÉCNICOS
___
2
GUÍA PARA LA IMPLEMENTACIÓN DEL ESTÁNDAR ESTADÍSTICO DE INTERCAMBIO DE DATOS Y METADATOS (SDMX) /
REGULACIÓN ESTADÍSTICA
CONTENIDO
Introducción 4
estadístico SDMX 20
5. Bibliografía 25
___
3
Introducción
La presente guía es un recurso para las organizaciones gubernamentales o privadas que producen
información estadística y desean implementar o mejorar sus procesos de recolección, intercambio o
difusión de información estadística a través del estándar SDMX, Norma ISO (17369:2013) diseñada para
describir los datos estadísticos y sus metadatos, normalizar y mejorar su intercambio entre las
organizaciones estadísticas y sus similares.
Este documento describe las fases que se deben tener en cuenta para implementar el estándar1, con el
fin de propiciar procesos interoperables de calidad haciendo uso de los artefactos que brinda el SDMX.
Está dirigido a personas que tengan conocimiento del estándar y comprende los objetos básicos del
modelo de información SDMX (esquema conceptual, definición de estructura de datos, lista de códigos);
así como los conceptos relacionados con este.
1 Este documento se basó en “Checklist for SDMX Design Projects Home” (2019) de UNECE Statistics Wikis.
___
4
GUÍA PARA LA IMPLEMENTACIÓN DEL ESTÁNDAR ESTADÍSTICO DE INTERCAMBIO DE DATOS Y METADATOS (SDMX) /
REGULACIÓN ESTADÍSTICA
Estas son las fases correspondientes al proceso de implementación del estándar estadístico SDMX en
un proyecto de intercambio de datos:
Fuente. Elaboración propia basada en “Checklist for SDMX Design Projects Home” UNECE Statistics Wikis. Recuperado de
https://statswiki.unece.org/display/SDMXPM/Checklist+for+SDMX+Design+Projects+Home
___
5
1.2. Describir las necesidades del proyecto en SDMX.
Previa a una implementación del SDMX, los promotores del proyecto deben adquirir el conocimiento
básico y para esto se sugiere:
En esta parte del proceso se identifican los actores de la organización y otras entidades, interesadas o
que se requieren y que se deben incluir para iniciar las actividades.
Para la identificación de las partes interesadas, a continuación, se presentan algunos posibles actores:
___
6
GUÍA PARA LA IMPLEMENTACIÓN DEL ESTÁNDAR ESTADÍSTICO DE INTERCAMBIO DE DATOS Y METADATOS (SDMX) /
REGULACIÓN ESTADÍSTICA
Alta gerencia: se ha confirmado que es fundamental que la alta gerencia conozca e intervenga en el
proyecto SDMX.
Temáticos de la información: son las personas que conocen el proceso de los datos y sus metadatos,
desde la planificación hasta la difusión de esta.
Temáticos en SDMX: son las personas que los asesoran en la creación de los artefactos del estándar, así
como en su implementación.
Área de tecnología e información: son los ingenieros de sistemas que apoyarán la organización,
implementación o migración de un sistema de información.
Esta actividad culmina cuando se han identificado y discutido todas las partes que se involucrarán en el
proyecto, para así iniciar la siguiente etapa.
Se debe realizar una primera reunión con los actores identificados. El objetivo es exponerles a los
participantes el alcance del proyecto, los beneficios que obtendrán con su implementación y una breve
descripción del porqué el uso de SDMX; así mismo, se conocerán las expectativas, dudas o inquietudes
de los involucrados2.
El líder del proyecto debe tener claro el alcance, los objetivos, los tiempos y los resultados de la
implementación; se sugiere diligenciar el cuestionario para la preparación de la implementación del
SDMX (ver apartado 3).
Es fundamental precisar quién o quiénes estarán a cargo del manejo o gobernanza del proyecto, cuando
hay varias organizaciones involucradas, con el fin de conformar grupos de trabajo que brinden soluciones
y reduzcan las expectativas de riesgo en la implementación del proyecto en temas como:
2 En este punto es importante que el líder del proyecto tenga totalmente claro el alcance, los objetivos, los tiempos y los
resultados de la implementación, para esto se presenta al final del documento un cuestionario que ayudará a resolver estos
temas.
___
7
1.6. Elaborar propuesta del proyecto
En esta actividad se deben plantear los aspectos más relevantes por las cuales se creó el proyecto, como:
También se deben mencionar aquellos factores que puedan generar alguna limitación en el desarrollo de
las actividades, algunas de estas son:
• Limitaciones de tiempo.
• Disponibilidad de personal / recursos.
• Limitaciones técnicas, por ejemplo, despliegue de licencias libres.
• Restricciones políticas.
• Cualquier otro riesgo.
Esta fase planifica y organiza todas las actividades en función de tiempos, roles, responsabilidades,
recursos relacionados con la ejecución de proyecto, asimismo proyecta los riesgos que se pueden
presentar y las posibles soluciones. También contempla la generación de capacidades para todos los
actores involucrados.
___
8
GUÍA PARA LA IMPLEMENTACIÓN DEL ESTÁNDAR ESTADÍSTICO DE INTERCAMBIO DE DATOS Y METADATOS (SDMX) /
REGULACIÓN ESTADÍSTICA
El propósito de esta actividad es definir los roles y las responsabilidades que cada uno de los participantes
desempeñaran en el proyecto. Para esto es importante describir:
Estas actividades se pueden consolidar en el documento conocido como Términos del intercambio3 y se
realiza con el fin que los participantes y los promotores del proyecto del proyecto, respondan las
siguientes preguntas:
3 La plantilla para el desarrollo del acuerdo de intercambio se encuentra en el apartado cuatro de la presente guía.
___
9
• Un marco legal (si lo posee), que define la obligatoriedad de la información a difundir o intercambiar.
• Una descripción de los miembros del proyecto.
• La gobernanza de los artefactos.
• Plazo de ejecución del proyecto.
En consecuencia, una vez se formaliza el acuerdo se hace extensible y público a todos los participantes
de proyecto para su aplicación.
Es importante contar con una plataforma colaborativa cuyo objetivo sea compartir los avances, las
propuestas, las dudas, las inquietudes o los problemas que se presenten en el desarrollo de las actividades
y los roles que desempeñan los actores, por consiguiente, se debe suministrar una herramienta de fácil
acceso y uso para tal fin.
En este subproceso los promotores deben definir el alcance de la prueba piloto, así como dentro del
grupo de participantes a los que harán parte de esta fase.
FASE 3. Diseño
Una vez se han realizado las actividades de definición, alcance y participantes del proyecto, el siguiente
paso es el diseño de una Definición de Estructuras de Datos (DSD), pasos que se encuentran descritos
con más detalle en el documento “Guía para la elaboración de una DSD”; por tal motivo, a continuación,
solo se van a mencionar de manera general las actividades que se realizan en esta fase:
3.1. Enumerar y describir el flujo de datos (dataflow) a ser cubiertos.
Para lograr el proceso de implementación del estándar, es necesario enumerar y describir totalmente los
flujos de datos4 que se van a intercambiar, así como las fuentes de información.
4“Estructuraque describe, clasifica y restringe el contenido permitido de un conjunto de datos que los proveedores
proporcionarán para diferentes períodos de referencia”. Recuperado de SDMX Glossary versión 2.0 disponible en:
https://sdmx.org/?sdmx_news=sdmx-glossary.
___
10
GUÍA PARA LA IMPLEMENTACIÓN DEL ESTÁNDAR ESTADÍSTICO DE INTERCAMBIO DE DATOS Y METADATOS (SDMX) /
REGULACIÓN ESTADÍSTICA
Una vez determinada la información que se va a intercambiar, el siguiente paso es identificar los
conceptos que de allí surgen para después filtrarlos y verificar los que son necesarios, los que hacen falta
y los que son irrelevantes para prescindir de ellos, conformando de esa manera el esquema conceptual
del intercambio.
La matriz DSD tiene el objetivo de optimizar la construcción de las definiciones de estructuras de datos
(DSD) para varios flujos de datos, para ellos se fijan los conceptos en el eje “X” y los flujos de datos en el
eje “Y”, identificando las intersecciones de los ejes, como se muestra en la siguiente gráfica5.
Con la matriz elaborada se pueden observar con claridad los datos y los indicadores que necesitan
codificación, proporcionando inicio a esta fase, en la cual se buscan los artefactos de SDMX que se
encuentran disponibles en registros globales (por ejemplo, lista de códigos transversales) para su uso y
se desarrollan los demás que se requieren para el tema específico, como: listas de códigos faltantes,
Definición de Estructuras de Datos (DSD), flujos de datos, restricciones de los artefactos, entre otros.
5 Para la construcción de la matriz existe una plantilla que se encuentra disponible en: www.sdmx.org.
___
11
3.5. Documentar el metadato de referencia (MSD)
El estándar estadístico SDMX promueve que, para una mejor interpretación de las estadísticas difundidas,
los datos estadísticos deben ir acompañados de sus respectivos metadatos, los cuales tienen como
objetivo describir las características generales del conjunto de datos que se intercambia y los aspectos
asociados con la difusión y disponibilidad de resultados del indicador.
Teniendo en cuenta lo anterior, en el quinto apartado se presenta una ficha estandarizada que contiene
los campos a documentar en el metadato de referencia (MSD).
FASE 4. Construcción
Esta fase inicia con la implementación del entorno operativo completo para ejecutar todos los procesos
previamente realizados en la fase de Diseño.
Los registros SDMX sirven como repositorios o bibliotecas de los artefactos construidos para que pueda
ser consultados y utilizados fácil y eficientemente. Por tal razón lo primero que se debe construir y definir
son los registros que se van a utilizar en la prueba piloto y posteriormente en producción.
Lo idóneo es contar con un registro nacional público que almacene todos los artefactos construidos a
partir de las diferentes implementaciones del estándar, pero si la información es para uso interno no es
necesario que los registros sean de acceso público.
El objetivo de contar con dos registros (uno piloto y otro de producción) es que los artefactos que no se
encuentran en versión final y se utilizan en la fase piloto del proyecto, se almacenen en el registro que
lleva su nombre para que estos no llenen innecesariamente el registro de producción, en el cual se
guardan únicamente los artefactos ya finales, es decir, revisados y ajustados.
Finalmente, con el registro piloto disponible, la siguiente actividad es el cargue de todos los artefactos
que se han creado previamente en la fase de Diseño.
A continuación, se exponen las directrices de implementación y uso que se deben documentar para que
el material piloto técnico sea comprensible:
___
12
GUÍA PARA LA IMPLEMENTACIÓN DEL ESTÁNDAR ESTADÍSTICO DE INTERCAMBIO DE DATOS Y METADATOS (SDMX) /
REGULACIÓN ESTADÍSTICA
Esta fase finaliza cuando todas las directrices de implementaciones y uso han sido documentadas.
Esta fase se requiere para comprobar y confirmar la completitud y la idoneidad de los artefactos,
aprovechando la posibilidad de evidenciar aquellos inconvenientes o ajustes que no se habían tenido en
cuenta y realizar las soluciones correspondientes para estos; por ejemplo, un concepto que no se describe
en su totalidad, por lo que la solución es agregar los elementos faltantes a la lista de código.
Un beneficio que también se obtiene con la prueba piloto es la experiencia que adquieren los
participantes en el manejo de los artefactos y las herramientas del estándar para su posterior uso en el
proceso de implementación.
• Revisar el material.
• Implementar su sistema SDMX para procesar el material piloto.
• Realizar la prueba del sistema con el material piloto.
• Enviar los comentarios.
FASE 6. Difusión
Esta fase pone a disposición de todos los participantes los artefactos ya finales para su uso, así como
todos los elementos que la conforman para su buen funcionamiento.
___
13
6.1. Publicar los artefactos SDMX en producción
• Verificar que se hayan efectuado los ajustes a los artefactos como resultado de la prueba piloto.
• Verificar que los artefactos cumplan con las directrices de implementación y uso.
• Cargar los artefactos obtenidos del registro piloto en el registro de producción para su uso e
implementación.
Este subproceso se concluye verificando que los artefactos SDMX se encuentran en estado final y
disponibles para los miembros proyecto.
Este es un punto importante, ya que el proyecto ha culminado y a partir de ese momento el acuerdo de
intercambio toma el control de las actividades que de allí en adelante sucedan. Esta información sobre la
finalización del proyecto y sus resultados puede ser promovida en los canales que se tengan dispuestos
para estas noticias.
Para terminar, se debe proporcionar una línea base de apoyo para la comunidad del proyecto y esta debe
ser divulgada claramente.
FASE 7. Evaluación
Con esta fase se determina el éxito de la implementación del proyecto, así como la retroalimentación
para posibles mejoras en proyectos futuros. Para llevar a cabo la evaluación del proyecto se deben realizar
los siguientes subprocesos:
___
14
GUÍA PARA LA IMPLEMENTACIÓN DEL ESTÁNDAR ESTADÍSTICO DE INTERCAMBIO DE DATOS Y METADATOS (SDMX) /
REGULACIÓN ESTADÍSTICA
El objetivo es documentar las lecciones aprendidas para las versiones futuras de estos artefactos SDMX
y también para futuros proyectos. Estas son las tareas para completar la fase:
___
15
2. Cuestionario para la preparación de un proyecto SDMX
Este es un cuestionario de preparación para ser utilizado por los líderes del proyecto para familiarizarse
con una nueva implementación de SDMX. Plantea cuestiones básicas y generales sobre el alcance del
proyecto que debe debatirse con los expertos en la materia.
PARTE A:
2. ¿Por qué le interesa SDMX?
¿Qué espera de SDMX?
EVALUACIÓN DE NECESIDADES
4.
¿Cuál es el plazo para la realización?
5.
¿Existe riesgos potenciales para la
implementación?
___
16
GUÍA PARA LA IMPLEMENTACIÓN DEL ESTÁNDAR ESTADÍSTICO DE INTERCAMBIO DE DATOS Y METADATOS (SDMX) /
REGULACIÓN ESTADÍSTICA
6.
¿Cuál es el nivel de intercambio de datos?
• Dentro de la organización.
• Entre organizaciones nacionales.
• Entre organizaciones nacionales e
internacionales.
• Entre organizaciones internacionales.
7.
¿Qué organizaciones participan en el
intercambio de datos?
¿Quiénes son los proveedores de datos?
8.
¿Se han puesto en marcha acuerdos de
intercambio?
9.
¿Cuál es su rol en el proceso de intercambio?
• Recolector.
• Proveedor.
• Usuario final.
OTRAS PARTES INTERESADAS
10.
¿Han discutido sobre SDMX con las otras
partes interesadas?
En caso afirmativo, ¿qué se discutió?
11.
¿Está claro quién mantendrá los objetos
SDMX?
12.
¿Está claro qué listas de códigos y conjuntos
de datos se cubrirán?
___
17
13.
¿Qué sistema de producción utiliza? Por favor
explique.
¿Con quién está usted en contacto en los
equipos de "sistema de información para la
producción estadística"?
14.
¿Qué formatos de archivo se utilizan
actualmente en la transmisión de datos?
¿En qué formato se cargan actualmente los
datos recogidos en su base (CSV, SDMX ML,
GESMES, otros)?
15.
¿Con qué información básica será construido la
DSD? ¿Cuestionarios, metodologías, hojas de
transmisión, actos jurídicos, acuerdos, etc.?
16.
¿Cuál va a ser la frecuencia del intercambio de
información?
17.
PROCESOS DE NEGOCIO
18.
¿Conoce o identifica el tipo de arquitectura
que va a desplegar?
• Arquitectura de almacenamiento de datos
(repositorio).
• Arquitectura de proveedor de datos.
• Hub de información.
•
19.
¿Qué representación de los datos satisface
mejor sus necesidades (series temporales u
PROCESOS DE NEGOCIO
otras dimensiones)?
20.
¿Cuál es la frecuencia de los flujos de datos
(anual, mensual, trimestral, etc.)?
21.
¿Utiliza parcial o totalmente listas de códigos
del estándar (p.ej. CL_ACTIVITY)? o sigue
usando listas de códigos "compuestas"
(mezclas de oficiales, departamentales,
institucionales, etc.)?
___
18
GUÍA PARA LA IMPLEMENTACIÓN DEL ESTÁNDAR ESTADÍSTICO DE INTERCAMBIO DE DATOS Y METADATOS (SDMX) /
REGULACIÓN ESTADÍSTICA
PARTE B
22.
¿Desea cambiar su DSD - SDMX? si es así, ¿qué
parte?
¿Estructura, listas de códigos, conceptos, otros
flujos de datos, restricciones, estructura de la
base, agencia de mantenimiento, otros?
23.
Si no, ¿está buscando cambiar el formato de
transmisión de archivos a SDMX ML?
24.
¿Cuál es la necesidad para los cambios que
desea?
Quizás:
- ¿La recolección de nuevos datos?
- ¿Nueva metodología?
EVALUACIÓN DE NECESIDADES
26.
Si no tiene un acuerdo de intercambio, ¿cuál es
el plazo para la realización?
27.
¿Cuáles son los riesgos potenciales para la
implementación?
28.
¿Debería haber un acuerdo de intercambio al
final de este proceso, si aún no hay uno?
29.
Si no existe ningún acuerdo de intercambio,
¿han tenido discusiones acerca de los nuevos
cambios llevado a cabo por SDMX con los
otros interesados?
En caso afirmativo, ¿qué se discutió?
OTRAS PARTES
INTERESADAS
30.
¿Qué dificultades han identificado?
31.
¿La DSD existente actualmente utiliza el mapa
de la estructura de la base de datos de
producción?
Fuente: UNECE Statistics Wikis. Recuperado de: https://statswiki.unece.org/display/SDMXPM/Kick-off+Meeting#app-switcher
___
19
3. Plantilla para los términos de intercambio de información a
través del estándar estadístico SDMX
<FECHA>
<NOMBRE DEL PROYECTO>
Introducción
<Una introducción, explicando el propósito, marco legal (si lo posee), los antecedentes del proyecto, y el
propósito del intercambio de información>
Objetivo
Brindar una herramienta que permita establecer los canales, los tiempos y los estándares necesarios para
el intercambio de información entre <Entidad A> y <Entidad B> para la implementación del proyecto
<XXXXXXX>
<Diligenciar los nombres de las entidades que participarán en el intercambio de información, así como el
rol que desempeñarán (proveedor, consumidor, responsable del sistema, concentrador de la información,
etc.>
Proceso de intercambio
<En este apartado se debe describir los aspectos relacionados con el intercambio de información, como:
¿quién es el responsable de realizar la matriz de la DSD?; ¿quién modela las DSD?; ¿cuál es el proceso del
envío e implementación de los artefactos SDMX?; ¿dónde quedará alojada la información?; ¿existirá un
sistema de información público?; ¿cuál de las entidades involucradas en el proyecto será el responsable del
mantenimiento del sistema de información?; en caso de alguna modificación al flujo de datos, ¿qué se debe
hacer?; si se requiere una modificación de las estructuras, ¿quién lo puede hacer?, y ¿cuál es el procedimiento
a seguir?
Las entidades que reportan la información se comprometen a mantener actualizados el o los flujos de
datos acordados en la frecuencia y las fechas estipulados en este documento, así como el mantenimiento
y la disponibilidad 24/7 del servicio web en la cual va a quedar disponible la información.
___
20
GUÍA PARA LA IMPLEMENTACIÓN DEL ESTÁNDAR ESTADÍSTICO DE INTERCAMBIO DE DATOS Y METADATOS (SDMX) /
REGULACIÓN ESTADÍSTICA
Batería de indicadores
<Diligenciar en la siguiente tabla los nombres de los indicadores identificados previamente junto con el
responsable del reporte>
Datos de contacto
Nombre de la Dependencia
Nombre del contacto Teléfono Correo electrónico
entidad responsable
<Describa las actividades, los productos esperados, las fechas de entrega de productos y de entrega de
avances>
___
21
4. Metadato de referencia MSD
2 Características del indicador En este apartado se presentan las características generales del conjunto
de datos que se intercambian, como son: alcance temático, cobertura
geográfica, clasificaciones estadísticas, población objetivo, entre otros
aspectos.
6 2.1. Nombre del indicador Expresión verbal, precisa y concreta que
identifica el indicador.
___
22
GUÍA PARA LA IMPLEMENTACIÓN DEL ESTÁNDAR ESTADÍSTICO DE INTERCAMBIO DE DATOS Y METADATOS (SDMX) /
REGULACIÓN ESTADÍSTICA
___
23
N. Concepto Descripción Campo para diligenciar
20 5 Comentarios adicionales Información adicional relacionada con el
indicador o los metadatos.
___
24
GUÍA PARA LA IMPLEMENTACIÓN DEL ESTÁNDAR ESTADÍSTICO DE INTERCAMBIO DE DATOS Y METADATOS (SDMX) /
REGULACIÓN ESTADÍSTICA
5. Bibliografía
- European Statistical Office (EUROSTAT). (2012). ESS Reference Metadata Reporting Standards.
Recuperado el 17 de enero de 2016 de https://ec.europa.eu/eurostat/data/metadata/metadata-
structure
- Organisation for Economic Co-operation and Development (OECD). (2014). Meeting of the
Expert Group on Statistical Data and Metadata Exchange, Korea. Recuperado el 11 de febrero de
2019, de http://www.oecd.org/sdd/sdmx-expert-group-meeting-2014.htm
- Statistical Data and Metadata eXchange. (SDMX). (2018). Modelling statistical domains in SDMX.
Recuperado el 11 de septiembre de 2018, del sitio web de Statistical Data and Metadata
eXchange: https://sdmx.org/?page_id=4345
- Statistical Data and Metadata eXchange. (SDMX). (2015). The Business Case for SDMX.
Recuperado el 15 de octubre de 2015, del sitio web de Statistical Data and Metadata eXchange:
https://sdmx.org/wp-content/uploads/SDMX_Starter_Kit_Version_23-9-2015.pdf
- United Nations Economic Commission for Europe (UNECE) Statistics Wikis. (2019). Kick-off
Meeting. Recuperado el 25 de agosto de 2016, del sitio web UNECE Statistics Wikis:
https://statswiki.unece.org/download/attachments/117772682/Preparation_questionnaire.doc?v
ersion=3&modificationDate=1447942428687&api=v2
- United Nations Economic Commission for Europe (UNECE) Statistics Wikis. (2019). Checklist for
SDMX Design Projects Home. Recuperado el 11 de febrero de 2019, de
https://statswiki.unece.org/display/SDMXPM/Checklist+for+SDMX+Design+Projects+Home#ap
p-switcher
___
25