La Inteligencia Artificial Ante El Desafío de La Transparencia Algorítmica. Una Aproximación Desde La Perspectiva Jurídico-Administrativa

LA INTELIGENCIA ARTIFICIAL ANTE EL DESAFÍO
DE LA TRANSPARENCIA ALGORÍTMICA. UNA

APROXIMACIÓN DESDE LA PERSPECTIVA
JURÍDICO-ADMINISTRATIVA (*)
Gabriele Vestri
SUMARIO: I. INTRODUCCIÓN.– II. LOS ALGORITMOS COMO PUNTO DE PAR-

TIDA: 1. Una aproximación a la tipología de algoritmos.– 2. La actuación algorítmica
automatizada.– III. TRANSPARENCIA ALGORÍTMICA: 1. Cuestiones jurídicas prelimina-
res: A) La transparencia ex ante: licitación para la prestación del servicio de IA.– B) La
transparencia ex post: exigibilidad de la inteligibilidad del algoritmo.– C) El tratamiento
de los datos como elemento de la transparencia.– 2. La ética algorítmica.– 3. Auditoría
algorítmica.– IV. CONCLUSIONES.– V. BIBLIOGRAFÍA.
RESUMEN: En la actualidad, la Administración pública está en proceso de trans-

formación digital. En este escenario, la inteligencia artificial se delinea como la herra-
mienta que podría cambiar el modelo de la actividad administrativa. Un cambio que
precisamente debido a la introducción de soluciones tecnológicas (re)plantea la figura
del empleado público. Asumimos que el estado actual de la inteligencia artificial parece
no estar madura para afrontar una suplantación auténtica del funcionario público, sin
embargo, es evidente que los algoritmos actuales pueden colaborar con la actividad
humana. Debido a la posible penetración de sistemas algorítmicos cada vez más avan-
zados, es necesario analizar la transparencia algorítmica que debe sin duda considerar
la ética y la auditoría algorítmica como parámetros de buen gobierno.
Palabras clave: Inteligencia Artificial; algoritmos; transparencia algorítmica; ética
algorítmica; auditoría algorítmica.
Abstract: The public administration is currently undergoing a digital transformation.

In this scenario, artificial intelligence is outlined as a tool that could change the paradigm
of administrative activity. A change which, precisely due to the introduction of technolo-
gical solutions, (re)poses the figure of the public employee. We assume that the current
state of artificial intelligence does not appear to be mature to make a real impersonation
of the public servant, but it is clear that current algorithms can collaborate with human
(*) Trabajo recibido en esta Revista el 2 de diciembre de 2020 y evaluado favorable-

mente para su publicación el 7 de enero de 2021.
Revista Aragonesa de Administración Pública

368 ISSN 2341-2135, núm. 56, Zaragoza, 2021, pp. 368-398
La Inteligencia Artificial ante el desafío de la transparencia algorítmica…
activity. Due to the possible penetration of increasingly advanced algorithmics systems,

it is necessary to analyze the algorithmic transparency that must certainly consider ethics
and algorithmic auditing as parameters of good governance.
Key words: Artificial Intelligence; algorithms; algorithmic transparency; algorithmic
ethics; algorithmic auditing.
I. INTRODUCCIÓN
Las disciplinas jurídicas y el derecho administrativo en particular se encuen-

tran en la actualidad frente a un nuevo reto digital. Si el artículo 41 de la Ley
40/2015, de 1 de octubre, de Régimen Jurídico del Sector Público indica, en
esencia, la actuación administrativa automatizada, ahora, dentro de un con-
cepto más general de transformación digital, el desafío parece consistir en la
posible intervención de la Inteligencia Artificial (en adelante IA), en las distintas
actividades de las Administraciones Públicas y de las entidades dependientes
de ella. De hecho, Misuraca y Van Noordt señalan que «existe un interés cada
vez mayor de los gobiernos europeos para apoyar el rediseño de los procesos
internos y los mecanismos de formulación de políticas, así como para mejorar
la prestación de servicios públicos y el compromiso con los ciudadanos» (1)
La realidad pronostica un panorama en el que «los Gobiernos de todo el
mundo están tomando conciencia del poder transformador de la IA para sus
economías, servicios públicos y mercados laborales y, en consecuencia, están
reconociendo cada vez más la necesidad de contar con estrategias nacionales
integrales de IA» (2).
De esta manera, queda patente que los continuos avances tecnológicos
producen una cultura digital disruptiva y desde luego, la IA sustancia este
posible cambio de sistema. En este sentido, es oportuno conocer el significado
que la actual doctrina jurídica, pero no solo, asigna a conceptos entre si com-
plementarios, como IA, algoritmos y transparencia algorítmica. Se trata de una
tarea complicada puesto que las peculiaridades que introducen los elementos
descriptivos nos proporcionan un vocabulario considerablemente complejo.
Igualmente, parece necesario abordar, aunque sea brevemente, los conceptos
que acompañan este trabajo.
Bien, sin querer hurgar en el análisis de los orígenes de la definición de
IA, se reconoce la definición de John McCarthy que en 1956 indicó que la IA
es «la ciencia del ingenio de hacer máquinas inteligentes, especialmente progra-
(1) G. Misuraca, c. Van Noordt (2020: 80).

(2) Secretaría general de coordinación de política científica del ministerio de ciencia, inno-
vación y universidades (2019:12).

ISSN 2341-2135, núm. 56, Zaragoza, 2021, pp. 368-398 369
Gabriele Vestri
mas de cómputo inteligentes» (3). Es de justicia mencionar las configuraciones

más recientes que proporciona la doctrina. Desde una perspectiva jurídica,
Agustí Cerrillo I Martínez define la IA como «la capacidad de las computadoras
de realizar tareas típicamente humanas» (4). Lorenzo Cotino Hueso introduce
en el panorama de la IA el concepto de algoritmo y señala que tenemos que
entenderlo como «una secuencia para que un ordenador transforme un input en
output» (5). Sin embargo, la literatura más afín a las ciencias computacionales
ofrece una perspectiva más compleja. Es el caso de Alexander Zlotnik que
señala la importante distinción que debemos salvaguardar entre IA General,
con capacidades similares a las de un ser humano e IA Especializada con
capacidad para resolver únicamente problemas concretos. El mismo autor indica
que «Ningún sistema de IA actual puede considerarse una Inteligencia Artificial
General (IAG) y, seguramente, todavía faltan varias décadas para que sea una
realidad» (6). En este sentido parece ocurrir un verdadero redimensionamiento
del alcance de la IA. En definitiva, aunando las distintas definiciones, podemos
admitir que la IA consiste en un sistema tecnológico que está preparado para
resolver problemas puntuales y determinados.
Naturalmente, nos interesa analizar el instrumento fundamental del sis-
tema, es decir el algoritmo. Un instrumento que debe ser tratado con cautela
para circunscribir lo que López Oneto define como la «algoritmización del
mundo» (7). En materia de algoritmo y a sabiendas de que también en esta
cuestión existen distintas tipologías, los autores Benítez, Escudero, Kanaan y
Masip Rodó, identifican a los algoritmos como un «procedimiento para encon-
trar la solución a un problema mediante la reducción de este a un conjunto
de reglas» (8). Más reciente y con miras al significado inglés de la palabra
algorithm, es la definición que ofrece Huergo Lora en la que señala que algo-
ritmo «hace referencia a cualquier procedimiento formalizado en una serie de
pasos para solucionar un problema o conseguir un resultado» (9).
Así, se construye una complementariedad entre la IA y los algoritmos que,
yuxtapuestos representan el instrumento tecnológico mediante el cual un sis-
tema informatizado y normalizado resuelve problemas específicos. Precisamente
en este sentido, hoy día contamos con sistemas de IA que abarcan distintos
sectores. Pensemos, por ejemplo, en la IA en el sector sanitario y más especí-
(3) El Profesor John McCarthy acuñó esta definición durante una exposición en la
Conferencia de Dartmouth de 1956.
(4) A. Cerrillo i Martínez (2020: 76).
(5) L. Cotino Hueso (2019: 2-3).
(6) Véase: A. Zlotnik (2019:25).
(7) M. López Oneto (2020:47).
(8) R. Benítez, G. Escudero, S. Kanaan, D. Masip Rodó (2013:13).
(9) A. Huergo Lora (2020:27).

ficamente en el contexto de la COVID-19. En España la empresa 1MillionBot

creó un chatbot preparado para compartir información sobre el virus (10). Así
mismo, la empresa Quibim, ha desarrollado un sistema basado en una red
neuronal que permite utilizar imágenes médicas para determinar el nivel de
gravedad de un paciente infectado por el virus (11). En el ámbito educativo
universitario, la IA está cada vez más presente, por lo menos en forma de
asistente virtual. La Universidad de Murcia, introdujo el chatbot «Lola» el 9 de
junio de 2018 —como experiencia piloto—. En la actualidad, otras instituciones
universitarias se han sumado a la implantación de estos sistemas. Es el caso,
entre otras, de la Universidad de Alcalá (chatbot Isidra), la Universidad de las
Islas Baleares (chatbot Aina), la Universidad Politécnica de Valencia (chatbot
Pau), la Universidad de Jaén (chatbot Ada) o la Universidad Complutense de
Madrid (chatbot Carol). También distintos Ayuntamientos y Diputaciones han
introducido un sistema conversacional digital (entre otros: Ayuntamiento de
Alicante, Elche, Córdoba, Murcia o Cartagena. Así como la Diputación Pro-
vincial de Alicante y la de Castelló). Los sistemas de IA también abordan el
sector de la vigilancia y del control. Es conocido el caso español de «Elisa»,
una herramienta de vigilancia cibernética o de VeriPol en materia de detec-
ción de denuncias falsas en el seno de la Policía Nacional. La IA encuentra
interesantes perspectivas de aplicación también en la creación de las Smart
City. Es el caso, por ejemplo de Streetchange, un proyecto que se encarga de
medir los cambios físicos en las calles de diferentes ciudades. Gracias a un
algoritmo es posible comparar las imágenes que Google Street View tomó en
una misma localización en años distintos. Esto permite detectar los cambios de
las ciudades y actuar jurídicamente, socialmente y económicamente en ellas.
La lista de ejemplos podría aumentar exponencialmente. Nos hemos limitado
a introducir algunos ejemplos que demuestran la actual penetración de las
herramientas de IA.
Ahora bien, una de las consecuencias que puede acarrear un sistema
algorítmico que describe la IA y que es central en el estudio que nos ocupa: la
transparencia algorítmica. Elemento éste que en el seno de las Administraciones
públicas constituye un verdadero desafío. Aunque el sistema jurídico-administra-
tivo español está perfectamente familiarizado con el tratamiento de los temas
más tradicionales relacionados con la transparencia pública, es cierto que
ahora se trata de verificar la transparencia de unas operaciones sistemáticas
que pueden resultar intangibles. Una transparencia, además, que concentra,
(10) Según la empresa, antes del confinamiento domiciliar del mes de marzo de 2020,
más precisamente a partir del 26 de febrero de 2020, el chatbot respondió a más de cien
mil preguntas sobre el virus. Véase: https://1millionbot.com/nuestros-chatbots/. [Consultado
el 5 de enero de 2021].
(11) Véase: https://quibim.com/eu/. [Consultado el 5 de enero de 2021].

Gabriele Vestri
heterogéneamente, cuestiones jurídicas, éticas y sociales. Así, Peguera Poch

—recogiendo las palabras de Fjeld et. al.— señala que, «la transparencia se
entiende en el sentido de que los sistemas de IA se deben diseñar y desplegar
de modo que sea posible monitorizar sus operaciones» (12). En otras palabras,
un sistema es transparente cuando es conocible y descifrable.
Precisamente la IA, los algoritmos y la transparencia algorítmica represen-
tan la estructura portante del presente estudio. Un trabajo que en el sentido de
los elementos descritos mantiene, obviamente, la actividad de las Administra-
ciones públicas en el centro de atención y que finalmente tiene el propósito de
verificar en qué medida el impacto jurídico-administrativo de la transformación
digital puede afectar al sector público.
II. LOS ALGORITMOS COMO PUNTO DE PARTIDA
Como resulta del somero estudio propuesto en la introducción del presente

trabajo, el algoritmo determina un sistema que dentro de la IA resuelve un
problema. Ahora, a sabiendas del deber de la existencia de distintas técnicas
de aprendizaje de los sistemas de IA («machine learning», «deep learning» o
«decision trees») y más allá de unas definiciones más o menos ajustadas a la
realidad doctrinal en la materia, el derecho administrativo debe pronunciarse
acerca del tratamiento que se le puede —o debe— otorgar a la decisión
tomada por la Administración pública y que se ha basado precisamente en
un algoritmo.
Es necesario así destacar un punto de partida que representa el quid
del asunto y que parece impulsar la identificación de los algoritmos según
los principios que tradicionalmente sustentan el derecho administrativo. En
este sentido, Boix Palop declara, con cierta contundencia, que los algoritmos
son reglamentos así que habría que reconocerles las garantías propias de las
normas reglamentarias (publicidad, participación, transparencia entre otras).
El autor, para ser precisos, señala que esta equiparación no aplica a todos
los algoritmos sino a aquellos que «son empleados para adoptar decisiones
administrativas o que son apoyo esencial de las mismas» (13). Esta posición no
es unánime, todo lo contrario. Arroyo Jiménez o Huergo Lora señalan que los
algoritmos no pueden considerarse reglamentos. Arroyo Jiménez, respondiendo
a la tesis de Boix Palop según la cual se consideran reglamentos aquellos
instrumentos cuya función sea la de programar el comportamiento futuro de
las Administraciones públicas, afirma: «Baste aquí señalar que si un concreto
instrumento cumple esa función institucional pero, o bien lo hace a través de
(12) M. Peguera Poch (2020:46).

(13) A. Boix Palop (2020: 262).

determinaciones concretas, o bien no se expresa a través de un tipo normativo

reconocido por el sistema, entonces no será un reglamento (14). Huergo Lora
asienta su tesis sobre dos ejes: el primero, relativo al concepto de algoritmo
que según él es demasiado amplio para que podamos identificar una única
regla de tratamiento. El segundo, critica el uso amplio de las nociones que
ofrece el derecho administrativo, como reglamento o acto administrativo a
cuestiones que pueden ser poco proclives a esta potencial ósmosis jurídica.
El autor resume finalmente su idea con una frase: «los algoritmos son algorit-
mos» (15). Como se puede deducir el argumento no es secundario. Además,
las consideraciones deben de ser bidireccionales aunque unitarias desde el
análisis de las consecuencias jurídicas. Por un lado se trata de identificar las
características jurídico-administrativas bajo las cuales los algoritmos encuentran
fundamento y en segundo lugar, habrá que verificar el valor jurídico que se le
puede o debe otorgar a una decisión administrativa tomada bajo el paraguas
del algoritmo —que, en última instancia, podría ser automatizada si se utilizara
un sistema construido a tal efecto—.
Naturalmente, esto conlleva la necesidad de destacar, aunque sea bre-
vemente, la tipología de algoritmo que en opinión podría utilizar la Adminis-
tración pública.
1. Una aproximación a la tipología de algoritmos
En nuestra opinión, el debate tiene un elemento común que, en el plano

general, parece ser poco discutible. Los algoritmos no son todos iguales. Lo
confirma Boix Palop diciendo que en todo caso se trata de considerar los algo-
ritmos que adoptan la decisiones administrativas o que colaboran con ellas.
Así mismo Huergo Lora identifica la necesaria distinción entre un algoritmo
no predictivo frente a uno predictivo. Es decir, aunque en ciertas ocasiones
solemos reunir bajo la misma palabra distintos procedimientos formalizados
que resuelven un problema, la ciencia computacional, sobre todo, nos alerta
acerca de las diferencias entre distintas tipologías de algoritmos. Es significa-
tivo, en nuestra opinión, destacar que lo interesante es identificar el tipo de
dato que determina la naturaleza del conjunto de valores que puede tomar
una variable y que en gran medida identifica la tipología del algoritmo. De
hecho, es sabido que el algoritmo se compone de expresiones y precisamente
estas determinan el alcance de la formula. Es decir, una expresión puede ser
aritmética, relacional o lógica. En este sentido podemos contar con un algoritmo
que ejecuta una acción compleja (aritmético), otro que transmite un resultado
(14) L. Arroyo Jiménez (2020).

(15) Op. cit. pp. 64-67.

Gabriele Vestri
comparativo (relacional) y finalmente, otro más que se adapta a la estructura

natural y cognitiva del pensamiento (lógico). En definitiva, una categorización
que no desconoce la naturaleza no predictiva o predictiva del algoritmo pero
que procura enfatizar los elementos de los datos como propósito para determi-
nar el alcance de las fórmulas empleadas. Así, dependiendo de los datos que
componen el diagrama de flujo (meramente aritmético, relacional o lógico),
la Administración pública, en nuestro caso, dispondrá del correspondiente
algoritmo (16).
La inserción de datos instrumentales permitiría considerar el algoritmo, el
aritmético, como una mera herramienta material —tecnológica, esto sí— que
se sumaría, en definitiva, a otras de las que ya dispone la Administración
pública para desarrollar su actividad y que colaboran con el órgano adminis-
trativo correspondiente para que éste adopte la resolución administrativa. En
este caso, el algoritmo no es una norma de la Administración pública, es un
elemento más de la actividad material de la Administración pública. De esta
teoría, por añadidura, avisaba por ejemplo Agudo González cuando hablando
precisamente de la necesidad de identificar las distintas formas jurídicas de
actuación de la Administración, señalaba que es necesario identificar: «[…]
cualquier manifestación de la actividad administrativa que no encaje en las
clasificaciones convencionales, incluyendo la actuación informal de la Admi-
nistración en sentido estricto» (17).
En el caso de considerar un algoritmo relacional, en nuestra opinión, des-
taca una vez más el carácter instrumental de la fórmula. Es decir, aunque los
datos que componen el algoritmo ayuden a que el funcionario público tenga
una visión más detallada sobre el asunto, es finalmente la intervención humana
que toma la resolución administrativa más adecuada. Así que, el algoritmo
relacional sube el nivel del algoritmo aritmético y aboga por una actividad
comparativa que, sin embargo, sigue siendo instrumental.
Más complejo es el caso del algoritmo lógico cuya finalidad es, en última
instancia, operar de forma predictiva frente a la resolución final que podría ser
totalmente automatizada. Es decir, se trataría de replicar la cognición humana
mediante un algoritmo cuyos datos han sido programados por humanos y
que finalmente podrían producir una resolución administrativa —o lo que es
parecido, señala Suñé Linás, imitar los sistemas biológicos— (18). En estos
términos parece realizarse un verdadero despojo de la función humana. En
realidad, no es exactamente así. De esto nos da cuenta Carles Ramió. Como en
(16) Sobre datos e inteligencia artificial puede verse: J., Bonmatí Sánchez, J.J., Gonzalo
Doménech (2020:116-117).
(17) J. Agudo González (2013: 129-130).
(18) Véase E. Suñé Linás (2020:99-107).

cualquier cambio de modelo —o si queremos ser más figurativos: en cualquier

revolución (digital en este caso), la cuarta se dice— en el empleo público habrá
profesiones que desaparecerán, pero a la vez, se crearán nuevos perfiles pro-
fesionales que precisamente están y estarán directamente relacionados con la
tecnología disruptiva (19). Éste nuevo modelo prevé, en definitiva, una mutación
que finalmente transforma al empleado público burócrata en un funcionario
líquido que sabe adaptarse a un nuevo molde, más tecnológico y propenso a
la digitalización de ciertas tareas.
Así, nos asomamos a un replanteamiento de la actividad de la Administra-
ción pública que podría dotarse de algoritmos lógicos cuyo fundamento jurídico
debería tomar forma a partir de una visión moderna del derecho administrativo
aunado a los criterios introducidos en este ámbito por las tecnologías de la
información y de la comunicación (20).
2. La actuación algorítmica automatizada
Estrictamente en conexión con lo hasta ahora planteado, parecen rele-

vantes las consideraciones jurídico-administrativas que rodean la actuación y
decisión algorítmica automatizada. En definitiva, se trata de analizar lo que
Antonio Barone identifica como «la elección pública automatizada en contextos
de incertidumbre científica» (21). Así mismo, no debemos confundir el signifi-
cado de actuación administrativa automatizada con lo que ofrecen los algo-
ritmos de IA que finalmente podrían converger en una decisión administrativa
automatizada. En primer caso, el mismo artículo 41.1 de la Ley 40/2015, de
1 de octubre, de Régimen Jurídico del Sector Público nos ofrece una definición
de actuación automatizada, aunque, la descripción legal —cuando habla de
medios electrónicos— parece hacer referencia más bien a la reforma de la
Administración electrónica y no a la actuación administrativa mediante la
IA (22). En el segundo caso, lo que importa es el alcance —y las consecuen-
cias— de la decisión que adopta el algoritmo. Así, es necesario distinguir entre
lo que puede determinar un algoritmo instrumental y lo que podría acordar un
algoritmo predictivo.
(19) Véase C. Ramió (2019: 139-155).

(20) En esta materia y para citar un texto muy actual que aborda el tema desde las
diferentes perspectivas de las disciplinas jurídicas puede verse: L.A. Fernández Villazón (2020).
(21) A. Barone (2020:66).
(22) «Se entiende por actuación administrativa automatizada, cualquier acto o actua-
ción realizada íntegramente a través de medios electrónicos por una Administración Pública
en el marco de un procedimiento administrativo y en la que no haya intervenido de forma
directa un empleado público». En materia de automatización en el seno de la reforma de la
Administración electrónica, Véase, entre otros: I. Alamillo Domingo (2017:122-124).

Gabriele Vestri
En todo caso, el uso de un algoritmo que tome una decisión es muy

delicado. Algunos países lo han introducido en el ámbito de la justicia. Es
el caso de Estados Unidos. Por ejemplo, en el estado de Wisconsin el ciu-
dadano Eric Loomis fue condenado a seis años de cárcel por el robo de un
coche. Para definir el tiempo de la condena, el juez recurrió a un software
denominado Compas (Correctional Offender Management Profiling for Alter-
native Sanctions). El sistema determinó que el acusado tenía un alto riesgo de
reincidencia. El interesado apeló la sentencia señalando que el veredicto fue
determinado por un algoritmo al que no se podía tener acceso, por lo tanto,
el veredicto no era justo. La Corte Suprema de Wisconsin finalmente falló en
contra del ciudadano (23).
Ahora, desde una perspectiva general, en nuestra opinión, la decisión
adoptada por un algoritmo de IA no puede ser considerada una resolución
administrativa, por lo menos no según la teoría clásica de los actos administra-
tivos. En todo caso no sería vinculante para el correspondiente órgano adminis-
trativo. García de Enterría y Ramón Fernández —entre otros— en materia de
actos administrativos, lo explican con abundancia de detalles. Someramente,
recuerdan los autores, entre otras cuestiones, que un acto administrativo consiste
en «a) una declaración intelectual, lo que excluye las actividades puramente
materiales, b) la declaración puede ser de voluntad, que será lo normal en
las decisiones o resoluciones finales de los procedimientos, pero también de
otros estados intelectuales: de juicio, de deseo, de conocimiento […], c) el acto
administrativo es la derivación del ejercicio de la potestad administrativa» (24).
En si mismo, el acto administrativo, entendido como producto de la operación
algorítmica, no cumple con los elementos mencionados anteriormente. A eso
debemos añadir, y no es poco, que todo parece apuntar a que la actual IA,
en la actualidad, no está totalmente preparada para tomar decisiones modi-
ficando los estados intelectuales que siguen siendo prioritarios en la activi-
dad humana y que otorgan al interesado el denominado derecho de reserva
humana. Así, allí donde existiese una IA basada en un algoritmo lógico que
adoptase decisiones finales predictivas, sí podríamos, al menos, debatir acerca
del tratamiento jurídico que adoptaría la resolución. Sin embargo, la ciencia
computacional —hemos dado cuenta de esto— nos avisa que todavía estamos
lejos de la realidad.
Por eso, parece necesario dirigirse hacia otro campo de análisis que no
desconoce las aportaciones sistemáticas y potenciales de los algoritmos pero
que finalmente se detiene antes de la decisión final que define el procedi-
(23) Sentencia en: https://wscca.wicourts.gov/caseSearch.xsl [consultado el 15 de

diciembre de 2020].
(24) E. García de Enterría, T. Ramón Fernández (2017:592-596).

miento. Así, se trata de considerar la decisión del algoritmo en términos de

acto administrativo informático no vinculante que entonces resume el modus
operandi instrumental de la fórmula. De esta manera, el algoritmo utilizado
por la Administración pública no produce efectos externos —como al contrario
hace el acto administrativo definitorio— convirtiendo la decisión adoptada en
un acto administrativo de trámite.
En otras palabras, consideramos que, en todo caso, la decisión algorítmica
automatizada no tiene por qué corresponder a la resolución administrativa
definitiva, aunque esta última encuentre su fundamento en la asistencia instru-
mental ofrecida por el algoritmo. En este sentido y como ha sido anunciado,
la decisión del algoritmo define las características del acto administrativo de
trámite. La conocida STS 5670/2001 de 2 de julio, Sala 3ª de lo Contencio-
so-administrativo (ECLI: ES:TS:2001:5670. Ponente Xiol Ríos, Juan Antonio),
precisamente identificó que los actos de trámite son aquellos «que preparan y
hacen posible la decisión, dirigiéndose al mayor acierto de ésta, frente a las
resoluciones que deciden las cuestiones planteadas, que se califican como actos
definitivos» (FJ3). Esta definición se ajusta a lo que realmente es el algoritmo
instrumental: un sistema de información que, convenientemente programado,
acompaña la actividad material de una persona física, produciendo, precisa-
mente, un acto administrativo de trámite (25).
Ahora, por añadidura, también podemos mirar a los algoritmos instru-
mentales como suplementos tecnológicos —parciales— de la actividad de las
unidades administrativas. En este sentido es conocida la definición de unidad
administrativa que otorga el artículo 56.1 de la Ley 40/2015, de 1 de octubre,
de Régimen Jurídico del Sector Público: «Las unidades administrativas son los
elementos organizativos básicos de las estructuras orgánicas. Las unidades
comprenden puestos de trabajo o dotaciones de plantilla vinculados funcional-
mente por razón de sus cometidos y orgánicamente por una jefatura común.
Pueden existir unidades administrativas complejas, que agrupen dos o más
unidades menores». De hecho, son precisamente las unidades administrativas
que producen los actos de trámites (26). En esta ocasión, el algoritmo instru-
mental podría ser considerado en los términos descritos por el art. 56.1 de la
ley anteriormente citada.
Distinto podría ser el enfoque propuesto por el algoritmo predictivo que
podría producir una resolución administrativa definitiva. En este caso, la
aportación del órgano administrativo sería totalmente proscripta a favor de
la voluntad del algoritmo. En definitiva, el órgano administrativo actuaría,
en caso, como mero órgano de control de la actividad del algoritmo —por
(25) En este sentido véase, J. Ponce Solé (2019:12). I. Martín Delgado (2009:353-386).
(26) Véase E. Gamero Casado, S. Fernández Ramos (2017:170).

Gabriele Vestri
ejemplo, en el caso de impugnación del acto administrativo automatizado y

siempre y cuando no existiese un algoritmo que a su vez pudiera ejercer la
función de control—.
El problema, en nuestra opinión, es que el acto administrativo, en su
vertiente objetiva, representa la consecuencia de la ejecución de la ley por
parte de la Administración pública. Esto insta a afirmar que lo verdaderamente
importante en la materia que nos ocupa es verificar si el algoritmo predictivo
es capaz de ejecutar la ley (o las leyes) consiguiendo, al fin, producir un acto
administrativo con semblanza a la que sería la actividad intelectual e interpreta-
tiva de los humanos. En este sentido, además, el algoritmo predictivo, debería
tener en cuenta los conceptos jurídicos indeterminados (alteración del orden
público, la urgencia, el peligro). En otras palabras, el algoritmo predictivo que
adoptara una decisión definitiva sería ejecutor de la potestad administrativa
que en realidad queda reconocida al órgano administrativo. En este escenario
estaríamos admitiendo una delegación de la potestad administrativa a favor
de una fórmula matemática. Se entienda, la delegación de la potestad admi-
nistrativa es una realidad de la organización de la Administración pública. Lo
que es menos evidente es el fundamento jurídico-administrativo que permitiría
delegar la potestad a una máquina. No sobra recordar que la delegación
de la potestad administrativa como base para adoptar actos administrativos
se asienta en las competencias que se le reconocen legalmente a los órga-
nos administrativos. Así, estaríamos asumiendo que el algoritmo predictivo
tiene otorgada la competencia para convertirse así en órgano administrativo
que, en el ejercicio de la correspondiente potestad administrativa, adopta un
acto administrativo automatizado. Nos parece, con toda sinceridad, que en
la actualidad estas cuestiones están todavía demasiado desarticuladas como
para admitir un fundamento jurídico inequívoco sobre el qué asentar los actos
administrativos decisorios automatizados.
Cuestión distinta es que se pueda utilizar la capacidad lógico-predictiva
del algoritmo como actividad instrumental de la Administración pública. En
este caso, en el fondo, se limitaría quizá la inteligencia real y potencial del
algoritmo predictivo, sin embargo, sería posible admitir —según lo manifes-
tado con anterioridad— su fundamento como instrumento que proporciona
una orientación superior a la que ofrecería un mero algoritmo instrumental y
que el órgano administrativo podría tener en cuenta a la hora de adoptar la
correspondiente resolución administrativa.
En este orden de ideas, permítanme considerar ciertos criterios jurispru-
denciales que pueden ser de interés respecto a lo que nos ocupa. Reciente-
mente, el Consejo de Estado Italiano, órgano constitucional con competencias
en materia de justicia administrativa, se pronunciaba sobre las decisiones que
la Administración pública adopta mediante algoritmos. Se trata de la Sentencia

08474/2019 de 13 de diciembre de 2019 que, brevemente, veía involucra-

dos el Ministero dell’Istruzione Ministero dell’Università e della Ricerca (MIUR)
y un grupo de docentes cuya movilidad docente había sido determinada por
un algoritmo y que ahora, tras la preliminar Sentencia del Tribunale Ammi-
nistrativo Regionale (T.A.R.) del Lazio, sede de Roma, sección III bis, de 10
septiembre de 2018 n. 9227, el Consejo de Estado estaba llamado a dirimir
por el correspondiente recurso propuesto por el MIUR (27). El Consejo de
Estado, precisamente profundiza sobre las derivaciones jurídicas que conllevan
el uso de los algoritmos y más en general de la IA. Interesa subrayar el dato
de partida de la sentencia de mérito. El T.A.R. del Lazio decidía, entre otras
cuestiones, que demandar la actividad administrativa a un algoritmo implica
generar un «evidente contraste con el principio de instrumentalidad» (FJ 1).
Esto, al fin y entre otras cuestiones, determinaba la inadmisibilidad del uso
de algoritmos. El MIUR defendía su posición señalando que «el algoritmo es
sencillamente el resultado de la transposición matemática y de la aplicación
informática de las directivas en la materia» (FJ 2). En otras palabras, el
ahora recurrente manifestaba precisamente el correcto uso de sistemas que,
meramente, instrumentalizan lividad de la Administración pública. Bien, el
Consejo de Estado introduce interesantes cuestiones que resultan oportunas
mencionar aquí. En primer lugar, señala que «también la Administración
pública debe poder aprovecharse de las relevantes potencialidades de la
denominada revolución digital […]. En este sentido los algoritmos informáticos
para la adopción de decisiones automatizadas representan un claro beneficio
en términos de eficiencia y neutralidad» (FJ 7.1). Esta posición se refrenda
también el FJ 9.2 en el cual los jueces indican que «el uso del procedimiento
informático no debe ser estigmatizado sino impulsado […] para evitar inter-
ferencias debidas a la negligencia (o peor, al dolo) del funcionario». Así,
el órgano jurisdiccional parece abrirse definitivamente, aunque en presencia
de ciertos criterios, a la denominada revolución 4.0 (28). En este sentido,
establece el FJ8.2, estos instrumentos digitales describen «la posibilidad de
que el procedimiento de formación de las decisiones administrativas esté
encomendado a un software, en el cual se implantan una serie de datos con
el fin de lograr, a través de la automatización del proceso, la decisión final».
A bien entender, el Consejo de Estado no parece delegar completamente la
decisión a un programa de computador, sino que determina la posibilidad de
utilizar un algoritmo para poder fundamentar la decisión administrativa, no
(27) De aquí en adelante y sobre la sentencia, el autor ha elaborado la correspon-

diente traducción italiano-español trasladando lo más fidedignamente posible los términos y
las cuestiones jurídicas.
(28) Sobre Administración pública y decisiones automatizadas en la industria 4.0, se
recomienda: P.S. Maglione (2020:1-52).

Gabriele Vestri
desconociendo, por ende, la aportación humana. Tratando el caso en objeto y

a sabiendas de estas indicaciones preliminares, los jueces italianos identifican
dos aspectos preeminentes que deben respetar los algoritmos: «a) el pleno
conocimiento previo del modelo utilizado y de los criterios aplicados y b)
la imputabilidad de la decisión al órgano titular que debe poder desarrollar
la necesaria verificación de la lógica y legitimación de la elección y de los
resultados delegados al algoritmo» (FJ 12). Es decir, la decisión administrativa
debe poder ser controlada y en su caso rectificada por el personal del órgano
administrativo correspondiente.
Ahora bien, los algoritmos, sin duda, nos permiten asomarnos a una reali-
dad tecnológica que puede ser beneficiosa para el sector público. Igualmente,
en esta materia, irrumpen criterios que forzosamente deben ser cardinales. La
transparencia algorítmica, en nuestra opinión, es uno de ellos. En este sen-
tido, debemos considerarla según los distintos elementos que la componen:
las cuestiones jurídicas sobre las que se asienta, la ética y el control de la
transparencia. En definitiva, se trata de elementos que colaboran precisamente
a determinar el correcto uso del algoritmo.
III. TRANSPARENCIA ALGORÍTMICA
Debemos afrontar la transparencia algorítmica iniciando con una nece-

saria y generalísima premisa sobre el alcance de la transparencia pública en
el actual estado de derecho. Precisamente en este sentido, Fernández Ramos
esboza sapientemente algunas de las razones que determinan el éxito de la
transparencia pública. Así, la transparencia pública, según el autor, «Refuerza
la legitimación democrática de la Administración […]. La transparencia de
la actividad pública coadyuva al respeto de la legalidad por parte de las
autoridades y sus agentes […]. Es un elemento esencial de las políticas de
lucha contra la corrupción […]. La transparencia, al deshacer el anonimato y
posibilitar la exigencia de responsabilidades, coadyuva también a la consecu-
ción del rigor y de la eficiencia en la acción administrativa […]. Es también el
presupuesto para la participación (informada) de los ciudadanos en asuntos de
interés público […]. El derecho de acceso a la información pública es esencial
para el desarrollo autónomo de las personas y para el ejercicio de los dere-
chos de los ciudadanos y su tutela judicial […]. El acceso no discriminatorio
a la información pública genera riqueza (y empleo) para la economía de
un país, pues posibilita la explotación de la información en poder del sector
público […]. Por último, debe resaltarse la vinculación entre el libre acceso a
la información pública y la libertad de investigación» (29). Naturalmente, la
(29) S. Fernández Ramos (2018:223-224).

transparencia pública deberá considerar las transformaciones que en el seno

de la Administración pública introducen las nuevas tecnologías que moderni-
zan tanto la dimensión ético-jurídica de la transparencia como el acceso a la
información de los ciudadanos (30). Dicha transformación digital se asienta,
ineludiblemente, «en la ”explotación” de datos a partir de las posibilidades
que ofrece la innovación tecnológica que, en el caso del sector público, ha de
partir necesariamente de las exigencias del Gobierno Abierto» (31).
Así mismo, la transparencia algorítmica debe someterse a los principios
que regulan el acceso a la información pública. Un acceso cuyas causas de
restricción no solo deben considerar el artículo 14 de la LTAIBG sino que
necesitan asentarse sobre un análisis pormenorizado de las circunstancias
específicas. En este sentido, se ha pronunciado recientemente la Audiencia
Nacional (Sección 7ª de la Sala de lo Contencioso) de 17 de junio de 2020,
núm. de Recurso: 70/2019. Ponente Luis Helmuth Moya Meyer. Roj: SAN
1377/2020 - ECLI: ES:AN:2020:1377). Se trata de una solicitud de acceso a
la información solicitada a la Autoridad Portuaria de La Coruña en una materia
supuestamente declarada confidencial. El Tribunal señala: «Desde luego que tal
información es confidencial en la medida en que pueda afectar a la seguridad
de las instalaciones calificadas como estratégicas o críticas. Pero no basta con
que determinada información tenga relación con infraestructuras así clasificadas
para que deba denegarse el derecho a la información. Deberá justificarse,
al menos someramente, por qué los datos contenidos en los informes, por el
nivel de detalle o por su carácter sensible, pueden comprometer la seguridad
pública en el caso de difundirse» (FJ 5º). De esta manera, el conocimiento del
algoritmo por parte del ciudadano va naturalmente emparejado con el derecho
de acceso a la información. Derecho que no podrá ser denegado alegando
meramente el artículo 14 j) —el secreto profesional y la propiedad intelectual e
industrial y la garantía de la confidencialidad— y 14 k) —el secreto requerido
en procesos de toma de decisión—, sino que la Administración pública deberá
demostrar los posibles problemas de seguridad pública que podría acarrear
la difusión de los datos del sistema algorítmico.
La misma sentencia procede con la indicación de los límites de la confiden-
cialidad. La Sala señala que «[…] en ningún caso la protección de la libertad
en la toma de decisiones puede justificar que se oculten informes elaborados
por los servicios de asesoramiento de la Autoridad Portuaria ni la reclamación
de información efectuada por el Tribunal de Cuentas en el ejercicio de su
función de fiscalización contable. Esta pretensión es totalmente contraria a los
principios elementales de la Ley de Transparencia, que no pretende sino reforzar
(30) Véase J. Valero Torrijos (2019:225-250).

(31) J. Valero Torrijos, J.I. Cerdá Meseguer (2020:105).

Gabriele Vestri
el principio democrático de control de los gobernantes a través de mantener

informados a todos los agentes sociales sobre su actividad» (FJ 4º). (32)
Así, francamente, en la materia que nos ocupa, parece que la Adminis-
tración pública posee poco espacio de maniobra para denegar el acceso a
la información algorítmica.
Entendemos que la transparencia de la inteligencia artificial es de trascen-
dental importancia en la construcción de una Administración pública digital sana.
De hecho, la transparencia, parece ser uno de los pilares de la Carta de Derechos
Digitales que vale la pena recordar no tiene carácter vinculante (33). Justamente
el punto XXIII.1.b), en materia de derechos ante la inteligencia artificial, establece:
«Se asegurarán la transparencia, auditabilidad, explicabilidad y trazabilidad».
Un derecho que finalmente se enmarca en el punto I.1.4 de la misma Carta
que señala: «Los procesos de transformación digital, el desarrollo y el uso de la
tecnología digital, así como cualquier proceso de investigación científica y técnica
relacionado con ellos o que los utilice instrumentalmente, deberán tener presente
la exigencia de garantizar la dignidad humana, los derechos fundamentales,
el libre desarrollo de la personalidad y ordenarse al logro del bien común». En
definitiva, la transparencia de la IA como reflejo de los Derechos Humanos en
el seno también de un uso masivo de datos (Big Data) (34).
Precisamente con estos propósitos, en nuestra opinión, es necesario mirar
la transparencia de forma bifocal. Por un lado, se hace patente la necesidad de
verificar que la elección del algoritmo por parte de la Administración pública
sea transparente. En segundo lugar, verificar la transparencia del algoritmo
cuando éste se encuentre funcionando en la Administración pública, garan-
tizando la accesibilidad del interesado a conocer cómo el algoritmo adopta
la decisión.
De esta manera, se pretende alcanzar un doble nivel de transparencia
que es trascendental precisamente en el seno de una herramienta intangible
como es el algoritmo.
Exactamente las presentes cuestiones representan el leitmotiv del análi-
sis que encuentran plena aplicación en la transparencia algorítmica. Temas,
(32) Sobre La garantía de la confidencialidad o el secreto requerido en procesos de

toma de decisión puede verse también Sala de lo Contencioso de la Audiencia Nacional, el
cual fue desestimado mediante sentencia de 18 de noviembre de 2019, Sección 7ª, recurso
de apelación n° 47/2019. Aquí la Sala señala que las actas de un órgano colegiado deben
considerarse confidenciales y por lo tanto pueden no ser divulgadas sin embargo, añade:
«los acuerdos son aquella documentación que contiene las decisiones adoptadas, el resultado
final de esos debates y deliberaciones mantenidas y que pueden y deben hacerse públicas».
(33) A la fecha de redacción de este trabajo la Carta se encontraba en la fase de
consulta pública.
(34) En materia de Transparencia y Big Data véase: W. Arellano Toledo (2019: 1-34).

estos, que asumen una importancia clave, si, como señala Cerrillo i Martínez,
debemos además considerar la «opacidad de los algoritmos» que en el seno
de la Administración pública son considerados verdaderas cajas negras (35).
1. Cuestiones jurídicas preliminares
En materia de transparencia algorítmica y por mera extensión interpreta-

tiva, podríamos iniciar nuestro análisis desde la perspectiva más simple asu-
miendo que cualquier algoritmo debería respetar los principios establecidos en
la Ley 19/2013, de 9 de diciembre, de transparencia, acceso a la información
pública y buen gobierno (en adelante LTAIBG). Así, un algoritmo sería trans-
parente, en principio, cuando la Administración pública correspondiente: a)
publique periódicamente y donde corresponda, información relevante acerca
del algoritmo (publicidad activa), b) ponga a disposición de la ciudadanía los
documentos y el contenido técnico y de funcionamiento del algoritmo (infor-
mación pública) y finalmente, c) pueda demostrar que el algoritmo actúa en
beneficio exclusivo del interés público (buen gobierno). En este mismo sentido,
de hecho, Valero Torrijos señala que, en España, ya hay cierto reconocimiento
de los algoritmos como información pública, precisamente en aplicación del
artículo 13 de la LTAIBG y también del artículo 70 de la Ley del Procedimiento
Administrativo Común (36).
Sin embargo, esta visión que a priori no desconocemos —por lo menos
desde la perspectiva de la teoría jurídica sobre la cual se asienta la LTAIBG—,
podría resultar excesivamente reductiva y finalmente no encontraría una fácil
aplicación práctica precisamente a causa de la desbordante complejidad en la
regulación del algoritmo. De hecho, ni los antecedentes jurídicos de la LTAIBG,
ni su desarrollo parecen recoger el posible y progresivo avance tecnológico
en el que se enmarca el uso de la IA.
Sin duda, somos proclives a una transparencia extendida que mantiene
el interés general como principal foco de atención y que, en el marco de la
ley, prevalece sobre cualquier otra lógica. En definitiva, se trata de dotar al
sistema de transparencia algorítmica de una base inquebrantable que permita el
control de un sistema que en ocasiones puede resultar demasiado manipulable.
Bien, la profundización obligatoria de la materia, precisa —y de esto
avisamos con anterioridad— desdoblar nuestro análisis que debe dirigirse en
primer lugar a la fase de contratación o prestación del sistema de IA y en
segundo lugar a la transparencia del mismo sistema una vez que éste haya
sido implantado y se encuentre funcionando.
(35) A. Cerrillo i Martínez (2019:17).

(36) J. Valero Torrijos (2020:58).

Gabriele Vestri
A) La transparencia ex ante: licitación para la prestación del ser-

vicio de IA
Este análisis parte de un supuesto que puede resultar obvio pero que, en
nuestra opinión, por lo menos a nivel general, representa la realidad actual
del sector público. Las Administraciones públicas —la mayoría de ellas—, en
este momento, no son creadoras de IA (37). Es decir, las entidades públicas
no inventan sus propios sistemas de IA sino que, en todo caso, se apoyan en
empresas que les suministran las herramientas necesarias. A partir de este punto,
debemos observar la regulación de la contratación pública en conexión con
la adquisición o suministro de IA. El marco de la regulación al que podemos
acudir es el artículo 16 de la Ley 9/2017, de 8 de noviembre, de Contratos
del Sector Público (LCSP) que, como es sabido, representa el punto de inicio
para el tratamiento de los contratos de servicio. Asimismo, interesa el artículo
308.1 de la misma ley que nos entrega un avance en la materia ya que toma
en cuenta el problema que podría surgir entre la IA y los derechos de propiedad
intelectual e industrial de los productos objeto del contrato de suministro. Aquí,
el legislador parece ser bastante categórico ya que establece: «Salvo que se
disponga otra cosa en los pliegos de cláusulas administrativas o en el documento
contractual, los contratos de servicios que tengan por objeto el desarrollo y la
puesta a disposición de productos protegidos por un derecho de propiedad
intelectual o industrial llevarán aparejada la cesión de este a la Administración
contratante. En todo caso, y aun cuando se excluya la cesión de los derechos
de propiedad intelectual, el órgano de contratación podrá siempre autorizar
el uso del correspondiente producto a los entes, organismos y entidades per-
tenecientes al sector público». La norma, en el sentido que nos ocupa en este
trabajo, representaría el fundamento de la misma transparencia. Así es pues:
la empresa que desarrolle un sistema de IA para la Administración pública está
obligada a transmitir a la entidad pública los derechos de propiedad intelectual
y, por ende, deberá transferir los códigos fuente que, por lo tanto, debido a la
LTAIBG, serán puestos a disposición de quien quiera acceder a la información.
Ahora, hemos mencionado con anterioridad que, en la actualidad las
Administraciones públicas suelen requerir una IA ya existente que pueda ser
adaptada a las exigencias de la Administración. En este caso no encontraría
(37) Esta afirmación se hace más visible en las Administraciones locales. En este sentido
queremos compartir ciertos resultados genéricos —todavía— acerca de una investigación que
estamos desarrollando. El pasado 7 de noviembre de 2020 empezamos una investigación
titulada: «La transición digital de las Administraciones públicas municipales de la provincia
de Cádiz». Solicitamos a los 45 Municipios que componen la provincia de Cádiz, indicarnos
si disponen y utilizan sistemas de IA o de automatización de la actividad administrativa.
Podemos señalar que un primer y generalísimo dato parece apuntar a que en su mayoría los
municipios ignoran el concepto profundo de IA y no usan sistemas de IA propiamente dichos.

aplicación directa el artículo 308 de la LCSP ya que el alcance de la norma

parece hacer referencia a productos cuya creación debe entenderse ex novo.
Así, como señala Miranzo Díaz, en estos casos deberíamos mirar el artículo
122.2 de la LCSP que permitiría, aunque no es una obligación —y por lo
tanto se convertiría en un mero auspicio—, prever la cesión de los derechos de
propiedad intelectual e industrial en la constitución de los pliegos de cláusulas
administrativas particulares (38). Entendemos que es bastante difícil que las
empresas privadas estén dispuestas a transferir sus conocimientos a sabiendas
además que, en caso de hacerlo, estos deberán posteriormente ser compartidos
con los administrados si estos lo requieren (39). Se cumple así, lo que Martín
Delgado ha definido como «la rigidez del sector público, el miedo a lo desco-
nocido y la resistencia cultural al cambio» (40). En definitiva, se trata de renovar
y adecuar el sistema de contratación pública, planteamiento que es compatible
con la política de la Unión Europea que, por ejemplo, introduce el ambicioso
programa Next Generation. Programa que Gimeno Feliú señala como una
oportunidad para relanzar un nuevo modelo de servicios públicos inteligentes y
digitales, incluyendo por supuesto la innovación en la contratación pública (41).
Cabe mencionar una ulterior situación que podría ubicarse entre las dos
descritas. Nos referimos a la cesión de los derechos de propiedad intelectual
e industrial de los códigos fuente que permiten adaptar un sistema de IA exis-
tente a las necesidades de la Administración pública contratante. En este caso
y siempre que la tecnología computacional lo permitiera, la entidad privada
mantendría la confidencialidad sobre su sistema integral de IA y sería contra-
tada por la Administración pública solo para desarrollar la adecuación del
propio sistema a la prestación del servicio de la entidad pública. Naturalmente,
estamos asentando esta teoría sobre el hecho de que el sistema adaptativo
no podría funcionar sin el sistema madre. En otras palabras, se ha entendido,
planteamos una partición del sistema de IA en el que finalmente solo la parte
correspondiente a la especificidad del servicio público prestado sería sometida
a la debida transparencia pública.
B) La transparencia ex post: exigibilidad de la inteligibilidad del

algoritmo
En concordancia con la que hemos definido como transparencia ex

ante, asume ahora un papel importante la transparencia de la labor del sis-
(38) J. Miranzo Díaz (2020:134-135).

(39) En materia de inteligencia artificial y propiedad intelectual se recomienda: R.
Xalabarder (2020:205-222).
(40) I. Martín Delgado (2020: 33).
(41) Véase J.M. Gimeno Feliú (2020).

Gabriele Vestri
tema algorítmico cuando éste se encuentre instalado y el interesado quiera

conocer cómo el algoritmo específico haya adoptado la decisión instrumen-
tal o lógico-predictiva si ésta existiera. Claramente, aquí aplica la máxima
general —que ya hemos tenido ocasión de mencionar— según la cual un
sistema es transparente cuando es conocible y descifrable. Nos interesa
analizar precisamente estos dos elementos: el algoritmo debe ser conocible
y descifrable. Previamente, es necesaria una advertencia. El derecho a que
el algoritmo sea conocible va más allá de los lógicos compromisos legales
que asumiría la Administración pública en aplicación de los artículos 16 y
308 de la LCSP. Desde luego, el conocimiento aúna también los elementos
del acceso a la información y por ende de la transparencia pública, pero
nos centramos ahora en el derecho que debe tener el interesado a saber
que la Administración pública adoptará determinadas decisiones mediante un
algoritmo que entonces deberá ser descifrable y en consecuencia transparente.
De esto nos da cuenta la Carta de Derechos Digitales que precisamente en el
punto XVI.3 - Derechos digitales de la ciudadanía en sus relaciones con las
Administraciones públicas —o el punto XXIII.1 b) y c)—, introduce términos
como: explicabilidad, trazabilidad (letra b) y garantía de la accesibilidad,
usabilidad y fiabilidad (letra c).
En este mismo sentido, conviene retomar el razonamiento jurídico que en
materia de transparencia ofrece el Consejo de Estado italiano en la ya citada
Sentencia 08474/2019. El FJ 13.1 señala que «en el ámbito del pleno cono-
cimiento, asume relevancia el principio de transparencia que debe operar tanto
por la Administración pública titular del poder para cuyo ejercicio se prevé el
uso de la herramienta del algoritmo, como para los sujetos involucrados por el
poder mismo». Avisa el órgano —y nos parece importante— que el algoritmo
es conocible cuando es posible saber todos los diferentes aspectos que lo
rodean, es decir: «los autores del procedimiento utilizado para su elaboración,
el mecanismo de decisión, incluida la prioridad asignada al procedimiento
de evaluación y de decisión y de los datos indicados como relevantes. Esto,
con el fin de poder verificar que los criterios, los supuestos y las decisiones
del procedimiento robotizado sean conformes a las prescripciones y a las
finalidades establecidas por la ley o por la misma Administración […]». Para
lograr este grado de transparencia, los jueces no aceptan que las empresas
que suministran estos tipos de servicios informáticos invoquen las cláusulas de
confidencialidad. Naturalmente, en este contexto es necesario que la Admi-
nistración pública confiera, dice la sentencia, «las informaciones significativas
sobre la lógica utilizada» (FJ 13.2), además de mencionar la importancia de
las consecuencias que podría soportar el interesado como destinatario de la
decisión algorítmica.
En definitiva, la transparencia algorítmica debe asentarse sobre dos prin-
cipios fundamentales: el conocimiento omnicomprensivo del algoritmo, que

incluye la inteligibilidad de este y la no exclusividad de la decisión algorítmica,

particularmente cuando la decisión automatizada produce efectos significativos
sobre el interesado.
C) El tratamiento de los datos como elemento de la transparencia
En materia de transparencia algorítmica es necesario analizar ciertas

cuestiones relacionadas con el tratamiento de los datos personales que en
el escenario digital y automatizado serán tratados por un algoritmo. En este
sentido, conviene, primeramente acudir a las normas europeas sobre el trata-
miento de datos personales y esto a sabiendas de que en el mes de febrero
de 2020, la Agencia Española de Protección de Datos manifestó una primera
aproximación a la adecuación de las normas españolas al Reglamento (UE)
2016/679 (en adelante, RGPD) (42). Las principales normas de referencia
están representadas por los artículos 13 y 15 del RGPD, que establecen el
derecho del interesado a conocer la existencia de los procesos de decisión
automatizados que le conciernen y a recibir información sobre la lógica utili-
zada (véase el artículo 1-objeto del RGPD).
Precisamente, el artículo 13 del RGPD, imputa al responsable del tra-
tamiento de los datos personales un conjunto de requisitos de información
que finalmente identifican tres perfiles —que analizaremos en breve— que
articulan y fundamentan el principio de transparencia algorítmica. En este
sentido, las cuestiones examinadas parecen orientarse a la determinación de
si se ha utilizado el algoritmo para el tratamiento de los datos con miras a la
decisión; el nivel de importancia que tuvo el tratamiento automatizado en el
procedimiento y el funcionamiento del algoritmo o qué consecuencias pueden
derivar del proceso automatizado para la persona en cuestión.
De interés es también el artículo 15 del RGPD —Derecho de acceso del
interesado— que señala: «El interesado tendrá derecho a obtener del responsa-
ble del tratamiento confirmación de si se están tratando o no datos personales
que le conciernen y, en tal caso, derecho de acceso a los datos personales y
a la siguiente información: [...] h) la existencia de decisiones automatizadas,
incluida la elaboración de perfiles, a que se refiere el artículo 22, apartados
1 y 4, y, al menos en tales casos, información significativa sobre la lógica
aplicada, así como la importancia y las consecuencias previstas de dicho
tratamiento para el interesado».
Someramente, las dos normas señaladas introducen ciertas características
que finalmente recalcan las cuestiones sobre transparencia que nos han ocu-
pado a lo largo de este estudio.
(42) Puede verse: Agencia Española de Protección de Datos (2020).

Gabriele Vestri
Ahora bien, el primer perfil atañe al derecho a recabar informaciones

mediante la existencia de un proceso decisional automatizado. Esta cuestión
concierne al conocimiento del algoritmo, es decir, al derecho del interesado
a ser informado de la existencia de un proceso de decisión automatizado de
tratamiento de sus datos personales. En otras palabras, el derecho a saber
se convierte en un derecho absoluto y que individua una reivindicación
jurídicamente protegida de conocimiento de la existencia de una decisión
algorítmica (43).
El segundo elemento se ocupa del derecho a obtener informaciones acerca
del funcionamiento del sistema automatizado. Este perfil debe ser considerado
tomando en cuenta la fórmula final del artículo 15 h) del RGPD que hace una
alusión directa a la «importancia y a las consecuencias previstas de dicho trata-
miento para el interesado». Menciona Zuddas que, de esta manera, se otorga
a este elemento una verdadera proyección externa al proceso decisional que
en definitiva, privaría aparentemente la decisión de relevantes potencialidades
normativas, limitando el alcance del algoritmo (44).
Por último, cabe referirse, al elemento de la comprensibilidad del algo-
ritmo. El interesado tiene el derecho de obtener del responsable del tratamiento
de datos, información significativa sobre la lógica utilizada en el tratamiento
de datos dentro del proceso de adopción de las decisiones automatizadas.
Así, el interesado tiene derecho a obtener información sobre el modo en que
el sistema automatizado ha tratado sus datos (45).
En definitiva, lo que se quiere garantizar es el derecho al respeto de la
privacidad del ciudadano en todo su alcance. De esta forma se ha pronunciado
el Tribunal de Distrito de La Haya en la conocida como «Sentencia SyRI». El
Tribunal señala que este software —un sistema de análisis utilizado por el
Gobierno para rastrear posibles fraudes al Estado— no respeta la privacidad
del ciudadano y vulnera el artículo 8 de la Convención Europea de Derechos
Humanos relativo al derecho a la vida privada (46).
2. La ética algorítmica
La importancia de la ética algorítmica —o la que se pude llamar algoré-

tica—, puede ser individuado en el Libro Blanco sobre la inteligencia arti-
(43) Véase A. Simoncini, S. Suweis (2019: 98).

(44) Véase: P. Zuddas (2020: 5).
(45) En este sentido, véase: D.U. Galetta, J.G. Corvalán (2019: 20).
(46) Además, el Tribunal avanza en materia de sesgo algorítmico. De hecho señala
que «SyRI puede tener efectos no deseados, como estigmatizar y discriminar a la ciudadanía,
por la ingente cantidad de información que recoge».

ficial (47). Un enfoque europeo que asume la necesidad de analizar las

implicaciones éticas y humanas que depara la IA y que en definitiva representa
la perspectiva antropocéntrica de la IA que evidentemente deberá contar con
las correspondientes directrices éticas. En este mismo sentido, la Comisión,
entre sus conclusiones destaca que: «La inteligencia artificial es una tecnología
estratégica que ofrece numerosas ventajas a los ciudadanos, las empresas y
la sociedad en su conjunto, siempre y cuando sea antropocéntrica, ética y
sostenible y respete los derechos y valores fundamentales» (48). Esta visión
es cristalina hasta el punto de que ciertos autores ya auspician a que en el
futuro próximo se encomendará el control de la ética a nuevas figuras que
podrían asumir el nombre de «crítico tecnológico», en una clara correlación con
figuras ya existentes como el crítico cinematográfico, literario o de arte y que
precisamente deberían ejercer un control sobre la ética de los algoritmos (49).
Naturalmente, la ética de la IA es un campo de estudio muy amplio que
debe ser tratado desde un enfoque multidisciplinario que por su propia natu-
raleza afecta también a las cuestiones propiamente sociológicas. A nosotros,
en este trabajo, nos corresponde centrarnos en algunas de estas cuestiones
que finalmente contribuyen a la instauración de criterios claros de la transpa-
rencia algorítmica. Así dirigimos nuestra atención, aunque sea brevemente,
principalmente a la regulación de la ética de la IA y a los problemas que
produce el sesgo algorítmico (algorithmic bias en inglés). Un sesgo que, como
es conocido, puede ser de género, económico, social, de orientación sexual,
laboral, de raza etc. (50).
Ahora, un algoritmo se convierte en la expresión de quien lo elabora. Es
decir, el sesgo algorítmico lo produce quien programa la fórmula matemática
así que el algoritmo, en definitiva, se hace eco y es portador del sesgo. De
esta forma, es necesario ahondar sobre la cultura ética y moral de quien
produce el sistema. Esta tesis se hace más profunda cuando consideramos los
algoritmos que están pensados para que aprendan. Este aprendizaje no es
inocuo, es decir, el algoritmo aprende a través de los inputs que se cargan en
él. La inserción de una información discriminatoria produce un aprendizaje
discriminatorio. En este sentido, la elección de un sistema de IA por parte de
la Administración pública debe ser proactivo entendiendo que el propósito
prioritario es dotarse de un sistema que no discrimine a los ciudadanos. Así,
la intervención de la Administración pública es trascendental para evitar el
sesgo algorítmico. Dicha intervención, debe abogar por la aplicación de los
(47) COM(2020)65.
(48) Comisión Europea (2020:31).
(49) Véase N. Patrignani (2018).
(50) Véase «Sentencia SyRI» anteriormente citada.

Gabriele Vestri
principios éticos de la IA que, como señala Pinto Fontanillo, pueden resumirse

en: «el principio del respeto de la autonomía humana, el de equidad, de
prevención del daño y de explicabilidad» (51).
3. Auditoría algorítmica
En esta breve aproximación a la transparencia algorítmica que en defi-

nitiva representa la transparencia del sistema de IA, debemos analizar, muy
someramente, la necesaria previsión de un procedimiento de auditoría algorít-
mica. Una cuestión esta que tiene su razón en la necesidad de individuar quién
controla que el algoritmo sea transparente y que lo sea en todos sus elementos.
Así mismo, conviene señalar que, a nuestro juicio, el control de los algorit-
mos promueve lo que podríamos definir como la sanificación del sistema de IA
que, precisamente colabora con la necesaria rectificación del sistema en pro del
interés público general y de la misma actividad de la Administración pública.
En nuestra opinión y de forma general, existen por lo menos dos respuestas
y ambas dimanan de un elemento común, obvio, que identifica indudablemente
que sí es necesario contar con un sistema de control. La primera respuesta es
quizá la más simple y directa. Pues, las Administraciones públicas que usan un
sistema de IA deben garantizar su propio control y que éste resulte transparente
(auditoría interna). La segunda respuesta, compleja, dirige nuestro interés a
la posibilidad de que la mencionada actividad de control sea encargada a
agencias públicas independientes o a empresas privadas independientes que
en todo caso permanecerían sujetas a la obligación de la confidencialidad
(auditoría externa).
Bien, hoy día contamos con la presencia de agencias o autoridades que
desarrollan una labor en materia específica. Solo a título de ejemplo y entre
otras, basta con ver la actividad de la Oficina Antifrau de Catalunya o la
Agencia Valenciana Antifraude. Ambas, enmarcadas como agencias indepen-
dientes de las otras Administraciones públicas, representan, específicamente,
un instrumento de prevención, investigación y combate del fraude y la corrup-
ción, con capacidad para proteger a las personas denunciantes. En definitiva,
las agencias trabajan en pro de la ética. Así que estas agencias parecen ser
las posibles y naturales destinatarias de la actividad de control del sistema
de IA cuya actividad descontrolada podría precisamente desembocar en las
situaciones que estas agencias combaten. De hecho, no sería de extrañar
que estas agencias comenzarán a recibir denuncias de ciudadanos que a
causa de la intervención de un algoritmo han sufrido algún menoscabo en
sus derechos y, por el temor a sufrir represalias, lo denuncien a través de los
(51) J.A. Pinto Fontanillo (2020: 82-84).

cauces implantados por las agencias. Naturalmente, en esta visión de control,

parece necesario dotar a estas agencias o aquéllas creadas ad hoc, de medios
personales y materiales que, adecuadamente capacitados, puedan desarrollar
la actividad de auditoría.
En la perspectiva del trabajo a desplegar, cabe la opción, quizá más
realista, de delegar la actividad de auditoría y control a empresas externas
que de forma independiente y confidencial se ocupen de verificar el sano fun-
cionamiento del sistema de IA. En este caso, redunda señalar, que el proceso
de contratación debería desarrollarse al amparo de la LCSP con el evidente
límite que la empresa que suministra la IA a la Administración pública debería
permitir a la empresa de auditoría el acceso a sus sistemas.
En ambos casos —agencias o empresas—, la auditoría podría consistir
tanto en la evaluación de todo el proceso de uso de la IA como de la estima-
ción de las consecuencias que produce el sistema de IA en las operaciones
de la Administración pública.
Punto interesante es identificar la condición que se le debería reconocer
a los resultados y a las declaraciones de la entidad que audita. En otros tér-
minos, es necesario conocer si las indicaciones de quien audita y controla se
deben considerar meras recomendaciones o si, por lo contrario, deben resultar
vinculantes por la Administración pública.
En la senda de las actividades de las agencias antifraudes y de forma
generalísima, cabe destacar que las agencias investigan y trasladan al Ministe-
rio Fiscal aquellas denuncias que tienen carácter de delito penal. Las agencias
no sustituyen al juez sino que lo alertan acerca de un delito. Así, si un algoritmo
produjera un posible delito penal (imaginemos un algoritmo que dicte una
resolución administrativa arbitraria porque contraria a la ley pudiendo incurrir
en un delito de prevaricación), este acontecimiento debería ser denunciado
frente a la autoridad judicial correspondiente. En los otros casos, la actividad de
las agencias sería recomendatoria para que, precisamente, la Administración
pública, en beneficio de la transparencia y el interés público, pueda rectificar
la acción algorítmica.
Las empresas privadas de auditoría, en nuestra opinión, asumirían la
condición de suministradores de un servicio de modo que podrían formular
recomendaciones no vinculantes.
IV. CONCLUSIONES
En este trabajo hemos afrontado una serie de cuestiones que representan

algunos de los pilares de la IA y somos conscientes de que el debate no se
agota en estas someras páginas. Lo que nos parece claro es que la IA y las

Gabriele Vestri
herramientas que la acompañan han llegado para quedarse. Es sinceramente

improbable una vuelta atrás en un campo como el tecnológico que parece lidiar
con el tiempo ofreciéndonos soluciones técnico-digitales con una frecuencia
abrumadora. Todas las disciplinas, desde las humanas a las jurídicas pasando
por las tecnológicas, se ven afectadas por la introducción de nuevos modelos
que obligan a (re)plantearse ciertas convicciones sobre las cuales precisamente
se habían asentado.
El derecho administrativo no es ajeno a la injerencia tecnológica. Lo
demuestra la profusa doctrina sobre la materia acompañada además de dife-
rentes documentos técnicos gubernamentales que ponen la IA en el foco de
atención de muchos juristas. En definitiva, estamos ante los retos digitales del
derecho administrativo.
Como cualquier cambio en este caso también nos encontramos con ele-
mentos que, aunque ya no sean desconocidos, sí necesitan de un análisis que
justamente valga como punto de partida para su posible adaptación a las
peculiaridades jurídicas que estamos acostumbrados a tratar. Así, las definicio-
nes de IA, algoritmo y transparencia algorítmica, en todas sus complejidades,
asumen un papel fundamental sobre el cual asentar el debate doctrinal.
Ahora bien, para ser precisos, es necesario no generalizar, al contrario,
debemos casi forzosamente, acudir a la profundidad de las cuestiones tratadas.
A nuestro juicio, el término IA, debe más bien ser analizado según la principal
herramienta que lo compone, es decir los algoritmos. En este sentido, es tras-
cendental pormenorizar los distintos tipos de algoritmo según sus características
ya que, finalmente nos ofrecen la posibilidad de identificar un tratamiento
jurídico-administrativo preciso. De este modo, hemos intentado demostrar, con
más o menos acierto, que, en la actualidad, las decisiones adoptadas por los
algoritmos aritméticos y relacionales actúan como verdaderos colaboradores de
la actividad administrativa humana. A nuestro juicio, estos tipos de algoritmos
son instrumentales a la actividad desarrollada por el correspondiente órgano
administrativo así que, todo parece apuntar a que las decisiones adoptadas
por estas formulas representan un acto administrativo de trámite y no un acto
administrativo que finaliza el procedimiento administrativo. De esta manera y
en su vertiente negativa, excluimos cualquier otra etiqueta administrativa que
no sea la de acto administrativo de trámite. Esto no significa desconocer el
alcance y la importancia de los algoritmos aritméticos y relacionales, todo lo
contrario. Abogamos por un uso racional y transparente de estas herramientas
que finalmente introducen preponderantemente el derecho administrativo y la
labor de la Administración pública en la era digital del Siglo XXI.
Los algoritmos predictivos necesitan de un tratamiento aparte. Sabemos
que estas fórmulas pueden o podrían reproducir y mejorar la cognición humana.
Podemos apreciar las grandes potencialidades que proporcionan estos tipos de

algoritmos, sin embargo, en la entretejida relación entre el derecho administra-

tivo clásico y las nuevas tecnologías que nos han ocupado, en la actualidad,
es complicado aceptar una indiscutible y generalizada suplantación de la
actividad humana por los algoritmos predictivos. En este caso, es posible, en
nuestra opinión, utilizar el razonamiento deductivo y predictivo para mejorar
la resolución administrativa que en pro de la teoría de los actos administrativos
podrá ser utilizada por la adopción de la decisión definitiva que finalmente
representa el ejercicio de la potestad administrativa del órgano administrativo
correspondiente. Así, la decisión lógico-predictiva introduce un plus —tecno-
lógico y predictivo— de complementariedad ante el acto administrativo defi-
nitorio del procedimiento. En otras palabras, los algoritmos no tienen que ser
considerados como herramienta excluyente de la actividad humana.
Debido a la importancia que asumen el alcance y las finalidades de
los algoritmos, sean del tipo que sean, resulta absolutamente necesario que
estos respondan a los criterios de transparencia que finalmente en su estruc-
tura general, deben identificarse con la contratación transparente de IA o de
suministro de la misma, el acceso a la información, el necesario conocimiento
del uso del algoritmo y de su funcionamiento y al fin, la inteligibilidad de la
fórmula que garantice la accesibilidad a esta técnica sin ser necesariamente
especialistas de la materia.
En el ámbito específico, la transparencia algorítmica consiste en la realiza-
ción de un (re)ajuste de las normas en materia de contratación pública para el
suministro o adquisición del servicio, que deben precisamente adaptarse a las
nuevas realidades tecnológicas. Así, defendemos que, en esta materia, los pliegos
de cláusulas administrativas particulares incluyan formalmente la cesión de los
derechos de propiedad intelectual e industrial. En caso contrario, la Administra-
ción pública tendría que excluir de la licitación a la empresa suministradora. Es
cierto que, para estas empresas, la divulgación de los códigos que identifican
sus sistemas de IA podría no ser rentable y las podría poner en una situación de
inferioridad empresarial respecto a sus competidores. Sin embargo, en nuestra
opinión, es obligatorio operar con un juicio de prevalencia que debe ser puesto
de manifiesto durante la contratación. A la luz de las importantes repercusiones
que la IA pude tener sobre las personas, debe prevalecer la transparencia como
elemento de protección del interés público general.
Naturalmente, esta medida debe ser acompañada por un fuerte impulso
tecnológico que los mismos poderes públicos deben proporcionar a una Admi-
nistración pública cuya base tecnológica profunda sigue siendo la de antaño.
Así, por un lado, es necesaria una formación específica de los empleados
públicos que finalmente abogue por una alfabetización digital específica. Por
otro lado, se hace patente la necesidad de contar con una Administración
pública que pueda ser productora de IA y no solamente consumidora.

Gabriele Vestri
En materia de IA y transparencia algorítmica existen cuestiones de extraor-

dinario interés y que ponen en el foco de atención el tratamiento de los datos
de los involucrados en el proceso de toma de decisiones. En este escenario,
parece que el análisis está relativamente más avanzado. Tanto a nivel comu-
nitario como a nivel nacional, existe un hilo conductor casi inequívoco que
determina la necesidad de dar a conocer que los datos del interesado están
siendo tratados de forma automatizada. De esta manera, es el mismo interesado
que puede decidir acerca del tratamiento automatizado frente a uno operado
por humanos. Está claro que aún en este caso deben coexistir los principios
de transparencia que mencionamos en este estudio y que se aúnan bajo dos
términos: conocimiento y comprensibilidad.
La transparencia algorítmica tiene una evidente correlación con ele-
mentos que nos impulsan a mirar disciplinas que tienen conexión con el
derecho. Así, el desafío es crear algoritmos que sean éticos y que, por lo
tanto, consideren la moral como elemento básico en su formación. Lo difícil
es quizá mentalizarnos en el hecho de que una máquina también debe tener
moral y ética. Esta exigencia hace que nuestra verdadera atención vaya
dirigida a los humanos que preparan la IA. Las máquinas en definitiva repre-
sentan la extensión de la voluntad humana. En otras palabras, el sesgo de
la máquina es en realidad el sesgo del programador. Así, la transparencia
y la cultura de la ética deben neutralizar las conductas humanas negativas
impidiendo la transferencia de estos comportamientos a los códigos fuente
de los algoritmos.
La cultura de la transparencia aplicada a la IA encuentra no pocas com-
plicaciones, algunas de la cuales están directamente relacionadas con el uso
de sistemas que provienen de proveedores privados externos a la Adminis-
tración pública y que por su propia naturaleza suelen ser poco transparen-
tes u opacos. Resulta entonces prioritario contar con un sistema que permita
un control independiente de los algoritmos. En el correspondiente apartado
hemos mencionado algunas ideas y límites para asignar la función de control
y auditoría a empresas privadas así que nos parece importante centrarnos
en herramientas distintas. En nuestra opinión, las agencias públicas ofrecen,
por su naturaleza y por su reconocido prestigio, la garantía de independen-
cia que en esta materia es necesario buscar y obtener. Así, el desarrollo de
control debe ir emparejado con la función de auditoría. Se trata entonces de
encomendar a agencias ya existentes —ampliando sus competencias— o crear
agencias ad hoc, que permitan verificar si los algoritmos y su uso responden
a los criterios de transparencia y ética que hemos tenido ocasión de analizar
en este estudio. La delegación del control y de la auditoría a agencias públi-
cas especializadas no impide la convivencia de un autorregulación interna a
las distintas Administraciones públicas. A nuestro juicio, control, auditoría y
autorregulación pueden y deben ser complementarios.

Bien, somos conscientes de que las tesis que se han plasmado en este
breve ensayo amplían el debate sobre la IA, los algoritmos y la transparencia
algorítmica. Sin embargo, esto, y desde luego el correspondiente debate, tiene
que ser considerado positivamente. El ejemplo es precisamente la citada Carta
de Derechos Digitales, una carta que introduce ciertas novedades, aunque
sin duda, podría ser más ambiciosa. En este sentido, por ejemplo, debería
representar uno de los ejes de debate acerca de la tecnología disruptiva,
así como definir los mecanismos de identificación de los instrumentos de
actualización de la tecnología actual y futura, pues, debido a la velocidad
con la que cambia el panorama tecnológico, esta aportación resultaría extre-
madamente necesaria.
En fin, no debemos rehuir del debate sino utilizar todos los conocimientos
para que el uso de la IA pueda ser un avance y no un escollo en la transición
digital.
V. BIBLIOGRAFÍA
Agencia Española de Protección de Datos (2020): «Adecuación al RGPD de tra-

tamientos que incorporan Inteligencia Artificial. Una introducción». https://
www.aepd.es/sites/default/files/2020-02/adecuacion-rgpd-ia.pdf [Consul-
tado el 30 de noviembre de 2020].
Agudo González, Jorge (2013): «Actuación material e informalidad. El ejemplo
de la concertación con la Administración pública», en esta Revista, núm.
41-42, Zaragoza, pp. 129-130.
Alamillo Domingo, Ignacio (2017): «La regulación de la tecnología: la supe-
ración del modelo papel como elemento de transformación digital innova-
dora», en Martín Delgado, Isaac (Director), La reforma de la Administración
electrónica: una oportunidad para la innovación desde el derecho. Instituto
Nacional de Administración Pública. Madrid, España, pp. 122-124.
Arellano Toledo, Wilma (2019): «El derecho a la transparencia algorítmica en
Big Data e Inteligencia Artificial». Revista General de Derecho Administra-
tivo, núm. 50, pp. 1-34.
Arroyo Jiménez, Luis (2020): «Algoritmos y reglamentos». Almacén de Derecho.
25 de febrero. https://almacendederecho.org/algoritmos-y-reglamentos.
Barone, Antonio (2020): «Amministrazione del rischio e intelligenza artificial».
European Review of Digital Administration & Law (Erdal), Vol. 1 núm. 1-2
junio-diciembre, p.66
Benítez, Raúl, Escudero, Gerard, Kanaan, Samir, Masip Rodó, David (2013):
«Inteligencia artificial avanzada». Barcelona, Editorial UOC, p. 13.

Gabriele Vestri
Boix Palop, Andrés (2020: «Los algoritmos son reglamentos: la necesidad de

extender las garantías propias de las normas reglamentarias a los progra-
mas empleados por la administración para la adopción de decisiones».
Revista de Derecho Público: Teoría y Método, Vol. 1, 2020, p. 262. DOI:
https://doi.org/10.37417/RPD/vol_1_2020_33.
Bonmatí Sánchez, José, Gonzalo Doménech, Juan José (2020): «La gestión de
riesgos y su encaje legal en la regulación de la inteligencia artificial», en
Fuentes Soriano, Olga (Directora). Era digital, sociedad y derecho. Editorial
Tirant Lo Blanch, Valencia, España, pp. 116-117.
Cerrillo i Martínez, Agustí (2020): «El impacto de la inteligencia artificial en las
Administraciones públicas: estado de la cuestión y una agenda», en Cerrillo
i Martínez, Agustí, Peguera Poch, Miquel (Coordinadores). Retos jurídicos de
la inteligencia artificial. Editorial Aranzadi, p. 76.
— (2019): «Com obrir les caixes negres de les administracions públiques?
Transparència i rendició de comptes en l’ús dels algoritmes». Revista
Catalana de Dret Públic, núm. 58. p. 17. https://doi.org/10.2436/rcdp.
i58.2019.3277.
Comisión Europea (2020): «Libro Blanco sobre la inteligencia artificial: un enfo-
que europeo orientado a la excelencia y la confianza», p. 31. Se puede
consultar en: https://ec.europa.eu/info/sites/info/files/commission-white-
paper-artificial-intelligence-feb2020_es.pdf.
Cotino Hueso, Lorenzo (2019): «Riesgos e impactos del Big Data, la inteligencia
artificial y la robótica. Enfoques, modelos y principios de la respuesta del
derecho». Revista General de Derecho Administrativo, núm. 50, pp. 2-3.
Fernández Ramos, Severiano (2018): «La transparencia pública: pasado, pre-
sente y futuro», en esta Revista núm. 51, Zaragoza, pp.223-224.
Fernández Villazón, Luis Antonio (2020): «Derecho y nuevas tecnologías». Aran-
zadi, Thomson Reuters-Civitas.
Galetta, Diana Urania, Corvalán, Juan Gustavo (2019): «Intelligenza Artificiale
per una Pubblica Amministrazione 4.0? Potenzialità, rischi e sfide della
rivoluzione tecnologica in atto». Federalismi.it, 2019 núm. 3, p. 20.
Gamero Casado, Eduardo, Fernández Ramos, Severiano (2017): «Manual básico
de derecho administrativo». Tecnos, Madrid, España, p.170.
García de Enterría, Eduardo, T. Ramón Fernández, Tomás (2017): «Curso de
Derecho Administrativo, Tomo I», 18º edición Aranzadi, Thomson Reuters-Ci-
vitas, pp. 592-596.
Gimeno Feliú, José María (2020): «Los pilares de Next Generation EU y la con-
tratación pública». Observatorio de Contratación Pública, 6 de octubre de
2020. http://www.obcp.es/index.php/opiniones/los-pilares-de-next-gene-
ration-eu-y-la-contratacion-publica. [Consultado el 1 de diciembre de 2020].

Huergo Lora, Alejandro (2020): «Una aproximación a los algoritmos desde el

derecho administrativo», en Huergo Lora Alejandro (Director), Díaz González,
Gustavo Manuel. La regulación de los algoritmos. Aranzadi, Cizur Menor
(Navarra), p. 27.
López Oneto, Marcos (2020): «Fundamentos para un derecho de la inteligencia
artificial». Tirant lo Blanch, Valencia, España, p. 47.
Maglione, Pietro Stefano (2020): «La Pubblica Amministrazione ”al varco”
dell’Industria 4.0: decisioni automatizzate e garanzie procedimentali in una
prospettiva human oriented». Amministrazione in cammino, mayo, p. 1-52.
Martín Delgado, Isaac (2020): «Innovación tecnológica e innovación admi-
nistrativa en la contratación pública», en Martín Delgado, Isaac, Moreno
Molina, José Antonio. Administración electrónica, transparencia y contra-
tación pública. Iustel, Madrid, España, p. 33.
— (2009): «Naturaleza, concepto y régimen jurídico de la actuación admi-
nistrativa automatizada». Revista de Administración Pública, núm. 180,
pp. 353-386.
Miranzo Díaz, Javier (2020): «Inteligencia artificial y contratación pública»,
en Martín Delgado, Isaac, Moreno Molina, José Antonio. Administración
electrónica, transparencia y contratación pública. Iustel, Madrid, España,
p. 134-135.
Misuraca, Gianluca, Van Noordt, Colin (2020): «AI Watch Artificial Intelligence
in public services Overview of the use and impact of AI in public services
in the EU». Publications Office of the European Union, p. 80.
Patrignani, Norberto (2018): «Nell’era degli algoritmi, solo l’etica può sal-
vare l’umanità: ecco perché». Agenda Digital, 27 de junio de 2018. En:
https://www.agendadigitale.eu/cultura-digitale/nellera-degli-algoritmi-solo-
letica-puo-salvare-lumanita-ecco-perche/. [Consultado el 15 de noviembre
de 2020].
Peguera Poch, Miquel (2020): «En búsqueda de un marco normativo para la
Inteligencia Artificial», en Cerrillo i Martínez, Agustí, Peguera Poch, Miquel
(Coordinadores). Retos jurídicos de la inteligencia artificial. Editorial Aran-
zadi, p. 46.
Pinto Fontanillo, José Antonio (2020): «El derecho ante los retos de la Inteligen-
cia Artificial. Marco ético y jurídico». Edisofer, Madrid, España, pp. 82-84.
Ponce Solé, Juli (2019): «Inteligencia artificial, derecho administrativo y reserva
de humanidad: algoritmos y procedimiento administrativo debido tecnoló-
gico». Revista General de Derecho Administrativo, núm. 50, p.12.
Ramió, Carles (2019): «Inteligencia artificial y Administración pública. Robots
y humanos compartiendo el servicio público». Editorial Catarata, Madrid,
España, pp. 139-155.

Gabriele Vestri
Secretaría General de Coordinación de Política Científica del Ministerio de Ciencia,

Innovación y Universidades (2019): «Estrategia española de I+D+I en inteli-
gencia artificial». Madrid, España, p. 12
Simoncini, Andrea, Suweis, Samir (2019): «Il cambio di paradigma nell’intelli-
genza artificial e il suo impatto sul diritto costituzionale». Rivista di filosofia
del diritto, núm. 1, p. 98.
Suñé Linás, Emilio (2020): «Derecho e inteligencia artificial. De la robótica al
posthumano». Editorial Tirant lo Blanch, Valencia, España, pp. 99-107.
Valero Torrijos, Julián (2020): «The Legal Guarantees of Artificial Intelligence
in Administrative Activity: Reflections and Contributions from the Viewpoint
of Spanish Administrative Law and Good Administration Requirements».
European Review of Digital Administration & Law (Erdal), Vol. 1 núm. 1-2
junio-diciembre, p. 58.
— (2019): «Transparencia, acceso y reutilización de la información del sector
público», en Martín Delgado, Isaac (Director), Transparencia y acceso a
la información pública: de la teoría a la práctica. Iustel, Madrid, España,
pp. 225-250.
Valero Torrijos, Julián, Cerdá Meseguer, Juan Ignacio (2020): «Transparencia,
acceso y reutilización de la información ante la transformación digital del
sector público: enseñanza y desafíos en tiempo del COVID-19». Eunomía.
Revista en Cultura de la Legalidad, núm. 19, p. 105.
Xalabarder, Raquel (2020): «Inteligencia Artificial y Propiedad Intelectual», en
Cerrillo i Martínez, Agustí, Peguera Poch, Miquel (Coordinadores). Retos
jurídicos de la inteligencia artificial. Editorial Aranzadi, pp. 205-222.
Zlotnik, Alexander (2019): «Inteligencia Artificial en las Administraciones
Públicas: definiciones, evaluación de viabilidad de proyectos y áreas de
aplicación». Boletic núm. 84 (julio), p. 25.
Zuddas, Paolo (2020): «Brevi note sulla trasparenza algorítmica». Amministra-
zione in cammino, junio, p. 5.


La Inteligencia Artificial Ante El Desafío de La Transparencia Algorítmica. Una Aproximación Desde La Perspectiva Jurídico-Administrativa

Cargado por

Copyright:

Formatos disponibles

La Inteligencia Artificial Ante El Desafío de La Transparencia Algorítmica. Una Aproximación Desde La Perspectiva Jurídico-Administrativa

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

La Inteligencia Artificial Ante El Desafío de La Transparencia Algorítmica. Una Aproximación Desde La Perspectiva Jurídico-Administrativa

Cargado por

Copyright:

Formatos disponibles

LA INTELIGENCIA ARTIFICIAL ANTE EL DESAFÍO

DE LA TRANSPARENCIA ALGORÍTMICA. UNA

SUMARIO: I. INTRODUCCIÓN.– II. LOS ALGORITMOS COMO PUNTO DE PAR-

RESUMEN: En la actualidad, la Administración pública está en proceso de trans-

Abstract: The public administration is currently undergoing a digital transformation.

(*) Trabajo recibido en esta Revista el 2 de diciembre de 2020 y evaluado favorable-

Revista Aragonesa de Administración Pública

activity. Due to the possible penetration of increasingly advanced algorithmics systems,

Las disciplinas jurídicas y el derecho administrativo en particular se encuen-

(1) G. Misuraca, c. Van Noordt (2020: 80).

Revista Aragonesa de Administración Pública

mas de cómputo inteligentes» (3). Es de justicia mencionar las configuraciones

Revista Aragonesa de Administración Pública

ficamente en el contexto de la COVID-19. En España la empresa 1MillionBot

Revista Aragonesa de Administración Pública

heterogéneamente, cuestiones jurídicas, éticas y sociales. Así, Peguera Poch

II. LOS ALGORITMOS COMO PUNTO DE PARTIDA

Como resulta del somero estudio propuesto en la introducción del presente

(12) M. Peguera Poch (2020:46).

Revista Aragonesa de Administración Pública

determinaciones concretas, o bien no se expresa a través de un tipo normativo

1. Una aproximación a la tipología de algoritmos

En nuestra opinión, el debate tiene un elemento común que, en el plano

(14) L. Arroyo Jiménez (2020).

Revista Aragonesa de Administración Pública

comparativo (relacional) y finalmente, otro más que se adapta a la estructura

Revista Aragonesa de Administración Pública

cualquier cambio de modelo —o si queremos ser más figurativos: en cualquier

2. La actuación algorítmica automatizada

Estrictamente en conexión con lo hasta ahora planteado, parecen rele-

(19) Véase C. Ramió (2019: 139-155).

Revista Aragonesa de Administración Pública

En todo caso, el uso de un algoritmo que tome una decisión es muy

(23) Sentencia en: https://wscca.wicourts.gov/caseSearch.xsl [consultado el 15 de

Revista Aragonesa de Administración Pública

miento. Así, se trata de considerar la decisión del algoritmo en términos de

Revista Aragonesa de Administración Pública

ejemplo, en el caso de impugnación del acto administrativo automatizado y

Revista Aragonesa de Administración Pública

08474/2019 de 13 de diciembre de 2019 que, brevemente, veía involucra-

(27) De aquí en adelante y sobre la sentencia, el autor ha elaborado la correspon-

Revista Aragonesa de Administración Pública

desconociendo, por ende, la aportación humana. Tratando el caso en objeto y

III. TRANSPARENCIA ALGORÍTMICA

Debemos afrontar la transparencia algorítmica iniciando con una nece-

(29) S. Fernández Ramos (2018:223-224).

Revista Aragonesa de Administración Pública

transparencia pública deberá considerar las transformaciones que en el seno

(30) Véase J. Valero Torrijos (2019:225-250).

Revista Aragonesa de Administración Pública

el principio democrático de control de los gobernantes a través de mantener

(32) Sobre La garantía de la confidencialidad o el secreto requerido en procesos de

Revista Aragonesa de Administración Pública

1. Cuestiones jurídicas preliminares

En materia de transparencia algorítmica y por mera extensión interpreta-

(35) A. Cerrillo i Martínez (2019:17).

Revista Aragonesa de Administración Pública

A) La transparencia ex ante: licitación para la prestación del ser-

Revista Aragonesa de Administración Pública

A) La transparencia ex ante: licitación para la prestación del ser-

B) La transparencia ex post: exigibilidad de la inteligibilidad del